一种超高功率激光焊接全过程监测方法及系统

摘要

本发明涉及焊接检测技术领域，并提出了一种超高功率激光焊接全过程监测方法及系统，基于设置两个相机与两个辅助光源设备实现，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，所述方法包括以下步骤：S1、两个辅助光源设备同步且非连续地发出辅助光源，两个相机同步且连续地对焊接区域进行拍摄，获取焊接区域的有辅助光源与无辅助光源不断交替的监测图像；S2、对有辅助光源的监测图像与无辅助光源的监测图像分别进行预处理。该超高功率激光焊接全过程监测方法及系统，通过设置两个互为镜像的相机与两个互为镜像的辅助光源设备，进行有辅助光源与无辅助光源交替拍摄，获取焊接全过程监测信息。

权利要求

1.一种超高功率激光焊接全过程监测方法，其特征在于，基于设置两个相机与两个辅助光源设备实现，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，所述方法包括以下步骤：S1、两个辅助光源设备同步且非连续地发出辅助光源，两个相机同步且连续地对焊接区域进行拍摄，获取焊接区域的有辅助光源与无辅助光源不断交替的监测图像；

S2、对有辅助光源的监测图像与无辅助光源的监测图像分别进行预处理；

S3、从预处理后的无辅助光源监测图像中获取运动飞溅ROI图像；

S4、融合两个相机同时刻拍摄且预处理后的无辅助光源监测图像，得到无辅助光源融合图像，并从无辅助光源融合图像中获取第一熔池ROI图像；

S5、融合两个相机同时刻拍摄且预处理后的有辅助光源监测图像，得到有辅助光源融合图像，并从有辅助光源融合图像中获取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像；

S6、从小孔‑拼接间隙ROI图像中提取特征，进行焊前光斑‑间隙跟踪，并判断光斑是否位于间隙中心；

S7、从第一熔池ROI图像、第二熔池ROI图像和运动飞溅ROI图像中提取特征，进行焊中焊接状态预测；

S8、从焊缝‑凝固飞溅ROI图像中提取特征，进行焊后焊缝质量评估。

2.如权利要求1所述的超高功率激光焊接全过程监测方法，其特征在于，在步骤S1之前，还包括使用标定板对两个相机进行标定，使标定板中心线与经过焊接小孔中心、熔池尾部和焊缝中心的直线重合。

3.如权利要求2所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S4包括以下子步骤：S41、根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的无辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分；

S42、将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得无辅助光源融合图像；

S43、从无辅助光源融合图像中截取第一熔池ROI图像。

4.如权利要求2所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S5包括以下子步骤：S51、根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的有辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分；

S52、将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得有辅助光源融合图像；

S53、从有辅助光源融合图像中截取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像。

5.如权利要求1所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S6包括以下子步骤：S61、从小孔‑拼接间隙ROI图像中提取小孔中心点坐标特征、拼接间隙接近光斑处的中心坐标特征与拼接间隙接近小孔‑拼接间隙ROI图像边缘的宽度特征；

S62、通过小孔中心点坐标特征和拼接间隙中心坐标特征，获得坐标差值；

S63、设定差值范围，使得坐标差值保持在差值范围内；

S64、通过拼接间隙宽度特征，提前确定需焊接的后一位置间隙均匀度，判断光斑移动至该位置是否需要调整位置。

6.如权利要求1所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S7包括以下子步骤：S71、提取运动飞溅ROI图像中所有飞溅的特征，获得运动飞溅二值图像；

S72、将时间上连续的运动飞溅二值图像融合，进行飞溅轨迹的重构，并根据飞溅轨迹获得飞溅数量特征；

S73、提取第一熔池ROI图像中的熔池特征，包括熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征；

S74、构建焊缝熔透状态预测模型，以第一熔池ROI图像与第二熔池ROI图像为输入，焊缝熔透状态为输出，进行焊缝熔透状态的预测；

S75、构建焊缝余高和熔深预测模型，以熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征为输入，焊缝余高和焊缝深度为输出，预测焊缝的余高和深度；

S76、根据飞溅数量特征、焊缝熔透状态、余高和深度预测结果综合判断焊中焊接状态。

7.如权利要求6所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S75中的焊缝余高和熔深预测模型基于深度置信网络构建，包括依次连接的输入层、两个隐含层和输出层。

8.如权利要求1所述的超高功率激光焊接全过程监测方法，其特征在于，所述步骤S8包括以下子步骤：S81、按照一定的图像间隔提取焊缝‑凝固飞溅ROI图像，获得真实图像集；

S82、在真实图像集的焊缝‑凝固飞溅ROI图像上，标注飞溅、焊瘤和焊缝，获得标签图像集；

S83、构建轻量化焊缝图像语义分割模型，并使用真实图像集与标签图像集进行训练，所述构建轻量化焊缝图像语义分割模型用于分割图像中的焊缝、飞溅和焊瘤；

S84、将真实图像集中的图像依次拼接融合，获得完整尺寸的焊缝图像；

S85、获取焊缝图像的宽度特征、飞溅和焊瘤的尺寸与位置特征，以及焊中焊接状态预测情况，给出缺陷的位置和尺寸。

9.一种超高功率激光焊接全过程监测系统，其特征在于，包括双高速相机监测装置与数据处理服务器，所述双高速相机监测装置用于采集焊接区域有辅助光源与无辅助光源交替的监测图像，所述双高速相机监测装置与数据处理服务器通信连接，所述数据处理服务器嵌入了权利要求1‑8任一项所述的监测方法。

10.如权利要求9所述的超高功率激光焊接全过程监测系统，其特征在于，所述双高速相机监测装置包括两个相机、两个辅助光源设备与同步触发装置，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，所述同步触发装置与两个相机和两个辅助光源设备电性连接，用于使两个相机和两个辅助光源设备同步触发。

说明书

一种超高功率激光焊接全过程监测方法及系统

技术领域

[0001] 本发明涉及焊接检测技术领域，尤其涉及一种超高功率激光焊接全过程监测方法及系统。

背景技术

[0002] 激光焊接具有焊缝深宽比大、能量密度高、焊接速度快和易于实现自动化等优点，是轨道交通、海工装备、桥梁建筑等领域不锈钢构件高质高效制造的重要手段，不锈钢中厚板超高功率激光焊接质量的保障与评估离不开焊前拼接间隙跟踪、焊中过程状态预测和焊后焊缝质量分析。不锈钢中厚板超高功率激光焊接焊前、焊中、焊后监测对象差异大，如焊前焊接间隙、焊中小孔和熔池以及运动飞溅、焊后焊缝和凝固飞溅，传统光电二极管、麦克风、光谱仪等传感器只能获得焊接过程中的信号，线结构光传感器可以很好获取焊前和焊后信号数据，但难以获得焊中小孔、熔池和飞溅数据。

[0003] 视觉信号可以直接获取反映焊前、焊中、焊后三个阶段的信号，是实现焊前‑焊中‑焊后全过程监测的理想传感器。然而，不锈钢中厚板超高功率激光焊接过程中金属蒸汽喷发剧烈，金属蒸汽对焊接过程中视觉信号的干扰难以去除；且采用单一高速相机通过调整参数只能获取单一阶段的信号；焊接过程中的小孔、熔池和飞溅特征提取困难，特征与焊接过程状态间的关联关系不清。因此解决上述难题是实现不锈钢中厚板超高功率激光焊接焊前‑焊中‑焊后全过程监测的关键。

[0004] 目前，国内外对不锈钢中厚板超高功率激光焊接焊前‑焊中‑焊后全过程监测方法研究匮乏，大多采用多种类型的传感器分别对焊前‑焊中‑焊后三个阶段进行检测，传感器的复合提高了数据处理、软件集成和监测平台构建的难度，且数据类型多，处理过程复杂易导致监测方法缺乏实时性，无法为焊接过程反馈控制提供依据，并且传统基于单一高速相机的旁轴监测方法通常只能保证临近高速相机的熔池轮廓、焊缝、凝固飞溅清晰，实现焊接全过程监测困难。

发明内容

[0005] 有鉴于此，本发明提出了一种超高功率激光焊接全过程监测方法及系统，解决大型复杂构件不锈钢板超高功率激光焊接焊前‑焊中‑焊后全过程快速、精准监测和质量评估的难题，为焊前拼接间隙跟踪、焊中焊接状态评估和反馈控制、焊后焊接质量分析提供可靠手段。

[0006] 本发明的技术方案是这样实现的：

[0007] 一方面，本发明提供了一种超高功率激光焊接全过程监测方法，基于设置两个相机与两个辅助光源设备实现，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，所述方法包括以下步骤：

[0008] S1、两个辅助光源设备同步且非连续地发出辅助光源，两个相机同步且连续地对焊接区域进行拍摄，获取焊接区域的有辅助光源与无辅助光源不断交替的监测图像；

[0009] S2、对有辅助光源的监测图像与无辅助光源的监测图像分别进行预处理；

[0010] S3、从预处理后的无辅助光源监测图像中获取运动飞溅ROI图像；

[0011] S4、融合两个相机同时刻拍摄且预处理后的无辅助光源监测图像，得到无辅助光源融合图像，并从无辅助光源融合图像中获取第一熔池ROI图像；

[0012] S5、融合两个相机同时刻拍摄且预处理后的有辅助光源监测图像，得到有辅助光源融合图像，并从有辅助光源融合图像中获取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像；

[0013] S6、从小孔‑拼接间隙ROI图像中提取特征，进行焊前光斑‑间隙跟踪，并判断光斑是否位于间隙中心；

[0014] S7、从第一熔池ROI图像、第二熔池ROI图像和运动飞溅ROI图像中提取特征，进行焊中焊接状态预测；

[0015] S8、从焊缝‑凝固飞溅ROI图像中提取特征，进行焊后焊缝质量评估。

[0016] 在以上技术方案的基础上，优选的，在步骤S1之前，还包括使用标定板对两个相机进行标定，使标定板中心线与经过焊接小孔中心、熔池尾部和焊缝中心的直线重合。

[0017] 进一步优选的，所述步骤S4包括以下子步骤：

[0018] S41、根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的无辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分；

[0019] S42、将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得无辅助光源融合图像；

[0020] S43、从无辅助光源融合图像中截取第一熔池ROI图像。

[0021] 进一步优选的，所述步骤S5包括以下子步骤：

[0022] S51、根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的有辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分；

[0023] S52、将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得有辅助光源融合图像；

[0024] S53、从有辅助光源融合图像中截取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像。

[0025] 在以上技术方案的基础上，优选的，所述步骤S6包括以下子步骤：

[0026] S61、从小孔‑拼接间隙ROI图像中提取小孔中心点坐标特征、拼接间隙接近光斑处的中心坐标特征与拼接间隙接近小孔‑拼接间隙ROI图像边缘的宽度特征；

[0027] S62、通过小孔中心点坐标特征和拼接间隙中心坐标特征，获得坐标差值；

[0028] S63、设定差值范围，使得坐标差值保持在差值范围内；

[0029] S64、通过拼接间隙宽度特征，提前确定需焊接的后一位置间隙均匀度，判断光斑移动至该位置是否需要调整位置。

[0030] 在以上技术方案的基础上，优选的，所述步骤S7包括以下子步骤：

[0031] S71、提取运动飞溅ROI图像中所有飞溅的特征，获得运动飞溅二值图像；

[0032] S72、将时间上连续的运动飞溅二值图像融合，进行飞溅轨迹的重构，并根据飞溅轨迹获得飞溅数量特征；

[0033] S73、提取第一熔池ROI图像中的熔池特征，包括熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征；

[0034] S74、构建焊缝熔透状态预测模型，以第一熔池ROI图像与第二熔池ROI图像为输入，焊缝熔透状态为输出，进行焊缝熔透状态的预测；

[0035] S75、构建焊缝余高和熔深预测模型，以熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征为输入，焊缝余高和焊缝深度为输出，预测焊缝的余高和深度；

[0036] S76、根据飞溅数量特征、焊缝熔透状态、余高和深度预测结果综合判断焊中焊接状态。

[0037] 进一步优选的，所述步骤S75中的焊缝余高和熔深预测模型基于深度置信网络构建，包括依次连接的输入层、两个隐含层和输出层。

[0038] 在以上技术方案的基础上，优选的，所述步骤S8包括以下子步骤：

[0039] S81、按照一定的图像间隔提取焊缝‑凝固飞溅ROI图像，获得真实图像集；

[0040] S82、在真实图像集的焊缝‑凝固飞溅ROI图像上，标注飞溅、焊瘤和焊缝，获得标签图像集；

[0041] S83、构建轻量化焊缝图像语义分割模型，并使用真实图像集与标签图像集进行训练，所述构建轻量化焊缝图像语义分割模型用于分割图像中的焊缝、飞溅和焊瘤；

[0042] S84、将真实图像集中的图像依次拼接融合，获得完整尺寸的焊缝图像；

[0043] S85、获取焊缝图像的宽度特征、飞溅和焊瘤的尺寸与位置特征，以及焊中焊接状态预测情况，给出缺陷的位置和尺寸。

[0044] 另一方面，本发明提供了一种超高功率激光焊接全过程监测系统，包括双高速相机监测装置与数据处理服务器，所述双高速相机监测装置用于采集焊接区域有辅助光源与无辅助光源交替的监测图像，所述双高速相机监测装置与数据处理服务器通信连接，所述数据处理服务器嵌入了上述的监测方法。

[0045] 在以上技术方案的基础上，优选的，所述双高速相机监测装置包括两个相机、两个辅助光源设备与同步触发装置，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，所述同步触发装置与两个相机和两个辅助光源设备电性连接，用于使两个相机和两个辅助光源设备同步触发。

[0046] 本发明的超高功率激光焊接全过程监测方法及系统相对于现有技术具有以下有益效果：

[0047] （1）通过设置两个互为镜像的相机与两个互为镜像的辅助光源设备，进行有辅助光源与无辅助光源交替拍摄，可以通过两个高速相机准确获取焊前‑焊中‑焊后全过程监测信息，在监测图像融合后，去除了金属蒸汽干扰和大部分飞溅干扰，为全过程监测和质量评估提供了可靠数据；

[0048] （2）提出的有/无辅助光源交替方式，解决了高速相机难以同时获取三个阶段监测信息的难题，当有辅助光源时，焊接间隙、焊缝和凝固飞溅等监测对象被准确获取，当无辅助光源时，小孔、熔池、运动飞溅被准确观测，为后续评估与追踪提供了准确数据；

[0049] （3）通过获取到的监测图像，并进行多种ROI图像提取，可以准确获取多种监测对象的特征，简化了图像处理流程，降低了特征提取难度，单一监测信号可以将焊前‑焊中‑焊后监测信息进行串联，焊前用于焊中、焊中用于焊中、焊中用于焊后；

[0050] （4）提出的焊前拼接间隙跟踪、焊中焊接状态预测和焊后焊缝质量评估方法能够根据不同的特征快速、准确实现监测目的，焊前监测结果可以用于提前调整光束中心位置，保障焊接质量，焊中监测结果可以用于预测焊接过程状态，给出焊中调整建议，此外为焊后质量评估提供难以直接获取数据，焊后监测结果用于焊后质量评估、为焊缝和缺陷的后处理提供数据。

附图说明

[0051] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0052] 图1为本发明的超高功率激光焊接全过程监测方法的步骤示意图；

[0053] 图2为本发明的超高功率激光焊接全过程监测方法相机获取的有辅助光源监测图像示例图；

[0054] 图3为本发明的超高功率激光焊接全过程监测方法相机获取的无辅助光源监测图像示例图；

[0055] 图4为本发明的超高功率激光焊接全过程监测系统的结构示意图；

[0056] 图5为本发明的超高功率激光焊接全过程监测系统的标定板示意图。

具体实施方式

[0057] 下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

[0058] 焊前、焊中、焊后对焊缝质量均会产生影响，传统方法难以实现焊接全过程快速、精准、全面、直观监测。视觉信号可以直接获取反映焊前、焊中、焊后三个阶段的信号，但是在不锈钢中厚板超高功率激光焊接中面临如下问题：1）超高功率激光焊接过程中金属蒸汽喷发剧烈，金属蒸汽对焊接过程中视觉信号的干扰难以去除；2）采用单一高速相机通过调整参数只能获取单一阶段的信号，高速相机清晰成像区域非常窄；3）焊接过程中的小孔、熔池和飞溅特征提取困难，如小孔熔池部分区域被金属蒸汽遮挡，无法快速获取准确的特征，此外特征与焊接过程状态间的关联关系不清，焊接过程状态预测困难。

[0059] 如图1‑5所示，本发明的超高功率激光焊接全过程监测方法，基于设置两个相机与两个辅助光源设备实现，两个所述相机与两个所述辅助光源设备均镜像设置在焊接方向的两侧，本方法通过视觉信号进行焊前、焊中、焊后的焊接全过程监测，并采用图像处理技术，解决监测过程中的其他问题，具体包括步骤S1‑S8。

[0060] 在使用本方法之前，需要采用特制的标定板对相机进行标定，且相机应当选用为高速相机，为了方便进行说明，以焊接方向为X轴，水平面上垂直于X轴的方向为Y轴，竖直方向为Z轴，在一个具体的实施例中，特制标定板厚度为6mm，标定板上进行了预加工，焊缝、熔池、小孔的中心线与标定板中心线重合；高速相机标定前需搭建好位置，两台高速相机均处于Y‑Z平面，呈镜像布置；在Y‑Z高速相机同一平面上镜像布置两个激光脉冲式辅助光源设备，辅助光源设备的脉冲频率需高于高速相机采样频率的一半。

[0061] 步骤S1：两个辅助光源设备同步且非连续地发出辅助光源，两个相机同步且连续地对焊接区域进行拍摄，获取焊接区域的有辅助光源与无辅助光源不断交替的监测图像。

[0062] 如图2‑3所示，在同一时刻，两个相机同时拍摄焊接区域，且拍摄过程中无辅助光源，获得无辅助光源监测图像，并在下一时刻，辅助光源与相机同步工作，获得有辅助光源监测图像，并在后续时刻不断循环，即可得到有辅助光源与无辅助光源交替的监测图像，在图2‑3中可以看到，两个图像由于拍摄时刻不同，飞溅的位置在图像中存在细微差别，由于时间间隔较小，可以认为连续两张监测图像采样位置一样，但辅助光源不同，而对于这些图像，将两个相机所拍摄的图像进行编号，并分为数据集1和数据集2，然后根据图像编号通过自编程程序自动分为有辅助光源监测图像数据集Yi和无辅助光源图像数据集Wi，其中i为数据集编号，取值1或2，也就是说在本步骤中，实际获得了四个数据集。

[0063] 步骤S2：对有辅助光源的监测图像与无辅助光源的监测图像分别进行预处理。

[0064] 针对两台高速相机获取的有辅助光源监测图像数据集Yi，辅助光源的引入可以减弱金属蒸汽的干扰，照亮焊板表面，包括拼接间隙、凝固焊缝、焊瘤和凝固飞溅，且在辅助光源照射下熔池上下轮廓清晰，小孔轮廓清晰；为了突出上述区域，对图像进行预处理，包括分阶段线性拉伸、均值滤波、线性点运算和图像坐标化。

[0065] 相应的，针对两台高速相机获取的无辅助光源监测图像数据集Wi，在无辅助光源照射时，监测图像中能清楚的观察到清晰的熔池、小孔和运动飞溅，此时由于熔池内为熔融金属具有一定的反光能力，因此熔池各位置的轮廓清晰；为了突出上述区域，对图像进行预处理，包括分阶段线性拉伸、均值滤波、线性点运算和图像坐标化。

[0066] 步骤S3：从预处理后的无辅助光源监测图像中获取运动飞溅ROI图像。

[0067] 无辅助光源监测图像即为两个相机拍摄的无辅助光源图像数据集Wi中的图像，将无辅助光源图像数据集Wi中的图像进行裁剪，提取ROI区域，获得运动飞溅ROI图像，由于无辅助光源图像数据集Wi中的图像为连续拍摄形成，对其进行依次处理即可得到由运动飞溅ROI图像形成的运动飞溅图像集，在本实施方式中，运动飞溅ROI图像的尺寸为360像素×300像素。

[0068] 步骤S4：融合两个相机同时刻拍摄且预处理后的无辅助光源监测图像，得到无辅助光源融合图像，并从无辅助光源融合图像中获取第一熔池ROI图像。

[0069] 由于两台高速相机分别位于焊接区域两侧，且镜像布置，因此两台高速相机最清晰区域互补，均为一半的焊接区域，融合后即可获得完整的焊接区域监测图像，本步骤具体包括步骤S41‑S43。

[0070] 步骤S41：根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的无辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分。

[0071] 根据坐标化的预处理图像参数和标定板参数，确定过小孔中心、熔池尾部和焊缝中心的直线与标定板中心线重合，通过中心线对监测图像进行裁剪，获得图像最清晰的一半区域，另外，由于两个相机均在相同时刻进行同步拍摄，分别拍摄无辅助光源图像数据集Wi中，各个图像均可匹配到相同时刻的另一图像。

[0072] 步骤S42：将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得无辅助光源融合图像。

[0073] 将两台高速相机同一时刻获取的与处理后的无辅助光源监测图像最清晰的一半区域进行融合，由于两台高速相机分别位于焊接区域两侧，且镜像布置，因此两台高速相机最清晰区域互补，均为一半的焊接区域，融合后即可获得完整的焊接区域监测图像，由于金属蒸汽和大部分飞溅均处于监测图像中中心线之上的区域，对图像进行裁剪后，金属蒸汽和大部分飞溅干扰被去除，在焊接区域融合监测图像中几乎没有金属蒸汽干扰，大部分的飞溅干扰也已去除。

[0074] 当所有的无辅助光源监测图像成对匹配融合，并依次获得相应的无辅助光源融合图像，即可得到由无辅助光源融合图像组成的无辅助光源融合图像数据集Fw。

[0075] 步骤S43：从无辅助光源融合图像中截取第一熔池ROI图像。

[0076] 获得无辅助光源融合图像数据集Fw后，根据焊前、焊中、焊后监测目标截取无辅助光源融合图像数据集Fw中，无辅助光源融合图像的ROI图像，进而获得第一熔池ROI图像，具体尺寸为300像素×80像素，将所有的第一熔池ROI图像的集合作为第一熔池数据集。

[0077] 步骤S5：融合两个相机同时刻拍摄且预处理后的有辅助光源监测图像，得到有辅助光源融合图像，并从有辅助光源融合图像中获取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像。

[0078] 与步骤S4类似的，由于两台高速相机分别位于焊接区域两侧，且镜像布置，因此两台高速相机最清晰区域互补，均为一半的焊接区域，融合后即可获得完整的焊接区域监测图像，本步骤具体包括步骤S51‑S53。

[0079] 步骤S51：根据标定板标定的中心线，将两个相机同时刻拍摄且预处理后的有辅助光源监测图像进行裁剪，并保留该时刻两个图像裁剪后的清晰部分。

[0080] 根据坐标化的预处理图像参数和标定板参数，确定过小孔中心、熔池尾部和焊缝中心的直线与标定板中心线重合，通过中心线对监测图像进行裁剪，获得图像最清晰的一半区域，另外，由于两个相机均在相同时刻进行同步拍摄，分别拍摄有辅助光源图像数据集Yi中，各个图像均可匹配到相同时刻的另一图像。

[0081] 步骤S52：将该时刻两个图像裁剪后的清晰部分进行融合，去除金属蒸汽干扰，获得有辅助光源融合图像。

[0082] 将两台高速相机同一时刻获取的监测图像最清晰的一半区域进行融合，由于两台高速相机分别位于焊接区域两侧，且镜像布置，因此两台高速相机最清晰区域互补，均为一半的焊接区域，融合后即可获得完整的焊接区域监测图像，由于金属蒸汽和大部分飞溅均处于监测图像中中心线之上的区域，对图像进行裁剪后，金属蒸汽和大部分飞溅干扰被去除，在焊接区域融合监测图像中几乎没有金属蒸汽干扰，大部分的飞溅干扰也已去除。

[0083] 当所有的有辅助光源监测图像成对匹配融合，并依次获得相应的有辅助光源融合图像，即可得到由有辅助光源融合图像组成的有辅助光源融合图像数据集Fy。

[0084] 步骤S53：从有辅助光源融合图像中截取小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像。

[0085] 从有辅助光源融合图像数据集Fy的图像中，根据焊前、焊中、焊后监测目标截取ROI图像，所截取的ROI图像包括小孔‑拼接间隙ROI图像、第二熔池ROI图像和焊缝‑凝固飞溅ROI图像，其中的小孔‑焊接间隙ROI图像，尺寸为120像素×60像素，焊缝‑凝固飞溅ROI图像，尺寸为80像素×360像素，第二熔池ROI图像的尺寸则与第一熔池ROI图像的尺寸相同。

[0086] 步骤S6：从小孔‑拼接间隙ROI图像中提取特征，进行焊前光斑‑间隙跟踪，并判断光斑是否位于间隙中心。

[0087] 通过有辅助光源融合图像数据集Fy获得的小孔‑拼接间隙ROI图像为连续的多个ROI图像。

[0088] 通过小孔与拼接间隙在ROI图像中的坐标以及距离图像边沿宽度等特征，可实现下一时刻焊接位置的预测，从而进行焊前跟踪，具体包括步骤S61‑S64。

[0089] 步骤S61：从小孔‑拼接间隙ROI图像中提取小孔中心点坐标特征、拼接间隙接近光斑处的中心坐标特征与拼接间隙接近小孔‑拼接间隙ROI图像边缘的宽度特征。

[0090] 通过图像处理方法提取小孔拼接间隙特征，主要为小孔中心点坐标和拼接间隙接近光斑处的中心坐标特征、拼接间隙接近ROI图像边缘的宽度特征，其中小孔和拼接间隙特征提取的图像处理方法，包括阈值分割、形态学处理、图像反转、图像坐标化和坐标值计算。

[0091] 步骤S62：通过小孔中心点坐标特征和拼接间隙中心坐标特征，获得坐标差值。

[0092] 具体的，获得小孔中心点Y轴坐标与拼接间隙中心Y轴坐标差值。

[0093] 步骤S63：设定差值范围，使得坐标差值保持在差值范围内。

[0094] 需保证步骤S62中所获得的坐标差值在设定的差值范围内。

[0095] 步骤S64：通过拼接间隙宽度特征，提前确定需焊接的后一位置间隙均匀度，判断光斑移动至该位置是否需要调整位置。

[0096] 获得拼接间隙宽度特征，即可判断后续焊接部分，焊接间隙的均匀程度，通过坐标差值与焊接间隙的均匀程度，即可对光斑到达该处位置时是否需要调整位置进行评估，进而实现焊接间隙的焊前跟踪监测。

[0097] 步骤S7：从第一熔池ROI图像、第二熔池ROI图像和运动飞溅ROI图像中提取特征，进行焊中焊接状态预测。

[0098] 通过第一熔池数据集、第二熔池数据集与运动飞溅图像集进行焊中状态预测，具体包括步骤S71‑S76。

[0099] 步骤S71：提取运动飞溅ROI图像中所有飞溅的特征，获得运动飞溅二值图像。

[0100] 在本步骤中，需通过图像处理方法提取运动飞溅图像集中，所有图像的飞溅特征，并获得运动飞溅ROI图像相应的运动飞溅二值图像，形成飞溅二值化图像集。

[0101] 具体的图像处理方法包括阈值分割、形状识别和形态学处理。

[0102] 步骤S72：将时间上连续的运动飞溅二值图像融合，进行飞溅轨迹的重构，并根据飞溅轨迹获得飞溅数量特征。

[0103] 将飞溅二值化图像集中的所有图像进行融合，实现飞溅轨迹重构，即可获得所有飞溅的数量特征。

[0104] 步骤S73：提取第一熔池ROI图像中的熔池特征，包括熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征。

[0105] 通过图像处理方法，提取第一熔池数据集各个第一熔池ROI图像中的熔池特征，具体为熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部四个位置的宽度特征，其中图像处理方法包括阈值分割、形态学处理、轮廓提取、图像坐标化和坐标值计算。

[0106] 步骤S74：构建焊缝熔透状态预测模型，以第一熔池ROI图像与第二熔池ROI图像为输入，焊缝熔透状态为输出，进行焊缝熔透状态的预测。

[0107] 首先构建基于深度学习的卷积神经网络，以有/无辅助光源的熔池ROI图像为输入，焊缝熔透状态为输出，构建焊缝熔透状态预测模型，预测焊缝熔透状态，其中的焊缝熔透状态分为三类，分别为未熔透、适度熔透和过熔透。

[0108] 其中基于深度学习的卷积神经网络包括模型拥有5个卷积层、5个池化层和1个全连接层，并设置了Softmax函数用来计算每个熔透类别的预测概率。卷积核的尺寸在第一层为7×7，第二层为5×5，第三、四、五层为3×3；卷积操作的步长均为1。池化层的核大小为2×2，步长为2；采用最大池化法进行特征下采样，每次特征图像通过池化层进行下采样后，特征的高和宽都将减小一半。

[0109] 步骤S75：构建焊缝余高和熔深预测模型，以熔池的宽度特征、熔池的长度特征、熔池的面积特征与熔池尾部多个位置的宽度特征为输入，焊缝余高和焊缝深度为输出，预测焊缝的余高和深度。

[0110] 通过金相实验获取凝固焊缝余高数据和焊缝深度数据，构建基于深度学习的深度置信网络，以熔池宽度、长度、面积特征和熔池尾部四个位置的宽度特征为输入，焊缝余高和焊缝深度为输出，构建焊缝余高和熔深预测模型，预测焊缝余高和深度。

[0111] 其中，基于深度学习的深度置信网络包括输入层、两个隐含层和输出层，模型的学习率、学习动量和训练批次大小分别为0.1、1和50。

[0112] 步骤S76：根据飞溅数量特征、焊缝熔透状态、余高和深度预测结果综合判断焊中焊接状态。

[0113] 根据飞溅数量特征、焊缝熔透状态、余高和深度预测结果综合判断焊中焊接状态，给出焊缝质量预测结果，并根据结果进行停机、离焦量调整、光斑位置调整、无需操作等建议。

[0114] 步骤S8：从焊缝‑凝固飞溅ROI图像中提取特征，进行焊后焊缝质量评估。

[0115] 有辅助光源融合图像数据集Fy中包含了若干个连续的有辅助光源融合图像，即提取了相同数量的焊缝‑凝固飞溅ROI图像，将其进行特征提取并融合，即可获得焊接后具有各种缺陷的完整焊缝图像，具体包括步骤S81‑S85。

[0116] 步骤S81：按照一定的图像间隔提取焊缝‑凝固飞溅ROI图像，获得真实图像集。

[0117] 根据图像间隔、焊接速度和图像像素与实际尺寸比例尺，确定提取的两张相邻焊缝‑凝固飞溅ROI图像的重叠区域，保证重叠区域宽度Wc在规定范围内，在本实施例中为1/6ROI图像宽度＜Wc＜1/4ROI图像宽度。

[0118] 步骤S82：在真实图像集的焊缝‑凝固飞溅ROI图像上，标注飞溅、焊瘤和焊缝，获得标签图像集。

[0119] 通过labelme标注工具依次标出焊缝‑凝固飞溅ROI图像的飞溅、焊瘤和焊缝，得到若干个具有标签的焊缝‑凝固飞溅ROI图像所形成的标签图像集，在本步骤中，为了给后续训练模型做准备，将真实图像集与标签图像集作为训练集。

[0120] 步骤S83：构建轻量化焊缝图像语义分割模型，并使用真实图像集与标签图像集进行训练，所述构建轻量化焊缝图像语义分割模型用于分割图像中的焊缝、飞溅和焊瘤。

[0121] 基于迁移学习方法将专利ZL202310785154.5中构建的轻量化焊缝图像语义分割模型作为基础模型，采用训练集对模型进行微调，使模型能精准分割焊缝、飞溅和焊瘤，采用迁移学习方法可以大幅减少训练数据，通过少量样本即可构建高性能语义分割模型，提高模型构建速度和精度。

[0122] 具体的，轻量化焊缝图像语义分割模型基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建，包括以Deeplabv3+为主框架设置的编码部分与解码部分，编码部分用于特征下采样，其包括主干特征提取网络与空间池化金字塔模块，所述主干特征提取网络用于获得输入图像浅层特征，其包括Mobilenetv2框架和空洞卷积，所述空间池化金字塔模块用于获得多种感受野下的特征，得到输入图像的深层特征，空间池化金字塔模块具有五个并行分支，包括一个1×1的卷积层、三个3×3的卷积层和一个全局平均池化层，拼接五个所述并行分支的输出特征，并通过一个1×1的卷积层进行信息融合，其中空间池化金字塔模块也被称为ASPP模块，解码部分用于特征上采样，其包括CBAM注意力机制模块、卷积单元、融合单元和上采样单元，通过编码部分下采样与解码部分上采样，输出与输入图像同尺寸的语义分割图像。

[0123] 步骤S84：将真实图像集中的图像依次拼接融合，获得完整尺寸的焊缝图像。

[0124] 根据真实图像集中的焊缝‑凝固飞溅ROI图像与相邻图像重叠区域宽度Wc，进行剪裁，并拼接融合，获得完整尺寸的焊缝图像。

[0125] 步骤S85：获取焊缝图像的宽度特征、飞溅和焊瘤的尺寸与位置特征，以及焊中焊接状态预测情况，给出缺陷的位置和尺寸。

[0126] 获取焊缝图像中飞溅和焊瘤的尺寸与位置特征，以及焊中预测获取的焊缝余高和深度特征，综合评估焊后焊缝的质量，给出缺陷的位置和尺寸，为后续焊缝缺陷的去除提供数据。

[0127] 如图4‑5所示，本发明的超高功率激光焊接全过程监测系统，包括双高速相机监测装置1与数据处理服务器2，所述双高速相机监测装置1用于采集焊接区域有辅助光源与无辅助光源交替的监测图像，所述双高速相机监测装置1与数据处理服务器2通信连接，所述数据处理服务器2嵌入了上述的监测方法。

[0128] 其中，双高速相机监测装置1包括两个相机11、两个辅助光源设备12与同步触发装置13，两个所述相机11与两个所述辅助光源设备12均镜像设置在焊接方向的两侧，所述同步触发装置13与两个相机11和两个辅助光源设备12电性连接，用于使两个相机11和两个辅助光源设备12同步触发，需要注意的是，辅助光源设备12的脉冲频率需高于高速相机11采样频率的一半。

[0129] 高速相机11采样图像通过数据采集卡后保存于数据处理服务器2，高速相机11监测图像导出前在高速相机11软件中进行微调，主要内容为增益调整、亮度调整和伽马校正，导出的高速相机11监测图像根据相机编号分为数据集1和数据集2。

[0130] 在一个具体的实施方式中，标定板3为铝合金，厚度为6mm，标定板3上预加工出焊缝、熔池、小孔、光斑、飞溅以及8×8的网格，单个网格的尺寸为1mm×1mm，焊缝、熔池、小孔的中心线与标定板中心线重合；高速相机11标定前需搭建好位置，高速相机11与水平面的夹角为45度，高速相机11镜头最低点与焊接移动平台间的距离为8.5mm；两台高速相机11均处于Y‑Z平面，呈镜像布置，两台高速摄像机的型号、镜头型号以及滤光片等参数均相同；在Y‑Z高速相机11同一平面上镜像布置两个脉冲辅助光源，辅助光源的脉冲频率需高于高速相机11采样频率的一半；设置高速相机11的采样频率设为10000Hz，辅助光源的频率为5000Hz，因此在任意连续的两张监测图像中，如果一张监测图像有辅助光源照射，则另一张相邻的监测图像没有辅助光源照射。

[0131] 由于高速相机11采样频率高，两张监测图像间的时间间隔仅为0.1ms，可认为连续两张监测图像采样位置一样，但辅助光源不同。

[0132] 在高速相机11上还配备有变焦镜头、滤光片和保护镜片，高速相机11在800像素×400像素分辨率下的采样频率高于10000Hz，脉冲激光辅助光源设备的输出波长为808nm，变焦镜头的焦距为70～300mm；所述标定板为6mm厚铝合金，在表面进行了预加工，另外同步触发装置13直接选用同步触发器，同步触发装置13只让相机和脉冲同时打开，而相机11拍摄两次，辅助光源设备12发出一次脉冲光源，直接通过设置频率进行控制。

[0133] 以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。