本发明属于计算机视觉领域，具体的说是基于深度学习的锂电池模组侧面焊缝外观检测方法及系统，包括样本收集、焊缝标注，收集各类型号的侧焊缝深度信息图并使用标注工具对图中焊缝位置进行标注生成掩膜图或文本文件；通过锂电池模组侧面焊缝外观检测方法，更好地解决了因焊缝部分表面较为光滑容易产生反光从而影响焊缝成像质量，使得检测时易出现焊缝定位不准确或误判的问题，稳定生产情况下可达到过检≤0.5％，漏检0％，完全满足动力锂电池模组端侧板焊接后的焊缝检测要求。
1.基于深度学习的锂电池模组侧面焊缝外观检测方法，其特征在于：该方法步骤如下；
S0‑0样本数据制作，包括样本收集、焊缝标注，收集各类型号的侧焊缝深度信息图并使用标注工具对图中焊缝位置进行标注生成掩膜图或文本文件；
S0‑1预处理，用于数据增强，在0到360度角度范围内旋转掩模图及对应原图，或对原图进行图像增强或平滑处理，生成更多的数据样本；
S0‑2模型训练，将制作并预处理后的样本输入网络中进行模型训练，得到可用于预测图片中焊缝位置并输出焊缝掩膜图像的模型；
其中，所述的基于深度学习的锂电池模组侧面焊缝外观检测方法，还包括焊缝定位，从图片中获取焊缝中线两侧预设范围的ROI，将该ROI传进S0‑2训练得到的Model中进行预测，获取二值焊缝mask，其主要步骤包括：S1‑0 3D图获取，将客户端软件采集到的3D数据转换成含有深度信息的2D图像；
S1‑1预处理，对含有深度信息的2D图像进行图像增强，突出焊缝轮廓特征；
S1‑2焊缝ROI提取，通过方法获取端侧板切口作为焊缝中线所在位置，并以此中线两侧预设范围作为焊缝ROI；
S1‑3通过S0‑2训练得到的Model对ROI中的焊缝位置进行预测，获取焊缝mask并以二值图输出；
其中，所述的基于深度学习的锂电池模组侧面焊缝外观检测方法，还包括焊缝检测，所述动力锂电池模组侧边焊缝的检测项目主要包括端侧错位、侧板超端板、焊缝余高、下榻、爆孔、长度和宽度检测项，检测过程对应如下步骤：S2‑0端侧板位置检测，通过检测产品端板及侧板所在位置以判断是否存在侧板超端板，通过判断端板及侧板截面高度以判断是否存在端侧错位；
S2‑1焊缝截面高度计算，通过S1‑2所提取的含深度信息的焊缝ROI及S1‑3所获取的二值焊缝mask，计算焊缝各截面高度信息，通过计算得到的焊缝高度进一步判断焊缝是否存在余高、下榻和爆孔缺陷；
S2‑2焊缝长宽计算，通过S1‑3所获取的二值焊缝mask计算焊缝长度及各截面宽度，以此判断焊缝的长度及宽度是否合格。
2.基于深度学习的锂电池模组侧面焊缝外观检测系统，该系统适用于权利要求1所述的基于深度学习的锂电池模组侧面焊缝外观检测方法，其特征在于：该系统包括防护模块、供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块，所述防护模块包括内有供电模块和测量模块，所述数据识别模块内包括有数字识别模块和图形处理模块，所述数据存储模块内包括有反馈模块。
3.根据权利要求2所述的基于深度学习的锂电池模组侧面焊缝外观检测系统，其特征在于：所述防护模块用于保护供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块避免出现物理损坏，供电模块对测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块进行供电。
4.根据权利要求3所述的基于深度学习的锂电池模组侧面焊缝外观检测系统，其特征在于：所述测量模块获取锂电池模组侧面焊缝，之后转换为电信号输送给数据识别模块，数据识别模块通过数字识别模块和图形处理模块对电信号进行数值分析，之后将数值输送到中央处理器模块。
5.根据权利要求4所述的基于深度学习的锂电池模组侧面焊缝外观检测系统，其特征在于：所述中央处理器对数值进行分析处理，然后保存到数据存储模块内。
6.根据权利要求5所述的基于深度学习的锂电池模组侧面焊缝外观检测系统，其特征在于：所述反馈模块借助通过显示器对数据储存模块的数值进行图像和数字显示。
基于深度学习的锂电池模组侧面焊缝外观检测方法及系统
技术领域
[0001] 本发明涉及计算机视觉领域，具体是基于深度学习的锂电池模组侧面焊缝外观检测方法及系统。
背景技术
[0002] 目前新能源汽车行业发展迅速，动力锂电池作为新能源汽车的心脏，其质量决定了整车的续航能力及安全性能。
[0003] 目前行业内已有采用机器视觉对焊缝进行检测的相关应用，但大部分基于2D图像进行检测，该方法只能检测焊缝的长度和宽度，对于焊缝的高度则无法检测，而且产品使用2D相机进行成像时，因焊缝部分表面较为光滑容易产生反光从而影响焊缝成像质量，使得检测时易出现焊缝定位不准确或误判的问题；因此，针对上述问题提出基于深度学习的锂电池模组侧面焊缝外观检测方法及系统。
发明内容
[0004] 为了弥补现有技术的不足，解决目前行业内已有采用机器视觉对焊缝进行检测的相关应用，但大部分基于2D图像进行检测，该方法只能检测焊缝的长度和宽度，对于焊缝的高度则无法检测，而且产品使用2D相机进行成像时，因焊缝部分表面较为光滑容易产生反光从而影响焊缝成像质量，使得检测时易出现焊缝定位不准确或误判的问题，本发明提出基于深度学习的锂电池模组侧面焊缝外观检测方法及系统。
[0005] 本发明解决其技术问题所采用的技术方案是：本发明所述的基于深度学习的锂电池模组侧面焊缝外观检测方法，该方法步骤如下；
[0006] S0‑0样本数据制作，包括样本收集、焊缝标注，收集各类型号的侧焊缝深度信息图并使用标注工具对图中焊缝位置进行标注生成掩膜图或文本文件；
[0007] S0‑1预处理，主要用于数据增强，在0到360度角度范围内旋转掩模图及对应原图，或对原图进行图像增强或平滑处理，生成更多的数据样本；
[0008] S0‑2模型训练，将制作并预处理后的样本输入网络中进行模型训练，得到可用于预测图片中焊缝位置并输出焊缝掩膜图像的模型。
[0009] 基于深度学习的锂电池模组侧面焊缝外观检测方法还包括焊缝定位，从图片中获取焊缝中线两侧预设范围的ROI(region of interest)，将该ROI传进S0‑2训练得到的Model中进行预测，获取二值焊缝mask，其主要步骤包括：
[0010] S1‑0 3D图获取，将客户端软件采集到的3D数据转换成含有深度信息的2D图像；
[0011] S1‑1预处理，对含有深度信息的2D图像进行图像增强，突出焊缝轮廓特征；
[0012] S1‑2焊缝ROI提取，通过方法获取端侧板切口作为焊缝中线所在位置，并以此中线两侧预设范围作为焊缝ROI；
[0013] S1‑3通过S0‑2训练得到的Model对ROI中的焊缝位置进行预测，获取焊缝mask并以二值图输出。
[0014] 基于深度学习的锂电池模组侧面焊缝外观检测方法，还包括焊缝检测，所述动力锂电池模组侧边焊缝的检测项目主要包括端侧错位、侧板超端板、焊缝余高、下榻、爆孔、长度和宽度检测项，检测过程对应如下步骤：
[0015] S2‑0端侧板位置检测，通过检测产品端板及侧板所在位置以判断是否存在侧板超端板，通过判断端板及侧板截面高度以判断是否存在端侧错位；
[0016] S2‑1焊缝截面高度计算，通过S1‑2所提取的含深度信息的焊缝ROI及S1‑3所获取的二值焊缝mask，计算焊缝各截面高度信息，通过计算得到的焊缝高度进一步判断焊缝是否存在余高、下榻和爆孔缺陷；
[0017] S2‑2焊缝长宽计算，通过S1‑3所获取的二值焊缝mask计算焊缝长度及各截面宽度，以此判断焊缝的长度及宽度是否合格。
[0018] 基于深度学习的锂电池模组侧面焊缝外观检测系统，包括防护模块、供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块，所述防护模块包括内有供电模块和测量模块，所述数据识别模块内包括有数字识别模块和图形处理模块，所述数据存储模块内包括有反馈模块。
[0019] 优选的，所述防护模块用于保护供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块避免出现物理损坏，供电模块对测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块进行供电，通过防护模块对其它模块进行防护，避免其它模块在使用时出现物理损坏。
[0020] 优选的，所述测量模块获取锂电池模组侧面焊缝，之后转换为电信号输送给数据识别模块，数据识别模块通过数字识别模块和图形处理模块对电信号进行数值分析，之后将数值输送到中央处理器模块，通过数据识别模块对获取的焊缝数值进行分析处理，以获取准确焊缝数值。
[0021] 优选的，所述中央处理器对数值进行分析处理，然后保存到数据存储模块内，通过数据存储模块对焊缝数值进行保存，避免焊缝数值丢失。
[0022] 优选的，所述反馈模块借助通过显示器对数据储存模块的数值进行图像和数字显示，通过反馈模块对焊缝的数值进行数字显示，以方便人直观的看到焊缝数值。
[0023] 本发明的有益之处在于：
[0024] 1.通过锂电池模组侧面焊缝外观检测方法，更好地解决了因焊缝部分表面较为光滑容易产生反光从而影响焊缝成像质量，使得检测时易出现焊缝定位不准确或误判的问题，稳定生产情况下可达到过检≤0.5％，漏检0％，完全满足动力锂电池模组端侧板焊接后的焊缝检测要求。
[0025] 2.通过锂电池模组侧面焊缝外观检测系统，获取焊缝数值，并对焊缝数值进行保存，同时可对保存的焊缝数值进行调取显示，解决了用人工手动测量或目测对焊缝数值进行检测，会出现检测效率低下，检测精度也会存在一定的误差。
附图说明
[0026] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0027] 图1为焊缝外观检测方法步骤示意图；
[0028] 图2为焊缝外观检测系统框图。
具体实施方式
[0029] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0030] 本发明具体实施方式
[0031] 请参阅图1‑2所示，基于深度学习的锂电池模组侧面焊缝外观检测方法，该方法步骤如下；
[0032] S0‑0样本数据制作，包括样本收集、焊缝标注，收集各类型号的侧焊缝深度信息图并使用标注工具对图中焊缝位置进行标注生成掩膜图或文本文件；
[0033] S0‑1预处理，主要用于数据增强，在0到360度角度范围内旋转掩模图及对应原图，或对原图进行图像增强或平滑处理，生成更多的数据样本；
[0034] S0‑2模型训练，将制作并预处理后的样本输入网络中进行模型训练，得到可用于预测图片中焊缝位置并输出焊缝掩膜图像的模型。
[0035] 基于深度学习的锂电池模组侧面焊缝外观检测方法还包括焊缝定位，从图片中获取焊缝中线两侧预设范围的ROI(region of interest)，将该ROI传进S0‑2训练得到的Model中进行预测，获取二值焊缝mask，其主要步骤包括：
[0036] S1‑0 3D图获取，将客户端软件采集到的3D数据转换成含有深度信息的2D图像；
[0037] S1‑1预处理，对含有深度信息的2D图像进行图像增强，突出焊缝轮廓特征；
[0038] S1‑2焊缝ROI提取，通过方法获取端侧板切口作为焊缝中线所在位置，并以此中线两侧预设范围作为焊缝ROI；
[0039] S1‑3通过S0‑2训练得到的Model对ROI中的焊缝位置进行预测，获取焊缝mask并以二值图输出。
[0040] 基于深度学习的锂电池模组侧面焊缝外观检测方法，还包括焊缝检测，所述动力锂电池模组侧边焊缝的检测项目主要包括端侧错位、侧板超端板、焊缝余高、下榻、爆孔、长度和宽度检测项，检测过程对应如下步骤：
[0041] S2‑0端侧板位置检测，通过检测产品端板及侧板所在位置以判断是否存在侧板超端板，通过判断端板及侧板截面高度以判断是否存在端侧错位；
[0042] S2‑1焊缝截面高度计算，通过S1‑2所提取的含深度信息的焊缝ROI及S1‑3所获取的二值焊缝mask，计算焊缝各截面高度信息，通过计算得到的焊缝高度进一步判断焊缝是否存在余高、下榻和爆孔缺陷；
[0043] S2‑2焊缝长宽计算，通过S1‑3所获取的二值焊缝mask计算焊缝长度及各截面宽度，以此判断焊缝的长度及宽度是否合格。
[0044] 基于深度学习的锂电池模组侧面焊缝外观检测系统，包括防护模块、供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块，所述防护模块包括内有供电模块和测量模块，所述数据识别模块内包括有数字识别模块和图形处理模块，所述数据存储模块内包括有反馈模块。
[0045] 所述防护模块用于保护供电模块、测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块避免出现物理损坏，供电模块对测量模块、数据识别模块、中央处理器模块、数据存储模块、反馈模块、数字识别模块和图形处理模块进行供电，通过防护模块对其它模块进行防护，避免其它模块在使用时出现物理损坏。
[0046] 所述测量模块获取锂电池模组侧面焊缝，之后转换为电信号输送给数据识别模块，数据识别模块通过数字识别模块和图形处理模块对电信号进行数值分析，之后将数值输送到中央处理器模块，通过数据识别模块对获取的焊缝数值进行分析处理，以获取准确焊缝数值。
[0047] 所述中央处理器对数值进行分析处理，然后保存到数据存储模块内，通过数据存储模块对焊缝数值进行保存，避免焊缝数值丢失。
[0048] 所述反馈模块借助通过显示器对数据储存模块的数值进行图像和数字显示，通过反馈模块对焊缝的数值进行数字显示，以方便人直观的看到焊缝数值。
[0049] 工作原理，工作时，通过对焊缝位置进行标注生成掩膜图或文本文件，之后通过方法计算焊缝各截面高度信息，通过端侧板位置检测，以判断是否存在侧板超端板，通过判断端板及侧板截面高度以判断是否存在端侧错位，通过计算得到的焊缝高度进一步判断焊缝是否存在余高、下榻和爆孔缺陷，通过焊缝长宽计算，并以此判断焊缝的长度及宽度是否合格，通过系统对焊缝的进行的数值进行采集，之后通过分析采集的数值，再把数值通过反馈模块反应到显示屏上，人通过反应的数值来判断焊缝是否合格。
[0050] 本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0051] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
