一种新能源电池盒检测方法及系统转让专利

申请号 : CN202310664689.7

文献号 : CN116433656B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵继成张更强赵贵新姚攀封立泽郭鑫王秋霞

申请人 : 海斯坦普汽车组件(北京)有限公司

摘要 :

本发明涉及电池盒检测技术领域,提供了一种新能源电池盒检测方法及系统,方法包括:获取基础信息;当待检测电池盒进入预设区域时,多角度采集获取电池盒图像采集结果;结构件语义分割、检测点语义分割,获取第一检测区域列表、第二检测区域列表;分别对第一检测区域列表、第二检测区域列表进行校验;当校验通过时,生成电池盒尺寸检测合格指令,解决电池盒检测角度固定,导致测量所得的电池盒结构尺寸准确度有限,导致尺寸检测精度较低技术问题,从电池盒结构、关键检测点进行检测覆盖判断,细化电池盒检测,实现智能调整电池盒检测角度与检测距离,提高测量所得的电池盒结构尺寸准确度,进而保证电池盒尺寸检测精度技术效果。

权利要求 :

1.一种新能源电池盒检测方法,其特征在于,应用于新能源电池盒系统,所述系统与图像采集装置通信连接,包括:获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;

当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;

对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;

遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;

根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;

当校验通过时,生成电池盒尺寸检测合格指令;

其中,当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果,包括:根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表;

遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果;

其中,根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表,包括:获取所述图像采集装置的第一约束移动范围,获取所述待检测电池盒的第二约束活动范围;

根据所述第一约束移动范围和所述第二约束活动范围,从所述电池盒三维概念模型输出M个拍摄角度,所述M个拍摄角度包括M个电池盒定位信息和M个图像采集装置定位信息,M≥1,M为整数;

根据所述M个拍摄角度对所述电池盒三维概念模型进行数字拍摄,输出M个数字图像信息;

根据所述M个数字图像信息进行结构件覆盖度分析,获取第一评价因子;以及根据所述M个数字图像信息进行检测点覆盖度分析,获取第二评价因子;

当所述第一评价因子等于第一预设覆盖度,且所述第二评价因子等于第二预设覆盖度时,将所述M个电池盒定位信息和所述M个图像采集装置定位信息添加进所述拍摄角度列表;

当所述第一评价因子超过所述第一预设覆盖度,或所述第二评价因子超过所述第二预设覆盖度时,获取覆盖度交集图像,将完全交集图像对应的拍摄角度从所述M个拍摄角度中删除,获取L个拍摄角度的L个电池盒定位信息和L个图像采集装置定位信息添加进所述拍摄角度列表。

2.如权利要求1所述的方法,其特征在于,还包括:

当所述第一评价因子小于所述第一预设覆盖度,或所述第二评价因子小于所述第二预设覆盖度时,判断M是否大于或等于预设数量;

若M小于所述预设数量,对覆盖度缺陷结构件和覆盖度缺陷检测点进行角度补偿,生成多个补偿角度,结合所述M个拍摄角度添加进所述拍摄角度列表;

若M大于或等于所述预设数量,根据所述第一约束移动范围和所述第二约束活动范围从所述电池盒三维概念模型输出N个拍摄角度,基于所述N个拍摄角度重复优化设计,N≥1,N为整数。

3.如权利要求1所述的方法,其特征在于,遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果,包括:根据所述拍摄角度列表的第i拍摄角度控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取第i拍摄角度初始图像采集结果;

对所述第i拍摄角度初始图像采集结果进行清晰度评价,生成第一能量梯度特征量;

当所述第一能量梯度特征量小于或等于能量梯度特征阈值时,对所述第i拍摄角度初始图像采集结果进行清晰度增强处理,获取第i拍摄角度增强处理图像的第二能量梯度特征量;

当所述第二能量梯度特征量小于或等于能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果删除,生成图像采集失败指令进行所述第i拍摄角度的重复图像采集;

当所述第一能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果添加进所述电池盒图像采集结果;或当所述第二能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度增强处理图像添加进所述电池盒图像采集结果。

4.如权利要求1所述的方法,其特征在于,包括:

获取多个电池盒型号的多组电池盒图像,对所述多组电池盒图像进行结构件中心点定位和结构件边界定位,生成多组结构件标识信息;以及对所述多组电池盒图像进行检测中心点定位和检测点边界定位,生成多组检测点标识信息;

根据所述多组电池盒图像和所述多组结构件标识信息,基于u‑net神经网络,训练结构件语义分割模型;

根据所述多组电池盒图像的多组结构件分离结果和所述多组检测点标识信息,基于u‑net神经网络,训练检测点语义分割模型;

根据所述结构件语义分割模型进行结构件语义分割,根据所述检测点语义分割模型进行检测点语义分割。

5.如权利要求4所述的方法,其特征在于,根据所述多组电池盒图像和所述多组结构件标识信息,基于u‑net神经网络,训练结构件语义分割模型,包括:所述u‑net神经网络包括主干特征提取网络和加强特征提取网络;

根据所述多组电池盒图像对所述主干特征提取网络进行下采样训练,获取下采样输出结果;

根据所述下采样输出结果和所述多组结构件标识信息进行上采样训练,生成上采样训练结果;

当训练时交叉损失函数小于或等于预设损失量,且连续P次验证交叉损失函数小于或等于所述预设损失量时,生成所述结构件语义分割模型。

6.一种新能源电池盒检测系统,其特征在于,用于实施权利要求1‑5任意一项所述的一种新能源电池盒检测方法,包括:基础信息获取模块,用于获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;

图像采集模块,用于当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;

结构件语义分割模块,用于对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;

检测点语义分割模块,用于遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;

检测区域列表校验模块,用于根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;

检测合格指令生成模块,用于当校验通过时,生成电池盒尺寸检测合格指令;

拍摄角度列表生成模块,用于根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表;

电池盒图像采集结果获取模块,用于遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果;

第一、二约束活动范围获取模块,用于获取所述图像采集装置的第一约束移动范围,获取所述待检测电池盒的第二约束活动范围;

第一拍摄角度输出模块,用于根据所述第一约束移动范围和所述第二约束活动范围,从所述电池盒三维概念模型输出M个拍摄角度,所述M个拍摄角度包括M个电池盒定位信息和M个图像采集装置定位信息,M≥1,M为整数;

数字图像信息输出模块,用于根据所述M个拍摄角度对所述电池盒三维概念模型进行数字拍摄,输出M个数字图像信息;

第一评价因子获取模块,用于根据所述M个数字图像信息进行结构件覆盖度分析,获取第一评价因子;

第二评价因子获取模块,用于根据所述M个数字图像信息进行检测点覆盖度分析,获取第二评价因子;

图像采集装置定位信息添加模块,用于当所述第一评价因子等于第一预设覆盖度,且所述第二评价因子等于第二预设覆盖度时,将所述M个电池盒定位信息和所述M个图像采集装置定位信息添加进所述拍摄角度列表;

拍摄角度列表获取模块,用于当所述第一评价因子超过所述第一预设覆盖度,或所述第二评价因子超过所述第二预设覆盖度时,获取覆盖度交集图像,将完全交集图像对应的拍摄角度从所述M个拍摄角度中删除,获取L个拍摄角度的L个电池盒定位信息和L个图像采集装置定位信息添加进所述拍摄角度列表。

说明书 :

一种新能源电池盒检测方法及系统

技术领域

[0001] 本发明涉及电池盒检测相关技术领域,具体涉及一种新能源电池盒检测方法及系统。

背景技术

[0002] 近年来新能源汽车的销售量不断攀升,而新能源汽车电池盒的检测对于整个车辆的安全运行具有重要意义,在电池盒的检测过程中,目前主要依靠自动化视觉检测技术。
[0003] 根据自动化视觉检测技术,将检测对象(即电池盒)放在可控的光源下,依照预设令从电池盒的上方、下方、前方、后方、正左侧、正右侧六个角度采集,但,检测角度固定且缺乏合理性,进而导致测量所得的电池盒结构尺寸准确度有限,难以高效确定电池盒的实际结构信息,最终导致的结构检测缺乏可信度。
[0004] 综上所述,现有技术中电池盒检测角度固定,导致测量所得的电池盒结构尺寸准确度有限,导致尺寸检测精度较低的技术问题。

发明内容

[0005] 本申请通过提供了一种新能源电池盒检测方法及系统,旨在解决现有技术中的电池盒检测角度固定,导致测量所得的电池盒结构尺寸准确度有限,导致尺寸检测精度较低的技术问题。
[0006] 鉴于上述问题,本申请实施例提供了一种新能源电池盒检测方法及系统。
[0007] 本申请公开的第一个方面,提供了一种新能源电池盒检测方法,其中,应用于新能源电池盒系统,所述系统与图像采集装置通信连接,所述方法包括:获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;当校验通过时,生成电池盒尺寸检测合格指令。
[0008] 本申请公开的另一个方面,提供了一种新能源电池盒检测系统,其中,所述系统包括:基础信息获取模块,用于获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;图像采集模块,用于当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;结构件语义分割模块,用于对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;检测点语义分割模块,用于遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;检测区域列表校验模块,用于根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;检测合格指令生成模块,用于当校验通过时,生成电池盒尺寸检测合格指令。
[0009] 本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
[0010] 由于采用了获取待检测电池盒基础信息;当待检测电池盒进入预设区域时,多角度图像采集获取电池盒图像采集结果;结构件语义分割、检测点语义分割,获取第一检测区域列表、第二检测区域列表;分别对第一检测区域列表、第二检测区域列表进行校验;当校验通过时,生成电池盒尺寸检测合格指令,从电池盒结构、关键检测点进行检测覆盖判断,细化电池盒检测,实现了智能调整电池盒检测角度与检测距离,提高测量所得的电池盒结构尺寸准确度,进而保证电池盒尺寸检测精度的技术效果。
[0011] 上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

附图说明

[0012] 图1为本申请实施例提供了一种新能源电池盒检测方法可能的流程示意图;
[0013] 图2为本申请实施例提供了一种新能源电池盒检测方法中生成拍摄角度列表可能的流程示意图;
[0014] 图3为本申请实施例提供了一种新能源电池盒检测方法中结构件语义分割与检测点语义分割可能的流程示意图;
[0015] 图4为本申请实施例提供了一种新能源电池盒检测系统可能的结构示意图。
[0016] 附图标记说明:基础信息获取模块100,图像采集模块200,结构件语义分割模块300,检测点语义分割模块400,检测区域列表校验模块500,检测合格指令生成模块600。

具体实施方式

[0017] 本申请实施例提供了一种新能源电池盒检测方法及系统,解决了电池盒检测角度固定,导致测量所得的电池盒结构尺寸准确度有限,导致尺寸检测精度较低的技术问题,从电池盒结构、关键检测点进行检测覆盖判断,细化电池盒检测,实现了智能调整电池盒检测角度与检测距离,提高测量所得的电池盒结构尺寸准确度,进而保证电池盒尺寸检测精度的技术效果。
[0018] 在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
[0019] 实施例一
[0020] 如图1所示,本申请实施例提供了一种新能源电池盒检测方法,其中,应用于新能源电池盒系统,所述系统与图像采集装置通信连接,所述方法包括:
[0021] S10:获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;
[0022] S20:当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;
[0023] 步骤S20包括步骤:
[0024] S21:根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表;
[0025] S22:遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果。
[0026] 具体而言,所述新能源电池盒系统与图像采集装置通信连接,所述通信连接简单来说就是通过信号的传输交互,在所述新能源电池盒系统与图像采集装置之间构成通讯网络,为进行新能源电池盒检测提供硬件支持;
[0027] 获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型,电池盒三维概念模型即待检测电池盒的结构三维建模,所述电池盒型号信息为汽车质量监督检验中心备案通过的型号,对照所述电池盒型号信息,在汽车质量监督检验中心的公开信息中可以确定电池的标准结构信息;
[0028] 当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果,包括,所述待检测电池盒为可能存在电池盒检测需求的目标电池盒,所述预设区域为预设的检测区域,同时默认所述预设区域的光线充足,使用图像采集装置对处于预设区域的待检测电池盒进行多角度采集,将图像采集装置采集所得作为电池盒图像采集结果;
[0029] 使用图像采集装置对处于预设区域的待检测电池盒进行多角度采集:通过所述待检测电池盒基础信息中的电池盒三维概念模型,进行拍摄角度优化设计,依照优化后的多个拍摄角度与图像采集装置的当前位置,对优化后的多个拍摄角度进行排序,生成拍摄角度列表;
[0030] 遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动,在每次采集准备过程中,调整所述待检测电池盒与所述图像采集装置之间的相对位置直至满足拍摄要求后进行图像采集,在逐个进行拍摄直至完成拍摄角度列表中的所有角度的采集后,将所述图像采集装置采集所得作为所述电池盒图像采集结果,调整图像采集的预设令,提高电池盒检测精度。
[0031] 如图2所示,步骤S21包括步骤:
[0032] S211:获取所述图像采集装置的第一约束移动范围,获取所述待检测电池盒的第二约束活动范围;
[0033] S212:根据所述第一约束移动范围和所述第二约束活动范围,从所述电池盒三维概念模型输出M个拍摄角度,所述M个拍摄角度包括M个电池盒定位信息和M个图像采集装置定位信息,M≥1,M为整数;
[0034] S213:根据所述M个拍摄角度对所述电池盒三维概念模型进行数字拍摄,输出M个数字图像信息;
[0035] S214:根据所述M个数字图像信息进行结构件覆盖度分析,获取第一评价因子;
[0036] S215:根据所述M个数字图像信息进行检测点覆盖度分析,获取第二评价因子;
[0037] S216:当所述第一评价因子等于第一预设覆盖度,且所述第二评价因子等于第二预设覆盖度时,将所述M个电池盒定位信息和所述M个图像采集装置定位信息添加进所述拍摄角度列表;
[0038] S217:当所述第一评价因子超过所述第一预设覆盖度,或所述第二评价因子超过所述第二预设覆盖度时,获取覆盖度交集图像,将完全交集图像对应的拍摄角度从所述M个拍摄角度中删除,获取L个拍摄角度的L个电池盒定位信息和L个图像采集装置定位信息添加进所述拍摄角度列表。
[0039] 具体而言,根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表,包括,所述图像采集装置安装于一自动伸缩臂,所述第一约束移动范围即自动伸缩臂的伸缩区间,获取所述图像采集装置的第一约束移动范围;所述待检测电池盒吸附于所述预设区域上,所述吸附简单来说磁铁与铁、镍、钴等金属之间吸引力,所述第二约束活动范围不包括待检测电池盒吸附于所述预设区域所对应的待检测电池盒吸附范围,获取所述待检测电池盒的第二约束活动范围;
[0040] 所述M个拍摄角度包括M个电池盒定位信息和M个图像采集装置定位信息,由所述M个图像采集装置定位信息为起点到所述M个电池盒定位信息为终点的M个相对距离即为所述M个拍摄角度,根据所述第一约束移动范围和所述第二约束活动范围,依照所述待检测电池盒基础信息中的电池盒三维概念模型,设置M个拍摄角度,所述M个拍摄角度包括但不限于上偏正前30°、上偏正左侧35°、上偏正右侧32°、上偏正后方20°,M≥1且为整数;
[0041] 在所述电池盒三维概念模型上,还原所述M个拍摄角度进行数字化拍摄,分别从所述M个拍摄角度进行模拟拍摄,模拟拍摄输出M个数字图像信息;将所述M个数字图像信息进行比例放缩并覆盖于所述电池盒三维概念模型上进行结构件覆盖度分析,获取第一评价因子,所述第一评价因子为结构件的覆盖状态,就是能不能观测到结构件的全部尺寸信息,若所述电池盒三维概念模型中的结构件均覆盖了一层或多层数字图像,即为完全覆盖,第一评价因子等于100%;若未完全覆盖,需要确定未覆盖区域的面积,以未覆盖区域的面积为分子,以电池盒三维概念模型中结构件的总面积为分母,计算结果即为第一评价因子;
[0042] 将所述M个数字图像信息进行比例放缩并覆盖所述电池盒三维概念模型上进行检测点覆盖度分析,检测点为关键的检测位置,一般的,可以是所述电池盒的各个顶点,获取第二评价因子,所述第二评价因子为检测点的覆盖状态,就是能不能观测到检测点的全部尺寸信息,若所述电池盒三维概念模型中的检测点均覆盖了一层或多层数字图像,即为完全覆盖,第二评价因子等于100%;若未完全覆盖,需要确定未覆盖区域的检测点,以未覆盖区域的检测点数量为分子,以电池盒三维概念模型中检测点总数为分母,计算结果即为第一评价因子;
[0043] 由新能源电池盒检测本领域技术人员自定义设置第一预设覆盖度、第二预设覆盖度,一般的,所述第一预设覆盖度不低于80%、第二预设覆盖度不低于95%,比较所述第一评价因子与第一预设覆盖度之间的大小,比较所述第二评价因子与第二预设覆盖度之间的大小:当所述第一评价因子等于第一预设覆盖度,且所述第二评价因子等于第二预设覆盖度时,将所述M个电池盒定位信息和所述M个图像采集装置定位信息添加进所述拍摄角度列表;
[0044] 当所述第一评价因子超过所述第一预设覆盖度,或所述第二评价因子超过所述第二预设覆盖度时,即表明所述M个数字图像信息的重复度过高,需要对图像进行清洗,由此,获取覆盖度交集图像,所述覆盖度交集图像为M个数字图像信息中的重叠区域的图像,获取覆盖度交集图像中的完全交集图像,所述完全交集图像即M个数字图像信息中的完全重叠的图像,将完全交集图像对应的拍摄角度从所述M个拍摄角度中删除,若完全交集图像为Q个,其中Q为大于等于1的正整数,同时,存在M‑Q=L,获取L个拍摄角度;
[0045] 将所述L个拍摄角度作为第一添加列,将L个拍摄角度的L个电池盒定位信息作为第二添加列,将L个拍摄角度的L个图像采集装置定位信息作为第三添加列,添加进所述拍摄角度列表,确定拍摄角度列表,保证图像覆盖程度的同时,对图像进行清洗,删去其中重复性的非必要信息,一定程度上提高了电池盒检测效率。
[0046] 本申请实施例还包括:
[0047] S217‑1:当所述第一评价因子小于所述第一预设覆盖度,或所述第二评价因子小于所述第二预设覆盖度时,判断M是否大于或等于预设数量;
[0048] S217‑2:若M小于所述预设数量,对覆盖度缺陷结构件和覆盖度缺陷检测点进行角度补偿,生成多个补偿角度,结合所述M个拍摄角度添加进所述拍摄角度列表;
[0049] S217‑3:若M大于或等于所述预设数量,根据所述第一约束移动范围和所述第二约束活动范围从所述电池盒三维概念模型输出N个拍摄角度,基于所述N个拍摄角度重复优化设计,N≥1,N为整数。
[0050] 具体而言,根据所述第一约束移动范围和所述第二约束活动范围,从所述电池盒三维概念模型输出M个拍摄角度,包括,比较所述第一评价因子与第一预设覆盖度之间的大小,比较所述第二评价因子与第二预设覆盖度之间的大小:当所述第一评价因子小于所述第一预设覆盖度,或所述第二评价因子小于所述第二预设覆盖度时,即表明存在较多的区域未覆盖,所述预设数量为所述待检测电池盒的采集次数上限,由新能源电池盒检测本领域技术人员自定义设置所述预设数量,常见的,可以设置为20,约束性的,所述预设数量不低于6,即预设数量不低于上方、下方、前方、后方、正左侧、正右侧这6个基础角度,判断M是否大于或等于预设数量;
[0051] 判断M是否大于或等于预设数量:若M小于所述预设数量,即表明所述电池盒三维概念模型输出M个拍摄角度的拍摄角度数量过小,直接对补充角度保证全方位拍摄,基于此,对覆盖度缺陷结构件和覆盖度缺陷检测点进行角度补偿,角度补偿即通过在覆盖度缺陷结构件、覆盖度缺陷检测点的区域上新增角度,进而提高第一评价因子、第二评价因子,将覆盖度缺陷结构件、覆盖度缺陷检测点的区域上新增角度作为多个补偿角度,从第M+1行开始将所述多个补偿角度添加至所述拍摄角度列表,结合所述M个拍摄角度添加进所述拍摄角度列表;
[0052] 若M大于或等于所述预设数量,即表明所述电池盒三维概念模型输出M个拍摄角度的拍摄角度数量大,但拍摄角度的重叠度较高,需要重新确定一组拍摄角度重复分析,基于此,根据所述第一约束移动范围和所述第二约束活动范围从所述电池盒三维概念模型输出N个拍摄角度,所述N个拍摄角度包括N个电池盒定位信息和N个图像采集装置定位信息,所述N个拍摄角度的确定方式与M个拍摄角度的确定方式一致,同时,基于所述N个拍摄角度重复优化设计,N≥1,N为整数,即所述N个拍摄角度的重叠度低于所述M个拍摄角度的重叠度,比如,上偏正右侧32°与上偏正右侧25°存在较大的拍摄角度的重叠度;上偏正右侧32°与上偏正右侧25°存在较小的拍摄角度的重叠度,判断并确定在拍摄角度的重叠度较高的情况下重新设置拍摄角度,为保证拍摄角度的有效性提供基础。
[0053] 步骤S22包括步骤:
[0054] S221:根据所述拍摄角度列表的第i拍摄角度控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取第i拍摄角度初始图像采集结果;
[0055] S222:对所述第i拍摄角度初始图像采集结果进行清晰度评价,生成第一能量梯度特征量;
[0056] S223:当所述第一能量梯度特征量小于或等于能量梯度特征阈值时,对所述第i拍摄角度初始图像采集结果进行清晰度增强处理,获取第i拍摄角度增强处理图像的第二能量梯度特征量;
[0057] S224:当所述第二能量梯度特征量小于或等于能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果删除,生成图像采集失败指令进行所述第i拍摄角度的重复图像采集;
[0058] S225:当所述第一能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果添加进所述电池盒图像采集结果;
[0059] S226:当所述第二能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度增强处理图像添加进所述电池盒图像采集结果。
[0060] 具体而言,遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果,包括,从所述拍摄角度列表中的第一行中的第一拍摄角度开始,对拍摄角度列表逐个进行图像采集,根据所述拍摄角度列表的第i拍摄角度控制所述待检测电池盒或/和所述图像采集装置的移动,改变所述待检测电池盒和所述图像采集装置之间的相对位置,在满足所述拍摄角度列表的第i拍摄角度后进行图像采集,获取第i拍摄角度初始图像采集结果,i∈[1,M]或[1,N];
[0061] 能量梯度法:能量梯度函数适合实时评价图像清晰度,能量梯度函数为能量梯度法中公开的函数,利用能量梯度函数对所述第i拍摄角度初始图像采集结果进行清晰度评价,计算获取第一能量梯度特征量;
[0062] 由本领域相关技术人员自定义设置能量梯度特征阈值,比较所述第一能量梯度特征量与能量梯度特征阈值:当所述第一能量梯度特征量小于或等于能量梯度特征阈值时,调整图像的对比度、锐化程度进行清晰度增强,对所述第i拍摄角度初始图像采集结果进行清晰度增强处理,在完成清晰度增强后,代入能量梯度函数计算获取第i拍摄角度增强处理图像的第二能量梯度特征量;
[0063] 当所述第二能量梯度特征量仍旧小于或等于能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果删除,即表明第一能量梯度特征量与能量梯度特征阈值差距过大,仅通过清晰度增强处理无法有效提升图像清晰度,可能是因为在满足所述拍摄角度列表的第i拍摄角度后,所述待检测电池盒或/和所述图像采集装置之间仍存在细微的晃动,由此,生成图像采集失败指令进行所述第i拍摄角度的重复图像采集,所述图像采集失败指令用于控制进行重复图像采集,
[0064] 若未进行清晰度增强处理,当所述第一能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果添加进所述电池盒图像采集结果;若进行清晰度增强处理,当所述第二能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度增强处理图像添加进所述电池盒图像采集结果,为保证采集所得图像的清晰度提供支持,
[0065] S30:对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;
[0066] S40:遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;
[0067] 如图3所示,本申请实施例还包括:
[0068] S41:获取多个电池盒型号的多组电池盒图像,对所述多组电池盒图像进行结构件中心点定位和结构件边界定位,生成多组结构件标识信息;
[0069] S42:对所述多组电池盒图像进行检测中心点定位和检测点边界定位,生成多组检测点标识信息;
[0070] S43:根据所述多组电池盒图像和所述多组结构件标识信息,基于u‑net神经网络,训练结构件语义分割模型;
[0071] S44:根据所述多组电池盒图像的多组结构件分离结果和所述多组检测点标识信息,基于u‑net神经网络,训练检测点语义分割模型;
[0072] S45:根据所述结构件语义分割模型进行结构件语义分割,根据所述检测点语义分割模型进行检测点语义分割。
[0073] 具体而言,对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表,包括:在所述新能源电池盒系统的数据存储单元中,获取多个电池盒型号的多组电池盒图像,通过所述多个电池盒型号在汽车质量监督检验中心备案通过的型号中比对查询,获取所述多个电池盒型号对应的公开信息,在汽车质量监督检验中心的公开信息中可以确定多个电池盒型号的标准结构信息,基于此,对所述多组电池盒图像进行结构件中心点定位和结构件边界定位,生成多组结构件标识信息,所述结构件标识信息包括结构件中心点坐标、结构件边界坐标;以u‑net神经网络为模型基础,将所述多组电池盒图像和所述多组结构件标识信息作为训练数据,训练结构件语义分割模型,将所述电池盒图像采集结果输入结构件语义分割模型进行结构件语义分割,根据所述结构件语义分割模型进行结构件语义分割,输出一组结构件标识信息,将一组结构件标识信息中的结构件中心点坐标、结构件边界坐标分别作为列表的行,将一组结构件标识信息转换为列表形式,获得第一检测区域列表;
[0074] 遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表,包括:对所述多组电池盒图像进行检测中心点定位和检测点边界定位,生成多组检测点标识信息,所述检测点标识信息包括检测中心点坐标和检测点边界坐标;以u‑net神经网络为模型基础,将所述多组电池盒图像的多组结构件分离结果和所述多组检测点标识信息作为训练数据,训练检测点语义分割模型,将所述电池盒图像采集结果输入检测点语义分割模型进行结构件语义分割,根据所述检测点语义分割模型进行检测点语义分割,输出一组检测点标识信息,将一组检测点标识信息中的检测中心点坐标、检测点边界坐标分别作为列表的行,将一组检测点标识信息转换为列表形式,获取第二检测区域列表,为进行结构件语义分割、检测点语义分割提供参考。
[0075] 步骤S43包括步骤:
[0076] S431:所述u‑net神经网络包括主干特征提取网络和加强特征提取网络;
[0077] S432:根据所述多组电池盒图像对所述主干特征提取网络进行下采样训练,获取下采样输出结果;
[0078] S433:根据所述下采样输出结果和所述多组结构件标识信息进行上采样训练,生成上采样训练结果;
[0079] S434:当训练时交叉损失函数小于或等于预设损失量,且连续P次验证交叉损失函数小于或等于所述预设损失量时,生成所述结构件语义分割模型。
[0080] 具体而言,根据所述多组电池盒图像和所述多组结构件标识信息,基于u‑net神经网络,训练结构件语义分割模型,包括,所述u‑net神经网络(全卷积神经网络)包括主干特征提取网络和加强特征提取网络,所述主干特征提取网络用以提取像素点特征,所述加强特征提取网络用于分离像素点特征,所述u‑net神经网络包括上采样操作、下采样操作,上采样操作的执行次数与下采样操作相同,最后使用一个像素分类输出层,将每个像素映射到一个特定类,形成了一个编码器&解码器架构,基于此,根据所述多组电池盒图像对所述主干特征提取网络进行下采样训练,设定卷积核的步长,通过多组电池盒图像对主干特征提取网络进行无监督训练,输出获取下采样输出结果;在确定所述下采样输出结果后,根据所述下采样输出结果和所述多组结构件标识信息进行上采样训练,按照所述多组结构件标识信息对所述下采样输出结果中的像素点特征进行组合分割,输出获取上采样训练结果;
[0081] 优选的,图像的卷积实际上是利用卷积核来对图像进行特征提取的一个过程,卷积核是一个矩阵,通过设计这个矩阵(如矩阵的大小、矩阵中的数值),就可以把相对应的图像特征提取出来,如图像的边缘特征等,所述语义分割中的全卷积神经网络通过下采样或者卷积操作用于提取像素点特征,所述语义分割中的全卷积神经网络通过上采样或者反卷积操作用于分离像素点特征,进行卷积和反卷积将浅层和深层的特征进行组合,以提高分割的精度;
[0082] 所述预设损失量为本领域技术人员自定义设置,一般的预设损失量不超出0.3%,对所述u‑net神经网络中的主干特征提取网络和加强特征提取网络进行训练,确定u‑net神经网络中的交叉损失函数: ,其中,E用于表征模型当前预测值与真实值的不一致程度; ,其中, 用于表征每个像素点
对应分配的权值, 用于表征图中某一背景像素点到离这个点最近的边界的距离,离这个像素点第二近的边界的距离, 为加权常数; ,
其中, 用于表征表示每一像素点对应类的概率,将每一像素点对应多组结构件标识信息之间的相似度记为每一像素点对应类的概率,指标间的相似度计算为现有技术;
[0083] 在训练的过程中同步代入交叉损失函数中进行计算,若模型当前预测值与真实值的不一致程度小于或等于预设损失量,同时连续P次验证交叉损失函数小于或等于所述预设损失量时,训练结束,确定所述结构件语义分割模型;同样的,检测点语义分割模型的构建过程与结构件语义分割模型的构建过程一致,不做重复性展开,详细展开结构件语义分割模型的训练过程,为进行构件语义分割提供模型基础。
[0084] S50:根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;
[0085] S60:当校验通过时,生成电池盒尺寸检测合格指令。
[0086] 具体而言,根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行比对校验,输出第二检测区域标准信息对所述第二检测区域列表进行比对校验,若比对校验一致,即校验均通过;仅有且仅的,当校验均通过时,生成电池盒尺寸检测合格指令,并将电池盒尺寸检测合格指令由新能源电池盒系统发出,提高测量所得的电池盒结构尺寸准确度,进而保证电池盒尺寸检测精度
[0087] 综上所述,本申请实施例所提供的一种新能源电池盒检测方法及系统具有如下技术效果:
[0088] 1.由于采用了获取待检测电池盒基础信息;当待检测电池盒进入预设区域时,多角度图像采集获取电池盒图像采集结果;结构件语义分割、检测点语义分割,获取第一检测区域列表、第二检测区域列表;分别对第一检测区域列表、第二检测区域列表进行校验;当校验通过时,生成电池盒尺寸检测合格指令,本申请通过提供了一种新能源电池盒检测方法及系统,从电池盒结构、关键检测点进行检测覆盖判断,细化电池盒检测,实现了智能调整电池盒检测角度与检测距离,提高测量所得的电池盒结构尺寸准确度,进而保证电池盒尺寸检测精度的技术效果。
[0089] 2.由于采用了根据多组电池盒图像对主干特征提取网络进行下采样训练,获取下采样输出结果,结合多组结构件标识信息进行上采样训练,生成上采样训练结果;当训练时交叉损失函数小于或等于预设损失量,且连续P次验证交叉损失函数小于或等于预设损失量时,生成结构件语义分割模型,详细展开结构件语义分割模型的训练过程,为进行构件语义分割提供模型基础。
[0090] 实施例二
[0091] 基于与前述实施例中一种新能源电池盒检测方法相同的发明构思,如图4所示,本申请实施例提供了一种新能源电池盒检测系统,其中,所述系统包括:
[0092] 基础信息获取模块100,用于获取待检测电池盒基础信息,所述待检测电池盒基础信息包括电池盒型号信息和电池盒三维概念模型;
[0093] 图像采集模块200,用于当待检测电池盒进入预设区域时,通过图像采集装置对所述待检测电池盒进行多角度图像采集,获取电池盒图像采集结果;
[0094] 结构件语义分割模块300,用于对所述电池盒图像采集结果进行结构件语义分割,获取第一检测区域列表;
[0095] 检测点语义分割模块400,用于遍历所述第一检测区域列表进行检测点语义分割,获取第二检测区域列表;
[0096] 检测区域列表校验模块500,用于根据所述电池盒三维概念模型输出第一检测区域标准信息对所述第一检测区域列表进行校验,输出第二检测区域标准信息对所述第二检测区域列表进行校验;
[0097] 检测合格指令生成模块600,用于当校验通过时,生成电池盒尺寸检测合格指令。
[0098] 进一步的,所述系统包括:
[0099] 拍摄角度列表生成模块,用于根据所述电池盒三维概念模型进行拍摄角度优化设计,生成拍摄角度列表;
[0100] 电池盒图像采集结果获取模块,用于遍历所述拍摄角度列表控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取所述电池盒图像采集结果。
[0101] 进一步的,所述系统包括:
[0102] 第一、二约束活动范围获取模块,用于获取所述图像采集装置的第一约束移动范围,获取所述待检测电池盒的第二约束活动范围;
[0103] 第一拍摄角度输出模块,用于根据所述第一约束移动范围和所述第二约束活动范围,从所述电池盒三维概念模型输出M个拍摄角度,所述M个拍摄角度包括M个电池盒定位信息和M个图像采集装置定位信息,M≥1,M为整数;
[0104] 数字图像信息输出模块,用于根据所述M个拍摄角度对所述电池盒三维概念模型进行数字拍摄,输出M个数字图像信息;
[0105] 第一评价因子获取模块,用于根据所述M个数字图像信息进行结构件覆盖度分析,获取第一评价因子;
[0106] 第二评价因子获取模块,用于根据所述M个数字图像信息进行检测点覆盖度分析,获取第二评价因子;
[0107] 图像采集装置定位信息添加模块,用于当所述第一评价因子等于第一预设覆盖度,且所述第二评价因子等于第二预设覆盖度时,将所述M个电池盒定位信息和所述M个图像采集装置定位信息添加进所述拍摄角度列表;
[0108] 拍摄角度列表获取模块,用于当所述第一评价因子超过所述第一预设覆盖度,或所述第二评价因子超过所述第二预设覆盖度时,获取覆盖度交集图像,将完全交集图像对应的拍摄角度从所述M个拍摄角度中删除,获取L个拍摄角度的L个电池盒定位信息和L个图像采集装置定位信息添加进所述拍摄角度列表。
[0109] 进一步的,所述系统包括:
[0110] 预设数量判断模块,用于当所述第一评价因子小于所述第一预设覆盖度,或所述第二评价因子小于所述第二预设覆盖度时,判断M是否大于或等于预设数量;
[0111] 补偿角度生成模块,用于若M小于所述预设数量,对覆盖度缺陷结构件和覆盖度缺陷检测点进行角度补偿,生成多个补偿角度,结合所述M个拍摄角度添加进所述拍摄角度列表;
[0112] 第二拍摄角度输出模块,用于若M大于或等于所述预设数量,根据所述第一约束移动范围和所述第二约束活动范围从所述电池盒三维概念模型输出N个拍摄角度,基于所述N个拍摄角度重复优化设计,N≥1,N为整数。
[0113] 进一步的,所述系统包括:
[0114] 第i拍摄角度初始图像采集结果获取模块,用于根据所述拍摄角度列表的第i拍摄角度控制所述待检测电池盒或/和所述图像采集装置移动进行图像采集,获取第i拍摄角度初始图像采集结果;
[0115] 第一能量梯度特征量生成模块,用于对所述第i拍摄角度初始图像采集结果进行清晰度评价,生成第一能量梯度特征量;
[0116] 第二能量梯度特征量获取模块,用于当所述第一能量梯度特征量小于或等于能量梯度特征阈值时,对所述第i拍摄角度初始图像采集结果进行清晰度增强处理,获取第i拍摄角度增强处理图像的第二能量梯度特征量;
[0117] 图像采集失败指令生成模块,用于当所述第二能量梯度特征量小于或等于能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果删除,生成图像采集失败指令进行所述第i拍摄角度的重复图像采集;
[0118] 第i拍摄角度初始图像采集结果添加模块,用于当所述第一能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度初始图像采集结果添加进所述电池盒图像采集结果;
[0119] 第i拍摄角度增强处理图像添加模块,用于当所述第二能量梯度特征量大于所述能量梯度特征阈值时,将所述第i拍摄角度增强处理图像添加进所述电池盒图像采集结果。
[0120] 进一步的,所述系统包括:
[0121] 结构件标识信息生成模块,用于获取多个电池盒型号的多组电池盒图像,对所述多组电池盒图像进行结构件中心点定位和结构件边界定位,生成多组结构件标识信息;
[0122] 检测点标识信息生成模块,用于对所述多组电池盒图像进行检测中心点定位和检测点边界定位,生成多组检测点标识信息;
[0123] 结构件语义分割模型训练模块,用于根据所述多组电池盒图像和所述多组结构件标识信息,基于u‑net神经网络,训练结构件语义分割模型;
[0124] 检测点语义分割模型训练模块,用于根据所述多组电池盒图像的多组结构件分离结果和所述多组检测点标识信息,基于u‑net神经网络,训练检测点语义分割模型;
[0125] 结构件语义分割、检测点语义分割模块,用于根据所述结构件语义分割模型进行结构件语义分割,根据所述检测点语义分割模型进行检测点语义分割。
[0126] 进一步的,所述系统包括:
[0127] 特征提取网络确定模块,用于所述u‑net神经网络包括主干特征提取网络和加强特征提取网络;
[0128] 下采样输出结果获取模块,用于根据所述多组电池盒图像对所述主干特征提取网络进行下采样训练,获取下采样输出结果;
[0129] 上采样训练结果生成模块,用于根据所述下采样输出结果和所述多组结构件标识信息进行上采样训练,生成上采样训练结果;
[0130] 结构件语义分割模型生成模块,用于当训练时交叉损失函数小于或等于预设损失量,且连续P次验证交叉损失函数小于或等于所述预设损失量时,生成所述结构件语义分割模型。
[0131] 综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
[0132] 进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,或/和指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。