适用于列车的视觉定位与缺陷检测方法和装置转让专利
申请号 : CN202111077434.8
文献号 : CN113516660B
文献日 : 2021-12-07
发明人 : 李峰 , 景宁 , 杨泽迎 , 洪晓杰 , 张玉 , 刘达 , 张壮 , 王攀
申请人 : 江苏中车数字科技有限公司
摘要 :
权利要求 :
1.一种适用于列车的视觉定位与缺陷检测方法,其特征在于:所述方法包括:获取待测区域的二维图像信息与三维点云信息,并对所述二维图像信息进行预处理;
将预处理后的所述二维图像信息输入第一视觉定位网络模型,以确定所述二维图像信息中的第一目标信息;
将所述第一目标信息输入第一缺陷网络模型,以确定所述第一目标信息是否存在明显缺陷;
根据所述第一目标信息标定所述三维点云信息,以确定所述三维点云信息中的第二目标信息;
提取所述第二目标信息的深度特征,以确定所述第二目标信息是否存在深度缺陷;
其中,所述第一视觉定位网络模型与第一缺陷网络模型均为已训练的卷积神经网络模型。
2.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述获取待测区域的二维图像信息与三维点云信息,并对所述二维图像信息进行预处理,其中,所述二维图像信息采用面阵相机采集,所述三维点云信息采用三维激光轮廓传感器采集,并借助待测区域的速度信息对动态的所述二维图像信息进行标号。
3.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述获取待测区域的二维图像信息与三维点云信息,并对所述二维图像信息进行预处理,其中,所述第一视觉定位网络模型的训练包括,以待测区域的第一目标信息为参照物,构建第一目标信息数据集,对待测区域的第一目标信息进行提取与框选,训练初始视觉定位网络模型,以得到第一视觉网络模型。
4.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述获取待测区域的二维图像信息与三维点云信息,并对所述二维图像信息进行预处理,其中,所述第一缺陷网络模型的训练包括,以第一目标信息的缺陷部位为参照物,构建缺陷检测数据集,对第一目标信息进行缺陷检测,训练初始缺陷网络模型,以得到第一缺陷网络模型。
5.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述根据所述第一目标信息标定所述三维点云信息,以确定所述三维点云信息中的第二目标信息,其中,包括:对所述三维点云信息构建点云模型,将所述二维图像信息的底面与所述三维点云信息的底面通过坐标映射结合,选取所述二维图像信息与所述三维点云信息的中心点作为坐标原点,以利用所述第一目标信息的坐标位置实现第二目标信息的坐标定位。
6.根据权利要求5所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述提取所述第二目标信息的深度特征,以确定所述第二目标信息是否存在深度缺陷,其中,包括:通过对第二目标信息的点云模型进行细粒度筛选,并通过所述三维点云信息的进行裂缝和裂痕筛选。
7.根据权利要求1所述的适用于列车的视觉定位与缺陷检测方法,其特征在于,所述方法还包括:
输出所述第一目标信息、所述第一目标信息的明显缺陷检测结果、所述第二目标信息和所述第二目标信息的深度缺陷检测结果;
评估并报警所述明显缺陷检测结果和深度缺陷检测结果。
8.一种适用于列车的视觉定位与缺陷检测装置,其特征在于,所述装置包括:速度检测模块,配置为获取待测区域的运行速度;
图像采集及预处理模块,配置为获取待测区域的二维图像信息与三维点云信息,并对所述二维图像信息进行预处理;
目标定位模块,配置为将预处理后的所述二维图像信息输入第一视觉定位网络模型,以确定所述二维图像信息中的第一目标信息;
初级缺陷检测模块,配置为将所述第一目标信息输入第一缺陷网络模型,以确定所述第一目标信息是否存在明显缺陷;
三维图像定位模块,配置为根据所述第一目标信息标定所述三维点云信息,以确定所述三维点云信息中的第二目标信息;
深度缺陷检索模块,配置为提取所述第二目标信息的深度特征,以确定所述第二目标信息是否存在深度缺陷;
评估与报警模块,配置为输出所述第一目标信息、所述第一目标信息的明显缺陷检测结果、所述第二目标信息和所述第二目标信息的深度缺陷检测结果,评估并报警所述明显缺陷检测结果和深度缺陷检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
说明书 :
适用于列车的视觉定位与缺陷检测方法和装置
技术领域
背景技术
233条,运营里程7545.5公里,运营速度最高达到可160km/h。相比于汽车和其他交通方式,
由于轨道交通高速行驶的特性,任何细小的故障和隐患如果不能及时发现都可能造成极为
严重的后果。
轨道交通的普及和列车保有量的不断增长,其与列车检测效率之间的矛盾越来越大。另外,
列车车底作为和轨道接触的部分,具有许多列车运行的关键部位,例如转向架中的轮对轴
箱装置、制动装置、牵引电机和齿轮变速传动装置等等。因此,对列车车底设计一套智能的
关键部位的视觉定位与缺陷检测装置是十分有必要的。
类检测基于传统方法,漏检率较高,并且由于光照环境的影响,进行匹配时选择模板具有较
大困难。
发明内容
方法和深度学习实现高效精准的视觉检测。
信息采用三维激光轮廓传感器采集,并借助待测区域的速度信息对动态的所述二维图像信
息进行标号。
的第一目标信息为参照物,构建第一目标信息数据集,对待测区域的第一目标信息进行提
取与框选,训练初始视觉定位网络模型,以得到第一视觉网络模型。
的缺陷部位为参照物,构建缺陷检测数据集,对第一目标信息进行缺陷检测,训练初始缺陷
网络模型,以得到第一缺陷网络模型。
将所述二维图像信息的底面与所述三维点云信息的底面通过坐标映射结合,选取所述二维
图像信息与所述三维点云信息的中心点作为坐标原点,以利用所述第一目标信息的坐标位
置实现第二目标信息的坐标定位。
选,并通过所述三维点云信息的进行裂缝和裂痕筛选。
显缺陷检测结果和深度缺陷检测结果。
明显缺陷检测结果和深度缺陷检测结果。
采集到列车底部图像的平面信息和深度信息;同时,本申请采用深度学习的目标检测方式,
与传统的人工检测方式相比,大大减少了人力资源的损耗,降低了漏检或误检的概率,提高
了检测的速度和精准度,在检测过程中,采取初步检测和深度检测相结合的方式,首先通过
二维图像的初步筛选出列车底部图像的关键部位,并对其进行初步的目标检测,筛查出例
如铭牌缺失等粗粒度的缺陷;之后,利用二维图像的分辨率以及三维模型的分辨率信息进
行坐标映射,由此确定列车底部的关键部位,并对其深度信息进行检测,利用点云模型的坐
标计算判断有无断裂或者裂缝,进行细粒度的缺陷检测,可以在节省算力的情况下进一步
提高缺陷检测的准确率。
附图说明
具体实施方式
用于限定本申请。
不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器
104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图像中的关键部位的图像信息与位置信息,即列车底部的一些关键位置或关键部位,第一
缺陷网络模型通过对二维图像中的关键部位的特征提取与对比,检测其是否存在明显的缺
陷,例如名牌丢失和明显断裂等。
果。
部动态图像进行隔帧截取作为列车底部图像,保存并命名编号,将每列车厢所采集到的图
和车厢编号一一对应。
练,如牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置等。
觉定位和框选以及初级的缺陷检测。
器扫描列车底部得到的三维图像建立点云模型,将列车底部的二维图像和三维模型的底面
利用坐标映射的方式结合,选取二维与三维图像的中心点作为坐标原点,实现利用二维图
像的位置坐标对三维模型相应的位置定位,坐标间的映射关系可通过图像分辨率进行转
化。之后,将经过YOLO网络视觉定位的关键部位坐标进行矩阵运算三维转化后输入到点云
模型。
果和明显缺陷检测结果。
信息和深度信息。同时,本申请采用深度学习的目标检测方式,与传统的人工检测方式相
比,大大减少了人力资源的损耗,降低了漏检或误检的概率,提高了检测的速度和精准度,
在检测过程中,采取初步检测和深度检测相结合的方式,首先通过二维图像的初步筛选出
列车底部图像的关键部位,并对其进行初步的目标检测,筛查出例如铭牌缺失等粗粒度的
缺陷。之后,利用二维图像的分辨率以及三维模型的分辨率信息进行坐标映射,由此确定列
车底部的关键部位,并对其深度信息进行检测,利用点云模型的坐标计算判断有无断裂或
者裂缝,进行细粒度的缺陷检测,可以在节省算力的情况下进一步提高缺陷检测的准确率。
h至15km/h的速度运行,为使得三维激光轮廓传感器与面阵工业相机能够在该列车运行速
度下拍摄出清晰的动态图像,保持工业面阵相机的帧速率大于30fps。本实例中列车底部测
量宽度为1780mm,相机与列车底部高度为700mm,列车整体长度为22000mm。本实例中根据相
机工作距离和列车底部宽度,选择工业面阵相机的视野范围为18001800mm,工作距离为
700mm,则对应相机的靶面尺寸选择为1.1英寸,工业相机镜头焦距选择5mm。设置相机镜头
并调整焦距,使得列车底部宽度可完全落入工业面阵相机的视野范围之内。同时,根据列车
宽度,选择两台三维激光轮廓传感器,保证相机的视野范围能够覆盖整个列车底部。首先调
用面阵相机,对列车底部的整体图像进行采集并编号,使车厢与采集到的图片一一对应,保
存至服务器中。之后,利用三维激光轮廓传感器采集列车底部的深度图像信息,使用图像拼
接技术将两台三维激光轮廓传感器所采集到的深度图像拼接并编号保存至服务器中。三维
激光轮廓传感器和面阵相机的放置如图4所示。
离开视野范围后停止拍摄。利用速度检测模块,实时获取拍摄该节车厢列车底部视频时的
速度并存储,利用图像预处理技术,根据当前运行速度和列车长度,按照时间截取列车底部
动态视频的关键帧作为列车底部图像。假设该列车运动速度为,截取的时间为,视野范围为
1800mm。
廓传感器通过设置固定长度点云,每隔1800mm输出点云图像,共输出13份点云模型,与二维
图像拍摄到的列车底部部分一一对应。由于本实施例所选取的相机扫描速率为5000Hz,所
以三维激光轮廓扫描仪拍摄精度小于1mm,将获取到的三维图像和列车底部二维图像一一
对应,储存并编号。
上,经过计算可以获取到传感器到被测表面的距离和沿着激光线的位置信息。本实例中选
取的三维激光轮廓传感器如图5所示,其视野范围(FOV)为390mm至1260mm,净距离(CD)为
350mm,测量范围(MR)为350mm至800毫米,深度分辨率可达到0.092mm,平面方向分辨率可达
到0.375mm。
键部位进行标注,包括牵引装置、牵引电机、闸瓦或制动盘、齿轮箱、轴箱装置、联轴节、所有
车下箱体及其他吊挂件,设置选择YOLO作为数据的输出格式,每张图片单独保存为一份文
本文件,内容为目标所在的框选坐标。
可以直接提取特征,在输出层预测目标的回归框和所属类别。YOLO实现了端到端的目标检
测识别,甚至检测帧率速度接近实时检测。网络将待检测的图像按 进行单元划分,每个单
元大小相等且互不重合。每个单元负责检测中心位置落在本单元方格内的目标,并且给出
有回归边界框的预测位置信息和分类置信度的输出向量。YOLO网络是根据GoogleNet网络
模型进行改进的,使用卷积滤波和卷积滤波代替Inception卷积组,其中卷积组用来整合跨
通道信息。同时,采用固定尺寸大小的图像输入,并把均方误差函数作为损失函数,并设置
不同的权重训练并输出预测定位信息、预测分类信息和预测置信度信息。本实例中采取的
是YOLOv4网络,YOLOv4网络在YOLOv3的基础上引入了新的骨干网络和特征增强网络,使模
型具有更好的性能。YOLOv4的网络结构包括输入端,骨干网络,特征增强网络和预测层。其
中,YOLOv4的骨干网络采用CSPNet,CSPNet设计的主要目的是在减少计算量的同时实现更
丰富的梯度组合。将基础层的特征映射划分为两部分,然后通过跨阶段层次结构将它们合
并,通过对梯度流的分裂使梯度流通过不同的网络路径传播。同时,YOLOv4采用了空间金字
塔池化(SPP)的方法来扩大感受野,并且增强数据采用了 Mosaic 数据增强方法,通过该方
法将4张训练图片先随机缩放,然后在随机进行拼接混合成一张新图片,这样不仅丰富了图
像的数据集,而且在随机缩放的过程中增加了很多的小目标,从而使得模型的鲁棒性更好。
交并比函数,A表示实际框的面积,B表示预测框的面积,C表示的是预测框B与实际框A的最
小外接矩形的面积, 和 分别代表实际框的宽与高,w和h代表预测框的宽与高。
图片进行相应的关键部位视觉定位,框选出列车底部的关键部位,如牵引装置、牵引电机、
闸瓦或制动盘、齿轮箱、轴箱装置,并保存关键部位的位置信息以待进行缺陷检测,位置信
息保存的方式为左上顶点的坐标和右下顶点的坐标,保存模型并封装权重参数。
列车底部图像中关键部件的缺陷部分打标签,如铭牌缺失等,采用顺时针方向记录坐标,依
次是左上角坐标点,右上角坐标点,右下角坐标点,左下角坐标点(即x1,y1,x2,y2,x3,y3,
x4,y4)。保存生成xml文件后,存入VOC2007中的Annotations文件夹,并运行VOC中的主代码
生成文本文件。由于SSD框架所用到的标签文件并不直接是xml文件,所以需要用xml文件生
成tfrecord文件开展SSD模型的预训练。
网络前段的特征图较大,所以后面逐渐采用步长为2的卷积或者池化操作来降低特征图的
大小,用比较大的特征图来检测大的目标,用比较小的特征图来检测小目标,因此框选范围
更准确。
采用锚点(anchor)的理念,每个单元设置尺度或者长宽比不同的先验框,预测的边界框
(bounding boxes)是以这些先验框为基准的,在一定程度上减少训练难度。一般情况下,每
个单元会设置多个先验框,其尺度和长宽比存在差异。对于每个先验框而言,输出一道独立
的检测值都有一套独立的检测值,检测值对应一个边界框,分为个类别的置信度评分部分
和边界框定位部分,第一部分执行度指的是不包含目标或者属于背景的评分部分,第二个
边界框定位包含边界框的中心坐标以及宽和高。SSD的网络结构采用VGG16作为基础模型,
在VGG16的基础上新增了更多的卷积层用于目标检测,同时,将VGG16末端的全连接层转化
成 和 的卷积层,同时将第5个池化层由原来的步长为2的 卷积转化为步长
为1的 卷积,同时为了配合这种池化层的改动,采用扩展卷积与带孔卷积方法,在不增
加参数与模型复杂度的情况下扩大感受野。
则:
框与ground truth匹配的的原则首先是对于图片中每个ground truth,找到与其交并比
(IOU)最大的先验框进行匹配,设置其为正样本,若是一个先验框没有ground truth与之匹
配,那么该先验框只能与背景匹配为负样本。其次,如果某个ground truth所对应最大IOU
小于阈值,并且所匹配的先验框却与另外一个ground truth的IOU大于阈值,那么该先验框
应该匹配前者,因为要确保某个ground truth一定有一个先验框与之匹配。
模型中,利用滑动窗口对关键部位如铭牌缺失,明显断裂、部件松动、变形及脱落、存在异物
或油渍问题进行检测,检测后返回结果,完成列车底部初级缺陷检测部分,并保留结果与之
后的三维深度缺陷信息融合并评估报警,保存模型并封装权重参数。
位所确定的关键部位区域在三维图像中进行标定,依此确定进行三维深度缺陷检测的区
域。同时,在图像采集与预处理模块中,每一节列车车底部共有13张二维图像和13份点云模
型,并且二维图像与三维点云一一对应。因此图像区域中的原点选择为每一张二维图像中
像素尺寸的中心点位置,每一份三维点云模型选取底面图像区域的中心作为坐标原点进行
映射变化。
为 ,分辨率为 ,假设列车底部的三维图像底面的长度像素度和宽度像素度分别
为 与 ,分辨率为 则可通过以下公式进行视觉定位以确定关键部位的区域坐标,假
设二维图像的保存的左上顶点坐标为 ,右下顶点的坐标为 ,显示尺寸为Z,
三维图像保存的左上顶点坐标为 ,右下顶点为 ,则
区域进行筛选,避免对无效区域进行深度缺陷检测。将二维图像处理得到的信息更好地融
合进三维图像的深度信息中,避免大量重复筛选和检测的工作。
的裂痕与裂缝筛选,通过三维深度坐标区域的连通性和畸变程度,判断在该检测区域是否
有断裂和细微缺陷部分,譬如裂缝,裂痕或者轴承连接处断裂问题。
置拟合曲面,采用间隔取点的方式,随机筛选视觉定位到的关键部位区域中的点云进行拟
合,并且以计算点云处高度信息的曲面微分信息作为畸变程度的依据,当畸变程度小于阈
值则判断为正常凸起与凹陷,当畸变程度大于所选取的阈值,则输出报警、判断并标注为裂
缝、裂痕以及断裂。
行框选并标注绿色如图10所示,并根据二维图像中列车底部关键部位的缺陷检测筛选结
果,提示通过初级筛选是否存在明显的缺陷如存在异物或者铭牌缺失等,如果存在缺陷,则
标注为红色。根据三维图像深度信息所拟合的曲面信息以及畸变程度,大于畸变程度的阈
值则在显示服务端显示存在裂缝或者断裂的位置信息,并且在输出图像中框选并标注红色
如图11所示,以供工作人员进行记录和现场筛查检修。融合三维图像深度缺陷检测信息与
二维图像初级缺陷检测信息,综合评估对应列车底部关键部位是否需要返厂检修或者现场
检修等。
的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2‑9中的至少一
部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻
执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次
进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地
执行。
明显缺陷检测结果和明显缺陷检测结果。
及预处理设备安装在列车待检测的指定区域内,可拍摄到列车底部的整体信息;
键部位进行初级缺陷检测,判断有无明显缺陷;
于列车的视觉定位与缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来
实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件
形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包
括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据
库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的数据库用于存储第一目标信息、缺陷检测数据。该计算机设备的网络接口用于与
外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种适用于列车的视
觉定位与缺陷检测方法。
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
集,并借助待测区域的速度信息对动态的二维图像信息进行标号。
的底面通过坐标映射结合,选取二维图像信息与三维点云信息的中心点作为坐标原点,以
利用第一目标信息的坐标位置实现第二目标信息的坐标定位。
区域的二维图像信息与三维点云信息,并对二维图像信息进行预处理,其中,二维图像信息
采用面阵相机采集,三维点云信息采用三维激光轮廓传感器采集,并借助待测区域的速度
信息对动态的二维图像信息进行标号。
位网络模型,以得到第一视觉网络模型。
陷检测数据集,对第一目标信息进行缺陷检测,训练初始缺陷网络模型,以得到第一缺陷网
络模型。云信息的进行裂缝和裂痕筛选。
集,并借助待测区域的速度信息对动态的二维图像信息进行标号。
的底面通过坐标映射结合,选取二维图像信息与三维点云信息的中心点作为坐标原点,以
利用第一目标信息的坐标位置实现第二目标信息的坐标定位。
区域的二维图像信息与三维点云信息,并对二维图像信息进行预处理,其中,二维图像信息
采用面阵相机采集,三维点云信息采用三维激光轮廓传感器采集,并借助待测区域的速度
信息对动态的二维图像信息进行标号。
位网络模型,以得到第一视觉网络模型。
陷检测数据集,对第一目标信息进行缺陷检测,训练初始缺陷网络模型,以得到第一缺陷网
络模型。云信息的进行裂缝和裂痕筛选。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。