一种铁路货车摇枕弹簧窜出故障图像识别方法

摘要

一种铁路货车摇枕弹簧窜出故障图像识别方法，涉及货运列车检测技术领域，针对现有技术中人工检测方式检测准确率低的问题，包括以下步骤：步骤一：获取途径货车图像，并进行粗定位，得到粗定位灰度图像集；步骤二：对粗定位灰度图像集进行标记，得到标记图像集；步骤三：利用标记图像集和原始图像训练深度学习网络模型；步骤四：利用训练好的深度学习网络模型对摇枕弹簧进行分割，依据分割结果判断是否出现了摇枕弹簧窜出故障。本发明利用图像自动识别的方式代替人工检测，能够自动识别车辆故障并报警，作业标准统一，不再受检车员经验、理解及认知程度不同的影响，提高检测效率与准确率。

权利要求

1.一种铁路货车摇枕弹簧窜出故障图像识别方法，包括以下步骤：

步骤一：获取途径货车图像，并进行粗定位，得到粗定位灰度图像集；

步骤二：对粗定位灰度图像集进行标记，得到标记图像集；

步骤三：利用标记图像集和原始图像训练深度学习网络模型；

步骤四：利用训练好的深度学习网络模型对摇枕弹簧进行分割，依据分割结果判断是否出现了摇枕弹簧窜出故障，所述判断过程为：首先将图像使用深度学习网络模型进行预测，利用训练好的权重系数预测出摇枕弹簧与邻近部件的轮廓区域，得到预测后的多值图像，使用图像处理方式计算出每列弹簧的倾斜角度、与邻近部件的位置关系，如果角度偏移大于预先设定的阈值或与邻近部件的位置关系有所变化，则认定该摇枕弹簧出现故障，若角度与位置关系正常，则处理下一张摇枕弹簧图像；

其特征在于所述方法还包括二次验证步骤，所述二次验证步骤具体为：根据步骤四中识别的故障，根据3D图像信息提供的高度图，经过图像处理与模式识别，判断是否具备弹簧窜出后的弹簧高度发生了变化，若有变化则进行故障报警，若检测正常，则处理下一张摇枕弹簧图像。

2.根据权利要求1所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述方法还包括在所述步骤二之前对粗定位灰度图像集进行数据扩增。

3.根据权利要求2所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述数据扩增包括图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放和镜像。

4.根据权利要求1所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述深度学习网络模型的激活函数为：Mish＝x＊tanh(ln(1+e^x))。

5.根据权利要求1所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述深度学习网络模型的损失函数为：其中，y表示真实标记的分布， 则为预测分布。

6.根据权利要求1所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述标记图像集是根据弹簧附近的固定部件的少量数据训练模型后利用深度学习模型生成标记。

7.根据权利要求1所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，其特征在于所述标记图像集根据不同列的弹簧，按其在图像中的位置将其标记为：前、中、后三种不同类别。

说明书

一种铁路货车摇枕弹簧窜出故障图像识别方法

技术领域

[0001] 本发明涉及货运列车检测技术领域，具体为一种铁路货车摇枕弹簧窜出故障图像识别方法。

背景技术

[0002] 铁路货车摇枕弹簧用于铁路车辆的走行部，起到缓冲避震的作用，又由于位于走行部，若断裂将直接危及列车行车安全，摇枕弹簧窜出故障会造成车体倾斜，是一种危及行车安全的故障，在摇枕弹簧故障检测中，采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。采用图像自动识别的方式可提高检测效率和稳定性。近几年，深度学习与人工智能不断发展，在技术上不断成熟。因而，采用深度学习进行摇枕弹簧窜出故障识别，可以有效提高检测准确率。

发明内容

[0003] 本发明的目的是：针对现有技术中人工检测方式检测准确率低的问题，提出一种铁路货车摇枕弹簧窜出故障图像识别方法。

[0004] 本发明的技术方案为：

[0005] 一种铁路货车摇枕弹簧窜出故障图像识别方法，包括以下步骤：

[0006] 步骤一：获取途径货车图像，并进行粗定位，得到粗定位灰度图像集；

[0007] 步骤二：对粗定位灰度图像集进行标记，得到标记图像集；

[0008] 步骤三：利用标记图像集和原始图像训练深度学习网络模型；

[0009] 步骤四：利用训练好的深度学习网络模型对摇枕弹簧进行分割，依据分割结果判断是否出现了摇枕弹簧窜出故障，所述判断过程为：

[0010] 首先将图像使用深度学习网络模型进行预测，利用训练好的权重系数预测出摇枕弹簧与邻近部件的轮廓区域，得到预测后的多值图像，使用图像处理方式计算出每列弹簧的倾斜角度与邻近部件的位置关系，如果角度偏移大于预先设定的阈值或与临近部件的位置关系有所变化，则认定该摇枕弹簧出现故障，若角度与位置关系正常，则处理下一张摇枕弹簧图像。

[0011] 进一步的，所述方法还包括在所述步骤二之前对粗定位灰度图像集进行数据扩增。

[0012] 进一步的，所述数据扩增包括图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放和镜像。

[0013] 进一步的，所述深度学习网络模型的激活函数为：

[0014] Mish＝x＊tanh(n(1+e^x))。

[0015] 进一步的，所述深度学习网络模型的损失函数为：

[0016]

[0017] 其中，y表示真实标记的分布，则为预测分布。

[0018] 进一步的，所述方法还包括二次验证步骤，所述二次验证步骤具体为：根据步骤四中识别的故障，根据3D图像信息提供的高度图，经过图像处理与模式识别，判断是否具备弹簧窜出后的弹簧高度发生了变化，若有变化则进行故障报警，若检测正常，则处理下一张摇枕弹簧图像。

[0019] 进一步的，所述标记图像集是根据弹簧附近的固定部件的少量数据训练模型后利用深度学习模型生成标记。

[0020] 进一步的，所述标记图像集根据不同列的弹簧，按其在图像中的位置将其标记为：前、中、后三种不同类别。

[0021] 本发明的有益效果是：

[0022] 1、利用图像自动识别的方式代替人工检测，能够自动识别车辆故障并报警，作业标准统一，不再受检车员经验、理解及认知程度不同的影响，提高检测效率与准确率。

[0023] 2、将深度学习算法应用到摇枕弹簧窜出故障自动识别中，提高整体算法的稳定性及精度。

[0024] 3、对于弹簧附近的固定部件少量数据训练模型后用深度学习自动生成标记，后续只增加或修改弹簧部分标记可提高生成数据集效率，增强模型鲁棒性。

[0025] 4、本发明通过将粗定位子图中不同列弹簧标记为不同类别来解决弹簧不同实体的混淆。

[0026] 5、本发明除了可以识别弹簧是否有窜出故障，还可选择输出故障类型：左、右窜；上、下窜；里、外窜等。

[0027] 6、对于深度学习识别的报警可进一步通过3D图像处理的程序二次验证，减少误报警数量。

附图说明

[0028] 图1为故障识别流程图。

[0029] 图2为权重系数计算流程图。

[0030] 图3为U型深度学习网络模型。

具体实施方式

[0031] 具体实施方式一：参照图1至图3具体说明本实施方式，本实施方式所述的一种铁路货车摇枕弹簧窜出故障图像识别方法，包括以下步骤：

[0032] 步骤一：获取途径货车图像，并进行粗定位，得到粗定位灰度图像集；

[0033] 步骤二：对粗定位灰度图像集进行标记，得到标记图像集；

[0034] 步骤三：利用标记图像集和原始图像训练深度学习网络模型；

[0035] 步骤四：利用训练好的深度学习网络模型对摇枕弹簧进行分割，依据分割结果判断是否出现了摇枕弹簧窜出故障，所述判断过程为：

[0036] 首先将图像使用深度学习网络模型进行预测，使用训练好的权重系数预测出摇枕弹簧与邻近部件的轮廓区域，得到预测后的多值图像，使用图像处理方式计算出每列弹簧的倾斜角度与邻近部件的关系，如果角度偏移大于预先设定的阈值或与临近部件的位置关系有所变化，则认定该摇枕弹簧出现故障，若角度与位置关系正常，则处理下一张摇枕弹簧图像。

[0037] 1、建立样本数据集

[0038] 分别在货车轨道周围搭建高清设备，货车通过设备后，获取货车两侧、底部、上部全方位的高清图像。由于货车部件可能受到货物轻重、雨水、泥渍、油渍、白漆、黑漆、异物、冰雪、粉笔字等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，摇枕弹簧图像之间千差万别。所以，在收集摇枕弹簧图像数据的过程中，要保证多样性，尽量将各种条件下的摇枕弹簧图像全部收集。

[0039] 样本数据集包括：粗定位灰度图像集与标记图像集。粗定位灰度图像集为设备拍摄的高清灰度图像。标记图像集为摇枕弹簧部件与邻近部件的分割图像，此部分图像为多值图像，通过人工标记的方式获取。粗定位灰度图像数据集与标记图像数据集之间是一一对应的，即每个灰度图像对应一个标记图像。

[0040] 样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。

[0041] 鉴于弹簧部件轮廓较多，标记复杂，样本数据集建立困难的问题。本发明先通过标记少量数据，然后训练出深度学习。利用初次训练的模型预测出新的标记数据，对部分标记数据有偏移的情况进行微调，可提过样本数据集的建立效率。

[0042] 为避免车速、相机角度偏差、货物轻重等，对数据集中的样本统一缩放大小到N*N，并进行统一图像预处理，可提高系统的鲁棒性。

[0043] 2、计算样本数据集权重

[0044] 首先，初始化权重系数，采用随机方式进行初始化。

[0045] 其次，将样本数据进行灰度归一化处理，即将其灰度值归一化至0到1的范围内。将归一化后的数据作为输入数据，输入到U-Net深度学习网络中，进行数据变换。

[0046] U-Net深度学习网络主要包括卷积(convolution)、池化(Pooling)和激活函数(Mish)作用等操作。卷积是一个二维的滤波器矩阵(卷积核)与一个待处理的二维图像进行逐个元素相乘再求和的操作。池化是将输入图像进行降维，减少像素信息，只保留重要信息。最大池化(max-pooling)保留了每块内的最大值。Mish是一种新的光滑非单调的神经激活函数，其公式如下：

[0047] Mish＝x＊tanh(ln(1+e^x))(1)

[0048] Mish具有较强的理论渊源，模型训练曲线平稳、稳定，在测试中，就训练稳定性和准确性而言，Mish的性能优于ReLU。

[0049] U-Net深度学习网络步骤如下：

[0050] 第一步:特征提取部分。4次下采样,采用5个卷积核大小为3x3的pooling layer实现网络对图像特征的多尺度特征识别。

[0051] 第二步：上采样部分。进行4次上采样，采用5个卷积核大小为3x3。上采样部分会融合特征提取部分的输出，这样做实际上是将多尺度特征融合在了一起，网络中有四次融合过程。

[0052] 第三步：输出变换后的数据。

[0053] 通过初始化权重与变换数据作用，对每一个像素点进行判断类别,得到预测图像，将预测图像与真实标签图像进行差分对比，并把分类交叉熵计算结果作为损失函数,即公式(2)：

[0054]

[0055] 其中，y表示真实标记的分布，则为预测分布。

[0056] 通过损失函数计算损失值，通过优化器Adam进行优化权重。Adam优化器具有高效、占用内存小、适合大规模数据等优点。

[0057] 如下公式(3)所示：

[0058]

[0059] W为权重，Wi为上一次的权重或者初始权重，η为学习率。学习率设定为0.0002，高学习率意味着在权重更新中采取更大的步骤，因此模型可能花费较少的时间来收敛于最优权重集合。但是，如果学习率过高，可能导致跳跃过大，不够精确，无法达到最佳点。

[0060] 经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。程序将重复这个过程，将全部图像完成固定次数的迭代，但是并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数。

[0061] 3、摇枕弹簧窜出故障判别

[0062] 将真实过车图像使用U-Net深度学习网络进行数据变换后，使用训练好的权重系数，预测出摇枕弹簧与邻近部件的轮廓区域，得到预测后的多值图像，多值图像中0值为不相关区域，非0值为摇枕弹簧与其邻近部件区域。正常每列摇枕弹簧互相平行，弹簧头圈与尾圈与附近部件位置关系固定。如果发生故障会发生窜出，在多值摇枕弹簧图像中，使用图像处理方式计算出每列弹簧的倾斜角度与邻近部件的关系，如果角度偏移大于预先设定的阈值或与临近部件的位置关系有所变化，则对此部分摇枕弹簧坐标转换后进行故障报警。若角度与位置关系正常，则处理下一张摇枕弹簧图像。

[0063] 4、故障详细类型输出与故障二次验证

[0064] 步骤3之前的识别结果，已具备了高识别率，本步骤可选。对于上述步骤中识别处的故障，可根据3D图像信息提供的高度图，经过图像处理与模式识别，判断是否具备弹簧窜出后的弹簧高度发生了变化，若有变化则进行步骤3中的故障报警，若检测正常，则处理下一张摇枕弹簧图像。本发明可选择是否输出弹簧窜出的详细故障类型。

[0065] 需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。