基于深度学习的转向架弹簧托板检测方法

摘要

基于深度学习的转向架弹簧托板检测方法，涉及图像处理技术领域，针对现有技术中弹簧托板故障检测存在准确率低的问题，本申请通过深度学习的方法可以有效地减少检测人员的工作量，深度学习方法可以一直以计算机良好的状态进行高速高效率的检测。通过使用深度学习的预测网络的方法相比较常规方法可以显著减少人力物力的消耗，同时显著的减少了检测时间，提高检测的效率。通过使用了深度学习的辅助网络进行了协助预测，在不产生漏报的情况下进一步提升准确率，去除一些预测网络产生的误报情况，进一步减少检测人员的工作量。深度学习的方法可以为检测工作提供极大便利，为动车保驾护航。

权利要求

1.基于深度学习的转向架弹簧托板检测方法，其特征在于包括以下步骤：步骤一：获取弹簧托板区域图像；

步骤二：对弹簧托板区域图像中弹簧托板区域和故障区域进行标记；

步骤三：利用弹簧托板区域图像、弹簧托板区域和故障区域训练预测网络，得到训练好的预测网络，所述预测网络为Faster‑RCNN；

步骤四：重新获取弹簧托板区域图像，并对弹簧托板区域图像进行纹理特征提取，得到纹理特征；

步骤五：对弹簧托板区域图像中的故障区域和干扰区域进行标记；

步骤六：将重新获取的弹簧托板区域图像、纹理特征、故障区域和干扰区域进行存储；

步骤七：获取待识别弹簧托板区域图像，将待识别弹簧托板区域图像输入预测网络，若输出弹簧托板区域和故障区域，则执行步骤八，否则，认定为无故障；

步骤八：判断弹簧托板区域是否包含故障区域，若不包含，则认定为无故障，若包含，则执行步骤九；

步骤九：将待识别弹簧托板区域图像进行纹理特征提取，得到纹理特征；

步骤十：调取存储的纹理特征，将其与步骤九中得到的纹理特征进行相似度比对，然后选取相似度最高的纹理特征对应的弹簧托板区域图像、故障区域和干扰区域；

步骤十一：将步骤十中得到的弹簧托板区域图像根据步骤七中得到的故障区域进行区域划分；

步骤十二：将步骤七中得到的故障区域和划分后的区域分别进行纹理特征提取，得到纹理特征；

步骤十三：将步骤七中得到的故障区域的纹理特征和划分后的区域的纹理特征进行相似度比对，选取相似度最高的划分后的区域，并将相似度最高的划分后的区域与步骤十中得到的故障区域和干扰区域进行重合度比对，并根据重合度比对结果判定是否存在故障；

若是与记录的故障信息有交集则报警，若是与故障信息和干扰信息均无交集也报警，若是与故障信息无交集与干扰信息有交集则不报警。

2.根据权利要求1所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述纹理特征提取通过VGG19网络进行。

3.根据权利要求2所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述VGG19网络包括Relu1‑1、Relu2‑1和Relu3‑1三层。

4.根据权利要求3所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述步骤十中相似度表示为：detect

其中，Si,j为检测区域划分的第i块和特征图片划分的第j块的相似度，I 为检测出texture报警的图片，I 为特征图片，表示计算特征图的结构和纹理特征，Pi和Pj表示i块和j块的结果。

5.根据权利要求4所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述步骤十三中相似度表示为：detect_break_area

其中，Sj为特征图片第j块实际与报警区块相似度，I 表示预测网络检测的待识别弹簧托板区域的故障区域。

6.根据权利要求5所述的基于深度学习的转向架弹簧托板检测方法，其特征在于：获取弹簧托板区域图像后对获取到的弹簧托板区域图像进行预处理，所述预处理包括去噪、去模糊、超分、亮度调整和直方图均衡化中的一种或多种。

7.根据权利要求6所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述弹簧托板区域图像具备多样性和复杂性，包括图像的亮度变化，雨雪天和晴天的图像区分以及图像质量的好坏。

8.根据权利要求7所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述重新获取的弹簧托板区域图像、纹理特征、故障区域坐标和干扰区域坐标存储在npy文件中。

9.根据权利要求8所述的基于深度学习的转向架弹簧托板检测方法，其特征在于所述步骤十一中区域划分按照步长进行。

说明书

基于深度学习的转向架弹簧托板检测方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体为基于深度学习的转向架弹簧托板检测方法。

背景技术

[0002] 弹簧托板为了缓和机车运行的时候受到的冲击和振动，并且把机车重量均匀分布在各个车轮上面，当弹簧托板发生折断的时候会导致弹簧托板无法发挥其应有的作用进而导致机车在运行中发生一些危险。为了确保高铁能够安全的运行，现在相关部门会安排大量的动车机组人员去对高铁进行安全检测。当高铁在站内停靠时会安排人去逐车厢质检，在高铁运行时，会通过拍摄得到的照片进行检测。然而人工的质检需要调配大量的人手消耗大量的人力物力，同时还要考虑到人眼的视觉疲劳，以及部分故障过于细小导致被人眼忽略。常规人力手动检查故障的方法效率较为低下，而且容易造成人员疲劳而导致漏检，导致动车有安全隐患。

[0003] 由于当前动车的故障检测方式还是以人工查看图像或者实地检查为主，这种方式效率低下，容易造成故障的遗漏，误检等状况，影响车辆行驶安全。

[0004] 因此，故障自动识别技术在动车检测上意义重大，此方法运用深度学习技术，以拍摄得到得高清图像为数据，实现故障的自动报警，提高动车作业效率。弹簧托板为了缓和机车运行的时候受到的冲击和振动，并且把机车重量均匀分布在各个车轮上面，当弹簧托板发生折断的时候会导致弹簧托板无法发挥其应有的作用进而导致机车在运行中发生一些危险。

发明内容

[0005] 本发明的目的是：针对现有技术中弹簧托板故障检测存在准确率低的问题，提出基于深度学习的转向架弹簧托板检测方法。

[0006] 本发明为了解决上述技术问题采取的技术方案是：

[0007] 基于深度学习的转向架弹簧托板检测方法，包括以下步骤：

[0008] 步骤一：获取弹簧托板区域图像；

[0009] 步骤二：对弹簧托板区域图像中弹簧托板区域和故障区域进行标记；

[0010] 步骤三：利用弹簧托板区域图像、弹簧托板区域和故障区域训练预测网络，得到训练好的预测网络，预测网络为Faster‑RCNN；

[0011] 步骤四：重新获取弹簧托板区域图像，并对弹簧托板区域图像进行纹理特征提取，得到纹理特征；

[0012] 步骤五：对弹簧托板区域图像中的故障区域和干扰区域进行标记；

[0013] 步骤六：将重新获取的弹簧托板区域图像、纹理特征、故障区域和干扰区域进行存储；

[0014] 步骤七：获取待识别弹簧托板区域图像，将待识别弹簧托板区域图像输入预测网络，若输出弹簧托板区域和故障区域，则执行步骤八，否则，认定为无故障；

[0015] 步骤八：判断弹簧托板区域是否包含故障区域，若不包含，则认定为无故障，若包含，则执行步骤九；

[0016] 步骤九：将待识别弹簧托板区域图像进行纹理特征提取，得到纹理特征；

[0017] 步骤十：调取存储的纹理特征，将其与步骤九中得到的纹理特征进行相似度比对，然后选取相似度最高的纹理特征对应的弹簧托板区域图像、故障区域和干扰区域；

[0018] 步骤十一：将步骤十中得到的弹簧托板区域图像根据步骤七中得到的故障区域进行区域划分；

[0019] 步骤十二：将步骤七中得到的故障区域和划分后的区域分别进行纹理特征提取，得到纹理特征；

[0020] 步骤十三：将步骤七中得到的故障区域的纹理特征和划分后的区域的纹理特征进行相似度比对，选取相似度最高的划分后的区域，并将相似度最高的划分后的区域与步骤十中得到的故障区域和干扰区域进行重合度比对，并根据重合度比对结果判定是否存在故障。

[0021] 进一步的，纹理特征提取通过VGG19网络进行。

[0022] 进一步的，VGG19网络包括Relu1‑1、Relu2‑1和Relu3‑1三层。

[0023] 进一步的，步骤十中相似度表示为：

[0024]

[0025] 其中，Si,j为检测区域和特征图片划分的第j块的相似度，Idetect为检测出报警的图texture片，I 为特征图片，表示计算特征图的结构和纹理特征，Pi和Pj表示i块和j块的结果。

[0026] 进一步的，步骤十三中相似度表示为：

[0027]

[0028] 其中，Sj为特征图片第j块实际与报警区块相似度，Idetect_break_area表示预测网络检测的待识别弹簧托班区域的故障区域。

[0029] 进一步的，获取弹簧托板区域图像后对获取到的弹簧托板区域图像进行预处理，预处理包括去噪、去模糊、超分、亮度调整和直方图均衡化中的一种或多种。

[0030] 进一步的，弹簧托板区域图像具备多样性和复杂性，包括但不限于图像的亮度变化，雨雪天和晴天的图像区分以及图像质量的好坏。

[0031] 进一步的，重新获取的弹簧托板区域图像、纹理特征、故障区域坐标和干扰区域坐标存储在npy文件中。

[0032] 进一步的，步骤十一中区域划分按照步长进行区域划分。

[0033] 本发明的有益效果是：

[0034] 本申请通过深度学习的方法可以有效地减少检测人员的工作量，深度学习方法可以一直以计算机良好的状态进行高速高效率的检测。通过使用深度学习的预测网络的方法相比较常规方法可以显著减少人力物力的消耗，同时显著的减少了检测时间，提高检测的效率。通过使用了深度学习的辅助网络进行了协助预测，在不产生漏报的情况下进一步提升准确率，去除一些预测网络产生的误报情况，进一步减少检测人员的工作量。深度学习的方法可以为检测工作提供极大便利，为动车保驾护航。

[0035] 本申请可以实现自动化代替人工检测，提高检测效率、准确率，不受人员的生理和心理影响，作业质量大幅提高。

附图说明

[0036] 图1为本申请的流程图；

[0037] 图2为特征参考图。

具体实施方式

[0038] 具体实施方式一：参照图1具体说明本实施方式，本实施方式的基于深度学习的转向架弹簧托板检测方法，包括以下步骤：

[0039] 步骤一：获取弹簧托板区域图像；

[0040] 步骤二：对弹簧托板区域图像中弹簧托板坐标和故障区域坐标进行标记；

[0041] 步骤三：利用弹簧托板区域图像、弹簧托板坐标和故障区域坐标训练预测网络，得到训练好的预测网络，预测网络为Faster‑RCNN；

[0042] 步骤四：重新获取弹簧托板区域图像，并对弹簧托板区域图像进行纹理特征提取，得到纹理特征；

[0043] 步骤五：对弹簧托板区域图像中的故障区域坐标和干扰区域坐标进行标记；

[0044] 步骤六：将重新获取的弹簧托板区域图像、纹理特征、故障区域坐标和干扰区域坐标进行存储；

[0045] 步骤七：获取待识别弹簧托板区域图像，将待识别弹簧托板区域图像输入预测网络，若输出弹簧托板坐标和故障区域坐标，则执行步骤八，否则，认定为无故障；

[0046] 步骤八：将弹簧托板坐标是否包含故障区域坐标，若不包含，则认定为无故障，若包含，则执行步骤九；

[0047] 步骤九：将待识别弹簧托板区域图像进行纹理特征提取，得到纹理特征；

[0048] 步骤十：调取存储的纹理特征，将其与步骤九中得到的纹理特征进行相似度比对，然后选取相似度最高的纹理特征对应的弹簧托板区域图像、故障区域坐标和干扰区域坐标；

[0049] 步骤十一：将步骤十中得到的弹簧托板区域图像根据步骤七中得到的故障区域坐标进行区域划分；

[0050] 步骤十二：将步骤七中得到的故障区域坐标和划分后的区域进行纹理特征提取，得到纹理特征；

[0051] 步骤十三：将步骤七中得到的故障区域坐标的纹理特征和划分后的区域的纹理特征进行相似度比对，选取相似度最高的划分后的区域，并将相似度最高的划分后的区域与步骤十中得到的故障区域坐标和干扰区域坐标进行重合度比对，若与故障区域坐标重合度超过阈值，则认定为故障，若与干扰区域坐标重合度超过阈值，则认定为无故障。

[0052] 具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是纹理特征提取通过VGG19网络进行。

[0053] 具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是VGG19网络包括Relu1‑1、Relu2‑1和Relu3‑1三层。

[0054] 具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是步骤十中相似度表示为：

[0055]

[0056] 其中，Si,j为检测区域和特征图片划分的第j块的相似度，Idetect为检测出报警的图texture片，I 为特征图片，表示计算特征图的结构和纹理特征，Pi和Pj表示i块和j块的结果。

[0057] 具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是步骤十三中相似度表示为：

[0058]

[0059] 其中，Sj为特征图片第j块实际与报警区块相似度，Idetect_break_area表示预测网络检测的待识别弹簧托班区域的故障区域。

[0060] 具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是获取弹簧托板区域图像后对获取到的弹簧托板区域图像进行预处理，预处理包括去噪、去模糊、超分、亮度调整和直方图均衡化中的一种或多种。

[0061] 具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是弹簧托板区域图像具备多样性和复杂性，包括但不限于图像的亮度变化，雨雪天和晴天的图像区分以及图像质量的好坏。

[0062] 具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是重新获取的弹簧托板区域图像、纹理特征、故障区域坐标和干扰区域坐标存储在npy文件中。

[0063] 具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是步骤十一中区域划分按照步长进行区域划分。

[0064] 实施例：本申请设计了基于深度学习的自动检测方法，深度学习的自动算法可以有效的根据已有的数据进行自学习并且对其他待处理的图片进行预测。深度学习的自动算法利用计算机不会产生疲劳以及处理速度较快的特点可以有效的协助检测人员工作，使质检人员只需要重点查看发现故障区域的图片，通过大量减少查看没有故障的图片这一手段显著的减少了检测人员的工作量。

[0065] 预测网络可以减少人工去挨个查看车厢的次数这样子可以提高检测的效率，以及避免人员的心理和生理影响。可能会有较多的误报产生，当采用了辅助模块可以进一步的判断相似程度，在不产生漏报的情况下进一步减少误报警的情况，这样子就可以进一步提高准确率也减少了人工确认的工作量。

[0066] 一、建立训练数据集

[0067] 通过动车拍摄设备获取线阵图像，收集转向架弹簧托板图像，这里要保证图像的多样性和复杂性，包括但不限于各种图像的亮度变化，雨雪天和晴天的图像区分，以及图像质量的好坏等等，这些都要包含在数据集中。由于采集到图像数较少且质量均不同，要对这些图像进行处理(由于图像质量不同，采取的处理也不同，常用的图像处理是去噪，去模糊，超分这些操作。有时候也会进行亮度调整和直方图均衡化等操作。)，使得图像变得更加的平滑和清晰，以便于后续的检测和识别。另外建立一个包含容易产生误报警信息的小数据库(为了进一步判别预测网路得到的区域是与需要报警的故障相似，还是与无需报警的干扰相似。如果辅助数据库只有误报信息的存在，那必然是与误报区域相似，导致需要报警的报警信息也被判断为需要去掉，引起漏报)，小数据集采用现成的网络进行特征提取，特征信息图像信息以及坐标信息将被辅助网络使用。误报警信息指的是肉眼可以识别出来不是折断的干扰信息比如有些遮挡造成的影子，这类干扰与折断相似容易被预测网络识别为折断的信息。手工划分信息时用的是图像信息，手工划分信息指标注故障坐标信息和干扰坐标信息，在辅助网络中用的是特征信息。相似度比较之后得到的坐标信息与手工划分的坐标信息比较。由于真实故障本来就极少，故满足既包含故障信息还包含容易造成误报警的干扰信息的图片几乎没有，因此对部分包含了容易导致误报警信息的图ps部分需要报警的故障，记录下来误报警信息的区块坐标信息以及ps的仿真故障坐标信息，对这些图片进行卷积，使用辅助网络进行卷积得到整张图的特征并存储，这里获取整张图像的特征以及第三部分获取区块的特征信息统一采取VGG19网络，直接存储参考图像的特征信息以减少实际模块中辅助网络的重复工作。故障参考图像是一致的故在外部先计算完成，在模块中直接读取以减少模块的计算量和辅助网络计算用时。这些存储的信息用于在预测网络得到了报警信息之后进行的辅助判断。

[0068] 二、预测网络获取报警信息

[0069] 对图片进行按照相机号读取，按照定位信息定位到弹簧托板部件区域，加载模型权重，进行预测。定位信息是根据summary info里面的信息得到的。通过预测网络可以获取得到折断信息和托板信息等，预测网络是用数据训练的深度学习网络，预测网络是训练的，辅助网络是使用成熟的特征提取网络，在预测网络中可以得到折断信息，托板外侧信息，以及托板内侧信息。若识别到图像的折断信息，结合托板等信息先进行一系列的逻辑判断尽量去除误报警的情况，主要是根据预测信息，进行位置判断，根据定位信息截取待处理的图像并非全是弹簧托板，处于外侧和图像边界内的报警信息不是需要报警的，以及弹簧内侧里面的区域也不是托板不必报警，类似这样子根据坐标信息进行的逻辑判断。若是通过了逻辑判断信息之后仍然需要报警则启用辅助预测网络，对图片做进一步的处理，辅助去除误报警的情况。

[0070] 三、辅助预测去除误报警

[0071] 使用了一个辅助网络进行协助判断，在输入识别网络之后若是得到了报警区块则调用辅助识别网络。构建辅助网络模块利用先前手动收集的模拟故障图片，包含故障以及容易被识别为故障的干扰。把这些图片的故障区块信息，容易造成误报的干扰区块信息，图片信息以及图片特征信息以数组的形式存储于npy文件中，方便在辅助识别的这一过程中的读取。VGG19网络与传统的CNN模型想类似，具有较小的卷积核较小的池化核层数更深特征图更宽，是全连接转卷积结构，没有全连接限制故可以接受任意宽和高的图片作为输入。VGG19网络具有比较强的纹理表征能力经常应用于各类生成的网络之中，所以这里采用VGG19网络去获取特征图像以及报警图像的纹理特征去进行匹配。VGG19网络较深，获取所有层次的特征信息较为浪费时间且仅用前几层便可以获取足够的可靠的纹理信息，故出于节省时间的目的，辅助预测网络仅使用VGG19net的Relu1‑1，Relu2‑1，Relu3‑1三层的结果来进行接下来得辅助判断，去对需要报警的图片进行卷积。通过卷积出来的结果去进行匹配，找到特征图像的存储集合里面相似度最高的图片，将这张图片作为这一张报警图片所对应的故障参考图片，并进行接下来的辅助判断。预测网络获取得到了报警区块的信息，根据这些信息对参考图片进行划分。整张故障参考图像被按照步长划分为与报警区块同样大小的区块，然后对这些区块用VGG19特征提取网络进行卷积得到Relu1‑1，Relu2‑1，Relu3‑1三层的输出结果。对参考图片的每一个划分的区块的卷积结果与报警区块的卷积特征结果进行相似度比较。每层的特征结果均与报警区块卷积特征进行相似度的计算。计算图像与区块的相似度的公式如下：

[0072]

[0073] 其中，Si,j为检测区域和特征图片划分的第j块的相似度，Idetect为检测出报警的图texture片，I 为特征图片，表示计算特征图的结构和纹理特征，Pi和Pj表示i块和j块的结果。

[0074] 计算相似度可以得到多个区块的多个纹理特征，对于同一区块的不同纹理特征需要进行下一步计算，得到的结果作为报警区块与特征图像该区块的实际相似度。并选取相似度值最大的区块作为报警区块在特征图像上面对应的区块。计算实际的相似度的公式如下：

[0075]

[0076] 其中，Sj为特征图片第j块实际与报警区块相似度，Idetect_break_area表示预测网络检测的待识别弹簧托班区域的故障区域。

[0077] 比较得到的对应区块信息与存储于npy文件里面的区块信息，若是与记录的故障信息有交集则报警，若是与故障信息和干扰信息均无交集也报警，若是与故障信息无交集与干扰信息有交集则不报警。

[0078] 本发明内容不仅限于上述各实施方式的内容，其中一个或几个具体实施方式的组合同样也可以实现发明的目的。