一种铁路货车牵引杆折断的故障图像识别方法，涉及图像识别技术领域，针对现有技术中牵引杆折断故障检测准确率低的问题，本申请采用深度学习算法对图像进行识别，可以对牵引杆折断进行故障检测，在检测效率及准确率上大大提高，并且节省很多人力物力，为铁路运行的安全增加了一份保障。本申请改进了yolo‑v5基准网络中的残差计算单元，设计了一个新的尺度维度，对特征信息进行分组计算后，再组合拼接，会得到更多的表达能力强的特征尺度。
1.一种铁路货车牵引杆折断的故障图像识别方法，其特征在于包括以下步骤：
获取待识别图像，并利用神经网络对待识别图像进行牵引杆折断故障识别；
所述神经网络为改进的yolo‑v5网络，改进的yolo‑v5网络对yolo‑v5网络中CSP1_3网络进行改进，CSP1_3网络具体执行如下步骤：
CSP1_3网络以CSP1_3网络之前的CBL网络提取的牵引杆折断图像特征作为输入，输入的牵引杆折断图像特征在CSP1_3中的CBL网络中进行卷积和Leakyrelu激活操作，得到输出的牵引杆折断图像特征图，然后将输出的牵引杆折断图像特征图输入到N组残差计算单元中对牵引杆折断图像特征图进行残差计算，之后将CSP1_3输入的牵引杆折断图像特征和残差计算后的结果进行卷积，并将卷积结果输入到concat网络中进行融合，融合后的结果依次经过BN网络层、Leakyrelu激活层和CBL网络层进行进一步特征图提取；
首先，将输入的牵引杆折断图像特征图分为三组，即X1、X2、X3，其中X1直接通过卷积提取特征得到Y1，X2通过一层3*3的卷积网络得到Y2，Y2和X3的特征进行特征张量的拼接后输入一层3*3的卷积网络得到Y3，最后将Y1,Y2,Y3一起输入到1*1的卷积层进行特征融合。
2.根据权利要求1所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述神经网络为训练好的神经网络，训练步骤具体为：步骤一：获取铁路货车线阵图像；
步骤二：对铁路货车线阵图像进行粗定位，并将粗定位结果作为样本数据集；
步骤三：对样本数据集中牵引杆折断断痕所在区域进行标记，得到标记后的图像；
步骤四：利用标记后的图像和原始图像训练神经网络，进而训练好的神经网络。
3.根据权利要求1所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述yolo‑v5网络具体执行如下步骤：输入图像经基准网络进行特征提取，提取到的特征输入Neck网络进行特征增强后输入Head输出端，Head输出端包含一个分类分支和一个回归分支，Head输出端通过对神经网络提取的特征进行分类以及对目标框的回归完成目标检测。
4.根据权利要求3所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述基准网络进行特征提取的具体步骤为：输入图像依次经过Focus网络、CBL网络、CSP11网络、CBL网络、CSP13网络、CBL网络、CSP1_3网络、CBL网络、SPP网络进行特征提取。
5.根据权利要求4所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述提取到的特征输入Neck网络进行特征增强后输入Head输出端的具体步骤为：所述Neck中，第一个CSP2_1网络经第一个CBL网络后，一路进行上采样后与第二CSP1_3网络的输出在第一个concat网络中进行融合，融合结果输入第二个CSP2_1网络，第二个CSP2_1网络的输出输入第二个CBL网络；
第二个CBL网络的输出，一路经上采样后与第一CSP1_3网络的输出在第二个concat网络中进行融合，融合结果输入第三个CSP2_1网络，第三个CSP2_1网络的输出输入第三个CBL网络，第三个CBL网络的输出与第二个CBL网络输出的另一路在第三个concat网络中进行融合，融合结果输入第四个CSP2_1网络；
第四个CSP2_1网络的输出输入第四个CBL网络，第四个CBL网络的输出与第一个CBL网络输出的另一路在第四个concat网络中进行融合后输入第五个CSP2_1网络；
基准网络中，第一个CSP1_3网络的输出与Neck网络中第二次上采样的特征图进行融合后输入到Neck网络中第三个CSP2_1网络中进行特征增强；
第二个CSP1_3网络的输出与Neck网络中第一次上采样的特征图进行融合后输入到Neck网络中第二个CSP2_1网络中进行特征增强；
SPP网络的输出与Neck网络中第四个CSP2_1网络的输出进行融合后输入到Neck网络中最后一个CSP2_1网络中进行特征图的增强；
Neck网络中的第三、四、五个CSP2_1网络的输出分别经过卷积后输入到Head网络中。
6.根据权利要求2所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述步骤三中对样本数据集中牵引杆折断断痕所在区域进行标记之前，还包括对样本数据集进行数据扩增的步骤。
7.根据权利要求6所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述数据扩增包括图像的旋转、平移、缩放、镜像和亮度调整。
8.根据权利要求2所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述步骤二中对待识别图像进行粗定位之前还包括根据车型信息对待识别图像进行过滤的步骤。
9.根据权利要求8所述的一种铁路货车牵引杆折断的故障图像识别方法，其特征在于所述车型信息根据先导模块的先验知识获得。
一种铁路货车牵引杆折断的故障图像识别方法
技术领域
[0001] 本发明涉及图像识别技术领域，具体为一种铁路货车牵引杆折断的故障图像识别方法。
背景技术
[0002] 铁路货车在运行中，通常采用人工检车和人工看图的方式对货车零部件进行检查。人工检车工作量大，时间较长，效率较低，故障漏检概率大，而人工看图的方式看图量过大，易发生误检漏检。
[0003] 牵引杆折断列痕在图中显示占比较小，人眼较难看清。若故障发生，可能引发列车脱轨等重大铁路事故。现有yolo‑v5网络对牵引杆部位的故障进行检测时，检测精度较低，对小目标检测效果交差，易发生漏检的情况，因此需要对网络进行改进，增强网络对小目标的检测能力。
发明内容
[0004] 本发明的目的是：针对现有技术中牵引杆折断故障检测准确率低的问题，提出一种铁路货车牵引杆折断的故障图像识别方法。
[0005] 本发明为了解决上述技术问题采取的技术方案是：
[0006] 一种铁路货车牵引杆折断的故障图像识别方法，包括以下步骤：
[0007] 获取待识别图像，并利用神经网络对待识别图像进行牵引杆折断故障识别；
[0008] 所述神经网络为改进的yolo‑v5网络，改进的yolo‑v5网络对yolo‑v5网络中CSP1_3网络进行改进，
[0009] CSP1_3网络具体执行如下步骤：
[0010] CSP1_3网络以CSP1_3网络之前的CBL网络提取的特征作为输入，输入特征在CSP1_3中的CBL网络中进行卷积和Leaky relu激活操作，得到输出的特征图，然后将输出的特征图输入到N组残差计算单元中对特征图进行残差计算，之后将CSP1_3输入的特征和残差计算后的结果进行卷积，并将卷积结果输入到concat网络中进行融合，融合后的结果依次经过BN网络层、Leaky relu激活层和CBL网络层进行进一步特征图提取。
[0011] 进一步的，残差计算单元具体执行如下步骤：
[0012] 首先，将输入的特征图分为三组，即X1、X2、X3，其中X1直接通过卷积提取特征得到Y1，X2通过一层3*3的卷积网络得到Y2，Y2和X3的特征进行特征张量的拼接后输入一层3*3的卷积网络得到Y3，最后将Y1,Y2,Y3一起输入到1*1的卷积层进行特征融合。
[0013] 进一步的，神经网络为训练好的神经网络，训练步骤具体为：
[0014] 步骤一：获取铁路货车线阵图像；
[0015] 步骤二：对铁路货车线阵图像进行粗定位，并将粗定位结果作为样本数据集；
[0016] 步骤三：对样本数据集中牵引杆折断断痕所在区域进行标记，得到标记后的图像；
[0017] 步骤四：利用标记后的图像和原始图像训练神经网络，进而训练好的神经网络。
[0018] 进一步的，yolo‑v5网络具体执行如下步骤：
[0019] 输入图像经基准网络进行特征提取，提取到的特征输入Neck网络进行特征增强后输入Head输出端，Head输出端包含一个分类分支和一个回归分支，Head输出端通过对神经网络提取的特征进行分类以及对目标框的回归完成目标检测。
[0020] 进一步的，基准网络进行特征提取的具体步骤为：
[0021] 输入图像依次经过Focus网络、CBL网络、CSP1_1网络、CBL网络、CSP1_3网络、CBL网络、CSP1_3网络、CBL网络、SPP网络进行特征提取。
[0022] 进一步的，提取到的特征输入Neck网络进行特征增强后输入Head输出端的具体步骤为：
[0023] 所述Neck中，第一个CSP2_1网络经第一个CBL网络后，一路进行上采样后与第二CSP1_3网络的输出在第一个concat网络中进行融合，融合结果输入第二个CSP2_1网络，第二个CSP2_1网络的输出输入第二个CBL网络；
[0024] 第二个CBL网络的输出，一路经上采样后与第一CSP1_3网络的输出在第二个concat网络中进行融合，融合结果输入第三个CSP2_1网络，第三个CSP2_1网络的输出输入第三个CBL网络，第三个CBL网络的输出与第二个CBL网络输出的另一路在第三个concat网络中进行融合，融合结果输入第四个CSP2_1网络；
[0025] 第四个CSP2_1网络的输出输入第四个CBL网络，第四个CBL网络的输出与第一个CBL网络输出的另一路在第四个concat网络中进行融合后输入第五个CSP2_1网络；
[0026] 基准网络中，第一个CSP1_3网络的输出与Neck网络中第二次上采样的特征图进行融合后输入到Neck网络中第三个CSP2_1网络中进行特征增强；
[0027] 第二个CSP1_3网络的输出与Neck网络中第一次上采样的特征图进行融合后输入到Neck网络中第二个CSP2_1网络中进行特征增强；
[0028] SPP网络的输出与Neck网络中第四个CSP2_1网络的输出进行融合后输入到Neck网络中最后一个CSP2_1网络中进行特征图的增强；
[0029] Neck网络中的第三、四、五个CSP2_1网络的输出分别经过卷积后输入到Head网络中。
[0030] 进一步的，步骤三中对样本数据集中牵引杆折断断痕所在区域进行标记之前，还包括对样本数据集进行数据扩增的步骤。
[0031] 进一步的，数据扩增包括图像的旋转、平移、缩放、镜像和亮度调整。
[0032] 进一步的，步骤二中对待识别图像进行粗定位之前还包括根据车型信息对待识别图像进行过滤的步骤。
[0033] 进一步的，车型信息根据先导模块的先验知识获得。
[0034] 本发明的有益效果是：
[0035] 本申请采用深度学习算法对图像进行识别，可以对牵引杆折断进行故障检测，在检测效率及准确率上大大提高，并且节省很多人力物力，为铁路运行的安全增加了一份保障。
[0036] 本申请改进了yolo‑v5基准网络中的残差计算单元，设计了一个新的尺度维度，对特征信息进行分组计算后，再组合拼接，会得到更多的表达能力强的特征尺度。
附图说明
[0037] 图1为yolo‑v5结构图；
[0038] 图2为Backbone网络结构图；
[0039] 图3为CSP1_3网络结构图；
[0040] 图4为改进的残差计算单元结构图。
具体实施方式
[0041] 需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
[0042] 具体实施方式一：参照图1具体说明本实施方式，本实施方式的一种铁路货车牵引杆折断的故障图像识别方法，包括以下步骤：
[0043] 获取待识别图像，并利用神经网络对待识别图像进行牵引杆折断故障识别；
[0044] 所述神经网络为改进的yolo‑v5网络，改进的yolo‑v5网络对yolo‑v5网络中CSP1_3网络进行改进，
[0045] CSP1_3网络具体执行如下步骤：
[0046] CSP1_3网络以CSP1_3网络之前的CBL网络提取的特征作为输入，输入特征在CSP1_3中的CBL网络中进行卷积和Leaky relu激活操作，得到输出的特征图，然后将输出的特征图输入到N组残差计算单元中对特征图进行残差计算，之后将CSP1_3输入的特征和残差计算后的结果进行卷积，并将卷积结果输入到concat网络中进行融合，融合后的结果依次经过BN网络层、Leaky relu激活层和CBL网络层进行进一步特征图提取。
[0047] 本申请改进了基准网络中的残差计算单元，实验数据表明，改善模型检测性能，提高scale维度相比于提高其它维度有很好的效果。具体的相关性表现为：增加scale维度时，宽度会随着减小，增加模型复杂度，但会很明显的提升计算性能。新的残差快计算模块的结构设计是在瓶颈层(CSP)的基础上，在其中构建了分层的残差连接。本申请提出的多尺度方法是在更细微的层面上有多个可用的感受野，更换原来的n通道3×3卷积滤波器为一组较小的滤波器，每个过滤器组具有w个通道(n＝s×w)，这些小的滤波器以残差结构被逐层连接在一起，从而可以增加输出特征表达不同尺度的数量能力。
[0048] 具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是残差计算单元具体执行如下步骤：
[0049] 首先，将输入的特征图分为三组，即X1、X2、X3，其中X1直接通过卷积提取特征得到Y1，X2通过一层3*3的卷积网络得到Y2，Y2和X3的特征进行特征张量的拼接后输入一层3*3的卷积网络得到Y3，最后将Y1,Y2,Y3一起输入到1*1的卷积层进行特征融合。
[0050] 具体实施方式三：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是训练好的神经网络获取步骤为：
[0051] 步骤一：获取铁路货车线阵图像；
[0052] 步骤二：对铁路货车线阵图像进行粗定位，并将粗定位结果作为样本数据集；
[0053] 步骤三：对样本数据集中牵引杆折断断痕所在区域进行标记，得到标记后的图像；
[0054] 步骤四：利用标记后的图像和原始图像训练神经网络，进而训练好的神经网络。
[0055] 具体实施方式四：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是yolo‑v5网络具体执行如下步骤：
[0056] 输入图像经基准网络进行特征提取，提取到的特征输入Neck网络进行特征增强后输入Head输出端，Head输出端包含一个分类分支和一个回归分支，Head输出端通过对神经网络提取的特征进行分类以及对目标框的回归完成目标检测。
[0057] 具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是基准网络进行特征提取的具体步骤为：
[0058] 输入图像依次经过Focus网络、CBL网络、CSP1_1网络、CBL网络、第一CSP1_3网络、CBL网络、第二CSP1_3网络、CBL网络、SPP网络进行特征提取。
[0059] 具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是提取到的特征输入Neck网络进行特征增强后输入Head输出端的具体步骤为：
[0060] 输入图像依次经过Focus网络、CBL网络、CSP1_1网络、CBL网络、CSP1_3网络、CBL网络、CSP1_3网络、CBL网络、SPP网络进行特征提取。
[0061] 进一步的，提取到的特征输入Neck网络进行特征增强后输入Head输出端的具体步骤为：
[0062] 所述Neck中，第一个CSP2_1网络经第一个CBL网络后，一路进行上采样后与第二CSP1_3网络的输出在第一个concat网络中进行融合，融合结果输入第二个CSP2_1网络，第二个CSP2_1网络的输出输入第二个CBL网络；
[0063] 第二个CBL网络的输出，一路经上采样后与第一CSP1_3网络的输出在第二个concat网络中进行融合，融合结果输入第三个CSP2_1网络，第三个CSP2_1网络的输出输入第三个CBL网络，第三个CBL网络的输出与第二个CBL网络输出的另一路在第三个concat网络中进行融合，融合结果输入第四个CSP2_1网络；
[0064] 第四个CSP2_1网络的输出输入第四个CBL网络，第四个CBL网络的输出与第一个CBL网络输出的另一路在第四个concat网络中进行融合后输入第五个CSP2_1网络；
[0065] 基准网络中，第一个CSP1_3网络的输出与Neck网络中第二次上采样的特征图进行融合后输入到Neck网络中第三个CSP2_1网络中进行特征增强；
[0066] 第二个CSP1_3网络的输出与Neck网络中第一次上采样的特征图进行融合后输入到Neck网络中第二个CSP2_1网络中进行特征增强；
[0067] SPP网络的输出与Neck网络中第四个CSP2_1网络的输出进行融合后输入到Neck网络中最后一个CSP2_1网络中进行特征图的增强；
[0068] Neck网络中的第三、四、五个CSP2_1网络的输出分别经过卷积后输入到Head网络中。
[0069] 具体实施方式七：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤三中对样本数据集中牵引杆折断断痕所在区域进行标记之前，还包括对样本数据集进行数据扩增的步骤。
[0070] 具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是数据扩增包括图像的旋转、平移、缩放、镜像和亮度调整。
[0071] 具体实施方式九：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是步骤二中对待识别图像进行粗定位之前还包括根据车型信息对待识别图像进行过滤的步骤。
[0072] 具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是车型信息根据先导模块的先验知识获得。
[0073] 1、建立样本数据集
[0074] 通过货车轨道周围搭建的高清成像设备，获取货车的高清图像。由于有牵引杆的车型有限，首先根据车型信息过滤图像，可以减少很大的计算量；然后需要取两辆车连接处部图像根据先验知识进行定位，将定位的牵引杆图像进一步取子图。由于不同站点的拍摄条件不同，设备拍摄的图像存在差异，相机可能受到雨水、泥渍等自然条件影响，导致获取的牵引杆图像也存在差异。为了保证数据集的多样性，需要将各站点在不同条件下拍摄的不同车型的牵引杆图像全部采集。
[0075] 样本数据集包括：原始图像集和标记信息集。原始图像为粗定位后的牵引杆图像。标记信息集为折断区域的矩形框的信息，手动标记获取。原始图像与标记信息一一对应。本申请需要构建一个检测的样本数据集，将折断的牵引杆图像作为原始图像，并手动标记牵引杆折断断痕所在区域，获得相对的标记信息集。为了提高算法的稳定性和适用性，还要分别进行数据集扩增，主要包括对原图像的旋转、平移、缩放、镜像和亮度调整等。每种操作随机进行，最大程度的保证了样本的多样性。
[0076] 2、牵引杆折断故障识别模型训练
[0077] 本申请采用改进的yolo‑v5网络对牵引杆折断的图像进行训练，如图1所示为yolo‑v5结构图，图中input为输入图像，图像输入到基准网络中进行特征提取和分类，其中如图2所示为基准网络(Backbone)结构图，输入图像依次经过Focus网络、CBL网络、CSP1_1网络、CBL网络进行特征图像的提取，得到很多特征张量，将上述网络提取的特征图输入到CSP1_3网络中进一步进行特征计算，如图3所示为CSP1_3网络结构，在CSP1_3网络中改进了残差计算单元，在新的残差快计算方法中，设计了一个新的尺度维度，深度、宽度和基数一样，都为网络的基础参数，可以通过调节scale来改变模型的运算性能。如图4所示，将输入的特征图分成3组，用Xi表示，其中i∈{1,2,3}，每一组卷积核从当前组的特征图进行特征提取，然后与前一组的特征图一起传入到下一组的卷积核提取特征信息，除了X1，每个特征图子集Xi都有其对应的3×3卷积层，用K表示。当各组输入的所有特征图的特征都被提取完毕，将其张量拼接在一起，传输到一组1×1卷积核进行特征融合。经过对特征图的特征信息组合拼接，最后会输出许多表达能力强的特征尺度。将组合后的特征信息输入到后续的CBL、CSP1_3、SPP网络中继续进行特征图像的提取。然后分别将两个CSP1_3网络的输出结果及网络的最终结果输入到后学的Neck网络中,进一步提升特征的多样性和鲁棒性，最后将增强的特征输入到Head输出端，Head输出端包含一个分类分支和一个回归分支，通过分类和回归来完成目标检测结果的输出。
[0078] 本申请改进了基准网络中的残差计算单元，实验数据表明，改善模型检测性能，提高scale维度相比于提高其它维度有很好的效果。具体的相关性表现为：增加scale维度时，宽度会随着减小，增加模型复杂度，但会很明显的提升计算性能。新的残差快计算模块的结构设计是在瓶颈层(CSP)的基础上，在其中构建了分层的残差连接。本申请提出的多尺度方法是在更细微的层面上有多个可用的感受野，更换原来的n通道3×3卷积滤波器为一组较小的滤波器，每个过滤器组具有w个通道(n＝s×w)，这些小的滤波器以残差结构被逐层连接在一起，从而可以增加输出特征表达不同尺度的数量能力。
[0079] 3、牵引杆折断的故障判别
[0080] 将待测图像输入上述训练好的检测网络，网络输出检测结果，对检测结果进行判断，若检测到牵引杆折断的断痕，将其在货车上的坐标进行输出，通过系统进行故障报警。
[0081] 需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
