铁路货车三角孔异物检测方法，属于货运列车检测技术领域。本发明是为了解决目前的漏水孔异物检测存在效率低的问题以及准确率低的问题。本发明首先采集图像并提取包含三角孔区域的图像，构建样本数据集，样本数据集包括两个：三角孔部位定位的样本数据集和标定三角孔异物的样本数据集；分别训练三角孔定位分割网络和三角孔异物分割网络；检测过程中，采集真实过车图像并提取出三角孔部位图像，将待检测三角孔部位图像输入三角孔异物分割网络，检测是否存在异物；如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，进而判断三角孔内是否存在异物。主要用于铁路货车三角孔异物检测。
1.铁路货车三角孔异物检测方法，其特征在于，具体包括以下步骤：
采集图像并提取包含三角孔区域的图像，构建样本数据集，样本数据集包括两个：三角孔部位定位的样本数据集和标定三角孔异物的样本数据集；三角孔部位定位的样本数据集记为样本数据集一，标定三角孔异物的样本数据集记为样本数据集二；
样本数据集一包括两部分：灰度图像集与二值图像集；灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的三角孔部位的二值分割图像；
样本数据集二包括两部分：灰度图像集与二值图像集；灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的有异物的图像和无异物的二值分割图像；
利用样本数据集一训练三角孔定位分割网络，利用样本数据集二训练三角孔异物分割网络；
所述三角孔异物分割网络是对取出三角孔部位图像整体是否有异物进行检测；其得到的是二值图像，通过二值图像判断是否有异物存在；所述三角孔定位分割网络是对三角孔区域进行定位；其得到的是二值图像，通过二值图像确定三角孔区域；
检测过程中，采集真实过车图像并提取出三角孔部位图像，记为待检测三角孔部位图像；
将待检测三角孔部位图像输入三角孔异物分割网络，通过三角孔异物分割网络输出的二值图进行判断，检测是否存在异物；
如果不存在异物，则继续处理下一张待检测三角孔部位图像；如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，进而判断三角孔内是否存在异物；若三角孔异物分割网络的检测的异物正位于三角孔区域，则进行故障报警；其他情况，则继续处理下一张待检测三角孔部位图像。
2.根据权利要求1所述的铁路货车三角孔异物检测方法，其特征在于，所述三角孔定位分割网络和三角孔异物分割网络的网络结构相同。
3.根据权利要求2所述的铁路货车三角孔异物检测方法，其特征在于，网络结构相同的三角孔定位分割网络和三角孔异物分割网络采用编码器-解码器网络，所述的编码器网络模型如下：编码器以 VGG 网络作为基准网络进行特征提取，采用5个下采样的编码单元，其中，每个卷积层后都跟随一个批标准化；2 个相同编码单元是由2个3*3的卷积层加批标准化层，剩余3个相同的编码单元是由3个3*3卷积层加批标准化层、和一个池化层共7层网络层组成，最后再加入2个3*3的卷积层加批标准化层，一共采用15 个卷积层进行特征提取和5个池化层进行下采样；
编码单元1：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层；
编码单元2：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层；
编码单元3：[3*3卷积层→批标准化层]*3→2*2池化层；
编码单元4：[3*3卷积层→批标准化层]*3→2*2池化层；
编码单元5：[3*3卷积层→批标准化层]*3→2*2池化层 ；
编码单元6：3*3 卷积层→批标准化层→3*3 卷积层→批标准化层。
4.根据权利要求3所述的铁路货车三角孔异物检测方法，其特征在于，网络结构相同的三角孔定位分割网络和三角孔异物分割网络采用编码器-解码器网络，所述解码器网络模型如下：解码器采用4个上采样的解码单元，前2个解码单元包含一个由对编码器编码单元的2*
2的上采样层和上一层编码器编码单元的合并层和3个卷积层加批标准化层，第3个编码单元是由1个2*2上采样层和3个卷积层加批标准化层，最后由1个4*4上采样层和2个卷积层加
1个批标准化层组成；其中，解码器部分的卷积层包含卷积核为1*1的卷积层，可以有效减少特征网络参数；
解码单元1：编码单元5与编码单元6的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2；
解码单元2：编码单元4与解码单元1的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2；
解码单元3：解码单元2的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2；
解码单元4：解码单元3的输出→1*1卷积层→批标准化层→1*1卷积层。
5.根据权利要求1至4之一所述的铁路货车三角孔异物检测方法，其特征在于，所述如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，进而判断三角孔内是否存在异物的过程是通过将三角孔定位分割网络和三角孔异物分割网络的输出图像进行点乘实现判断的。
6.根据权利要求5所述的铁路货车三角孔异物检测方法，其特征在于，所述构建样本数据集的过程中需要进行数据扩增操作，针对于样本数据集一和样本数据集二，需要对各自的样本数据集进行数据扩增。
7.根据权利要求6所述的铁路货车三角孔异物检测方法，其特征在于，所述的数据扩增操作包括对图像进行水平翻转、缩放、平移的随机组合操作。
8.根据权利要求7所述的铁路货车三角孔异物检测方法，其特征在于，采集图像并提取包含三角孔区域的图像中所述的提取包含三角孔区域的图像过程是根据轴距信息和三角孔的位置先验知识实现的。
9.根据权利要求8所述的铁路货车三角孔异物检测方法，其特征在于，采集图像并提取包含三角孔区域的图像中所述的采集图像的过程是基于线阵相机实现的。
铁路货车三角孔异物检测方法
技术领域
[0001] 本发明涉及一种三角孔异物检测方法。属于货运列车检测技术领域。
背景技术
[0002] 铁路货车搭载三角孔部位为铁路货车转向架上部的两个大型空洞，形似三角。如图2(a)和图2(b)所示，其中如三角的两个区域即为铁路货车转向架三角孔部位。三角孔处由于在检修时或火车运行时可能会进入异物，而大型的异物可能会一部分挂载在孔中，而另一部分溢出从而遮挡住转向架上的一些其他重要部位如弹簧，车轮等的故障检测从而影响行车安全；或者异物可能会由三角孔部位转移到与之相连的紧挨火车轨道的漏水孔部位卡住，坚硬异物可能会损坏轨道。
[0003] 三角孔所在的局部矩形图像包含了三角孔和除了三角孔的背景区域，背景区域也会存在大量变化造成影响，其中一类为油渍、粉笔等人为的干扰，一类为为纸类或塑料等异物的影响。这类噪声在颜色、形状和位置上都会发生大量变化，如白色粉笔字迹、黑色塑料袋或发灰的草枝等，运用传统的如二值化等操作难以在灰度图像中区分，而三角孔部位由于不同的车型和铁路货车运动下拍摄得到的图像，三角孔的部位在大量的图像中的形状和位置是改变的，传统算法难以适应所有灰度图像中变换，鲁棒性较差。三角孔内并非仅是单一空洞，还包含了许多的零件，不同的铁路货车转向架三角孔内的零件是不同和零件的分布是不同的，加上光照雨雪等的自然条件的影响，使得如何确定孔内存在异物而非原有部件增加了难度，传统算法难以判断。
[0004] 长期以来，采用人工检查图像的方式对三角孔区域是否搭载异物进行检测，检车人员在工作过程中极易疲劳，容易出现漏检、错检的情况，难以保障准确率，而且检测效率极低。因此，货车的故障检测采用自动识别的方式提高检测效率和准确率具有重要意义。
[0005] 可以考虑采用现有的图像检测技术直接进行异物检测，但是经过实践证明，利用现有的技术进行实际检测的过程中，90％以上的图片会存在在检测到异物而实际上并无异物的情况，现有的检测技术的准确率极低。
发明内容
[0006] 本发明是为了解决目前的漏水孔异物检测存在效率低的问题以及准确率低的问题。
[0007] 铁路货车三角孔异物检测方法，具体包括以下步骤：
[0008] 采集图像并提取包含三角孔区域的图像，构建样本数据集，样本数据集包括两个：三角孔部位定位的样本数据集和标定三角孔异物的样本数据集；三角孔部位定位的样本数据集记为样本数据集一，标定三角孔异物的样本数据集记为样本数据集二；
[0009] 样本数据集一包括两部分：灰度图像集与二值图像集；灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的三角孔部位的二值分割图像；
[0010] 样本数据集二包括两部分：灰度图像集与二值图像集；灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的有异物的图像和无异物的二值分割图像；
[0011] 利用样本数据集一训练三角孔定位分割网络，利用样本数据集二训练三角孔异物分割网络；
[0012] 所述三角孔异物分割网络是对取出三角孔部位图像整体是否有异物进行检测；其得到的是二值图像，通过二值图像判断是否有异物存在；所述三角孔定位分割网络是对三角孔区域进行定位；其得到的是二值图像，通过二值图像确定三角孔区域；
[0013] 检测过程中，采集真实过车图像并提取出三角孔部位图像，记为待检测三角孔部位图像；
[0014] 将待检测三角孔部位图像输入三角孔异物分割网络，通过三角孔异物分割网络输出的二值图进行判断，检测是否存在异物；
[0015] 如果不存在异物，则继续处理下一张待检测三角孔部位图像；如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，进而判断三角孔内是否存在异物；若三角孔异物分割网络的检测的异物正位于三角孔区域，则进行故障报警；其他情况，则继续处理下一张待检测三角孔部位图像。
[0016] 进一步地，所述三角孔定位分割网络和三角孔异物分割网络的网络结构相同。
[0017] 进一步地，网络结构相同的三角孔定位分割网络和三角孔异物分割网络采用编码器-解码器网络，所述的编码器网络模型如下：
[0018] 编码器以VGG网络作为基准网络进行特征提取，采用5个下采样的编码单元，其中，每个卷积层后都跟随一个批标准化；2个相同编码单元是由2个3*3的卷积层加批标准化层，剩余3个相同的编码单元是由3个3*3卷积层加批标准化层、和一个池化层共7层网络层组成，最后再加入2个3*3的卷积层加批标准化层，一共采用15个卷积层进行特征提取和5个池化层进行下采样；
[0019] 编码单元1：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0020] 编码单元2：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0021] 编码单元3：[3*3卷积层→批标准化层]*3→2*2池化层
[0022] 编码单元4：[3*3卷积层→批标准化层]*3→2*2池化层
[0023] 编码单元5：[3*3卷积层→批标准化层]*3→2*2池化层
[0024] 编码单元6：3*3卷积层→批标准化层→3*3卷积层→批标准化层
[0025] 进一步地，所述解码器网络模型如下：
[0026] 解码器采用4个上采样的解码单元，前2个解码单元包含一个由对编码器编码单元的2*2的上采样层和上一层编码器编码单元的合并层和3个卷积层加批标准化层，第3个编码单元是由1个2*2上采样层和3个卷积层加批标准化层，最后由1个4*4上采样层和2个卷积层加1个批标准化层组成；其中，解码器部分的卷积层包含卷积核为1*1的卷积层，可以有效减少特征网络参数；
[0027] 解码单元1：编码单元5与编码单元6的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0028] 解码单元2：编码单元4与解码单元1的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0029] 解码单元3：解码单元2的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0030] 解码单元4：解码单元3的输出→1*1卷积层→批标准化层→1*1卷积层(softmax激活函数)。
[0031] 进一步地，所述如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，进而判断三角孔内是否存在异物的过程是通过将三角孔定位分割网络和三角孔异物分割网络的输出图像进行点乘实现判断的。
[0032] 进一步地，所述构建样本数据集的过程中需要进行数据扩增操作，针对于样本数据集一和样本数据集二，需要对各自的样本数据集进行数据扩增。
[0033] 进一步地，所述的扩增形式包括对图像进行水平翻转、缩放、平移的随机组合操作。
[0034] 有益效果：
[0035] 1、本发明利用图像自动识别的方式代替人工检测，不再受人员素质和责任心影响，能够有效提高作业质量提高检测的稳定性及精度，同时极大地减少劳动者的劳动量。
[0036] 2、本发明采用网络先检测异物后再精确定位异物是否在三角孔内的方式，避免了现有方法存在大量图片会在直接检测时为正常无异物图像的问题。即本发明能够解决图片会存在在检测异物(现有的方法)而实际上并无异物的情况对应的问题，本发明先检测异物再精确定位的方式不仅可以有效地节约故障检测的时间，而且能够极大地提高检测准确率。
[0037] 同时本发明可以有效地节约故障二次检测的时间。本发明将深度学习算法应用到检测铁路货车三角孔搭载异物故障自动识别中，提高整体算法的稳定性及精度，同时比传统的手工标准特征提取的机器视觉检测方法具有高的灵活性、准确性和鲁棒性。
[0038] 3、本发明深度学习算法的标签分割图像大小(网络预测输出大小)为输入灰度图像尺寸的1/16，有利于缩短网络训练时长和对网络输出的预测图像做后续处理的速度。
[0039] 4、本发明采用同一神经网络训练两次权重，一为三角孔部位定位的权重，一为标定三角孔异物的权重。能够有效改善除三角孔部位的其他区域噪声的干扰的问题以及采用传统算法存在因三角孔部位自身形状和位置的改变导致鲁棒性较差难以适应所有灰度图像的问题。
附图说明
[0040] 图1为为实施方式的流程示意图；
[0041] 图2(a)为三角孔所在的区域灰度图像，图2(b)为三角孔所在区域的二值图像；
[0042] 图3为粗定位后三角孔区域图像；
[0043] 图4为神经网络的示意图。
具体实施方式
[0044] 具体实施方式一：参照图1具体说明本实施方式，
[0045] 本实施方式为铁路货车三角孔异物检测方法，具体包括以下步骤：
[0046] 1、线阵图像收集
[0047] 在货车轨道周围固定设备搭载照相机或摄像机，对行驶的货车进行拍摄，获取全车高清灰度图像，记为全车图像。
[0048] 由于各种干扰因素使得三角孔部位的图像之间存在较大变动。为了增强鲁棒性，在收集图像数据的过程中，需要获得各种条件和因素影响下的图像。
[0049] 2、粗定位
[0050] 根据硬件的轴距信息和三角孔的位置等先验知识，从全车图像中裁剪出三角孔区域，如图3所示。
[0051] 后续步骤对三角孔区域的图像进行处理，能够减少计算量并提高识别的速度。
[0052] 3、样本数据集
[0053] 如图3所示，截取的三角孔部位的图像为矩形，包含了三角孔和除了三角孔以外的背景区域，背景区域也会存在大量变化，一为油渍、粉笔等人为的干扰，二为纸类或塑料等异物。这类噪声在颜色、形状和位置上都会发生大量变化，如白色粉笔字迹或黑色塑料袋或发灰的草枝等，运用传统的如二值化等操作难以在灰度图像中区分，而三角孔部位由于不同的车型和铁路货车运动下拍摄得到的图像，截取的三角孔部位在大量图像中的形状和位置是改变的，传统算法难以适应所有灰度图像中变换，鲁棒性较差。而本发明采用神经网络来定位图像中的三角孔部位，具有非常好的鲁棒性和精确度。
[0054] 从图3中还可以看出，三角孔内并非仅是单一空洞，还包含了许多的零件，不同的铁路货车转向架三角孔内的零件是不同和零件的分布是不同的，加上光照雨雪等的自然条件的影响，使得如何确定孔内存在异物而非原有部件增加了难度，传统算法难以判断。而本发明采用神经网络进行图像中的三角孔部位内的异物检测，具有非常好的鲁棒性和精确度。
[0055] 本发明在训练过程中的样本数据集包括两个：三角孔部位定位的样本数据集和标定三角孔异物的样本数据集。三角孔部位定位的样本数据集记为样本数据集一，标定三角孔异物的样本数据集记为样本数据集二。
[0056] 样本数据集一包括两部分：灰度图像集与二值图像集(Ground Truth图像)。灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的三角孔部位的二值分割图像。灰度图像集与二值图像集之间为一一对应关系。
[0057] 样本数据集二包括两部分：灰度图像集与二值图像集(Ground Truth图像)。灰度图像集为三角孔区域图像集合；二值图像集为三角孔区域图像对应的人工标记获取的有异物的图像和无异物的二值分割图像。灰度图像集与二值图像集之间为一一对应关系。
[0058] 样本数据集的数据扩增：针对于样本数据集一和样本数据集二，为进一步提高算法的鲁棒性，需要对各自的样本数据集进行数据扩增。扩增形式主要为通过对图像进行水平翻转、缩放、平移等随机组合操作。
[0059] 4、目标物体分割
[0060] 本发明构建的两套结构相同的神经网络，分别作为三角孔定位分割网络和三角孔异物分割网络；
[0061] 在货车部件的自动识别检测中检测目标三角孔部检测的实时性要求较高，针对故障检测的鲁棒性要求和实时性要求，本发明引入批标准化层(BatchNormalization)和卷积核为1x1的卷积层，在保证检测精度的同时提高学习收敛速度，加快训练速度。
[0062] 两套相同的神经网络均采用编码器-解码器网络，如图4所示。每套神经网络对应的编码器-解码器网络如下：
[0063] 编码器网络模型：
[0064] 编码器以VGG网络作为基准网络进行特征提取，采用5个下采样的编码单元，其中，每个卷积层后都跟随一个批标准化。2个相同编码单元是由2个3*3的卷积层加批标准化层，剩余3个相同的编码单元是由3个3*3卷积层加批标准化层、和一个池化层共7层网络层组成，最后再加入2个3*3的卷积层加批标准化层，一共采用15个卷积层进行特征提取和5个池化层进行下采样。
[0065] 编码单元1：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0066] 编码单元2：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0067] 编码单元3：[3*3卷积层→批标准化层]*3→2*2池化层
[0068] 编码单元4：[3*3卷积层→批标准化层]*3→2*2池化层
[0069] 编码单元5：[3*3卷积层→批标准化层]*3→2*2池化层
[0070] 编码单元6：3*3卷积层→批标准化层→3*3卷积层→批标准化层
[0071] 解码器网络模型：
[0072] 解码器采用4个上采样的解码单元，前2个解码单元包含一个由对编码器编码单元的2*2的上采样层和上一层编码器编码单元的合并层和3个卷积层加批标准化层，第3个编码单元是由1个2*2上采样层和3个卷积层加批标准化层，最后由1个4*4上采样层和2个卷积层加1个批标准化层组成。其中，解码器部分的卷积层包含卷积核为1*1的卷积层，可以有效减少特征网络参数。
[0073] 解码单元1：编码单元5与编码单元6的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0074] 解码单元2：编码单元4与解码单元1的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0075] 解码单元3：解码单元2的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0076] 解码单元4：解码单元3的输出→1*1卷积层→批标准化层→1*1卷积层(softmax激活函数)。
[0077] 优化器与损失函数的选择：
[0078] 对分割网络输出的预测(predict)图像和原始标记的真值(GT)图像计算交叉熵损失函数损失函数(categorical_crossentropy)损失值，通过优化器Adam进行优化权重使得损失值逐渐降低，使分割网络模型学习不断真实数据特征。Adam优化器具有高效、占用内存小、适合大规模数据等优点。
[0079] 分别针对三角孔定位分割网络和三角孔异物分割网络进行训练训练过程如下：
[0080] 基于损失函数和优化器，通过训练，以测试图像(一部分不参与训练的图像)的神经网络输出的预测图像和原始标记的真值图像计算得到的交叉熵损失函数损失函数的损失值降低为标准，将权重系数进行更新迭代，直到找到最优的权重系数。
[0081] 所述三角孔异物分割网络是对取出三角孔部位图像整体是否有异物进行检测；其得到的是二值图像，通过二值图像判断是否有异物存在，如：若图像存在白色区域(三角孔部位可能存在异物)，表示存在异物；效果如图1中三角孔异物分割网络直接输出的二值图所示；
[0082] 所述三角孔定位分割网络是对三角孔区域进行定位；其得到的是二值图像，通过二值图像确定三角孔区域；
[0083] 异物会有3种情况，可能在孔内、孔外，以及孔内外都有一部分，为了确定异物确实是在孔内的，利用三角孔定位分割网络进行定位，进行实现三角孔内的异物检测；
[0084] 5、三角孔部位异物故障判别
[0085] 检测过程中，采集真实过车图像并提取出三角孔部位图像，记为待检测三角孔部位图像；
[0086] 将待检测三角孔部位图像输入三角孔异物分割网络，通过三角孔异物分割网络输出的二值图进行判断，本实施方式以图像存在白色区域(三角孔部位可能存在异物)作为检测到异物(也可以是其他灰度的图像代表检测到异物)；
[0087] 如果不存在异物，则继续处理下一张待检测三角孔部位图像；如果存在异物，则将待检测三角孔部位图像输入三角孔定位分割网络进行三角孔区域定位，如图1中三角孔定位分割网络输出的图像所示，进而判断三角孔内是否存在异物，本实施方式中选择将两网络的输出图像进行点乘进行判断；若三角孔异物分割网络的白色区域(异物)正位于三角孔区域，则进行故障报警。其他情况，则继续处理下一张待检测三角孔部位图像。由于90％以上的图片会在检测时无异物出现，直接循环进入到下一张图像的检测，所以这种方式先检测异物再精确定位的方式可以有效地节约故障检测的时间。
