一种基于深度学习的铁路货车下拉杆圆销故障检测方法

摘要

一种基于深度学习的铁路货车下拉杆圆销故障检测方法，属于图像检测技术领域。本本发明是为了解决现有的检测识别方法存在检测效率低的问题和检测准确率有待于提高的问题。本发明先将下拉杆图像输入下拉杆圆销的分割网络预测出下拉杆圆销、未安装圆销的圆孔区域，判断圆销是否存在丢失故障，如果圆销丢失，确定圆销丢失的位置；将定位到了圆销区域，根据分割结果中的圆销的位置，在下拉杆图像中截取得到圆销子图像，并输入下拉杆圆销的分类网络进行圆销子图像分类；若识别出圆孔，则确定未安装圆销的圆孔的位置；若识别出开口销丢失，则确定出开口销丢失位置；若未检测出故障，则处理下一张下拉杆图像。主要用于铁路货车下拉杆圆销的故障检测。

权利要求

1.一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，包括以下步骤：

获得待检测的下拉杆图像，将下拉杆图像输入下拉杆圆销的分割网络预测出下拉杆圆销区域、未安装圆销的圆孔区域，得到预测后的多值图像，多值图像中1值为圆销区域，2值为未安装圆销的圆孔区域；将下拉杆图像输入下拉杆圆销的分割网络进行预测之前，需要对下拉杆图像进行局部直方图均衡化增强；通过圆销区域、未安装圆销的圆孔区域的个数判断圆销是否存在丢失故障，如果圆销区域个数小于2且圆孔区域个数大于4，则判断为圆销丢失；如果圆销丢失，确定圆销丢失的位置；

若定位到了圆销区域，则进行开口销丢失检测：根据下拉杆圆销的分割网络分割结果中的圆销的位置，在下拉杆图像中截取得到圆销子图像，并输入下拉杆圆销的分类网络进行圆销子图像分类；分类结果包括正常下拉杆圆销、开口销丢失圆销、未安装圆销的圆孔；

若识别出圆孔，则确定未安装圆销的圆孔的位置；若识别出开口销丢失，则确定出开口销丢失位置；若未检测出故障，则处理下一张下拉杆图像。

2.根据权利要求1所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，获得待检测的下拉杆图像的过程包括以下步骤：获得真实过车图像，作为待检测的原始图像；根据轴距信息和下拉杆部件的先验信息，在原始图像中对下拉杆进行粗定位，得到下拉杆图像下拉杆图像。

3.根据权利要求1至2之一所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，所述的下拉杆圆销的分割网络为类动态图卷积网络，类动态图卷积网络处理过程包括以下步骤：

首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得到邻接矩阵A；

然后进行图卷积：Z＝σ(AXW)；

X是输入的特征图，即主干网络特征图；W是要学习的网络参数，σ是非线性激活函数，Z是经过图卷积之后的特征图；

经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果。

4.根据权利要求3所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得到邻接矩阵A的过程包括以下步骤：对于两个结点的特征xi和xj，利用两个线性变换φ和φ′来衡量这两个特征的相似度：T

F(xi,xj)＝φ(xi) φ′(xj)然后再进行softmax归一化就得到了邻接矩阵A，邻接矩阵A中元素：其中，N为连接第i结点所有边的个数。

5.根据权利要求4所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，所述下拉杆圆销的分割网络采用ResNet50网络。

6.根据权利要求4所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，类动态图卷积网络的训练过程包括以下步骤：首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得到邻接矩阵A；

基于基础卷积神经网络预测出的分割结果进行动态采样选点构图：利用基础卷积神经网络预测出的分割结果P和训练集中标记的结果G来选点，基于Samples公式选出每一类别目标采样的点集：

Samples＝P‑P∩G+G‑P∩G+r·P∩G其中第一项P‑P∩G是困难负样本；第二项G‑P∩G是困难正样本；最后一项P∩G是简单正样本；在选点的时候是把所有困难样本全部选出来，然后按照比率r去选择简单样本；

在动态采样选点构图完毕后进行图卷积，在训练过程中的图卷积过程中输入的特征图X为动态采样选点构图对应的特征图；

经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果；

采用AdaBelief优化器进行训练。

7.根据权利要求6所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，下拉杆圆销的分割网络的损失函数为：L＝α·lc+β·lf+γ·la其中lc为粗略的分割损失，lf为精细分割损失，la为辅助监督损失；α、β、γ平衡参数。

8.根据权利要求7所述的一种基于深度学习的铁路货车下拉杆圆销故障检测方法，其特征在于，所述下拉杆圆销的分类网络采用交叉熵损失函数作为分类的损失函数。

说明书

一种基于深度学习的铁路货车下拉杆圆销故障检测方法

技术领域

[0001] 本发明涉及一种下拉杆圆销故障检测方法。属于图像检测技术领域。

背景技术

[0002] 货车下拉杆开口销丢失、圆销丢失后会造成下拉杆脱落，进而会造成重大事故，给人身财产造成严重损失。

[0003] 下拉杆脱落是铁路货车运用事故最为多发的因素之一，在下拉杆开口销故障检测中，基本都是采用人工检查图像的方式进行故障检测，由于检车人员在工作过程中极易出
现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。而采用图像自动识别的方式不
仅可以节省大量的人力物力，而且可以有效减少人为因素的影响，降低漏检和错检，提高检
测效率和稳定性。近几年，图像处理、深度学习与人工智能不断发展，在技术上不断成熟。因
而，采用图像处理与深度学习进行下拉杆圆销故障识别，可以有效提高检测准确率。

发明内容

[0004] 本发明是为了解决现有的检测识别方法存在检测效率低的问题和检测准确率有待于提高的问题。

[0005] 一种基于深度学习的铁路货车下拉杆圆销故障检测方法，包括以下步骤：

[0006] 获得待检测的下拉杆图像，将下拉杆图像输入下拉杆圆销的分割网络预测出下拉杆圆销区域、未安装圆销的圆孔区域，得到预测后的多值图像，多值图像中1值为圆销区域，
2值为未安装圆销的圆孔区域；通过圆销区域、未安装圆销的圆孔区域的个数判断圆销是否
存在丢失故障，如果圆销丢失，确定圆销丢失的位置；

[0007] 若定位到了圆销区域，则进行开口销丢失检测：根据下拉杆圆销的分割网络分割结果中的圆销的位置，在下拉杆图像中截取得到圆销子图像，并输入下拉杆圆销的分类网
络进行圆销子图像分类；分类结果包括正常下拉杆圆销、开口销丢失圆销、未安装圆销的圆
孔；若识别出圆孔，则确定未安装圆销的圆孔的位置；若识别出开口销丢失，则确定出开口
销丢失位置；若未检测出故障，则处理下一张下拉杆图像。

[0008] 进一步地，获得待检测的下拉杆图像的过程包括以下步骤：

[0009] 获得真实过车图像，作为待检测的原始图像；根据轴距信息和下拉杆部件的先验信息，在原始图像中对下拉杆进行粗定位，得到下拉杆图像下拉杆图像。

[0010] 进一步地，将下拉杆图像输入下拉杆圆销的分割网络进行预测之前，需要对下拉杆图像进行局部直方图均衡化增强。

[0011] 进一步地，通过圆销区域、未安装圆销的圆孔区域的个数判断圆销是否存在丢失故障的过程为：如果圆销区域个数小于2且圆孔区域个数大于4，则判断为圆销丢失。

[0012] 进一步地，下拉杆圆销的分割网络为类动态图卷积网络，类动态图卷积网络处理过程包括以下步骤：

[0013] 首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

[0014] 将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得
到邻接矩阵A；

[0015] 然后进行图卷积：Z＝σ(AXW)；

[0016] X是输入的特征图，即主干网络特征图；W是要学习的网络参数，σ是非线性激活函数，Z是经过图卷积之后的特征图；

[0017] 经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果。

[0018] 进一步地，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得到邻接矩阵A的过程包括以下步骤：

[0019] 对于两个结点的特征xi和xj，利用两个线性变换φ和φ′来衡量这两个特征的相似度：

[0020] F(xi,xj)＝φ(xi)Tφ′(xj)

[0021] 然后再进行softmax归一化就得到了邻接矩阵A，邻接矩阵A中元素：

[0022]

[0023] 其中，N为连接第i结点所有边的个数。

[0024] 进一步地，下拉杆圆销的分割网络采用ResNet50网络。

[0025] 进一步地，类动态图卷积网络的训练过程包括以下步骤：

[0026] 首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

[0027] 将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得
到邻接矩阵A；

[0028] 基于基础卷积神经网络预测出的分割结果进行动态采样选点构图：利用基础卷积神经网络预测出的分割结果P和训练集中标记的结果G来选点，基于Samples公式选出每一
类别目标采样的点集：

[0029] Samples＝P‑P∩G+G‑P∩G+r·P∩G

[0030] 其中第一项P‑P∩G是困难负样本；第二项G‑P∩G是困难正样本；最后一项P∩G是简单正样本；在选点的时候是把所有困难样本全部选出来，然后按照比率r去选择简单样
本；

[0031] 在动态采样选点构图完毕后进行图卷积，在训练过程中的图卷积过程中输入的特征图X为动态采样选点构图对应的特征图；

[0032] 经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果；

[0033] 采用AdaBelief优化器进行训练。

[0034] 进一步地，下拉杆圆销的分割网络的损失函数为：

[0035] L＝α·lc+β·lf+γ·la

[0036] 其中lc为粗略的分割损失，lf为精细分割损失，la为辅助监督损失；α、β、γ平衡参数。

[0037] 进一步地，下拉杆圆销的分类网络采用交叉熵损失函数作为分类的损失函数。

[0038] 有益效果

[0039] 1、利用图像自动识别的方式代替人工检测，提高检测效率、准确率。

[0040] 2、将深度学习算法应用到下拉杆圆销故障自动识别中，提高整体算法的稳定性及精度。

[0041] 3、利用深度学习网络分割定位圆销部件后再用分类网络进行开口销检测，系统识别准确率高。

[0042] 4、分类网络中再次对圆销丢失进行检测，有效避免了由于噪声干扰造成初次基于分割进行开口销丢失造成的漏检。

[0043] 5、系统将类动态图卷积作为分割下拉杆圆销的网络，更好地进行上下文信息的学习和融合，部件分割精确，利于提高系统最终故障识别效果。

[0044] 6、采用部分标记加初训练的方式制作分割数据集，提供了数据集制作效率。

[0045] 7、系统中的深度学习模型训练过程采用AdaBelief优化器，收敛迅速且准确率高。

[0046] 8、系统对粗定位图像进行自适应直方图均衡化增强后进行后续识别，避免了噪声与图像较暗对识别效果的影响，系统故障检测准确率高。

附图说明

[0047] 图1为具体实施方式一流程示意图；

[0048] 图2为故障识别流程图；

[0049] 图3为权重系数计算流程图；

[0050] 图4为残差块的结构示意图；

[0051] 图5为类动态图卷积网络示意图。

具体实施方式

[0052] 需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

[0053] 具体实施方式一：结合图1具体说明本实施方式，

[0054] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，包括以下步骤：

[0055] 获得待检测的下拉杆图像，将下拉杆图像输入下拉杆圆销的分割网络预测出下拉杆圆销、未安装圆销的圆孔区域，得到预测后的多值图像，多值图像中1值为圆销区域，2值
为未安装圆销的圆孔区域；通过圆销区域、未安装圆销的圆孔区域的个数判断圆销是否存
在丢失故障，如果圆销丢失，确定圆销丢失的位置；

[0056] 只要定位到了圆销区域，就要进行开口销丢失检测：根据下拉杆圆销的分割网络分割结果中的圆销的位置，在下拉杆图像中截取得到圆销子图像，并输入下拉杆圆销的分
类网络进行圆销子图像分类；分类结果包括正常下拉杆圆销、开口销丢失圆销、未安装圆销
的圆孔；若识别出圆孔，则确定未安装圆销的圆孔的位置；若识别出开口销丢失，则确定出
开口销丢失位置；若未检测出故障，则处理下一张下拉杆图像。

[0057] 具体实施方式二：

[0058] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，获得待检测的下拉杆图像的过程包括以下步骤：

[0059] 获得真实过车图像，作为待检测的原始图像；根据轴距信息和下拉杆部件的先验信息，在原始图像中对下拉杆进行粗定位，得到下拉杆图像下拉杆图像。

[0060] 其他步骤和参数与具体实施方式一相同。

[0061] 具体实施方式三：

[0062] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，将下拉杆图像输入下拉杆圆销的分割网络进行预测之前，需要对下拉杆图像进行局部直方图均衡化
增强。

[0063] 其他步骤和参数与具体实施方式一或二相同。

[0064] 具体实施方式四：

[0065] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，通过圆销区域、未安装圆销的圆孔区域的个数判断圆销是否存在丢失故障的过程为：如果圆销区域
个数小于2且圆孔区域个数大于4，则判断为圆销丢失。

[0066] 其他步骤和参数与具体实施方式一至三之一相同。

[0067] 具体实施方式五：

[0068] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，下拉杆圆销的分割网络为类动态图卷积网络，类动态图卷积网络处理过程包括以下步骤：

[0069] 首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

[0070] 将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得
到邻接矩阵A；

[0071] 然后进行图卷积：Z＝σ(AXW)；

[0072] X是输入的特征图，即主干网络特征图；W是要学习的网络参数，σ是非线性激活函数，Z是经过图卷积之后的特征图；

[0073] 经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果。

[0074] 其他步骤和参数与具体实施方式一至四之一相同。

[0075] 具体实施方式六：

[0076] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得到
邻接矩阵A的过程包括以下步骤：

[0077] 对于两个结点的特征xi和xj，利用两个线性变换φ和φ′来衡量这两个特征的相似度：

[0078] F(xi,xj)＝φ(xi)Tφ′(xj)

[0079] 然后再进行softmax归一化就得到了邻接矩阵A，邻接矩阵A中元素：

[0080]

[0081] 其中，N为连接第i结点所有边的个数。

[0082] 其他步骤和参数与具体实施方式五相同。

[0083] 具体实施方式七：

[0084] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，下拉杆圆销的分割网络采用ResNet50网络。

[0085] 其他步骤和参数与具体实施方式一至六之一相同。

[0086] 具体实施方式八：

[0087] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，类动态图卷积网络的训练过程包括以下步骤：

[0088] 首先利用一个基础卷积神经网络生成分割结果以及对应的一个特征图，称作粗特征图；

[0089] 将粗特征图作为输入，利用一个主干网络得到特征图，即主干网络特征图，将主干网络特征图上的每个点作为图的结点，利用结点间的相似度作为邻接矩阵的边的权值，得
到邻接矩阵A；

[0090] 基于基础卷积神经网络预测出的分割结果进行动态采样选点构图：利用基础卷积神经网络预测出的分割结果P和训练集中标记的结果G来选点，基于Samples公式选出每一
类别目标采样的点集：

[0091] Samples＝P‑P∩G+G‑P∩G+r·P∩G

[0092] 其中第一项P‑P∩G是困难负样本；第二项G‑P∩G是困难正样本；最后一项P∩G是简单正样本；在选点的时候是把所有困难样本全部选出来，然后按照比率r去选择简单样
本；

[0093] 在动态采样选点构图完毕后进行图卷积，在训练过程中的图卷积过程中输入的特征图X为动态采样选点构图对应的特征图；

[0094] 经过图卷积后得到精细特征图；将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果；

[0095] 采用AdaBelief优化器进行训练。

[0096] 其他步骤和参数与具体实施方式一至七之一相同。

[0097] 具体实施方式九：

[0098] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，下拉杆圆销的分割网络的损失函数为：

[0099] L＝α·lc+β·lf+γ·la

[0100] 其中lc为粗略的分割损失，lf为精细分割损失，la为辅助监督损失；α、β、γ平衡参数。

[0101] 其他步骤和参数与具体实施方式八相同。

[0102] 具体实施方式十：

[0103] 本实施方式为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，下拉杆圆销的分类网络采用交叉熵损失函数作为分类的损失函数。

[0104] 其他步骤和参数与具体实施方式一至九之一相同。

[0105] 实施例

[0106] 本实施例为一种基于深度学习的铁路货车下拉杆圆销故障检测方法，如图2所示，具体包括以下步骤：

[0107] 1、建立样本数据集

[0108] 在货车轨道周围搭建高清设备，货车通过设备后，获取高清图像。图像为清晰的灰度图像。

[0109] 由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，下拉杆图像之间千差万别。所以，在收集下
拉杆图像数据的过程中，要保证多样性，尽量将各种条件下的下拉杆图像全部收集。

[0110] 在不同类型的转向架中，下拉杆部件的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见转向架类型的下拉杆部件收集较为困难。因此，将全部类型的下
拉杆部件统称为一类，全部按照一类来建立样本数据集，样本数据集分为下拉杆分割样本
数据集和下拉杆圆销样本数据集。

[0111] a、下拉杆分割样本数据集包括：灰度图像集与标记图像集。灰度图像数据集与标记图像数据集之间是一一对应的，即每个灰度图像对应一个标记图像。

[0112] 根据轴距信息和下拉杆部件的先验信息，对设备拍摄的高清灰度图像进行粗定位确定下拉杆图像，下拉杆图像为灰度图像，下拉杆图像构成灰度图像集。

[0113] 根据轴距信息和下拉杆部件的先验信息，对设备拍摄的高清灰度图像进行粗定位确定下拉杆图像的过程中，由于下拉杆左右起始与终止位置与占两轴间距离的比例r_xs不
变，下拉杆上下方向起始与终止位置占原始图像高度的比例r_ys不变，因此可以依据轴距
位置与比例信息即可完成下拉杆粗定位。

[0114] 基于下拉杆图像，获取的下拉杆部件的分割图像，经过标记的下拉杆部件的分割图像即为标记图像，标记图像构成标记图像集；下拉杆部件的分割图像为多值图像，多值图
像中圆销(包含开口销丢失情况)为1，未安装圆销的圆孔为2，其余灰度值为0的背景区域。

[0115] 下拉杆图像中未安装圆销的圆孔与背景比较容易分割，开口销丢失或正常的圆销难分割，针对此特点，本发明采用部分标记加初训练的方式制作下拉杆分割样本数据集：先
对部分样本数据A进行人工分割并标记，训练后得到下拉杆图像样本分割网络，用此权重对
剩余部分的待分割样本数据B进行预测，对于分割错误的开口销丢失或正常的圆销经人工
校正后得标记图像集。本方式可减少样本数据集制作时间，提高整个系统的工作效率。

[0116] 下拉杆图像样本分割网络与下拉杆圆销的分割网络是一个框架，网络中的权重系数不同故导致分割效果不同，也可以认为下拉杆图像样本分割网络是初期的分割网络，下
拉杆圆销的分割网络是用于识别故障的最终分割网络。此处的下拉杆图像样本分割网络的
训练数据少，所以下拉杆图像样本分割网络的分割效果不太好，但能分割好圆孔，能提高制
作训练数据集的效率，其他类别需要人工手动修正分割效果后作为训练样本。

[0117] b、下拉杆圆销样本数据集包括：正常下拉杆圆销、开口销丢失圆销、未安装圆销的圆孔。下拉杆圆销样本集既可人工手动截取，也可利用根据下拉杆圆销的分割网络对粗定
位下拉杆图像分割预测结果中的圆销的位置自动截取。下拉杆圆销样本数据集要将三类图
像(正常下拉杆圆销、开口销丢失圆销、未安装圆销的圆孔)存放在不同的文件夹下。

[0118] 下拉杆分割样本数据集和下拉杆圆销样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的平
移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本
的多样性和适用性。而且样本数据根据系统运行效果，不断扩增。

[0119] 2、计算样本数据集权重，如图3所示，包括以下过程：

[0120] 2.1、图像分割网络

[0121] 将类动态图卷积网络作为下拉杆圆销的分割网络，下拉杆圆销的分割网络将图像分割为圆销(包含开口销丢失情况)、未安装圆销的圆孔、背景区域三类。类动态图卷积网络
采用了从粗到精的框架，如图5所示，类动态图卷积网络的处理过程包括以下步骤：

[0122] 首先用一个基础卷积神经网络(Basic Network)生成一个粗略的分割结果以及对应的一个特征图，称作粗特征图，然后再把这个粗特征图放入类动态图卷积处理过程做微
调，然后将精细特征图和粗特征图连接起来，然后再使用1*1卷积得到最终的预测结果；

[0123] 类动态图卷积处理过程的详细结构主要包含两步，一步是图构建，一步是图卷积。构图时将经过一个主干网络(resnet50)，将主干网络输出的特征图上的每个点作为图的结
点。网络中的图卷积过程是逐类别进行的，即逐类别的学习策略，主要就是把属于同一类别
的点进行构图，防止属于其它类别的点对这一类别的学习过程进行干扰，因此就需要基础
卷积神经网络预测出来的分割结果作为一个过滤器，去采样不同类别的对应的点来构图。
然后在构图过程中就会采样到困难样本(如下拉杆开口销边缘部分、图像中突然出现的噪
声干扰等)，采用动态采样来对这个困难样本进行一个优化。然后再经过图卷积过程就得到
了精细特征，然后再做一个1*1卷积得到一个和之前的粗特征相同的形状，这样的话方便之
后的结合和预测。

[0124] 图构建的方式为利用结点间的相似度作为邻接矩阵的边的权值。因为在图卷积里构图其实就是在构建邻接矩阵。具体来说就是假如对于两个结点的特征，xi和xj，定义两个
可以学习的线性变换，φ和φ′来衡量这两个特征的相似度，就得出公式：

[0125] F(xi,xj)＝φ(xi)Tφ′(xj)

[0126] 这两个线性变换是可以学习的，相当于一个动态学习的构图方式，然后再进行个softmax归一化就得到了邻接矩阵A，邻接矩阵A中元素的公式如下：

[0127]

[0128] 其中，N为连接第i结点所有边的个数；

[0129] 这种构图方式是一个非常朴素的构图方式，在实现中就是对于同类别的点进行全连接的一个构图。

[0130] 动态采样选点构图：在训练过程中利用基础卷积神经网络预测出的分割结果P和训练集中标记的结果G来选点，下面Samples的公式就是每一类别目标(圆销或未安装圆销
的圆孔)采样的点集：

[0131] Samples＝P‑P∩G+G‑P∩G+r·P∩G

[0132] 其中，第一项P‑P∩G是困难负样本，就是本不属于当前类的点却采样进来了；第二项G‑P∩G是困难正样本，就是本属于这一类的没有被采样进来；最后一项P∩G是简单正样
本，就是属于这一类的点而且被采样进来了。从Samples公式可以看出，在选点的时候是把
所有困难样本全部选出来，然后再按照一定比率r去选择简单样本来辅助这个训练过程。

[0133] 在构图完毕后就可以进行图卷积(Class‑wise Graph Reasoning)，得到精细特征图；在图卷积的时候采用如下形式：

[0134] Z＝σ(AXW)

[0135] A是邻接矩阵，X是一个输入特征图，W是要学习的网络参数，σ是非线性激活函数Relu，Z是经过图卷积之后的特征；

[0136] 2.2、图像分类网络

[0137] 根据下拉杆圆销的分割网络分割结果中的圆销的位置，在灰度图像中截取得到圆销子图像；

[0138] 将ResNet50作为下拉杆圆销的分类网络，下拉杆圆销的分类网络的输入为圆销子图像。图像分类中的经典模型为CNN，但CNN随着层数的增加，显示出退化问题，即深层次的
网络反而不如稍浅层次的网络性能；这并非是过拟合导致的，因为在训练集上就显示出退
化差距。而ResNet能较好地解决这个问题。

[0139] ResNet为残差神经网络。ResNet的主要思想在于残差块，设计了一种skip connection(或者shortcut connections)结构，使得网络具有更强的identity mapping
(恒等映射)的能力，从而拓展了网络的深度，同时也提升了网络的性能。

[0140] 残差块的结构如图4所示；F(x)＝H(x)‑x，x为浅层的输出，H(x)为深层的输出，F(x)为夹在二者中间的两层代表的变换，当浅层的x代表的特征已经足够成熟，如果任何对
于特征x的改变都会让loss变大的话，F(x)会自动趋向于学习成为0，x则从恒等映射的路径
继续传递。这样就在不增加计算成本的情况下实现了一开始的目的：在前向过程中，当浅层
的输出已经足够成熟(optimal)，让深层网络后面的层能够实现恒等映射的作用。

[0141] 基于下拉杆圆销的分割网络的分割结果，可以根据圆孔个数用来判断是否有圆销丢失故障(整个圆销带着开口销一起丢了)，同时还能够依据分割结果的多值图像中圆销
(正常或开口销丢失的)的位置在灰度图像中截取得到圆销子图像，圆销子图像经下拉杆圆
销的分类网络后可识别出是否有开口销丢失故障(圆销上的小铁片)。

[0142] 2.3损失函数

[0143] 下拉杆圆销的分割网络中的类动态图卷积网络的损失函数为：

[0144] L＝α·lc+β·lf+γ·la

[0145] 其中lc为粗略的分割损失，lf为精细分割损失，la为辅助监督损失，即模型最终分割的损失(最后的分割结果与标记数据的差异性)；α、β、γ用于平衡三种损失的参数。

[0146] 下拉杆圆销的分类网络resnet50为特征提取网络，将交叉熵损失函数作为分类的损失函数。

[0147] 2.4、优化器

[0148] 本发明中下拉杆圆销的分割网络的分割任务与下拉杆圆销的分类网络的分类任务的权重均用AdaBelief优化器来训练。AdaBelief优化器兼具Adam的快速收敛特性和SGDM
的良好泛化性。AdaBelief根据当前梯度方向上的belief来调整步长，将嘈杂梯度的指数移
动平均(EMA)当作下一步的梯度预测。如果观察到的梯度大大偏离了预测，那么就不信任当
前的观察，采取一个较小的步长；如果观察到的梯度接近预测值，那么就相信当前的观察，
并采取一个较大的步长；

[0149] AdaBelief考虑了损失函数的曲率；AdaBelief考虑分母中梯度的符号。AdaBelief优化器兼顾训练效率与稳定性。

[0150] 首先初始化权重，然后经各神经网络变换数据后得到预测结果，经过损失函数和优化器后，计算出新的权重系数。若新权重系数计算的损失函数有所减少则将权重更新，完
成一次训练迭代。程序将重复这个过程，将全部图像完成固定次数的迭代，直到找到最优的
权重系数。

[0151] 3、下拉杆故障判别

[0152] 获得真实过车图像，作为待检测的原始图像；

[0153] 根据轴距信息和下拉杆部件的先验信息，在原始图像中对下拉杆进行粗定位，得到下拉杆图像，下拉杆图像为灰度图像；将粗定位的下拉杆图像进行局部直方图均衡化增
强(该过程根据具体情况进行)，减少噪声、图像过暗等对后续识别的影响。针对增强后的下
拉杆图像，使用训练好的类动态图卷积网络预测出下拉杆圆销、未安装圆销的圆孔区域，得
到预测后的多值图像，多值图像中1值为圆销区域，2值为未安装圆销的圆孔区域。正常下拉
杆有2个圆销区域，4个圆孔区域；正常下拉杆中会有4个2值区域；正常下拉杆中，下拉杆左
侧有3个圆孔，其中一个安装上圆销用来固定下拉杆之后剩余2个圆孔；下拉杆右侧有3个圆
孔其中一个安装上圆销固定下拉杆之后剩余2个圆孔。圆销丢失后，2值区域的个数会发生
变化，通过1值和2值区域的个数来判断圆销丢失故障。

[0154] 如果发生圆销丢失故障，扁铁会发生偏移，在多值下拉杆图像中，使用图像处理方式计算出圆销个数与圆孔个数，如果圆销个数小于2且圆孔个数大于4，则计算圆销丢失故
障的位置信息并报警。只要定位到了圆销区域，就要进行开口销丢失检测：根据下拉杆圆销
的分割网络分割结果中的圆销的位置，在下拉杆图像中截取得到圆销子图像；使用训练好
的下拉杆圆销的分类网络进行圆销子图像分类。分类结果包括正常下拉杆圆销、开口销丢
失圆销、未安装圆销的圆孔；若图像识别出了圆孔，则计算故障信息位置并报圆销丢失，若
图像识别出了开口销丢失，则计算出开口销丢失位置后报开口销丢失；若未检测出故障，则
处理下一张下拉杆图像。

[0155] 计算出开口销丢失位置的过程：原始图像记为图像1，然后根据先验知识截取下拉杆图像2，根据分割结果得到圆销子图像3。识别出圆销子图像3中开口销丢失位置，然后需
要根据圆销子图像3换算得到下拉杆图像2中的位置，再换算到原始图像1中，得到故障在原
始图像中的具体位置。

[0156] 本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于
本发明所附的权利要求的保护范围。