一种铁轨扣件状态检测方法及系统

摘要

本申请提供一种铁轨扣件状态检测方法及系统，所述铁轨扣件状态检测方法包括获取待识别铁轨扣件图像，并输入至第一铁轨环境分割模型及第二铁轨环境分割模型，得到螺母、铁轨及扣件的中心点坐标信息以及轮廓点坐标信息；根据扣件的中心点及轮廓点坐标信息得到待识别铁轨扣件局部图像，输入至扣件状态检测模型，得到初始预测状态；根据螺母、铁轨及扣件的中心点及轮廓点坐标信息，得到状态辅助判断信息，进一步得到待识别铁轨扣件图像的状态类别。本申请提供的检测方法通过螺母、铁轨以及扣件的中心点及轮廓点坐标信息得到扣件的位置以及形态，得到状态辅助判断信息，结合扣件的初始预测状态，实现铁轨扣件状态的高精度检测。

权利要求

1.一种铁轨扣件状态检测方法，其特征在于，包括：

获取待识别铁轨扣件图像；

将所述待识别铁轨扣件图像输入至第一铁轨环境分割模型以及第二铁轨环境分割模型；

所述第一铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第一坐标信息，所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓点坐标信息；

所述第二铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第二坐标信息，所述第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息；

根据所述第二坐标信息，得到待识别铁轨扣件局部图像；

将所述待识别铁轨扣件局部图像输入至扣件状态检测模型；

所述扣件状态检测模型响应于输入的所述待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态；

根据所述第一坐标信息和所述第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中所述状态辅助判断信息为缺损或者倾斜或者正常；

当所述状态辅助判断信息为缺损时，输出所述待识别铁轨扣件图像的状态类别为缺损；

当所述状态辅助判断信息为倾斜时，输出所述待识别铁轨扣件图像的状态类别为倾斜；

当所述状态辅助判断信息为正常时，输出所述待识别铁轨扣件图像的状态类别为所述初始预测状态；

其中，根据所述第一坐标信息和所述第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，包括：根据所述第一坐标信息和所述第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积，所述第二面积为以螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积，所述第三面积为以螺母为中心划分的扣件一侧区域的面积，所述第四面积为以螺母为中心划分的扣件另一侧区域的面积；

当第一比值大于第一预设比值时，所述状态辅助判断信息为倾斜，其中所述第一比值为所述第一面积与所述第二面积的差值和所述第一面积与所述第二面积的和值的比值；

当第二比值大于第二预设比值时，所述状态辅助判断信息为缺损，其中所述第二比值为所述第三面积与所述第四面积的差值和所述第三面积与第四面积的和值的比值；

当所述第一坐标信息中的螺母中心点坐标信息为空且所述第二坐标信息中的扣件中心点坐标信息不为空时，所述状态辅助判断信息为缺损。

2.根据权利要求1所述的铁轨扣件状态检测方法，其特征在于，所述第一铁轨环境分割模型按照以下方法训练：获取多个铁轨图像；

采用像素级标注的方式标注所述铁轨图像中的螺母轮廓以及铁轨轮廓，得到第一标注后的铁轨图像；

对多个所述第一标注后的铁轨图像执行预处理过程，得到第一训练数据集；

使用所述第一训练数据集，按照基于极坐标系的实例分割算法训练第一环境分割模型；

所述第二铁轨环境分割模型按照以下方法训练；

获取多个铁轨图像；

采用像素级标注的方式标注所述铁轨图像中的扣件轮廓，得到第二标注后的铁轨图像；

对多个所述第二标注后的铁轨图像执行预处理过程，得到第二训练数据集；

使用所述第二训练数据集，按照基于极坐标系的实例分割算法训练第二环境分割模型。

3.根据权利要求2所述的铁轨扣件状态检测方法，其特征在于，所述第一铁轨环境分割模型得到的螺母的轮廓点的数量为48个，铁轨的轮廓点的数量为48个；

所述第二铁轨环境分割模型得到扣件的轮廓点的数量为48个。

4.根据权利要求1所述的铁轨扣件状态检测方法，其特征在于，还包括：将所述待识别铁轨扣件图像以及对应的状态类别发送至服务器。

5.一种铁轨扣件状态检测系统，其特征在于，所述铁轨扣件状态检测系统用于实现如权利要求1‑4任一项所述的铁轨扣件状态检测方法，所述铁轨扣件状态检测系统包括依次相连的铁轨扣件图像采集模块、铁轨环境分割模块、扣件状态识别模块；

其中，所述铁轨扣件图像采集模块用于获取待识别铁轨扣件图像；

所述铁轨环境分割模块包括第一铁轨环境分割单元、第二铁轨环境分割单元以及局部图像获取单元，其中，所述第一铁轨环境分割单元用于响应于输入的所述待识别铁轨扣件图像，输出第一坐标信息，所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓点坐标信息；所述第二铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第二坐标信息，所述第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息；所述局部图像获取单元用于根据所述第二坐标信息，得到待识别铁轨扣件局部图像；

所述扣件状态识别模块包括初始预测单元、辅助判断单元和结果输出单元；其中，所述初始预测单元用于响应于输入的所述待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态；所述辅助判断单元用于根据所述第一坐标信息和所述第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中，所述状态辅助判断信息为缺损或者倾斜或者正常；所述结果输出单元用于根据所述状态辅助判断信息和所述初始预测状态，确定所述待识别铁轨扣件图像的状态类别，其中，当所述状态辅助判断信息为缺损时，输出所述待识别铁轨扣件图像的状态类别为缺损；当所述状态辅助判断信息为倾斜时，输出所述待识别铁轨扣件图像的状态类别为倾斜；当所述状态辅助判断信息为正常时，输出所述待识别铁轨扣件图像的状态类别为所述初始预测状态；

其中，所述辅助判断单元被配置为执行以下操作：

根据所述第一坐标信息和所述第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积，所述第二面积为以，螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积，所述第三面积为以螺母为中心划分的扣件一侧区域的面积，所述第四面积为以螺母为中心划分的扣件另一侧区域的面积；

当第一比值大于第一预设比值时，所述状态辅助判断信息为倾斜，其中所述第一比值为所述第一面积与所述第二面积的差值和所述第一面积与所述第二面积的和值的比值；

当第二比值大于第二预设比值时，所述状态辅助判断信息为缺损，其中所述第二比值为所述第三面积与所述第四面积的差值和所述第三面积与第四面积的和值的比值；

当所述第一坐标信息中的螺母中心点坐标信息为空且所述第二坐标信息中的扣件中心点坐标信息不为空时，所述状态辅助判断信息为缺损。

6.根据权利要求5所述的铁轨扣件状态检测系统，其特征在于，所述扣件状态检测系统还包括存储模块；

所述存储模块用于存储所述待识别铁轨扣件图像以及对应的状态类别。

7.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1‑4任一项所述的一种铁轨扣件状态检测方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1‑4任一项所述的一种铁轨扣件状态检测方法。

说明书

一种铁轨扣件状态检测方法及系统

技术领域

[0001] 本申请涉及轨道状态检测技术领域，尤其涉及一种铁轨扣件状态检测方法及系统。

背景技术

[0002] 铁轨扣件，作为铁轨与软枕衔接的紧固件，其作用是将铁轨固定在软枕上，保持轨距和防止铁轨相对于软枕的纵横向移动，是保证铁路运营安全的关键部件。因此，铁轨扣件状态的检测在铁路自动化检测工作中非常重要。

[0003] 目前的铁轨扣件状态检测方法，是通过基于计算机的轨道巡检车携带的工业相机，实时采集铁轨扣件图像，传输至具有计算能力的服务器中。对采集到的扣件图像进行状态识别，判断扣件是否存在异常。

[0004] 铁路轨道一般由扣件、螺母、软枕以及轨道组成，因此采集到的铁轨扣件图像也包括扣件、螺母、软枕以及轨道，参见图1。在对铁轨扣件图像进行状态识别时，需要先将采集到铁轨扣件图像中的铁轨扣件区域识别出来，再进行铁轨扣件状态检测。铁轨扣件状态一般包括正常、扣件倾斜、扣件缺损，参见图2a‑图2d。图2a表示铁轨扣件正常，图2b表示铁轨扣件倾斜，图2c和图2d表示铁轨扣件缺损。

[0005] 但是目前的铁轨扣件状态检测方法的侧重点在于铁轨扣件本身外形的识别中，很难捕捉到如图2b所示的铁轨扣件倾斜以及图2c所示的铁轨扣件缺损等较为微小的异常状态，导致铁轨扣件状态检测的精度不高。

发明内容

[0006] 为了解决目前的铁轨扣件状态检测方法很难捕捉到铁轨扣件倾斜以及缺损等较为微小的异常状态，导致铁轨扣件状态检测的精度不高的问题，本申请通过以下方面提供一种铁轨扣件状态检测方法及系统。

[0007] 本申请第一方面提供一种铁轨扣件状态检测方法，所述方法包括：

[0008] 获取待识别铁轨扣件图像；

[0009] 将待识别铁轨扣件图像输入至第一铁轨环境分割模型以及第二铁轨环境分割模型；

[0010] 第一铁轨环境分割模型响应于输入的待识别铁轨扣件图像，输出第一坐标信息，第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓点坐标信息；

[0011] 第二铁轨环境分割模型响应于输入的待识别铁轨扣件图像，输出第二坐标信息，第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息；

[0012] 根据第二坐标信息，得到待识别铁轨扣件局部图像；

[0013] 将待识别铁轨扣件局部图像输入至扣件状态检测模型；

[0014] 扣件状态检测模型响应于输入的待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态；

[0015] 根据第一坐标信息和第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中状态辅助判断信息为缺损或者倾斜或者正常；

[0016] 当状态辅助判断信息为缺损时，输出待识别铁轨扣件图像的状态类别为缺损；

[0017] 当状态辅助判断信息为倾斜时，输出待识别铁轨扣件图像的状态类别为倾斜；

[0018] 当状态辅助判断信息为正常时，输出待识别铁轨扣件图像的状态类别为初始预测状态。

[0019] 可选的，根据第一坐标信息和第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，包括：

[0020] 根据第一坐标信息和第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积，第二面积为以螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积，第三面积为以螺母为中心划分的扣件一侧区域的面积，第四面积为以螺母为中心划分的扣件另一侧区域的面积；

[0021] 当第一比值大于第一预设比值时，状态辅助判断信息为倾斜，其中第一比值为第一面积与第二面积的差值和第一面积与第二面积的和值的比值；

[0022] 当第二比值大于第二预设比值时，状态辅助判断信息为缺损，其中第二比值为第三面积与第四面积的差值和第三面积与第四面积的和值的比值；

[0023] 当第一坐标信息中的螺母中心点坐标信息为空且第二坐标信息中的扣件中心点坐标信息不为空时，状态辅助判断信息为缺损。

[0024] 可选的，第一铁轨环境分割模型按照以下方法训练：

[0025] 获取多个铁轨图像；

[0026] 采用像素级标注的方式标注铁轨图像中的螺母轮廓以及铁轨轮廓，得到第一标注后的铁轨图像；

[0027] 对多个第一标注后的铁轨图像执行预处理过程，得到第一训练数据集；

[0028] 使用第一训练数据集，按照基于极坐标系的实例分割算法训练第一环境分割模型；

[0029] 第二铁轨环境分割模型按照以下方法训练；

[0030] 获取多个铁轨图像；

[0031] 采用像素级标注的方式标注铁轨图像中的扣件轮廓，得到第二标注后的铁轨图像；

[0032] 对多个第二标注后的铁轨图像执行预处理过程，得到第二训练数据集；

[0033] 使用第二训练数据集，按照基于极坐标系的实例分割算法训练第二环境分割模型。

[0034] 可选的，第一铁轨环境分割模型得到的螺母的轮廓点的数量为48个，铁轨的轮廓点的数量为48个；

[0035] 第二铁轨环境分割模型得到扣件的轮廓点的数量为48个。

[0036] 可选的，铁轨扣件状态检测方法还包括：将待识别铁轨扣件图像以及对应的状态类别发送至服务器。

[0037] 本申请第二方面提供一种铁轨扣件状态检测系统。所述铁轨扣件状态检测系统用于实现本申请第一方面提供的一种铁轨扣件状态检测方法。所述铁轨扣件状态检测系统包括依次相连的铁轨扣件图像采集模块、铁轨环境分割模块、扣件状态识别模块；

[0038] 其中，铁轨扣件图像采集模块用于获取待识别铁轨扣件图像；

[0039] 铁轨环境分割模块包括第一铁轨环境分割单元、第二铁轨环境分割单元以及局部图像获取单元，其中，第一铁轨环境分割单元用于响应于输入的待识别铁轨扣件图像，输出第一坐标信息，第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓坐标点信息；第二铁轨环境分割模型响应于输入的待识别铁轨扣件图像，输出第二坐标信息，第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息；局部图像获取单元用于根据第二坐标信息，得到待识别铁轨扣件局部图像；

[0040] 扣件状态识别模块包括初始预测单元、辅助判断单元和结果输出单元；其中，初始预测单元用于响应于输入的待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态；辅助判断单元用于根据第一坐标信息和第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中，状态辅助判断信息为缺损或者倾斜或者正常；结果输出单元用于根据状态辅助判断信息和初始预测状态，确定待识别铁轨扣件图像的状态类别，其中，当状态辅助判断信息为缺损时，输出待识别铁轨扣件图像的状态类别为缺损；当状态辅助判断信息为倾斜时，输出待识别铁轨扣件图像的状态类别为倾斜；当状态辅助判断信息为正常时，输出待识别铁轨扣件图像的状态类别为初始预测状态。

[0041] 可选的，辅助判断单元被配置为执行以下操作：

[0042] 根据第一坐标信息和第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积，第二面积为以，螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积，第三面积为以螺母为中心划分的扣件一侧区域的面积，第四面积为以螺母为中心划分的扣件另一侧区域的面积；

[0043] 当第一比值大于第一预设比值时，状态辅助判断信息为倾斜，其中第一比值为第一面积与第二面积的差值和第一面积与第二面积的和值的比值；

[0044] 当第二比值大于第二预设比值时，状态辅助判断信息为缺损，其中第二比值为第三面积与第四面积的差值和第三面积与第四面积的和值的比值；

[0045] 当第一坐标信息中的螺母中心点坐标信息为空且第二坐标信息中的扣件中心点坐标信息不为空时，状态辅助判断信息为缺损。

[0046] 可选的，扣件状态检测系统还包括存储模块；

[0047] 存储模块用于存储待识别铁轨扣件图像以及对应的状态类别。

[0048] 本申请第三方面提供一种计算机设备，包括：

[0049] 存储器，用于存储计算机程序；

[0050] 处理器，用于执行计算机程序时实现本申请第一方面提供的一种铁轨扣件状态检测方法。

[0051] 本申请第四方面提供一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理执行时实现如本申请第一方面提供的一种铁轨扣件状态检测方法。

[0052] 本申请提供一种铁轨扣件状态检测方法及系统，所述铁轨扣件状态检测方法获取待识别铁轨扣件图像，并输入至第一铁轨环境分割模型以及第二铁轨环境分割模型，得到螺母、铁轨以及扣件的中心点坐标信息以及轮廓点坐标信息；根据扣件的中心点及轮廓点坐标信息得到待识别铁轨扣件局部图像，并输入至扣件状态检测模型，得到初始预测状态；根据螺母、铁轨以及扣件的中心点及轮廓点坐标信息，得到状态辅助判断信息，进一步得到待识别铁轨扣件图像的状态类别。本申请提供的检测方法通过螺母、铁轨以及扣件的中心点及轮廓点坐标信息得到扣件的位置以及形态，得到状态辅助判断信息，结合扣件的初始预测状态，实现铁轨扣件状态的高精度检测。

附图说明

[0053] 图1为采集到的铁轨扣件图像示意图；

[0054] 图2a为一种正常状态下的铁轨扣件图像的示例示意图；

[0055] 图2b为一种倾斜状态下的铁轨扣件图像的示例示意图；

[0056] 图2c为一种缺损状态下的铁轨扣件图像的示例示意图；

[0057] 图2d为又一种铁轨扣件缺损状态下的铁轨扣件图像的示例示意图；

[0058] 图3为本申请实施例提供的一种铁轨扣件状态检测方法的工作流程示意图；

[0059] 图4为采用像素级标注方式标注后的铁轨扣件图像的示例示意图；

[0060] 图5为本申请实施例提供的一种铁轨扣件状态检测方法中的第一环境分割模型的模型结构示意图；

[0061] 图6为根据本申请实施例提供的所述第一环境分割模型输出的第一坐标信息，标注得到的螺母和铁轨位置示意图；

[0062] 图7为根据本申请实施例提供的所述第二环境分割模型输出的第二坐标信息，标注得到的扣件位置示意图；

[0063] 图8为本申请实施例提供的一种铁轨扣件状态检测方法中的得到所述状态辅助判断信息的示例示意图；

[0064] 图9为本申请实施例提供的一种铁轨扣件状态检测系统的结构示意图。

具体实施方式

[0065] 为了解决目前的铁轨扣件状态检测方法很难捕捉到铁轨扣件倾斜以及缺损等较为微小的异常状态，导致铁轨扣件状态检测的精度不高的问题，本申请通过以下实施例提供一种铁轨扣件状态检测方法及系统。

[0066] 参见图3，本申请第一实施例提供的一种铁轨扣件状态检测方法包括步骤11‑步骤19。

[0067] 步骤11，获取待识别铁轨扣件图像。在本实施例中，可以使用工业相机对铁轨进行深度信息的采集，得到1280*1000的16位深1通道的铁轨扣件深度图。Reshape处理所述铁轨扣件深度图，得到大小为1024*800的所述待识别铁轨扣件图像。其中，Reshape为Matlab中的矩阵变换函数。

[0068] 其中，位深度是指在记录数字图像的颜色时，计算机实际上是用每个像素需要的二进制数值位数来表示的。平时的所能看到的彩色RGB图像通常是8位深(2^16=256种颜色)3通道的，它的数据形式一般是[图片的高，图片的宽，3（通道）]，矩阵中的每个像素的取值在（0～255）之间。本实施例所用的是16位深（2^16=65535种颜色）的单通道图像，是一种灰度图（并非彩色），数据形式为[图片的高，图片的宽，1（通道）]，矩阵中的每个像素的取值在（0～65535）之间。

[0069] 步骤12，将所述待识别铁轨扣件图像输入至第一铁轨环境分割模型以及第二铁轨环境分割模型。

[0070] 其中，第一环境分割模型和所述第二环境分割模型的模型结构一样，区别在于输入的训练数据集不一样，输出也不一样，因此，训练之后得到的第一环境分割模型和所述第二环境分割模型参数不一样。

[0071] 本实施例以第一环境分割模型为例，说明所述第一环境分割模型的结构以及训练过程（步骤21‑步骤24）。

[0072] 步骤21，获取多个铁轨图像。在本实施例中，采用工业相机对铁轨进行深度信息的采集，得到1280*1000的16位深1通道深度图。

[0073] 步骤22，采用像素级标注的方式标注所述铁轨图像中的螺母轮廓以及铁轨轮廓，得到第一标注后的铁轨图像。

[0074] 获得深度图数据后，对图像铁轨进行像素级标注。其中，像素级标注指的是用于分割的标注格式，参见图4，为对铁轨图像进行像素级标注的一个示例。在图4中，对铁轨、扣件、螺母的轮廓用多个点相连的形式进行划分。在获取训练第一环境分割模型的所述第一标注后的铁轨图像时，只需要对铁轨图像中的螺母轮廓及铁轨轮廓进行标注。同样的，在获取训练第二环境分割模型的所述第二标注后的铁轨图像时，只需要对铁轨图像中的扣件轮廓进行像素级标注。

[0075] 步骤23，对多个所述第一标注后的铁轨图像执行预处理过程，得到第一训练数据集。其中，所述预处理过程包括数据增广、图像尺寸填充等，最终得到的第一训练数据集中的样本数据为带标注且尺寸为1024*800的图像。

[0076] 在本实施例中，采用先标注再预处理的过程，便于实现训练时的流水线工作，提高训练效率。

[0077] 步骤24，使用所述第一训练数据集，按照基于极坐标系的实例分割算法训练第一环境分割模型。

[0078] 在本实施例中，基于极坐标系的实例分割算法，也可以称作PolarMask算法，是一种一阶段实例分割框架。与基于直坐标系的实例分割算法不同，基于极坐标系的实例分割算法是通过目标中心点位置和从中心点出发的n根射线为标准进行目标轮廓的表示。这种表示方式能够将铁路轨道环境中不同实例间的空间重叠关系简化为轮廓点坐标插值问题，而且运算速度较快。然而对于铁轨扣件这种凹物体，如果用于表示轮廓的射线数量较少，则目标无法被精确表示，因此本实施例中以48根射线进行轮廓点表示，在中心点已知的情况下只需要轮廓点在射线方向与中心点的距离即可。本实施例通过极坐标系建模轮廓对铁轨扣件、螺母及铁轨进行分割，把实例分割问题转化为实例中心点分类问题和密集距离回归问题。

[0079] 进一步的，第一环境分割模型包括骨干网络、特征图金字塔网络（Feature Pyramid Networks，FPN）以及头网络。

[0080] 参见图5，在本实施例中，所述骨干网络为第一卷积神经网络（Convolutional Neural Network，CNN），用于将1024*800的图片进行以8、16、32为下采样比的CNN特征提取，分别得到尺寸为128*100*256、64*50*512、32*25*1024的初始特征图C1、C2和C3，并将初始特征图通过1*1卷积得到不同尺寸但通道数（256）相同的第一特征图C1、C2和C3，其中C1的尺寸为128*100*256，C2的尺寸为64*50*256，C3的尺寸为32*25*256。

[0081] 所述FPN网络使不同尺寸的特征图进行信息共享，即以骨干网络得到第一特征图进行以2为采样比的上下采样，并与原有的第一特征图进行concat连接，得到用于最终预测的五个第二特征图P1‑P5。其中，P3（32*25*256）直接迁移的C3，P2（64*50*256）由C2和P3上采样相加得到，P1(128*100*256)由C1和P2上采样得到的特征图（Feature Map）相加得到；P4(16*13*256)是P2进行步长为2的反卷积得到，P5(8*7*256)为P3进行步长为2的反卷积得到。

[0082] 所述头网络为第二卷积神经网络，包括五个检测头，第二特征图P1‑P5分别输入对应的检测头，得到对应尺寸的预测结果。每个检测头输出三个预测结果，即像素点类别的预测（H*W*3）、是否是中心点的预测(H*W*1)、对距离边缘点的回归预测（H*W*48），其中H为第二特征图的高，W为第二特征图的宽。最终头网络的输出为像素点类别的预测（1024*800*3）、是否是中心点的预测(1024*800*1)、对距离边缘点的回归预测（1024*800*48）。其中，第一神经网络输出的像素点类别分别为背景、螺母和铁轨。

[0083] 因极坐标系表示的实例无法用常规IOU（Intersection over Union，重叠度）计算方式进行运算，所以本实施例采用适用于极坐标的IOU损失计算，计算方式为，其中，d为第i根射线方向上预测轮廓点与真实值轮廓点的距离。以作为预测与真实mask的交并比， 、 为两条相邻射线方向间真实
轮廓与预测轮廓距离的最小值与最大值。

[0084] 本领域技术人员可以参考步骤21‑步骤24得到所述第二环境分割模型的结构以及训练过程。其中不同在于，进行像素级标注时，第二训练数据集中标注的是扣件轮廓；以及，第二环境分割模型的输出为像素点类别的预测（1024*800*2）、是否是中心点的预测(1024*800*1)、对距离边缘点的回归预测（1024*800*48），其中像素点类别为背景和扣件。

[0085] 本实施例中采用两个铁轨环境分割模型，分别进行铁轨及螺母的分割、扣件的分割，能够解决铁轨环境中不同类别部件的重叠问题对分割产生的负面影响。

[0086] 所述第一铁轨环境分割模型和所述第二铁轨环境分割模型均是基于全卷积神经网络的实例分割模型。从基于直角坐标系的轮廓建模改进为基于极坐标系的轮廓建模，将实例分割问题简化成全卷积的通用形式，能够实现高精度且快速的实例分割。

[0087] 步骤13，所述第一铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第一坐标信息，所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓点坐标信息。参见图6，为根据所述第一铁轨环境分割模型输出的第一坐标信息，标注得到的螺母位置和铁轨位置示例。

[0088] 步骤14，所述第二铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第二坐标信息，所述第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息。参见图7，为根据所述第二铁轨环境分割模型输出的第二坐标信息，标注得到扣件位置的示例。

[0089] 步骤15，根据所述第二坐标信息，得到待识别铁轨扣件局部图像。在本实施例中，根据所述第二坐标信息中的扣件中心点坐标信息，以及中心点与距离其最远的轮廓点之间的距离，确定铁轨扣件的位置并截取，得到待识别铁轨扣件局部图像。

[0090] 因为后续的扣件状态检测模型的对输入图像的尺寸有要求，因此，在一种实现方式中，在步骤15中，对截取得到的图像进行reshape处理，才得到用于输入到所述扣件状态检测模型中的待识别铁轨扣件局部图像。

[0091] 步骤16，将所述待识别扣件局部图像输入至扣件状态检测模型。在本实施例中，所述扣件状态检测模型采用resnet18网络。本实施例中的resnet18网络要求输入的图像的尺寸为224*224，因此，在步骤15的进行reshape处理时，按照224*224的要求，得到所述待识别铁轨扣件局部图像。

[0092] 步骤17，所述扣件状态检测模型响应于输入的所述待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态。其中，初始预测状态包括正常、倾斜和缺损。

[0093] 步骤18，根据所述第一坐标信息和所述第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中所述状态辅助判断信息为缺损或者倾斜或者正常。

[0094] 在本实施例中，参见图8，根据所述第一坐标信息和所述第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积a，所述第二面积为以螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积b，所述第三面积为以螺母为中心划分的扣件一侧区域的面积c，所述第四面积为以螺母为中心划分的扣件另一侧区域的面积d。

[0095] 当第一比值大于第一预设比值时，所述状态辅助判断信息为倾斜，其中所述第一比值为所述第一面积与所述第二面积的差值和所述第一面积与所述第二面积的和值的比值。

[0096] 当第二比值大于第二预设比值时，所述状态辅助判断信息为缺损，其中所述第二比值为所述第三面积与所述第四面积的差值和所述第三面积与第四面积的和值的比值。

[0097] 当所述第一坐标信息中的螺母中心点坐标信息为空且所述第二坐标信息中的扣件中心点坐标信息不为空时，所述状态辅助判断信息为缺损。

[0098] 示例性的，当以螺母为中心划分的铁轨扣件两侧区域与铁轨交叠面积之差（|a‑b|）大于两侧区域与铁轨交叠面积之和（a+b）的三分之一时，辅助判断其为倾斜状态。当扣件缺少其螺母或以螺母(s)为中心两侧面积之差（|c‑d|）大于两侧面积（c+d）的十分之一时，辅助判断其为缺损状态。

[0099] 需要说明的是，本示例中的第一预设值选用三分之一，能够较好的体现以螺母为中心划分的铁轨扣件的两侧区域与铁轨交叠面积差异过大，识别出扣件倾斜；第二预设值选用十分之一，能够较好的体现以螺母为中心两侧的铁轨扣件的面积相差较大，识别出扣件缺损。本申请对所述第一预设值与所述第二预设值的具体数值不做具体限定。比如第一预设值也可以设定为0.35，或者0.37等；第二预设值也可以设定为0.12,0.9等。

[0100] 需要说明的是，本实施例中上述数值示例以及附图示例均采用WJ型铁轨扣件，其余类型的铁轨扣件也可以采用本实施例提供的方法实现高精度的状态检测，具体的第一预设值以及第二预设值可以根据具体情况进行设置。

[0101] 在本实施例中，当铁轨扣件存在，但是螺母不存在时，也判断为铁轨扣件为缺损状态。其中，根据铁轨扣件中心点坐标信息存在，但是螺母中心点坐标信息不存在，辅助判断其为扣件缺损状态。

[0102] 步骤19，当所述状态辅助判断信息为缺损时，输出所述待识别铁轨扣件图像的状态类别为缺损；当所述状态辅助判断信息为倾斜时，输出所述待识别铁轨扣件图像的状态类别为倾斜；当所述状态辅助判断信息为正常时，输出所述待识别铁轨扣件图像的状态类别为所述初始预测状态。

[0103] 在一种实现方式中，状态辅助判断信息可以作为初始状态预测值的权重信息，对所述初始预测状态进行非线性映射，以达到辅助铁轨扣件状态分类的目的。具体实现过程可以参考如下公式：

[0104] ，

[0105] ；

[0106] 其中， 表示待识别铁轨扣件图像的初始状态预测值， 表示待识别铁轨扣件图像的状态类别预测值，x用于指示铁轨扣件正常状态，y用于指示铁轨扣件倾斜状态，z用于指示铁轨扣件缺损状态。

[0107] 在一种实现方式中，所述铁轨扣件状态检测方法中，还包括将所述待识别铁轨扣件图像，以及经过处理识别得到的状态类别发送至服务器。服务器接收到相关信息后，可以进行信息留存、根据状态类别发出报警、将所述铁轨扣件图像进行收集以便于更新训练数据集等等。

[0108] 本实施例提供一种铁轨扣件状态检测方法。所述铁轨扣件状态检测方法获取待识别铁轨扣件图像，并输入至第一铁轨环境分割模型以及第二铁轨环境分割模型，得到螺母、铁轨以及扣件的中心点坐标信息以及轮廓点坐标信息；根据扣件的中心点及轮廓点坐标信息得到待识别铁轨扣件局部图像，并输入至扣件状态检测模型，得到初始预测状态；根据螺母、铁轨以及扣件的中心点及轮廓点坐标信息，得到状态辅助判断信息，进一步得到待识别铁轨扣件图像的状态类别。所述方法通过螺母、铁轨以及扣件的中心点及轮廓点坐标信息得到扣件的位置以及形态，得到状态辅助判断信息，结合扣件的初始预测状态，用于实现铁轨扣件状态的高精度检测。

[0109] 与前述铁轨扣件状态检测方法的实施例相对应，本申请第二实施例提供一种铁轨扣件状态检测系统。参见图9，所述铁轨扣件状态检测系统用于实现本申请第一实施例所述的铁轨扣件检测方法，包括依次相连的铁轨扣件图像采集模块、铁轨环境分割模块、扣件状态识别模块。

[0110] 所述铁轨扣件图像采集模块用于获取待识别铁轨扣件图像。

[0111] 所述铁轨环境分割模块包括第一铁轨环境分割单元、第二铁轨环境分割单元以及局部图像获取单元，其中，所述第一铁轨环境分割单元用于响应于输入的所述待识别铁轨扣件图像，输出第一坐标信息，所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、铁轨的中心点坐标信息以及轮廓点坐标信息；所述第二铁轨环境分割模型响应于输入的所述待识别铁轨扣件图像，输出第二坐标信息，所述第二坐标信息包括待识别铁轨扣件的中心点坐标信息以及轮廓点坐标信息；所述局部图像获取单元用于根据所述第二坐标信息，得到待识别铁轨扣件局部图像。

[0112] 所述扣件状态识别模块包括初始预测单元、辅助判断单元和结果输出单元；其中，所述初始预测单元用于响应于输入的所述待识别铁轨扣件局部图像，输出待识别铁轨扣件图像的初始预测状态；所述辅助判断单元用于根据所述第一坐标信息和所述第二坐标信息，得到待识别铁轨扣件图像的状态辅助判断信息，其中，所述状态辅助判断信息为缺损或者倾斜或者正常；所述结果输出单元用于根据所述状态辅助判断信息和所述初始预测状态，确定所述待识别铁轨扣件图像的状态类别，其中，当所述状态辅助判断信息为缺损时，输出所述待识别铁轨扣件图像的状态类别为缺损；当所述状态辅助判断信息为倾斜时，输出所述待识别铁轨扣件图像的状态类别为倾斜；当所述状态辅助判断信息为正常时，输出所述待识别铁轨扣件图像的状态类别为所述初始预测状态。

[0113] 在一种实现方式中，所述辅助判断单元被配置为执行以下操作：根据所述第一坐标信息和所述第二坐标信息，得到第一面积、第二面积、第三面积和第四面积，其中，所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积，所述第二面积为以，螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积，所述第三面积为以螺母为中心划分的扣件一侧区域的面积，所述第四面积为以螺母为中心划分的扣件另一侧区域的面积；当第一比值大于第一预设比值时，所述状态辅助判断信息为倾斜，其中所述第一比值为所述第一面积与所述第二面积的差值和所述第一面积与所述第二面积的和值的比值；当第二比值大于第二预设比值时，所述状态辅助判断信息为缺损，其中所述第二比值为所述第三面积与所述第四面积的差值和所述第三面积与第四面积的和值的比值；当所述第一坐标信息中的螺母中心点坐标信息为空且所述第二坐标信息中的扣件中心点坐标信息不为空时，所述状态辅助判断信息为缺损。

[0114] 在一种实现方式中，所述扣件状态检测系统还包括存储模块；所述存储模块用于存储所述待识别铁轨扣件图像以及对应的状态类别。示例性的，存储模块为一种服务器。

[0115] 上述系统在应用前述方法时的作用效果可参见前述方法实施例中的说明，在此不再赘述。

[0116] 本申请第三实施例提供一种计算机设备，包括：

[0117] 存储器，用于存储计算机程序；

[0118] 处理器，用于执行所述计算机程序时实现如本申请第一实施例所述的一种铁轨扣件状态检测方法。

[0119] 本申请第四实施例提供一种计算机可读存储介质，其特征在于，所述极端及可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如本申请第一实施例所述的一种铁轨扣件状态检测方法。

[0120] 本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由本申请的权利要求指出。

[0121] 本说明书中各个实施例之间相似相同部分互相参见即可。