一种基于深度学习的车载轨道巡检装置及方法

摘要

本发明公开了一种车载轨道巡检装置及方法，针对传统人工巡检效率低及安全性不高等问题，以机器视觉原理为基础，通过图像采集模块将得到的图像信息经过服务器中的检测模型进行检测，并将检测到的缺陷位置以及类型进行生成报告并将检测出的缺陷图片保存到数据库中，以供人工复核。该车载轨道巡检装置具有结构简单，单元密度高，图像清晰，精确度高，抗干扰性强等特点，该车载轨道巡检方法，在一次天窗工作时间内，实现一组工作图像数据的不同缺陷的检测，如扣件缺失与扣件歪斜、异物侵入、轨道板裂纹，通过后期人工也可以对采集的图像进行人工核查，避免了人员实地巡检，提高了检测效率。

权利要求

1.一种基于深度学习的车载轨道巡检装置，其特征在于，包括里程编码器模块、图像采集模块及含有GPU的服务器；

所述里程编码器模块的输出端与所述图像采集模块的输入端连接，所述图像采集模块在采集图像的同时读取所述里程编码器模块的当前里程值，并以当前里程值命名图像；所述图像采集模块的输出端与所述服务器的输入端连接；

所述服务器接收所述图像采集模块传输的图像后，将图像输入已训练好的检测模型中进行包含轨道扣件完整性在内的轨道缺陷的检测，将检测所得的缺陷图像进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告；

其中，对轨道扣件完整性进行检测时，需要读取当前图像的最后十行像素的二值化图像，将背景置0，将扣件部分置1，并计算这十行像素中的数值为1的像素点的总数；

当总数处于预设范围内时，则判定存在半个扣件，需要进行图像拼接操作，将当前图像的下半部分图像与下一张图像进行拼接；

对拼图后的图像采用深度学习中的YOLO系列算法进行扣件定位；

将定位后的扣件部分图像作为ROI进行提取，采用深度学习中的残差网络进行扣件异常的判断。

2.如权利要求1所述的基于深度学习的车载轨道巡检装置，其特征在于，所述图像采集模块包含三个相同型号的线阵相机，三个所述线阵相机固设于巡检小车的前置钢杆上，对轨道状况进行拍摄。

3.一种基于深度学习的车载轨道巡检方法，用于如权利要求1或2所述的基于深度学习的车载轨道巡检装置；

所述服务器接收所述图像采集模块传输的图像后，进行以下处理：将图像输入已训练好的检测模型中进行轨道缺陷的检测，将检测所得的缺陷图像进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告；

其中，将图像输入已训练好的检测模型中进行轨道缺陷的检测进一步包括：对图像中轨道扣件的完整度进行判别，具体包括以下步骤：

读取当前图像的最后十行像素的二值化图像，将背景置0，将扣件部分置1，并计算这十行像素中的数值为1的像素点的总数；

当总数处于预设范围内时，则判定存在半个扣件，需要进行图像拼接操作，将当前图像的下半部分图像与下一张图像进行拼接；

对拼图后的图像采用深度学习中的YOLO系列算法进行扣件定位；

将定位后的扣件部分图像作为ROI进行提取，采用深度学习中的残差网络进行扣件异常的判断。

4.如权利要求3所述的基于深度学习的车载轨道巡检方法，其特征在于，所述采用深度学习中的残差网络进行扣件异常的判断之后还包括：将当前图像中的扣件及与扣件相连的部分钢轨图像去除，将剩余图像进行分块及裂纹检测。

5.如权利要求3所述的基于深度学习的车载轨道巡检方法，其特征在于，所述将图像输入已训练好的检测模型中进行轨道缺陷的检测进一步包括：建立轨道缺陷库，对轨道缺陷库中的图像缺陷进行分类及标记；

采用创建好的轨道缺陷库对检测模型进行训练，将满足预设检测精度的检测模型应用到服务器中进行轨道缺陷检测；

在对图像采集模块发送的图像进行缺陷检测之前，对图像的大小进行重置，统一大小；

将重置后的图像进行归一化；将归一化后的图像输入检测模型中进行缺陷检测。

6.如权利要求5所述的基于深度学习的车载轨道巡检方法，其特征在于，所述将归一化后的图像输入检测模型中进行缺陷检测进一步包括：对归一化后的图像进行缺陷检测时，通过滑动窗口扫描输入图像进行卷积操作，结合不同的尺寸和长宽比，生成相互重叠的区域，并输出每个区域的坐标与长宽信息，用于选取候选区；

根据提取的候选区域，得到一个二值掩码，根据所述二值掩码进一步进行缺陷分类与检测框的回归，输出缺陷类别及位置信息。

说明书

一种基于深度学习的车载轨道巡检装置及方法

技术领域

[0001] 本发明属于轨道巡检的技术领域，尤其涉及一种基于深度学习的车载轨道巡检装置及方法。

背景技术

[0002] 铁路运输相当对于其他运输方式具有输送量大、输送距离长、安全程度高、输送成本低且较少受气候环境影响，在综合运输网络中起着其他运输方式无法替代的作用，为国民经济建设提供了可靠的保障与强有力的支撑。在实际中，列车的运行速度的加快和过重的运输装载量，给人们带来了便捷的同时也给铁路运营安全和钢轨的养护带来了极为严峻的考验。

[0003] 随着我国铁路提速战略的实施，对行车的安全与舒适性有了更高的要求。运行速度的提升和重载列车的开行，对轨道的破坏作用加大，导致轨道状态的不断恶化。因此，及时掌握轨道线路的健康状态已经成为铁路工作中的一项重要基础工作。

[0004] 影响轨道线路的健康运行的问题包含异物侵入、扣件丢失与歪斜、轨道板裂纹以及钢轨表面伤损等。而现有的轨道检测方式多依赖于人员排查，但这种检测方式效率低，危险性高，且受到工人的经验，是否敬业以及环境等众多方面的影响，已经很难满足日益增长的铁路安全运营的需求。

发明内容

[0005] 本发明的目的是提供一种基于深度学习的车载轨道巡检装置及方法，解决传统人工巡检效率低、安全性不高等问题。

[0006] 为解决上述问题，本发明的技术方案为：

[0007] 一种基于深度学习的车载轨道巡检方法，用于车载轨道巡检装置，所述车载轨道巡检装置包括图像采集模块及含有GPU的服务器；

[0008] 所述服务器接收所述图像采集模块传输的图像后，进行以下处理：

[0009] 将图像输入已训练好的检测模型中进行轨道缺陷的检测，将检测所得的缺陷图像进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告。

[0010] 根据本发明一实施例，所述将图像输入已训练好的检测模型中进行轨道缺陷的检测进一步包括：

[0011] 对图像中轨道扣件的完整度进行判别。

[0012] 根据本发明一实施例，所述对图像中轨道扣件的完整度进行判别进一步包括：

[0013] 读取当前图像的最后十行像素的二值化图像，将背景置0，将扣件部分置1，并计算这十行像素中的数值为1的像素点的总数；

[0014] 当总数处于预设范围内时，则判定存在半个扣件，需要进行图像拼接操作，将当前图像的下半部分图像与下一张图像进行拼接；

[0015] 对拼图后的图像采用深度学习中的YOLO系列算法进行扣件定位；

[0016] 将定位后的扣件部分图像作为ROI进行提取，采用深度学习中的残差网络进行扣件异常的判断。

[0017] 根据本发明一实施例，所述采用深度学习中的残差网络进行扣件异常的判断之后还包括：

[0018] 将当前图像中的扣件及与扣件相连的部分钢轨图像去除，将剩余图像进行分块及裂纹检测。

[0019] 根据本发明一实施例，所述将图像输入已训练好的检测模型中进行轨道缺陷的检测进一步包括：

[0020] 建立轨道缺陷库，对轨道缺陷库中的图像缺陷进行分类及标记；

[0021] 采用创建好的轨道缺陷库对检测模型进行训练，将满足预设检测精度的检测模型应用到服务器中进行轨道缺陷检测；

[0022] 在对图像采集模块发送的图像进行缺陷检测之前，对图像的大小进行重置，统一大小；将重置后的图像进行归一化；将归一化后的图像输入检测模型中进行缺陷检测。

[0023] 根据本发明一实施例，所述将归一化后的图像输入检测模型中进行缺陷检测进一步包括：

[0024] 对归一化后的图像进行缺陷检测时，通过滑动窗口扫描输入图像进行卷积操作，结合不同的尺寸和长宽比，生成相互重叠的区域，并输出每个区域的坐标与长宽信息，用于选取候选区；

[0025] 根据提取的候选区域，得到一个二值掩码，根据所述二值掩码进一步进行缺陷分类与检测框的回归，输出缺陷类别及位置信息。

[0026] 一种基于深度学习的车载轨道巡检装置，包括里程编码器模块、图像采集模块及含有GPU的服务器；

[0027] 所述里程编码器模块的输出端与所述图像采集模块的输入端连接，所述图像采集模块在采集图像的同时读取所述里程编码器模块的当前里程值，并以当前里程值命名图像；所述图像采集模块的输出端与所述服务器的输入端连接；

[0028] 所述服务器接收所述图像采集模块传输的图像后，将图像输入已训练好的检测模型中进行轨道缺陷的检测，将检测所得的缺陷图像进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告。

[0029] 根据本发明一实施例，所述图像采集模块包含三个相同型号的线阵相机，三个所述线阵相机固设于巡检小车的前置钢杆上，对轨道状况进行拍摄。

[0030] 本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

[0031] 1)本发明一实施例中的基于深度学习的车载轨道巡检装置，针对传统人工巡检效率低及安全性不高等问题，以机器视觉原理为基础，通过图像采集模块将得到的图像信息经过服务器中的检测模型进行检测，并将检测到的缺陷位置以及类型进行生成报告并将检测出的缺陷图片保存到数据库中，以供人工复核。该车载轨道巡检装置具有结构简单，单元密度高，图像清晰，精确度高，抗干扰性强等特点。

[0032] 2)本发明一实施例中的基于深度学习的车载轨道巡检装置，通过车载里程编码器来外触发的控制相机拍摄，并将当前里程值传送给GPU服务器内，并以当前里程值作为图像的命名，可将后续图像中的缺陷与实际现场的缺陷位置相对应，减少后期人工检修的工作量，提高检修效率。

[0033] 3)本发明一实施例中的基于深度学习的车载轨道巡检方法，针对目前轨道缺陷中的异物侵入、扣件丢失与歪斜、轨道板裂纹的问题，通过巡检小车上的图像采集模块采集轨道状况，并将图像传输给带有GPU的服务器，对图像进行缺陷检测，将机器视觉引入到轨道巡检中，运用深度学习方法来检测轨道的健康状态，代替了人工巡检，提高了作业效率。

[0034] 4)本发明一实施例中的基于深度学习的车载轨道巡检方法，在对图像进行缺陷检测时，通过对扣件的完整度检测步骤，避免了因图像不完整而出现缺陷检测错漏的情况，提高了检测的精准度。

[0035] 5)本发明一实施例中的基于深度学习的车载轨道巡检方法，在对图像进行裂纹检测前，通过对图像进行分块处理，避免灰度值区域性的差异，有效的提高检测效果。

附图说明

[0036] 图1为本发明一实施例中的基于深度学习的车载轨道巡检装置的框图；

[0037] 图2为本发明一实施例中的扣件完整性检测流程图；

[0038] 图3为本发明一实施例中的裂纹检测流图；

[0039] 图4为本发明一实施例中的轨道裂纹示意图；

[0040] 图5为本发明一实施例中的扣除扣件与钢轨后的图像灰度差异图；

[0041] 图6为本发明一实施例中的轨道异物侵入示意图；

[0042] 图7为本发明一实施例中的轨道扣件歪斜示意图

[0043] 图8为本发明一实施例中的轨道扣件缺失示意图。

具体实施方式

[0044] 以下结合附图和具体实施例对本发明提出的一种基于深度学习的车载轨道巡检装置及方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

[0045] 本实施例，针对传统人工巡检效率低及安全性不高等问题，提供了一种基于深度学习的车载轨道巡检装置，以机器视觉原理为基础，通过图像采集模块将得到的图像信息经过服务器中的检测模型进行检测，并将检测到的缺陷位置以及类型进行生成报告并将检测出的缺陷图片保存到数据库中，以供人工复核。该轨道巡检设备具有结构简单，单元密度高，图像清晰，精确度高，抗干扰性强等特点。

[0046] 具体的，请参看图1，该基于深度学习的车载轨道巡检装置包括里程编码器模块、图像采集模块、含GPU的服务器、图像处理模块及缺陷数据存储模块，其中，里程编码器模块的输出端与图像采集模块的输入端连接，该图像采集模块在采集图像的同时读取里程编码器模块的当前里程值，并以当前里程值命名图像；图像采集模块的输出端与含GPU的服务器的输入端连接；该服务器接收图像采集模块传输的图像后，将图像输入已训练好的检测模型(即图像处理模块，其采用的检测模型可以是Darknet网络框架，也可以是YOLO系列的网络框架)中进行轨道缺陷的检测，将检测所得的缺陷图像输出至缺陷数据存储模块中进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告。

[0047] 本实施例中的基于深度学习的车载轨道巡检装置，通过车载里程编码器来外触发的控制图像采集模块拍摄，并以当前里程值作为图像的命名，可将后续图像中的缺陷与实际现场的缺陷位置相对应，减少后期人工检修的工作量，提高检修效率。

[0048] 实际应用中，车载轨道巡检装置中的图像采集模块可以是包含三个相同型号的线阵CCD相机，这三个线阵CCD相机固设于巡检小车的前置钢杆上，对轨道状况进行拍摄。将拍摄的图像传送给含有GPU的服务器，服务器对获取的图像进行实时的缺陷检测，并将处理中遇到的缺陷图像存储到缺陷数据存储模块，以供后续人工复核。

[0049] 上述车载轨道巡检装置采用先进电子技术，能应用在极恶劣的工业环境中；并且敏感材料非接触，在不断重复检测的过程中不会对其造成任何机械磨损；而且是实时检测，具有环境适应性强、装置使用寿命长、检测精度高等优点。

[0050] 下面详细介绍一下应用于上述基于深度学习的车载轨道巡检装置的巡检方法，该基于深度学习的车载轨道巡检方法，当服务器接收图像采集模块传输的图像后，进行以下处理：

[0051] 将图像输入已训练好的检测模型中进行轨道缺陷的检测，将检测所得的缺陷图像进行保存，以供后期人工复核；检测完成后，输出检测结果并生成检测报告。

[0052] 其中，将图像输入已训练好的检测模型中进行轨道缺陷的检测进一步包括：对图像中轨道扣件的完整度进行判别。

[0053] 具体的，请参看图2，对图像中轨道扣件的完整度进行判别进一步包括：

[0054] 读取当前图像的最后十行像素的二值化图像，将背景置0，将扣件部分置1，并计算这十行像素中的数值为1的像素点的总数；

[0055] 当数值为1的像素点的总数处于预设范围内时，则判定存在半个扣件，需要进行图像拼接操作，将当前图像的下半部分图像与下一张图像进行拼接；

[0056] 对拼图后的图像采用深度学习中的YOLO系列算法进行扣件定位；

[0057] 将定位后的扣件部分图像作为ROI(感兴趣区域)进行提取，并采用深度学习中的残差网络(如ResNet)进行扣件异常的判断。

[0058] 上述在对图像进行缺陷检测时，通过对扣件的完整度检测步骤，避免了因图像不完整而出现缺陷检测错漏的情况，提高了检测的精准度。

[0059] 在采用深度学习中的残差网络进行扣件异常的判断之后还包括：

[0060] 将当前图像中的扣件及与扣件相连的部分钢轨图像去除，将剩余图像进行分块及裂纹检测。请参看图3，在进行裂纹检测时，需要通过巡检小车两边的相机采集图像，服务器先用YOLO算法(如YOLOv3、YOLOv4或YOLOv5)对扣件进行定位，将扣件部分与钢轨部分进行扣除，之后对剩余的图像部分进行分块处理，然后采用YOLO算法识别裂纹，对存在的裂纹进行标记，请参看图4。

[0061] 上述通过对图像进行分块处理，可以避免光照不均的问题，使得检出率理论上是高于对整张图进行操作的结果。从图5裂纹检测的分割图像中可以看出左上角的分割部分与右上角的部分灰度值明显存在差别，若是对整张图像进行操作难免造成检测失败，而通过分块检测可以避免灰度值区域性的差异，有效提高了检测的准确度。

[0062] 上述基于深度学习的车载轨道巡检方法中，将图像输入已训练好的检测模型中进行轨道缺陷的检测，其中对检测模型的训练进一步包括：

[0063] 建立轨道缺陷库，对轨道缺陷库中的图像缺陷进行分类及标记；

[0064] 采用创建好的轨道缺陷库对检测模型进行训练，将满足预设检测精度的检测模型应用到服务器中进行轨道缺陷检测；

[0065] 在服务器对图像采集模块发送的图像进行缺陷检测之前，对图像的大小进行重置，统一大小；将重置后的图像进行归一化；将归一化后的图像输入检测模型中进行缺陷检测。

[0066] 其中，将归一化后的图像输入检测模型中进行缺陷检测进一步包括：

[0067] 对归一化后的图像进行缺陷检测时，通过滑动窗口扫描输入图像进行卷积操作，结合不同的尺寸和长宽比，生成相互重叠的区域，并输出每个区域的坐标与长宽信息，用于选取候选区；

[0068] 根据提取的候选区域，得到一个二值掩码，根据所述二值掩码进一步进行缺陷分类与检测框的回归，输出缺陷类别及位置信息。

[0069] 通过上述基于深度学习的车载轨道巡检方法，在一次天窗工作时间内，实现一组工作图像数据的不同缺陷的检测，如：扣件缺失(如图8所示)与扣件歪斜(如图7所示)，异物侵入(如图6所示)，轨道板裂纹(如图4所示)，通过后期人工也可以对采集的图像进行人工核查，避免了人员实地巡检，提高了检测效率。

[0070] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。