一种基于机器视觉的钢轨表面检测方法和系统

摘要

本申请公开了一种基于机器视觉的钢轨表面检测方法和系统，该方法包括：接收高速摄像机拍摄得到的钢轨的视频；将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息；将每一张关键帧图像均输入到第一机器学习模型中；将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题。通过本申请解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。

权利要求

1.一种基于机器视觉的钢轨表面检测方法，其特征在于，包括：接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在列车的头部，并随所述列车运行对所述钢轨进行拍摄；

将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；

将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；

将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；

获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷；

还包括：在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息；其中，根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置，该位置被称为第一位置；根据列车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置被称为第二位置；将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置。

2.根据权利要求1所述的方法，其特征在于，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。

3.根据权利要求1所述的方法，其特征在于，将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上包括：

获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；

将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；

将加密后的所述压缩包发送至预先配置的联系方式上。

4.一种基于机器视觉的钢轨表面检测系统，其特征在于，包括：接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在列车的头部，并随所述列车运行对所述钢轨进行拍摄；

生成模块，用于将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；

第一输入模块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；

第二输入模块，用于将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；

设置模块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷；

获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；发送模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上；所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息；其中，根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置，该位置被称为第一位置；根据列车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置被称为第二位置；将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置。

5.根据权利要求4所述的系统，其特征在于，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。

6.根据权利要求4所述的系统，其特征在于，所述发送模块用于：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；

将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；

将加密后的所述压缩包发送至预先配置的联系方式上。

说明书

一种基于机器视觉的钢轨表面检测方法和系统

技术领域

[0001] 本申请涉及到图像处理领域，具体而言，涉及一种基于机器视觉的钢轨表面检测方法和系统。

背景技术

[0002] 列车在运行过程中，会在钢轨表面产生疤痕、裂缝、表面擦伤、剥离和褶皱等缺陷进而有可能成为威胁铁路运输安全的隐患。

[0003] 目前钢轨内部缺陷出现的几率已经减少很多，然而钢轨表面缺陷导致钢轨断裂的情况却越来越常见。因此，对铁路轨道进行缺陷检测是保证铁路运输安全的重要手段。

[0004] 轨道表面缺陷的检测一直依赖人工巡检，其效率低下，检测结果又受巡检人员的经验、责任心、天气情况等因素的影响，另外巡检人员的人身安全也是需要关注的问题。随
着列车速度的提高和轴重的增加，使钢轨伤损发展速度相应加快，检测周期亦有缩短的趋
势。加之行车密度大，利用人工检测已经不适应铁路的发展情况。

[0005] 目前对钢轨表面缺陷的检测方法主要有：漏磁检测法、电涡流检测法等。

[0006] 漏磁检测法是对钢轨进行局部磁化，当钢轨表面出现裂纹或坑点等缺陷时，形成缺陷表面局部区域的漏磁场，漏磁信号随缺陷几何形状的不同而变化，采用磁传感器组成
的检测电路来检测漏磁场的变化，根据测得的漏磁信号就可判别缺陷情况。但是，这种方法
不能检测小的（<4mm）缺陷，而且随着速度的提高，方法的性能急剧下降，因此目前最高速度
只达35km/h。

[0007] 电涡流检测法，是载有交变电流的检测线圈靠近钢轨，由于线圈磁场的作用，会感生出涡流。涡流的大小、相位及流动形式受钢轨导电性能的影响，而且涡流产生的反作用磁
场又使检测线圈的阻抗发生变化。因此通过测定检测线圈阻抗的变化可以判断被检钢轨中
有无缺陷。电涡流方法不受轨道表面的油污等杂质的影响，探头不必接触试件，但是容易受
传感器上下波动的影响，要求传感器距离钢轨表面不超过2mm。

[0008] 上述两种检测方法均需要单独的检测设备来进行检测，现有这些检测方法均会影响列车的正常运行。

发明内容

[0009] 本申请实施例提供了一种基于机器视觉的钢轨表面检测方法和系统，以至少解决现有技术中的钢轨表面检测会影响列车正常运行所导致的问题。

[0010] 根据本申请的一个方面，提供了一种基于机器视觉的钢轨表面检测方法，包括：接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随
所述列车运行对所述钢轨进行拍摄；将所述视频的每个关键帧均生成为一张关键帧图像，
为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中
的钢轨的状态，所述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧
图像时设置所述状态的默认值为未检测；将每一张关键帧图像均输入到第一机器学习模型
中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；
所述第一机器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据
包括两张图像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图
像为从所述一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行
对比度和亮度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；将所述
第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机
器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二
训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是
否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注
的；获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨
图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态设置
为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。

[0011] 进一步地，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。

[0012] 进一步地，还包括：在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存在
问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在问
题的关键帧图像进行压缩并发送至预先配置的联系方式上。

[0013] 进一步地，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。

[0014] 进一步地，将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上包括：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所
述文本和所述所有存在问题的关键帧图像一起进行压缩得到压缩包，其中，所述压缩包使
用预先配置的密钥进行加密；将加密后的所述压缩包发送至预先配置的联系方式上。

[0015] 根据本申请的另一个方面，还提供了一种基于机器视觉的钢轨表面检测系统，包括：接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在
所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；生成模块，用于将所述视频的每
个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第
一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无问
题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；第一输入模
块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型
用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使
用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为
所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的
钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比
度和亮度的数值为预先输入到所述预定程序中的；第二输入模块，用于将所述第一机器学
习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型
用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多组第二训练数据训
练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图像中是否存在标签
缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进行标注的；设置模
块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该
钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签信息的状态
设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存在表面缺陷。

[0016] 进一步地，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。

[0017] 进一步地，还包括：获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其
中，所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；
发送模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。

[0018] 进一步地，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。

[0019] 进一步地，所述发送模块用于：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得
到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至
预先配置的联系方式上。

[0020] 在本申请实施例中，采用了接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；将所述视频的
每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述
第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之一：未检测、检测无
问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为未检测；将每一张关
键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张
关键帧图像中提取出其中的钢轨图像；所述第一机器学习模型为预先使用多组第一训练数
据训练得到的，每组所述第一训练数据包括两张图像，其中，一张图像为所述高速摄像机拍
摄的带有背景的钢轨的照片，另一张图像为从所述一张图像中提取出的钢轨图像，所述另
一张图像中的钢轨图像被预定程序进行对比度和亮度的调节，所述对比度和亮度的数值为
预先输入到所述预定程序中的；将所述第一机器学习模型输出的每一张钢轨图像输入到第
二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第
二机器学习模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括
钢轨图像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息
是人工根据所述钢轨图像来进行标注的；获取所述第二机器学习模型输出的第二标签信
息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的
关键帧图像的第一标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该
关键帧图像中的钢轨存在表面缺陷。通过本申请解决了现有技术中的钢轨表面检测会影响
列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。

附图说明

[0021] 构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0022] 图1是根据本申请实施例的基于机器视觉的钢轨表面检测方法的流程图。

具体实施方式

[0023] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0024] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不
同于此处的顺序执行所示出或描述的步骤。

[0025] 本实施例中提供了一种基于机器视觉的钢轨表面检测方法，图1是根据本申请实施例的基于机器视觉的钢轨表面检测方法的流程图，如图1所示，该流程包括如下步骤：

[0026] 步骤S102，接收高速摄像机拍摄得到的钢轨的视频，其中，所述高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；

[0027] 例如，所述钢轨视频是在列车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，并在所述列车从运行状态变为停止状态的情况下，停止拍摄得到的视频。这样可
以得到两个站之间的视频，从而容易对视频中的钢轨进行定位。

[0028] 步骤S104，将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所
述状态为以下之一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述
状态的默认值为未检测；

[0029] 步骤S106，将每一张关键帧图像均输入到第一机器学习模型中，其中，所述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机器学习模
型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图像，其中，
一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述一张图像
中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调
节，所述对比度和亮度的数值为预先输入到所述预定程序中的；

[0030] 第一训练数据的生成方法有很多，例如，对每一张带有背景的钢轨的照片，钢轨区域具有固定的宽度W和长度L，且必定垂直于轨道图像的X轴。基于此种特性，利用LSD(Line 
Segment Detector，直线段检测算法)检测出轨道图像中的多条直线段，然后，两两计算垂
直于该轨道图像X轴的直线段的X坐标差值，如果X坐标差值小于预设值θ，则进行合并，最
后，按照直线段长度对合并后的多条直线段正序排列，找到X坐标差值在预设范围区间的两
条最长直线段，即为钢轨区域的两侧边界，最后，根据所述两侧边界，从该张带有背景的钢
轨的照片中分割提取钢轨图像。

[0031] 步骤S108，将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习
模型为预先使用多组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和
用于指示该钢轨图像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据
所述钢轨图像来进行标注的；

[0032] 在一个可选的实施方式中，人工标识的训练数据的量不足够进行机器学习模型的训练，则可以使用其他方式来自动生成用于训练第二机器学习模型的训练数据。例如，使用
漏磁检测法或者电涡流检测法在实验室中对脱离轨道的钢轨进行检测，并生成标签信息，
该标签信息用于记录该钢轨是否存在表面缺陷以及存在表面缺陷的位置。将该钢轨的图像
进行拍摄之后输入到第一机器学习模型中，将所述第一机器学习模型输出的图像和使用漏
磁检测法或者电涡流检测法检测得到的标签信息作为一组第二训练数据。

[0033] 或者还可以对少量已标注的钢轨表面缺陷图像进行数量扩展，构建钢轨表面缺陷数据集；构建多层级特征融合的钢轨表面缺陷检测网络模型，多层级特征融合的钢轨表面
缺陷检测网络模型的多任务损失函数包括目标定位边界框损失函数和多类别分类损失函
数，目标定位边界框损失函数用于训练模型定位缺陷区域，多类别分类损失函数用于训练
模型识别缺陷类别；根据钢轨表面缺陷数据集训练模型；在采集到多张钢轨图像后，获得拼
接后的钢轨图像并输入至多层级特征融合的钢轨表面缺陷检测网络模型中，输出钢轨表面
缺陷检测结果。

[0034] 例如，

[0035] 步骤S110，获取所述第二机器学习模型输出的第二标签信息，并在所述第二标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一标签
信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢轨存
在表面缺陷。

[0036] 通过上述步骤解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。

[0037] 在本实施例中，还可以在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，所述存
在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；将所有存在
问题的关键帧图像进行压缩并发送至预先配置的联系方式上。

[0038] 可以使用如下方式来生成压缩包：获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压
缩得到压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发
送至预先配置的联系方式上。

[0039] 为了便于进行定位，所述第一标签信息中还携带有每张关键帧图像在所述视频中对应的时间信息。

[0040] 根据所述视频的拍摄起始时间和结束时间获取所述列车的停靠站，根据所述停靠站可以确定所述视频所拍摄的视频的起始站和终点站，根据所述关键帧图像的时间信息确
定拍摄该关键帧图像时所述列车所在的位置，根据所述列车所在的位置确定所述关键帧图
像中钢轨所在的位置，该位置被称为第一位置。作为另一个可选的实施方式，还可以根据列
车记录运行的时间与北斗定位数据的对应关系，查找所述关键帧图像的时间信息对应的位
置信息，该位置信息作为所述关键帧图像中钢轨所在的位置，该位置可以被称为第二位置。

[0041] 将所述第一位置和所述第二位置进行重叠，所述第一位置和所述第二位置重叠的部分为所述钢轨所在的位置，这样可以减小钢轨的搜索范围。

[0042] 接收到所述压缩包的用户，对所述压缩包中的检测有问题的关键帧的图像进行人工复核，在确定关键帧图像中的钢轨确实存在问题之后，发送指示信息，其中，所述指示信
息用于指示该钢轨的表面缺陷的严重程度，其中，所述严重程度可以分为多个等级；接收到
所述指示信息之后，如果所述严重程度超过预定等级，则发送告警信息，其中，所述告警信
息用于指示列车暂停通过表面缺陷严重程度超过预定等级的关键帧所在图像的地理位置；
在所述严重程度小于或等于所述预定等级的情况下，向维护人员发送维护信息。

[0043] 在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。

[0044] 上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或
技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计
算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动
态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可
擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 
(CD‑ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他
磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文
中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据
信号和载波。

[0045] 这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他
可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方
框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。

[0046] 该本实施例中就提供了这样的一种装置或系统。该系统被称为基于机器视觉的钢轨表面检测系统，包括：接收模块，用于接收高速摄像机拍摄得到的钢轨的视频，其中，所述
高速摄像机设置在所述列车的头部，并随所述列车运行对所述钢轨进行拍摄；生成模块，用
于将所述视频的每个关键帧均生成为一张关键帧图像，为每一张关键帧图像设置第一标签
信息，其中，所述第一标签信息包括所述关键帧图像中的钢轨的状态，所述状态为以下之
一：未检测、检测无问题、检测有问题，在生成所述关键帧图像时设置所述状态的默认值为
未检测；第一输入模块，用于将每一张关键帧图像均输入到第一机器学习模型中，其中，所
述第一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像；所述第一机
器学习模型为预先使用多组第一训练数据训练得到的，每组所述第一训练数据包括两张图
像，其中，一张图像为所述高速摄像机拍摄的带有背景的钢轨的照片，另一张图像为从所述
一张图像中提取出的钢轨图像，所述另一张图像中的钢轨图像被预定程序进行对比度和亮
度的调节，所述对比度和亮度的数值为预先输入到所述预定程序中的；第二输入模块，用于
将所述第一机器学习模型输出的每一张钢轨图像输入到第二机器学习模型中，其中，所述
第二机器学习模型用于识别钢轨图像中的表面缺陷，所述第二机器学习模型为预先使用多
组第二训练数据训练得到的，每组所述第二训练数据均包括钢轨图像和用于指示该钢轨图
像中是否存在标签缺陷的第二标签信息，所述第二标签信息是人工根据所述钢轨图像来进
行标注的；设置模块，用于获取所述第二机器学习模型输出的第二标签信息，并在所述第二
标签信息指示该钢轨图像存在表面缺陷的情况下，将该钢轨图像对应的关键帧图像的第一
标签信息的状态设置为检测有问题，其中，所述检测有问题用于指示该关键帧图像中的钢
轨存在表面缺陷。

[0047] 该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。

[0048] 例如，还包括：获取模块，用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后，对所有的关键帧视频进行遍历，获取所有存在问题的关键图像，其中，
所述存在问题的关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像；发送
模块，用于将所有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上。

[0049] 又例如，所述发送模块用于获取所述列车的车次和运行时间，并生成记录有所述车次和运行时间的文本；将所述文本和所述所有存在问题的关键帧图像一起进行压缩得到
压缩包，其中，所述压缩包使用预先配置的密钥进行加密；将加密后的所述压缩包发送至预
先配置的联系方式上。

[0050] 通过本实施例解决了现有技术中的钢轨表面检测会影响列车正常运行所导致的问题，从而可以在不影响列车运行状态下对钢轨进行检测。

[0051] 以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、
改进等，均应包含在本申请的权利要求范围之内。