基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，包括以下步骤：步骤一、拍摄TEDS故障图片以及生成渲染故障图片；步骤二、生成对抗网络转换图片；步骤三、构建训练样本集：将超逼真故障图片与少量的真实故障图片进行混合，使用标记软件对图片进行样本标记，构建训练样本集；步骤四、训练目标检测模型，构建故障检测深度模型；步骤五、进行TEDS故障检测和判定。本发明利用神经网络以及虚拟模型建立EMU动态故障的海量多维特征识别模型库实现高准确度的EMU设备故障的自动检测能力；通过此项目来支持TEDS系统对EMU设备故障的自动检测能力，预估计能使全国铁路动车段能节省人工检测费。
1.基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，包括以下步骤：步骤一、拍摄TEDS故障图片以及生成渲染故障图片：针对难采集的、出现频率不高的故障，拍摄带故障的TEDS故障图片，然后利用3dMax建模生成包含有指定故障模型的渲染故障图片，将带有故障的区域进行初步材质的渲染；步骤二、生成对抗网络转换图片：利用循环一致性对抗生成深度神经网络对来自真实的TEDS故障图片进行学习，然后对3dMax渲染的故障图片进行风格迁移，生成超逼真故障图片，使其在风格上逼近真实故障图片；步骤三、构建训练样本集：将超逼真故障图片与少量的真实故障图片进行混合，使用标记软件对图片进行样本标记，构建训练样本集；步骤四、训练目标检测模型：使用目标检测网络和步骤三构建的训练样本集，并构建故障检测深度模型；步骤五、进行TEDS故障检测和判定：利用步骤构建的故障检测深度模型对在TEDS系统中采集的真实故障图片进行故障检测和判定;步骤一的所述渲染，具体步骤为： 1）使用Vray Next渲染器对模型进行编辑； 2）使用3dMax渲染器编辑CRH380模型，在CRH380的虚拟模型中注入故障； 3）设置相关参数对模型进行材质渲染；
所述步骤二的具体步骤为： a）数据预处理：裁剪 、归一化和随机翻转；b）利用循环一致性生成对抗深度神经网络将在虚拟模型上截取的渲染过后的故障图片域迁移到真实故障图片风格；
步骤b）的具体步骤为：使用对抗生成深度神经网络的生成器随机生成图像，使用判别器对该图像进行判别、评分，在循环对抗生成过程中将虚拟模型生成的TEDS故障图片的域转换成真实故障图片的域，使得虚拟模型生成的超逼真故障图片高度接近真实故障图片，扩大训练数据集。
2.根据权利要求1所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤3）中，所述渲染设置参数包括：输入图像大小、像素过滤器、颜色贴图类型、光照和相机位置。
3.根据权利要求1所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤a）中，所述裁剪指的是把256×256的图片先调整为286×286的大小，再从中剪裁出256×256的像素的图片；所述归一化指的是将输入的图像每个通道的值都从[0,252]归一化到[‑1,1]；所述随机翻转指的是以0.5的概率水平翻转图像，以减少过拟合。
4.根据权利要求1所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤三中，所述标记 软件为LabelImg软件，所述LabelImg软件对图片中的故障位置进行拉选故障类型标记框，并对故障区域命名，然后保存为xml标记文件。
5.根据权利要求3所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤四中，所述构建故障检测深度模型的具体步骤为：使用卷积‑线性‑激活‑池化层来获得图像的数据特征，使用RPN网络输出候选建议区域，对上述区域进行池化，在到检测率达到目标值以后，停止训练并保存模型。
6.根据权利要求1所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤四中，所述目标检测网络为Faster‑RCNN或者centernet。
7.根据权利要求4所述的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，其特征在于，步骤五中，所述故障检测的具体步骤为：向故障检测深度模型中传入需检测的真实故障图片，故障检测深度模型利用已学习的特征与检测区域对比，找到故障位置后，做出标记，完成故障检测。
基于虚拟CRH380A模型和深度学习的TEDS故障检测方法
技术领域
[0001] 本发明涉及无损视觉故障检测技术领域，具体涉及基于虚拟CRH380A模型和深度学习的TEDS故障检测方法。
背景技术
[0002] 随着我国高速铁路建设的快速发展，动车组（EMU）在高速运行的状态下，车体上任何细微的故障都将存在巨大的安全隐患，因此对EMU在高速运行中部件状态进行检测并实现故障警、提高EMU检修运用质量、加强EMU检修作业质量的监控至关重要。EMU动态故障检测系统（TEDS）利用轨边安装的高速面阵相机和高速线阵相机，采集EMU车体底部、车体两侧裙板、车辆连接装置、转向架等可视部位图像，采用自动识别技术识别车体故障，实现故障的分级报警，同时图像通过网络实时传输至室内监测终端，由人工对异常报警进行确认和故障提交，以提高动车所作业质量和作业效率。
[0003] 从计算机视觉的角度来讲，TEDS系统现采用的自动识别技术识别车体故障技术，只单纯的停留在低级的图像处理层面：以时间为轴，对EMU同一部件，实现在时间轴上相邻前后两张照片像素对比。有研究人员在EMU运行故障动态图像检测系统设计与实现中采用了尺寸不变特征变换（Scale‑Invariant Feature Transform,SIFT）来对故障图片攫取关键点（Keypoint），利用欧氏距离来作为两幅图像中关键点特征向量的相似性匹配判定参照，再采用方向梯度直方图（Histogram of Orientation Gradient, HOG）将两幅匹配后图像进行描述子比较。比较结果超过一定阈值的时候，便被判定图像中含有异常故障。其中欧氏距离算出的阈值和其后的描述子匹配阈值都是需要人工设置。这种单线的像素对比对于静态工件具有较好的识别效果，但对于庞大变化的列车工件来说，这个方法并不适应大规模的EMU结构件故障检测。据统计目前TEDS系统的故障报警准确率只有万分至一至万分之三左右。
[0004] 因此目前在动车段的维修总调度室（应急中心），依然是人工在手动检测TEDS系统采集下来的图片。这种人工检测的方式不仅有各种各样的遗漏故障，效率低下，而且TEDS分析员都是超负荷工作才能完成超大的工作量。从长期的发展来看，动车数量正在与日俱增，面对如此庞大的工作量，误诊率也会增加。
[0005] 目前，主流研究提出采用深度学习方法改进TEDS故障检测性能，但对罕见故障的检测能力仍然不足，原因并非是深度学习算法性能弱，而是缺乏大量的齐全的故障图像数据，TEDS系统实际运用中收集的故障图像极度稀缺、故障特征稀疏程度高，越罕见的故障，相应故障图像越稀缺。
发明内容
[0006] 本发明要解决的技术问题是，克服现有技术存在的上述缺陷，提供一种在TEDS故障样本稀缺的情况下生成大量接近真实的故障图像、达到扩大训练数据集、从而能够精准检测到罕见故障、以及达到故障检测自动化的基于虚拟CRH380A模型和深度学习的TEDS故障检测方法。
[0007] 本发明解决其技术问题所采用的技术方案是：基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，包括以下步骤：步骤一、拍摄TEDS故障图片以及生成渲染故障图片：针对难采集的、出现频率不高的故障，拍摄带故障的TEDS故障图片，然后利用3dMax建模生成包含有指定故障模型的渲染故障图片，将带有故障的区域进行初步材质的渲染；步骤二、生成对抗网络转换图片：利用循环一致性对抗生成深度神经网络对来自真实的TEDS故障图片进行学习，然后对3dMax渲染的故障图片进行风格迁移，生成超逼真故障图片，使其在风格上逼近真实故障图片；步骤三、构建训练样本集：将超逼真故障图片与少量的真实故障图片进行混合，使用标记软件对图片进行样本标记，构建训练样本集；步骤四、训练目标检测模型：使用目标检测网络和步骤三构建的训练样本集，并构建故障检测深度模型；步骤五、进行TEDS故障检测和判定：利用步骤构建的故障检测深度模型对在TEDS系统中采集的真实故障图片进行故障检测和判定。
[0008] 进一步的，步骤一的所述渲染，具体步骤为： 1）使用Vray Next渲染器对模型进行编辑； 2）使用渲染器编辑模型对，在CRH380的虚拟模型中注入故障； 3）设置相关参数对模型进行材质渲染。
[0009] 进一步的，所述渲染设置参数包括：输入图像大小、像素过滤器、颜色贴图类型、光照和相机位置。
[0010] 进一步的，所述步骤二的具体步骤为： a）数据预处理：裁减、归一化和随机翻转； b）利用循环一致性生成对抗深度神经网络将在虚拟模型上截取的渲染过后的故障图片域迁移到真实故障图片风格。
[0011] 进一步的，步骤a）中，所述裁剪指的是把256×256的图片先调整为286×286的大小，再从中剪裁出256×256的像素的图片；所述归一化指的是将输入的图像每个通道的值都从[0,252]归一化到[‑1,1]；所述随机翻转指的是以0.5的概率水平翻转图像，以减少过拟合。
[0012] 进一步的，步骤b）的具体步骤为：使用对抗生成深度神经网络的生成器随机生成图像，使用判别器对该图像进行判别、评分，在循环对抗生成过程中将虚拟模型生成的TEDS故障图片的域转换成真实故障图片的域，使得虚拟模型生成的超逼真故障图片高度接近真实故障图片。
[0013] 进一步的，步骤三中，所述标志软件为LabelImg软件，所述LabelImg软件对图片中的故障位置进行拉选故障类型标记框，并对故障区域命名，然后保存为xml标记文件。
[0014] 进一步的，步骤四中，所述构建故障检测深度模型的具体步骤为：使用卷积‑线性‑激活‑池化层来获得图像的数据特征，使用RPN网络输出候选建议区域，对上述区域进行池化，在到检测率达到目标值以后，停止训练并保存模型。
[0015] 进一步的，步骤四中，所述目标检测网络为Faster‑RCNN或者centernet。
[0016] 进一步的，步骤五中，所述故障检测的具体步骤为：向故障检测深度模型中传入需检测的真实故障图片，故障检测深度模型利用已学习的特征与检测区域对比，找到故障位置后，做出标记，完成故障检测。
[0017] 本发明的有益效果是：利用神经网络以及虚拟模型建立EMU动态故障的海量多维特征识别模型库实现高准确度的EMU设备故障的自动检测能力；通过此项目来支持TEDS系统对EMU设备故障的自动检测能力，预估计能使全国铁路动车段能节省5236万/年人工检测费。
附图说明
[0018] 1. 图1 是本发明的流程图；
[0019] 2. 图2是步骤一渲染的流程图。
具体实施方式
[0020] 下面结合实施例对本发明的具体实施方式作进一步详细说明：
[0021] 实施例1：如图1所示，基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，包括以下步骤：
[0022] 步骤一、拍摄TEDS故障图片以及生成渲染故障图片：针对铁丝断裂的故障，选取包含铁丝部件的TEDS故障图片，然后利用3dsMax 建模生成铁丝断裂的故障模型，将带有故障的区域进行初步材质的渲染，如图2所示，具体步骤为：
[0023] 1）使用Vray Next渲染器对模型进行编辑，对模型材质进行设置，牵引电机和齿轮箱采用铝合金材质，其余零件以钢材为主； 2）使用3dsMax对CRH380模型进行修改，在模型上注入断裂的铁丝； 3）设置渲染输出图像256×256像素，像素过滤器为catmull‑Rom，颜色贴图类型为Reinhard，首次漫反射计算利用光照贴图使得模型更加生动逼真。
[0024] 步骤二、生成对抗网络转换图片：利用循环一致性对抗生成深度神经网络对来自真实的TEDS故障图片进行学习，然后对3dMax渲染的故障图片进行风格迁移，生成超逼真故障图片，使其在风格上逼近真实故障图片；具体步骤为：
[0025] a）数据预处理：将256×256的图片裁剪为286×286的大小，再从中剪裁出256×256的像素的图片，将裁剪后的图像每个通道的值都从[0,255]归一化到[‑1,1]，并以0.5的概率水平翻转图像；
[0026] b）利用循环一致性生成对抗网络将虚拟模型产生的图片域迁移到真实故障图片风格；具体步骤为：使用对抗生成深度神经网络的生成器随机生成图像，使用判别器对该图像进行判别、评分，在循环对抗生成过程中将虚拟模型生成的TEDS故障图片的域转换成真实故障图片的域，使得虚拟模型生成的超逼真故障图片高度接近真实故障图片。
[0027] 步骤三、构建训练样本集：将超逼真故障图片与少量的真实故障图片进行混合，使用标记软件对图片进行样本标记，构建训练样本集；LabelImg软件对图片中的故障位置进行拉选故障类型标记框，并对故障区域命名，然后保存为xml标记文件。
[0028] 步骤四、训练目标检测模型：使用centernet目标检测网络搭建故障检测深度模型，利用步骤三构建的训练样本集，并构建故障检测深度模型；具体步骤为：使用卷积‑线性‑激活‑池化层来获得图像的数据特征，使用RPN网络输出候选建议区域，对上述区域进行池化，在到检测率达到目标值以后，停止训练并保存模型。
[0029] 步骤五、进行TEDS故障检测和判定：利用步骤构建的故障检测深度模型对在TEDS系统中采集的真实故障图片进行故障检测和判定；具体步骤为：向故障检测深度模型中传入需检测的真实故障图片，故障检测深度模型利用已学习的特征与检测区域对比，找到故障位置后，做出标记，完成故障检测。
[0030] 实施例2：如图1所示，基于虚拟CRH380A模型和深度学习的TEDS故障检测方法，包括以下步骤：
[0031] 步骤一、拍摄TEDS故障图片以及生成渲染故障图片：针对铁丝断裂的故障，选取包含铁丝部件的TEDS故障图片，然后利用3dsMax 建模生成铁丝断裂的故障模型，将带有故障的区域进行初步材质的渲染，如图2所示，具体步骤为：
[0032] 1）使用Vray Next渲染器对模型进行编辑，对模型材质进行设置，牵引电机和齿轮箱采用铝合金材质，其余零件以钢材为主； 2）使用3dsMax对CRH380模型进行修改，在模型上注入螺母脱落； 3）设置渲染输出图像256×256像素，像素过滤器为catmull‑Rom，颜色贴图类型为Reinhard，首次漫反射计算利用光照贴图使得模型更加生动逼真。
[0033] 步骤二、生成对抗网络转换图片：利用循环一致性对抗生成深度神经网络对来自真实的TEDS故障图片进行学习，然后对3dMax渲染的故障图片进行风格迁移，生成超逼真故障图片，使其在风格上逼近真实故障图片；具体步骤为：
[0034] a）数据预处理：将256×256的图片裁剪为286×286的大小，再从中剪裁出256×256的像素的图片，将裁剪后的图像每个通道的值都从[0,255]归一化到[‑1,1]，并以0.5的概率水平翻转图像；
[0035] b）利用循环一致性生成对抗网络将虚拟模型产生的图片域迁移到真实故障图片风格；具体步骤为：使用对抗生成深度神经网络的生成器随机生成图像，使用判别器对该图像进行判别、评分，在循环对抗生成过程中将虚拟模型生成的TEDS故障图片的域转换成真实故障图片的域，使得虚拟模型生成的超逼真故障图片高度接近真实故障图片。
[0036] 步骤三、构建训练样本集：将超逼真故障图片与少量的真实故障图片进行混合，使用标记软件对图片进行样本标记，构建训练样本集；LabelImg软件对图片中的故障位置进行拉选故障类型标记框，并对故障区域命名，然后保存为xml标记文件。
[0037] 步骤四、训练目标检测模型：使用Faster‑RCNN目标检测网络和步骤三构建的训练样本集，并构建故障检测深度模型；具体步骤为：使用卷积‑线性‑激活‑池化层来获得图像的数据特征，使用RPN网络输出候选建议区域，对上述区域进行池化，在到检测率达到目标值以后，停止训练并保存模型。
[0038] 步骤五、进行TEDS故障检测和判定：利用步骤构建的故障检测深度模型对在TEDS系统中采集的真实故障图片进行故障检测和判定；具体步骤为：向故障检测深度模型中传入需检测的真实故障图片，故障检测深度模型利用已学习的特征与检测区域对比，找到故障位置后，做出标记，完成故障检测。
[0039] 说明书中未详细说明的内容属于本领域技术人员熟知的现有技术。
[0040] 以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应当视为在本发明的保护范围之内。
