基于雷达图像和人工智能的道路地下隐患检测方法和系统

摘要

本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法和系统，所述道路地下隐患检测方法包括：步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片；步骤S2，对样本图片的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；步骤S3，分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；步骤S4，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个目标检测模型进行多GPU的并行目标检测，生成两组推理结果；步骤S5，通过模型集成将两组推理结果进行融合和输出。本发明抗干扰性强、目标信息丰富且准确性高。

权利要求

1.一种基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，包括以下步骤：

步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片；

步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

步骤S3，通过所述地下隐患目标数据集分别训练两个目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

步骤S4，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；

步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果；

所述步骤S3包括以下子步骤：

步骤S301，基于Pytorch深度学习框架实现Faster R‑CNN神经网络和YOLO神经网络；

步骤S302，在Faster R‑CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；

步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络和空间金字塔池化结构以增强目标检测能力；

步骤S304，采用K‑means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K‑Fold交叉验证方法分别训练Faster R‑CNN神经网络和YOLO神经网络，并分别保存最优解为PTH模型。

2.根据权利要求1所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S1包括以下步骤：步骤S101，对三维探地雷达数据库中的所有测线的B‑SCAN数据，以测道为单位建立B‑SCAN数据段；

步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B‑SCAN数据段；

步骤S103，提取B‑SCAN数据，该B‑SCAN数据包括所述步骤S102获取的B‑SCAN数据段以及测线前后各一个B‑SCAN数据段所对应的所有测线的B‑SCAN数据；

步骤S104，将步骤S103提取的B‑SCAN数据转为灰度图像；

步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本。

3.根据权利要求1所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S2包括以下步骤：步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录目标类别，所述地下隐患目标包括空洞、疏松、管道和沙井；

步骤S202，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；

步骤S203，按照K折交叉验证方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K‑1份数据做训练集训练K个模型，挑选出性能最佳的模型后，用该模型的参数在全部数据再训练一次，以获得最佳模型，K为自然数；

步骤S204，输出两种格式的地下隐患目标检测数据集。

4.根据权利要求3所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框贴合目标轮廓，与目标轮廓的最大间距不超过2像素，且不侵入目标体内部；对于小于10个像素的地下隐患目标则不进行标注。

5.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S304中，采用K‑Fold交叉验证方法的训练时，先从最初的小学习率0.001开始，每个步骤增大一个步长，直到达到最初设置的学习率，然后再采用最初设置的学习率进行训练10次，并使用余弦学习率衰训练10次。

6.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S4包括以下子步骤：步骤S401，在内存中建立B‑SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B‑SCAN图像，采用先进先出策略输出待检测图像；

步骤S402，为每个GPU加载一个Faster R‑CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；

步骤S403，为每个GPU加载一个YOLO神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；

当环形缓冲区中缓存的图像数量小于预设阈值时，多线程批量读取待处理图像并做预处理后存放至所述环形缓冲区。

7.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S5包括以下子步骤：步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合；

步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算目标物理位置，包括GPS坐标、桩号、长宽以及深度；

步骤S503，将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动检测任务。

8.根据权利要求7所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：

步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；

步骤S5012，遍历列表B在列表F中查找匹配预测框BBox；

步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中；

步骤S5014，列表L中的所有预测框BBox重新计算列表F的坐标和置信度；

步骤S5015，遍历结束后，重新调整一次列表F中的置信度。

9.一种基于雷达图像和人工智能的道路地下隐患检测系统，其特征在于，采用了如权利要求1至8任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；

地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结果；

处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。

说明书

基于雷达图像和人工智能的道路地下隐患检测方法和系统

技术领域

[0001] 本发明涉及一种隐患检测方法，尤其涉及一种基于雷达图像和人工智能的道路地下隐患检测方法，还涉及采用了该基于雷达图像和人工智能的道路地下隐患检测方法的道
路地下隐患检测系统。

背景技术

[0002] 由空洞或脱空等城市道路地下隐患引发的危害巨大的道路坍塌安全事故，轻则伤及车辆和财物，重则造成人员伤亡，且呈逐年上升趋势据。由于地下隐患具备隐蔽和突发的
特点，当前各主管业务部门处于疲于应付事后抢险的被动局面，因此急需新型快速无损大
面积普查技术来变被动为主动，从事后抢险转变为事前预防。实践证明，探地雷达(Ground 
Penetrating radar, GPR)具有定位准确、速度快、使用灵活和探测精度高等特点，被广泛
用于地下隐患探测。

[0003] 三维探地雷达具有空间采样率高、成像准确、分辨能力强和解译技术手段丰富等优势，在地下空间探测领域取得了良好的应用效果。但也存在数据量急剧增大，人工解译工
作量大，解译标准不一，解译质量不一等问题，特别是缺乏能满足工程应用要求的地下隐患
辅助自动识别工具。

[0004] 现有技术中也有基于模式识别的传统方法，以Hough(霍夫)变换为代表的传统模式识别方法在管线自动识别和提取等一些特定领域取得了一定进展，但高昂的算法设计成
本和难以适应复杂的地下空间地质环境造成了使用范围和效果受限，难以扩展到地下隐患
探测领域。而随着机器学习算法不断涌现，在 GPR图像解译方面通过神经网络对噪声信号
进行分类、使用Viola‑Jones(VJ)算法提取目标区域等也取得了一定的进步，但大多数应用
特征需要由人工识别和提取，分类结果取决于提取的特征的质量，随着数据量的增加，难以
进一步改进。

[0005] 另外，也存在基于深度学习中卷积神经网络的图像类方法，这种图像分类是一种用于对图像中特定对象的类别进行分类或预测的技术，该技术的主要目的是准确识别图像
中的主要特征。通过对由B‑SCAN和C‑SCAN组合而成的图像进行分类后输出整体置信度来确
定是否含有异常体，比传统的模式识别和机器学习方法在准确性指标上有了很大提升，作
为一种工程可行的人工智能技术取得了一定的应用效果，但在实际使用中发现也存在不足
之处，包括：

[0006] 使用范围受限，只适合在高速公路等地质情况较好的路段使用，对于危害和需求最大的市政道路、老旧小区周边和重点区域等典型场景，由于道路地下遍布沙井、管线、管
廊、碎石、层分界面等异常体和各类桥梁涵洞、道路周边灯杆、电线、龙门架、机动车护栏等
路面干扰物体，一个分段内常常存在多种多个异常体互相干扰，导致虚警过多、召回率过低
而无法使用。

[0007] 无目标信息，检出的地下隐患通常需要根据大小、深度和类别等进行进一步处理（实地勘察、二维雷达复检和开井盖直至钻孔验证等），而基于图像分类的方法无法给出目
标位置、深度以及大小等相关信息，需要解译人员人工进行分析，在大量的重复工作中，不
但可能错标漏标，而且由于一张组合图对应的是一个较大的立方体（例如10m x 1.8m x 2m
大小的），会再加上定位误差，常常会错过真正的目标。

[0008] 难以继续改进：出现的问题是由于受到图像分类原理限制的，继续改进收效甚微，必须根据实际情况从技术路线上进行创新才能满足工程实践的需求。

发明内容

[0009] 本发明所要解决的技术问题是需要提供一种抗干扰性强、目标信息丰富、准确性高的道路地下隐患自动检测方法，还能够进一步实现可持续改进，在此基础上，还进一步提
供采用了该道路地下隐患自动检测方法的系统。

[0010] 对此，本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法，包括以下步骤：

[0011] 步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片；

[0012] 步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

[0013] 步骤S3，通过所述地下隐患目标数据集分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

[0014] 步骤S4，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；

[0015] 步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果。

[0016] 本发明的进一步改进在于，所述步骤S1包括以下步骤：

[0017] 步骤S101，对三维探地雷达数据库中的所有测线的B‑SCAN数据，以测道为单位建立B‑SCAN数据段；

[0018] 步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B‑SCAN数据段；

[0019] 步骤S103，提取B‑SCAN数据，该B‑SCAN数据包括所述步骤S102获取的B‑SCAN数据段以及测线前后各一个B‑SCAN数据段所对应的所有测线的B‑SCAN数据；

[0020] 步骤S104，将步骤S103提取的B‑SCAN数据转为灰度图像；

[0021] 步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本；

[0022] 本发明的进一步改进在于，所述步骤S2包括以下步骤：

[0023] 步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录目标类
别，所述地下隐患目标包括空洞、疏松、管道和沙井；

[0024] 步骤S202，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；

[0025] 步骤S203，按照K折交叉验证方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K‑1份数据做训练集训练K个模型，挑选出性能最佳的模型后，用该模型的参数
在全部数据再训练一次，以获得最佳模型，K为自然数；

[0026] 步骤S204，输出两种格式的地下隐患目标检测数据集。

[0027] 本发明的进一步改进在于，所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框
贴合目标轮廓，与目标轮廓的最大间距不超过2像素，且不侵入目标体内部；对于小于10个
像素的地下隐患目标则不进行标注。

[0028] 本发明的进一步改进在于，所述步骤S3包括以下子步骤：

[0029] 步骤S301，基于Pytorch深度学习框架实现Faster R‑CNN神经网络和YOLO神经网络；

[0030] 步骤S302，在Faster R‑CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；

[0031] 步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络和空间金字塔池化结构以增强目标检测能力；

[0032] 步骤S304，采用K‑means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K‑Fold交叉验证方法分别训练Faster R‑CNN神经网络和YOLO神经网络，
并分别保存最优解为PTH模型。

[0033] 本发明的进一步改进在于，所述步骤S304中，采用K‑Fold交叉验证方法的训练时，先从最初的小学习率0.001开始，每个步骤增大一个步长，直到达到最初设置的学习率，然
后再采用最初设置的学习率进行训练10次，并使用余弦学习率衰训练10次。

[0034] 本发明的进一步改进在于，所述步骤S4包括以下子步骤：

[0035] 步骤S401，在内存中建立B‑SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B‑SCAN图像，采用先进先出策略输出待检测图像；

[0036] 步骤S402，为每个GPU加载一个Faster R‑CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；

[0037] 步骤S403，为每个GPU加载一个YOLO神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；

[0038] 当环形缓冲区中缓存的图像数量小于预设阈值时，多线程批量读取待处理图像并做预处理后存放至所述环形缓冲区。

[0039] 本发明的进一步改进在于，所述步骤S5包括以下子步骤：

[0040] 步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合；,

[0041] 步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算目标物理位置，包括GPS坐标、桩号、长宽以及深度；

[0042] 步骤S503，将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动检测任务。

[0043] 本发明的进一步改进在于，所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：

[0044] 步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；

[0045] 步骤S5012，遍历列表B在列表F中查找匹配预测框BBox；

[0046] 步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中；

[0047] 步骤S5014，列表L中的所有预测框BBox重新计算列表F的坐标和置信度；

[0048] 步骤S5015，遍历结束后，重新调整一次列表F中的置信度。

[0049] 本发明还提供一种基于雷达图像和人工智能的道路地下隐患检测系统，采用了如上所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：

[0050] 探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；

[0051] 地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

[0052] 目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

[0053] 探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结
果；

[0054] 处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。

[0055] 与现有技术相比，本发明的有益效果在于：针对性地引入了深度学习中的目标检测算法, 并针对工程应用要求通过数据增强、网络结构和模型结构融合等新技术，进而有
效地提升目标检测召回率和精度，能够快速处理复杂的城市道路三维探地雷达数据，及时
高效的在以单张B‑SCAN雷达图像为单位的细粒度上检出多个异常体并给出目标信息，极大
的提升了人工智能在地下隐患自动化探测领域的应用范围和智能化程度，为城市级周期性
全覆盖式的城市道路定期体检提供了很好的基础，有效改变了地面坍塌防治的被动局面，
本发明能够通过预防工作有效地将地面坍塌等隐患发生的可能性降到最低，抗干扰性强，
准确性高，并且还满足可持续改进的要求。

附图说明

[0056] 图1是本发明一种实施例的工作流程示意图；

[0057] 图2是三维探地雷达的工作原理图；

[0058] 图3是标准16通道探地雷达天线布置示意图；

[0059] 图4是典型三维探地雷达地下隐患目标波形图；

[0060] 图5是标注道路地下隐患数据集界面图；

[0061] 图6是本发明一种实施例的Faster R‑CNN目标检测神经网络的目标检测模型图；

[0062] 图7是本发明一种实施例的YOLO目标检测神经网络的目标检测模型图；

[0063] 图8是本发明一种实施例的道路地下隐患目标检测结果示意图。

具体实施方式

[0064] 下面结合附图，对本发明的较优的实施例作进一步的详细说明。

[0065] 如图1所示，本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法，包括以下步骤：

[0066] 步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片；

[0067] 步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

[0068] 步骤S3，通过所述地下隐患目标数据集分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

[0069] 步骤S4，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；

[0070] 步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果。

[0071] 本例通过采用基于深度学习中区域卷积神经网络(R‑CNN)的目标检测方法，能够从每张B‑SCAN图像上检出多个地下隐患并给出目标信息，从根本上解决了图像分类方案存
在的问题，经测试证明，本例抗干扰性强，准确性高，可有效应用于市政道路等复杂地质环
境道路地下隐患检测，整体检测效率提升数十倍以上。

[0072] 三维探地雷达可以快速无损的提取城市道路地下空间雷达数据，在传统的基于图像分类的识别方法辅助下依靠人工识别和探查也产生了大量经过验证的地下隐患目标数
据记录。

[0073] 本例所述步骤S1根据数据库中记录的雷达数据、隐患数据和提供的管理工具，可以快速获得300张以上的样本。所述步骤S2按照目标检测的要求对每个目标进行标注，数据
增强后可以形成1000张以上样本用于训练。所述步骤S3利用地下隐患目标检测数据集训练
目标检测网络，最终得到最优的两个空洞、脱空、管线、沙井目标检测模型。所述步骤S4建立
多GPU图像推理流水线，对所有测线的B‑SCAN图片逐张进行目标检测。所述步骤S5按照加权
方式融合各模型检测结果，并计算和叠加高精度定位数据和目标几何信息数据后输出最终
检测结果。

[0074] 更为具体的，本例所述步骤S1优选包括步骤S101至步骤S105。

[0075] 本例所述步骤S101，对三维探地雷达数据库中的所有测线的B‑SCAN数据，以测道为单位，优选按照段长200测道和步长100测道建立B‑SCAN数据段；所述B‑SCAN数据也称探
地雷达B‑scan数据或B‑scan雷达数据；

[0076] 如图2所示，三维探地雷达发射天线将高频短脉冲电磁波定向送入地下，电磁波在传播过程中遇到存在电性差异的地层或目标体就会发生反射和透射，接收天线收到反射波
信号并将其数字化，然后由电脑以反射波波形的形式记录下来。对所采集的数据进行相应
的处理后，可根据反射波的旅行时间、幅度和波形，判断地下目标体的空间位置、结构及其
分布。具体的，识别出B‑SCAN图片中的目标即可获得地下隐患的类别和位置。

[0077] 如图3所示,典型的三维探地雷达布设了16个通道，可同时获取16条测线数据(B‑SCAN)，一个目标可以同时出现在不同的通道上，对全部通道的B‑SCAN进行目标检测可以最
大限度提升召回率。如图4所示，三维探地雷达获取的典型目标B‑SCAN图像。各类型目标通
常存在一定的差异可以用来区分。

[0078] 具体的，每条测线划分的每个数据段对应沿测线方向长度10米，深度2.56米的高精度定位（测道及测距轮、RTK）数据和雷达数据(接收时间及信号相位强度等)组成的二维
矩阵，测道间距0.05米，相邻的数据段段之间有5米重叠区；各测线之间距离0.08米；一共16
条测线。

[0079] B‑SCAN雷达数据的高精度定位数据为测道，对应的物理量为距离，计算公式为：。其中： 为从零点桩号计算的米数， 为测道间距，
为测道编号。

[0080] B‑SCAN雷达数据的接收时间T单位为纳秒(ns)，与深度的换算公式如下： ，。其中：为目标深度，单位为米； 为时差，单位为纳秒；为介质中的速度，单位为
m/s；c为电磁波空气传播速度，为介质中的相对介电常数。

[0081] 本例所述步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B‑SCAN数据段，地下隐患目标位置包括测线和测道编号；值得一提的是，本例中获取的
数据是采用图像分类辅助+复核+现场验证方法在高分辨率的三维探地雷达上形成的，具有
较高的样本量、真实性、代表性和准确性，其效果远非通过GPRMax等仿真软件仿真而成的模
拟样本能比拟，也非传统纯手工方式在采集效率和样本量上能够比拟。

[0082] 本例所述步骤S103，提取B‑SCAN数据，该B‑SCAN数据包括所述步骤S102获取的B‑SCAN数据段以及测线前后各一个B‑SCAN数据段共三个B‑SCAN数据段所对应的所有测线的
B‑SCAN数据；三维探地雷达有16个通道，本例在每个通道取三个数据段，则一共可以提取48
个数据段，本例能够最大限度利用了样本数据，效果比简单的几何数据增强要好很多。

[0083] 本例所述步骤S104，将步骤S103提取的B‑SCAN数据转为灰度图像；对每个已知地下隐患目标，从步骤S103生成的48个B‑SCAN数据段可以转换成48张256阶灰度JPG图像。

[0084] 其中，步骤S104通过灰度变换归一化将雷达振幅数据均匀地扩展到256个灰度级别上并完成雷达振幅到图像灰度的映射：公式为： 。 为原始的
第 个回波值， 为滤波函数, 为滤波函数的最大值， 为滤波函数
的最小值， 为转换到灰度值值域为[0 , ]的图像域中的对应值，为自然数，用于表示序
号；为灰度值值域的上限值。

[0085] 本例所述步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本；空洞、脱空、管线和沙井是最容易造成地面
坍塌也是最常见的且很容易混淆的地下目标，所以本例主要针对这些目标进行挑选。

[0086] 本例所述步骤S2优选包括步骤S201至步骤S204。

[0087] 本例所述步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录
目标类别，所述地下隐患目标包括空洞、疏松、管道和沙井；

[0088] 如图5界面所示，通过标注工具将图片上每个地下隐患目标(包括空洞、疏松、管道和沙井)都用包含目标的最小目标矩形框（也称最小外接矩形框）进行标注，并记录目标类
别。本例所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠
或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框贴合目标轮廓，与目标轮廓
的最大间距不超过2像素，且不侵入目标体内部；对于小于10个像素的地下隐患目标则不进
行标注。对于人工无法分辨的地下隐患目标也不进行标注。

[0089] 由于地下样本获取困难，且各类别样本数量极不平衡，因此，本例所述步骤S202中，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙
井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；所述随机几何变换增强
包括随机水平翻转(RandomHFlip)、随机亮度(RandomBrightness)以及随机裁剪
(RandomCrop)等方法，空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，指的是实
际的比例与1:1:1:1之间的差值小于预先设定的比例差阈值即可，该比例差阈值可以根据
实际情况进行调整和修改。

[0090] 本例所述步骤S203，按照K折交叉验证(K‑fold cross validation)方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K‑1份数据做训练集训练K个模型，挑
选出性能最佳的模型后，用该模型的参数在全部数据再训练一次，以获得最佳模型，K为自
然数；本例通过K折交叉验证方法能充分且合理地利用所有的样本，可在样本数量不足的情
况下提升模型性能。

[0091] 本例所述步骤S204，输出两种格式的地下隐患目标检测数据集。两种格式指的是Faster R‑CNN神经网络的COCO格式和YOLO神经网络的YOLO格式，这是最常用的两种目标检
测数据集格式，分别对应Faster R‑CNN神经网络和YOLO神经网络这两种目标检测模型，故
分别保存为COCO2017和YOLO V3格式。

[0092] 本例所述步骤S3优选包括步骤S301至S304。

[0093] 本例所述步骤S301，基于Pytorch深度学习框架实现Faster R‑CNN神经网络和YOLO神经网络。

[0094] 按照深度学习算法是否需要中间产生候选区域(region proposals)，可以分为一阶段和两阶段两大类。一阶段检测算法不需要产生候选区域阶段，直接产生物体的类别概
率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，
但是一般识别精度和准确度上比two‑stage的算法要差一些。two‑stage检测算法将检测问
题划分为两个阶段，首先产生候选区域，然后对位置精修后进行候选区域分类。two‑stage
检测算法识别错误率低，漏识别率也较低，但速度较慢。Faster R‑CNN神经网络和YOLO神经
网络分别是一阶段目标检测和两阶段目标检测算法。YOLO神经网络速度快且泛化能力强，
但对某些小目标检测不足，Faster R‑CNN神经网络在小目标检测和精度方面有一定优势。
本例采用这两种算法集成和融合后有较好效果，特别是召回率有提升。

[0095] 图6和图7所示的分别是Faster R‑CNN神经网络和YOLO神经网络的网络模型参考图。

[0096] 本例所述步骤S302，在Faster R‑CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；残差网络
Resnet50有较强的特征提取能力，特征金字塔(FPN)能以极小的计算量解决多尺度检测问
题，使得模型具备较强的小目标识别能力和较高的精度。在本例中采用了ROIAlign结构，相
对于标准的ROI Pooling进一步提升了小目标的检测精度。

[0097] 本例所述步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络PANET和空间金字塔池化SPP结构以增强
目标检测能力；新一代的CSPDarknet53骨干网借鉴了残差网络结构，形成更深的网络层次，
PANET(路径聚合网络)和SPP(空间金字塔池化) 提升了模型的尺度不变(scale‑
invariance)性和降低了过拟合(over‑fitting)，有较强的的泛化能力和较快的推理速度。
在本例中网络参数取深度=0.33，宽度0.5以获得较快的检测速度。

[0098] 本例所述步骤S304，采用K‑means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K‑Fold交叉验证方法分别训练Faster R‑CNN神经网络和YOLO
神经网络，并分别保存最优解为PTH模型。

[0099] 训练时Anchor参数是YOLO神经网络的重要参数，如Anchor参数的尺寸和目标的尺寸差异较大，则会影响模型的检测效果。K‑means聚类方法可以准确确定Anchor参数。K‑
means聚类方法采用的IoU度量计算公式为： 。其中：
为IoU度量值，IoU 全称是Intersection over Union，是一种测量在特定数据
集中检测相应物体准确度的一个标准； 为真值框与Anchor框的IoU值。

[0100] K‑means聚类方法的计算步骤为：第一步，随机选取K个box作为初始Anchor，K为自定义的自然数；第二步，使用IoU度量，将每个box分配给与其距离最近的Anchor；第三步，计
算每个簇中所有box宽和高的均值，更新Anchor；第四步，重复第二步和第三步，直到Anchor
不再变化，或者达到了最大迭代次数。

[0101] 训练时，学习率采用带预热（Gradual warm up）的余弦学习率衰减(Cosine Learning rate decay)方式。本例所述步骤S304中，采用K‑Fold交叉验证方法的训练时，在
Gradual Warm up预热阶段，先从最初的小学习率0.001开始，每个step步骤增大一个步长，
直到达到最初设置的学习率0.01（该最初设置的学习率可以根据实际需要进行自定义设置
和调整），然后再采用最初设置的学习率进行训练10次（10个epoch），并使用余弦学习率衰
训练10次（10个epoch）；1个epoch等于使用训练集中的全部样本训练一次，即epoch的值就
是整个数据集被训练几次。本例所述学习率0.01和epoch均可根据实际的样本量、loss和
mAP等实际情况和训练时指标变化情况来进行调整。

[0102] Gradual warm up预热阶段的计算公式如下：设预热的迭代次数为T，初始学习率为 ，每次更新的学习率 为： ， 为当前的迭代次数；余弦学习率衰
减Cosine Learning rate decay的计算公式如下： , 为总迭代次
数。

[0103] 因为是多类别目标检测，且对误识别和召回率都有要求，故各模型评估指标采用Accuracy和mAP(mean  Average  Precision)指标加权的方式：
， ； 为模型评估指
标， 为目标检出率，即在总样本图片中有多少样本图片被检出(至少含有一个目
标检测框)； 为检测框和真实框的交并比(IOU)的计算均值， (mean Average 
Precision)为分别在检测框和真实框的交并比(IOU)在阈值0.5、0.7和0.9下计算的各
均值； 为PASCALVOC数据集标准的精度。

[0104] 本例所述步骤S4优选包括步骤S401至步骤S403。

[0105] 本例所述步骤S401，在内存中建立B‑SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B‑SCAN图像，采用先进先出策略输出待检测图像；

[0106] 在内存中采用环形缓冲区（ringr buffer）解决磁盘访问延迟问题。环形缓冲区是一种高效的先进先出的循环缓冲区，可以提供对缓冲区的互斥访问。当一个数据元素被用
掉后，其余数据元素不需要移动其存储位置。相反，一个非圆形缓冲区（例如一个普通的队
列）在用掉一个数据元素后，其余数据元素需要向前搬移。因此，本例优选当环形缓冲区中
缓存的图像数量小于预设阈值的时候，多线程批量读取待处理图像并做预处理后存放入至
所述环形缓冲区，这样的设计相比每次推理时逐张读取处理的方式，能够大大提升其效率；
所述预设阈值可以根据实际情况和需求进行调整和自定义设置，用于作为环形缓冲区中缓
存图像数量的低限值。

[0107] 本例所述步骤S402，为每个GPU加载一个Faster R‑CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；步骤S403，为每个GPU加载一个YOLO神经网络模型，
从上述缓冲区获取图像进行目标检测并输出结果。

[0108] 为降低参数量和每秒浮点计算Flops，降低显存占用，提升推理速度，所有的推理模型内的参数均需要转为半精度FP16并保存。推理时除加载半精度FP16类型的推理模型
外，所有的输入张量Tensor均需要采用半精度FP16的数据类型进行运算。输出结果保存在
独立的目录下，优选分别以*resnet.csv、*yolo.csv结尾，采用csv格式以逗号分隔分别输
出图片文件名、目标类别、目标坐标（左上角x,y坐标、长、宽）和置信度，每个目标一行，多个
目标重复多行。

[0109] 本例所述步骤S5优选包括步骤S501至步骤S503。

[0110] 本例所述步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合。

[0111] 传统的NMS和Soft‑NMS方法会移除预测结果中的一部分预测框，而目标框加权融合WBF使用全部的预测框，通过进行组合来获得更加准确的预测框，从而实现精度的提升。

[0112] 本例所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：

[0113] 步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；初始时，列表L和列表F为空列表；

[0114] 步骤S5012，遍历列表B在列表F中查找匹配预测框BBox，优选的，同类别IoU > THR即判断为查找到匹配预测框BBox，THR为预设的匹配阈值，匹配阈值THR优选0.6，在实际应
用中，还可以设置为其他的匹配阈值；

[0115] 步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中，即将内容Bbox添
加到L[Fpos]，L[Fpos]指的是列表L中的第Fpos个元素；

[0116] 步骤S5014，列表L中的所有预测框BBox重新计算F[Fpos]的坐标和置信度，F[Fpos]指的是列表F中的第Fpos个元素；计算公式如下： 、 以及
，其中 是预测框BBox的数量，是置信度， 和 是计算出的目标矩
形框的坐标， 为第 个内容Bbox的置信度；

[0117] 步骤S5015，遍历结束后，通过公式 重新调整一次列表F中的置信度，为模型数量，在本例中模型数量 优选为2。

[0118] 本例所述步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算（即反向计算）目标物理位置，所述目标物理位置包括其GPS坐标、桩号、长宽以及深度；步骤S503，
将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动
检测任务。

[0119] 图8即为最终输出的目标检测效果图，由此图可以看到本例明显已经具备了在雷达B‑SCAN图像上精确检出多个类别的地下隐患目标的能力。

[0120] 本例还提供一种基于雷达图像和人工智能的道路地下隐患检测系统，采用了如上所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：

[0121] 探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；

[0122] 地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；

[0123] 目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；

[0124] 探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结
果；

[0125] 处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。

[0126] 值得一体的是，本发明提出的采用Faster R‑CNN目标检测神经网络和YOLO目标检测神经网络集成技术的地下隐患自动目标识别方法和系统，所述目标检测神经网络也称目
标检测模型，在三维探地雷达城市地下道路隐患智能识别领域上并没有先例应用。

[0127] 本例通过采用以真实地下隐患目标数据为主，补充标注形成的数据集，采用最新目标检测算法、两种目标检测神经网络的模型集成以及多GPU并行推理加速等方法，与传统
技术方案相比，能够大幅度提升了抗干扰性和准确率，满足了工程应用需求；在此基础上，
随着样本量的扩大和更新的目标检测算法引入，各项指标都能够得到进一步的提升，可扩
展性能和升级性能都很强。

[0128] 综上所述，本例针对性地引入了深度学习中的目标检测算法, 并针对工程应用要求通过数据增强、网络结构和模型结构融合等新技术，进而有效地提升目标检测召回率和
精度，能够快速处理复杂的城市道路三维探地雷达数据，及时高效的在以单张B‑SCAN雷达
图像为单位的细粒度上检出多个异常体并给出目标信息，极大的提升了人工智能在地下隐
患自动化探测领域的应用范围和智能化程度，为城市级周期性全覆盖式的城市道路定期体
检提供了很好的基础，有效改变了地面坍塌防治的被动局面，本发明能够通过预防工作有
效地将地面坍塌等隐患发生的可能性降到最低，抗干扰性强，准确性高，并且还满足可持续
改进的要求。

[0129] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在
不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。