本发明公开了一种基于优化深度学习的管道中视频损害智能分割系统，涉及管道病害检测技术领域。系统包括处理器，处理器执行存储器存储的计算机程序，以实现如下步骤：获取管道损害图像和视频，构建预训练数据集和精确训练数据集；构建用于管道视频损害分割的深度学习模型，所述深度学习模型包括孪生网络模块和Seg‑CapsNet模块；通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练；对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果；本发明提升了管道视频中的损害的分割精度。
1.一种基于优化深度学习的管道中视频损害智能分割系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：步骤1：获取管道损害图像，根据所述管道损害图像构建预训练数据集；获取管道损害视频，根据所述管道损害视频构建精确训练数据集；
步骤2：构建用于管道视频损害分割的深度学习模型，所述深度学习模型包括孪生网络模块和Seg‑CapsNet模块；所述孪生网络模块用于提取管道视频目标流与参考流的相似特征，Seg‑CapsNet模块用于管道损害视频帧的分割；所述孪生网络模块采用动态更新参考帧策略：动态更新管道损害视频参考流中的参考帧，用于适应管道损害视频流中管道损害目标区域的外观变化；Seg‑CapsNet模块在卷积层中采用填充卷积的方式，用于保留管道损害图像的边缘信息；
步骤3：通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练；
步骤4：对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果。
2.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，所述动态更新参考帧策略包括：对于某一管道损害视频两个相邻视频帧Vt‑1，Vt，及其对应的分割掩码图像Mt‑1，Mt，计算相邻视频帧Vt‑1，Vt之间的光流Ft；
使用Ft对目标分割掩码Mt‑1进行warp，并得到Vtwarp后的目标掩码Mt；
设定一个阈值μ，若IoU的值大于阈值μ，则在进行Vt+1帧分割时，深度学习模型将Vt，Mt视为新的参考帧；若IoU的值大于阈值μ，深度学习模型仍然使用原始的参考帧。
3.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，获取管道损害图像之后，对所述管道损害图像进行预处理，根据预处理后的管道损害图像构建预训练数据集，所述预处理包括：裁剪：将所述管道损害图像裁剪为预设像素的尺寸；
标注：使用lablme软件在裁剪后的管道损害图像中对病害区域进行标注，将背景区域标注为0，破漏区域标注为1，障碍物区域标注为2，错口区域标注为3。
4.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练，包括：利用所述预训练数据集进行深度学习模型的预训练；
按照4:1的比例将精确训练数据集随机分开，80％的数据划分为训练集，用于深度学习模型的精确训练；20％的数据划分为测试集，用于深度学习模型的测试。
5.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，所述孪生网络模块由四个通道组成，输入包括管道损害目标流与管道损害参考流；所述孪生网络模块采用权重共享的完全相同的两个ResNet101提取管道损害目标流与参考流之间的相似特征。
6.根据权利要求1所述的基于优化深度学习的管道视频中损害智能分割系统，其特征在于，所述Seg‑CapsNet模块包括：卷积层，所述卷积层包括两个卷积操作，用于提取相似特征的共同全局特征，卷积操作采用填充卷积；
胶囊层，所述胶囊层由PrimaryCaps层和Digital capsule层组成，用于提取更深层次的全局特征，生成包含重建对象所需要的实例化参数信息的向量形式；
全连接层，所述全连接层采用全连接操作，用于提高管道损害视频帧像素之间的空间相关性；
上采样层，采用四个反卷积操作将特征空间中抽象的损害特征还原，用于输出管道损害掩码图像。
7.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练包括：设定所述深度学习模型的超参数，对所述深度学习模型进行预训练，所述超参数包括初始学习率、迭代次数、动量参数和权值衰减系数；
完成预训练后，重新设置所述深度学习模型的超参数，进行模型的精确训练；
计算所述深度学习模型实际输出与目标输出的误差损失值，若所述误差损失值小于预设的损失值，则停止模型训练。
8.根据权利要求7所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，设定所述深度学习模型的超参数包括：将所述初始学习率、迭代次数、动量参数、权值衰减系数依次设置为0.0001、30000、
9.根据权利要求7所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，重新设置所述深度学习模型的超参数包括：将所述初始学习率、迭代次数、动量参数、权值衰减系数依次设置为0.00001、20000、
10.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统，其特征在于，所述对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型输出分割结果包括：计算深度学习模型的F1‑score，若所述F1‑score满足预设条件，则保存训练后的深度学习模型及权重参数，并通过所述训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果。
一种基于优化深度学习的管道中视频损害智能分割系统
技术领域
[0001] 本发明涉及管道病害检测技术领域，特别涉及一种基于优化深度学习的管道中视频损害智能分割系统。
背景技术
[0002] 地下管线是城市赖以生存和发展的物质基础。城市地下管道广泛应用于供暖，供水，排污等领域。随着地下排水管网建设的迅速发展和大量在役工程的老化失修，工程安全隐患凸显，会产生破漏、障碍物及错口等各种病害，导致环境污染、城市内涝、道路塌陷等事故多发频发，造成重大损失和社会影响。因此，对于地下排水管道的定期检测，是至关重要的。
[0003] 目前针对管道损害的检测问题，主要由两种方式：(1)潜水检测法，就是人工检测，需要检测人员进入管道进行检测，人员进入和潜水检查适用于管径较大且管内流体流速较低的情况，无法记录检测结果，主要凭借人眼观察对管道缺陷进行描述，易受检测人员主观因素的影响；(2)简易工具检查法，包括镜子、沟牛、泥斗、激光笔等等，优点是快速、简便，但是容易受障碍物的干扰，无法直观检测管道结构受损状况，并且检测效率及精度较低。
发明内容
[0004] 基于上述技术问题，提供一种基于优化深度学习的管道中视频损害智能分割系统，以解决现有管道损害检测方法容易受障碍物的干扰，无法直观检测管道结构受损状况，并且检测效率及精度较低的问题。
[0005] 基于此，本发明提供一种基于优化深度学习的管道中视频损害智能分割系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：
[0006] 步骤1：获取管道损害图像，根据所述管道损害图像构建预训练数据集；获取管道损害视频，根据所述管道损害视频构建精确训练数据集。
[0007] 步骤2：构建用于管道视频损害分割的深度学习模型，所述深度学习模型包括孪生网络模块和Seg‑CapsNet模块；所述孪生网络模块用于提取管道视频目标流与参考流的相似特征，Seg‑CapsNet模块用于管道损害视频帧的分割；所述孪生网络模块采用动态更新参考帧策略：动态更新管道损害视频参考流中的参考帧，用于适应管道损害视频流中管道损害目标区域的外观变化；Seg‑CapsNet模块在卷积层中采用填充卷积的方式，用于保留管道损害图像的边缘信息。
[0008] 步骤3：通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练。
[0009] 步骤4：对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果。
[0010] 进一步的，对于某一管道损害视频两个相邻视频帧Vt‑1，Vt，及其对应的分割掩码图像Mt‑1，Mt，计算相邻视频帧Vt‑1，Vt之间的光流Ft；
[0011] 使用Ft对目标分割掩码Mt‑1进行warp，并得到Vtwarp后的目标掩码Mt’；计算Mt与Mt’的相似性IoU：
[0012]
[0013] 设定一个阈值μ，若IoU的值大于阈值μ，则在进行Vt+1帧分割时，深度学习模型将Vt，Mt视为新的参考帧；若IoU的值大于阈值μ，深度学习模型仍然使用原始的参考帧。
[0014] 进一步的，获取管道损害图像之后，对所述管道损害图像进行预处理，根据预处理后的管道损害图像构建预训练数据集，所述预处理包括：
[0015] 裁剪：将所述管道损害图像裁剪为预设像素的尺寸；
[0016] 标注：使用lablme软件在裁剪后的管道损害图像中对病害区域进行标注，将背景区域标注为0，破漏区域标注为1，障碍物区域标注为2，错口区域标注为3。
[0017] 进一步的，通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练，包括：
[0018] 利用所述预训练数据集进行深度学习模型的预训练；
[0019] 按照4:1的比例将精确训练数据集随机分开，80％的数据划分为训练集，用于深度学习模型的精确训练；20％的数据划分为测试集，用于深度学习模型的测试。
[0020] 进一步的，所述孪生网络模块由四个通道组成，输入包括管道损害目标流与管道损害参考流；所述孪生网络模块采用权重共享的完全相同的两个ResNet101提取管道损害目标流与参考流之间的相似特征。
[0021] 进一步的，所述Seg‑CapsNet模块包括：
[0022] 卷积层，所述卷积层包括两个卷积操作，用于提取相似特征的共同全局特征，卷积操作采用填充卷积；
[0023] 胶囊层，所述胶囊层由PrimaryCaps层和Digital capsule层组成，用于提取更深层次的全局特征，生成包含重建对象所需要的实例化参数信息的向量形式；
[0024] 全连接层，所述全连接层采用全连接操作，用于提高管道损害视频帧像素之间的空间相关性；
[0025] 上采样层，采用四个反卷积操作将特征空间中抽象的损害特征还原，用于输出管道损害掩码图像。
[0026] 进一步的，通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练包括：
[0027] 设定所述深度学习模型的超参数，对所述深度学习模型进行预训练，所述超参数包括初始学习率、迭代次数、动量参数和权值衰减系数；
[0028] 完成预训练后，重新设置所述深度学习模型的超参数，进行模型的精确训练；
[0029] 计算所述深度学习模型实际输出与目标输出的误差损失值，若所述误差损失值小于预设的损失值，则停止模型训练。
[0030] 进一步的，设定所述深度学习模型的超参数包括：
[0031] 将所述初始学习率、迭代次数、动量参数、权值衰减系数依次设置为0.0001、30000、0.90、0.00009。
[0032] 进一步的，重新设置所述深度学习模型的超参数包括：
[0033] 将所述初始学习率、迭代次数、动量参数、权值衰减系数依次设置为0.00001、20000、0.90、0.00009。
[0034] 进一步的，所述对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型输出分割结果包括：
[0035] 计算深度学习模型的F1‑score，若所述F1‑score满足预设条件，则保存训练后的深度学习模型及权重参数，并通过所述训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果。
[0036] 本发明的有益效果：
[0037] 本发明的一种基于优化深度学习的管道中视频损害智能分割系统，通过孪生网络模块，将参考流和目标流映射到相同的特征空间，使得相同的目标具有相似的特征；同时，加入动态更新参考帧策略，动态更新参考流中的参考帧，以适应视频流中管道损害目标区域的外观变化，提高多目标损害分割精度。
[0038] 通过Seg‑CapsNet模块的卷积层与胶囊层，进一步提取目标流与参考流的共同全局特征，从而得到鲁棒性更强、泛化能力更广的语义特征，提高模型的分割精度，并在高维特征空间中搜索与给定损害分割掩码目标相似的特征，以定位待分割目标；该模块利用胶囊结构将待分割的管道视频中的损害目标分别转换为包含自身信息的向量形式输出；本发明的深度学习模型基于向量结构的表示形式，与传统神经网络分割模型相比，有效的提升了管道视频中的损害的分割精度。
附图说明
[0039] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040] 图1是本发明提供的管道中视频损害智能分割方法流程图；
[0041] 图2是本发明提供的一种孪生网络模块结构示意图；
[0042] 图3是本发明提供的一种Seg‑CapsNet模块结构示意图。
具体实施方式
[0043] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。为了说明本发明的技术方案，下面通过具体实施例来进行说明。
[0044] 在一实施例中，提供一种基于优化深度学习的管道中视频损害智能分割系统，该系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如图1所示的管道中视频损害智能分割方法。具体的，管道中视频损害智能分割方法包括以下步骤：
[0045] 步骤1：获取管道损害图像，根据所述管道损害图像构建预训练数据集；获取管道损害视频，根据所述管道损害视频构建精确训练数据集。
[0046] 本实施例中，获取管道损害图像包括破漏损害、障碍物损害及错口损害。
[0047] 获取管道损害图像之后，需要对管道损害图像进行预处理，根据预处理后的管道损害图像构建预训练数据集，预处理包括以下步骤：
[0048] 步骤101：裁剪，将所述管道损害图像裁剪为预设像素的尺寸；
[0049] 步骤102：标注，使用lablme软件在裁剪后的管道损害图像中对病害区域进行标注，将背景区域标注为0，破漏区域标注为1，障碍物区域标注为2，错口区域标注为3。
[0050] 优选的，数据预处理包括图像、视频帧裁剪及图像标注；摄像机采集的图像、视频帧像素规格不同，优选的，图像裁剪的尺寸设定为256*256，当然也可以裁剪成512*512的等其他像素尺寸，本实施例不做过多限定。
[0051] 图像标注是对管道损害区域进行提取，本实施例中采用开源的labelme进行损害区域的标注。
[0052] 进一步的，根据管道损害类型将背景区域标注为0、破漏区域标注为1、障碍物区域标注为2、支管暗接区域标注为3。
[0053] 步骤2：构建用于管道视频损害分割的深度学习模型，所述深度学习模型包括孪生网络模块和Seg‑CapsNet模块；所述孪生网络模块用于提取管道视频目标流与参考流的相似特征，Seg‑CapsNet模块用于管道损害视频帧的分割；所述孪生网络模块采用动态更新参考帧策略：动态更新管道损害视频参考流中的参考帧，以适应管道损害视频流中管道损害目标区域的外观变化；Seg‑CapsNet模块，在卷积层中采用填充卷积的方式，以保留管道损害图像的边缘信息。
[0054] 本实施例中，孪生网络模块采用卷积神经网络，如图2所示，该卷积神经网络采用两个ResNet101提取管道损害目标流与参考流之间的相似特征。
[0055] 进一步的，该卷积神经网络输入图像的大小为256*256，采用卷积核大小为3*3，步长为2的填充卷积方式进行卷积操作；首先，将参考流与目标流映射到同一空间，映射为特征向量，并且分别提取目标流中、参考流中两个维度之间的相似特征；上述卷积神经网络代替了在线微调，从而提高了管道损害的分割效率。
[0056] 在本实施例中，首先，将具有相似外观特征的向量靠近，相差较大的特征远离，从而建立管道损害高维度特征空间；然后，将管道损害目标流与参考流的特征进行融合，得到融合后的特征向量；最后，对参考流、目标流的相似特征进行提取，该卷积神经网络输出512个32*32维的相似特征。
[0057] 传统的视频目标分割方法大多数是以固定帧作为参考帧，然而，这种方式不能很好适应视频中目标对象的外观变化。例如：参考帧是破漏区域，在后续帧中出现障碍物区域或者错口区域，若不更新参考帧，则无法有效提取该帧区域。
[0058] 为了解决上述问题，在本实施例中，通过计算掩码之间的相似度，以确定是否将当前帧作为新的参考帧，从而适应视频中目标对象的外观变化，具体的优化策略如下：
[0059] (1)给定某一管道损害视频两个相邻视频帧Vt‑1，Vt，及其对应的分割掩码图像Mt‑1，Mt，计算相邻视频帧Vt‑1，Vt之间的光流Ft，光流可以描述两个连续帧的运动信息。
[0060] (2)使用上述光流Ft对目标分割掩码Mt‑1进行warp，并且进一步得到Vtwarp后的目标掩码Mt’。
[0061] (3)计算Mt与Mt’的相似性；本实施例主要通过计算Mt与Mt’的IoU来预测两者之间的相似度，从而确定是否更新Vt+1帧的参考帧，计算如式(1)所示：
[0062]
[0063] (4)设定一个阈值μ，若由式(1)计算的IoU的值大于阈值μ，表明视频帧Vt的分割掩码Mt保持了空间一致性，则在进行Vt+1帧分割时，Vt，Mt将被视为新的参考帧。否则，深度学习模型仍然使用原始的参考帧。
[0064] 如图3所示，为本实施例提供的一种Seg‑CapsNet模块结构示意图，Seg‑CapsNet模块包括卷积层、胶囊层、全连接层及上采样层四部分。
[0065] 具体的，卷积层采用两个卷积层进行相似特征的共同全局特征的提取；采用填充卷积代替无卷积进行卷积操作，使得感受野可以扩大，但参数不会增加，感受野变大，这使得在分割过程中可以获得更多的损害上下文信息。
[0066] 本实施例中，将四通道孪生网络模块输出的相似特征输入到卷积层提取管道损害参考流与目标流的初步全局特征，输入的相似特征尺寸为32*32，优选的，采用256个9×9大小的卷积核进行初步全局特征提取，卷积的步长设为1，并通过ReLU函数激活该层输出结果，经过卷积层得到的初步全局特征尺寸为32*32。
[0067] 胶囊层，用来提取更深层次的全局特征，生成包含了重建对象所需要的实例化参数信息的向量形式，该胶囊层由PrimaryCaps层和Digital capsule层组成，PrimaryCaps层生成包含大量损害特征信息的初级全局特征胶囊，该胶囊层最终输出为8192个维度为8*1的初级全局特征胶囊；Digital capsule层属于胶囊网络的全连接层，该层的作用是输出损害的向量表示，Digital capsule层是通过动态路由算法确定输出向量的；首先，接收PrimaryCaps层输出的8维初级胶囊mi，将该初级胶囊映射到32维向量 计算公式如式(2)所示：
[0068]
[0069] 其中，ωi表示胶囊间的权重矩阵，该矩阵由BP反向传播算法进行更新，最终Digital capsule层的输入定义如下：
[0070]
[0071] 其中，n表示Digital capsule层的输入，ri表示耦合系数，该系数通过路由迭代过程确定，计算如式(4)所示：
[0072]
[0073] 其中，bi是一个临时变量，并且将其初始化为零，该值会在迭代中不断更新，当算法迭代完成后，得到最终的耦合系数ri。
[0074] Digital capsule层的输出定义如式(5)所示：
[0075]
[0076] 全连接层，进行全连接操作，实现特征重组；该全连接层由两个1024维向量组成，胶囊层输出的向量，经过全连接层后，通过reshape操作进一步重新整合为32×32矩阵，即为全连接层的输出。
[0077] 采样层，采用四个反卷积操作得到与输入大小一致的分割图像，实现管道视频中损害区域的有效分割。
[0078] 步骤3：通过所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练。
[0079] 本实施例中，对深度学习模型训练，包括模型预训练与模型精确训练；利用所述预训练数据集进行深度学习模型的预训练；按照4:1的比例将精确训练数据集随机分开，80％的数据划分为训练集，用于深度学习模型的精确训练；20％的数据划分为测试集，用于深度学习模型的测试。
[0080] 具体的，首先对深度学模型进行预训练：
[0081] 设定初始学习率、迭代次数、动量参数、权值衰减系数，进行训练；具体的，上述参数依次设置为：0.0001、30000、0.90、0.00009。
[0082] 完成预训练后，重新设置上述超参数，进行模型的精确训练；具体的，重新设置的超参数包括：初始学习率、迭代次数、动量参数、权值衰减系数，依次设置为0.00001、20000、0.90、0.00009。
[0083] 计算模型实际输出与目标输出的误差损失值，若该误差损失值小于等于预先设定的损失值，则模型训练完毕，若该误差损失值大于预先设定的损失值，则继续调整模型的超参数，直至误差损失值小于等于预先设定的损失值。
[0084] 具体的，误差损失值的计算方式如式(6)、(7)所示：
[0085]
[0086] 其中，At和Ap分别代表管道损伤的真实轮廓和模型预测的轮廓。
[0087] L(At,Ap)＝1‑JSC(At,Ap) (7)
[0088] 在本实施例中，JSC(At,Ap)的取值在0‑1之间，分割结果越准确，JSC(At,Ap)越接近1，说明预测的轮廓更接近目标的真实轮廓；因此，为了更好地最小化目标函数，本实施例中，1减去JSC(At,Ap)作为模型的损失函数，定义为式(6)，由式(6)可以看出，当模型分割结果的Jaccard系数越大时，整个模型的损失函数L(At,Ap)越小，模型分割效果越好，最终达到更新模型参数的目的。
[0089] 步骤4：对经训练的深度学习模型进行测试，若测试结果满足预设条件，则通过训练后的深度学习模型对目标管道视频进行分割，得到目标管道视频中含有损害帧的分割结果。
[0090] 本实施例中，模型训练完毕，需要对训练后的模型进行测试，测试方法如下：
[0091] 首先，计算深度学习模型测试的F1‑score，具体计算如公式(8)‑(10)所示：
[0092]
[0093]
[0094]
[0095] 其中，TP为真阳性数，FP为假阳性数，FN为假阴性数，准确率决定了多少积极的预测是真正积极的，而召回率显示了模型预测所有相关实例的能力，F1‑score衡量了分割边界的准确程度。
[0096] 判断F1‑score是否满足要求，若不满足，则重新进行训练；若满足，则保存模型及权重参数，通过训练后的深度学习模型对目标管道视频进行分割，得到分割结果。
[0097] 本实施例中，作为优选方案，若测试的F1‑score大于等于0.925，则满足要求，当然，根据具体情况，也可设定为其他值，本发明不做过多限定；若测试的F1‑score小于0.925，则重新进行训练。
[0098] 本实施例的一种基于优化深度学习的管道中视频损害智能分割系统，通过孪生网络模块，将参考流和目标流映射到相同的特征空间，使得相同的目标具有相似的特征；同时，加入动态更新参考帧策略，动态更新参考流中的参考帧，以适应视频流中管道损害目标区域的外观变化，提高多目标损害分割精度。
[0099] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
