绝缘子绑扎线缺失识别方法、装置和计算机设备

摘要

本申请涉及一种绝缘子绑扎线缺失识别方法、装置和计算机设备。方法包括：获取绝缘子的原始图像；将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；若所述绝缘子的类型为预设类型，则基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果。采用本方法能够提高绝缘子绑扎线缺失识别的效率，克服了传统人工识别存在的劳动强度大，耗费较多时间和人工成本的缺陷。

权利要求

1.一种绝缘子绑扎线缺失识别方法，其特征在于，所述方法包括：获取绝缘子的原始图像；

将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；其中，所述绝缘子检测模型以跨阶段局部网络和Darknet53网络作为主干网络提取训练样本特征，以路径聚合网络作为特征金字塔生成网络改善底层特征传播，以单层卷积作为预测网络输出目标类别和位置；所述Darknet53网络为Yolov3网络的主干网络；

若所述绝缘子的类型为预设类型，则将所述绝缘子在所述原始图像中的位置区域向外扩充设定的距离，基于扩充后的位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果；所述训练后的绑扎线分类模型用于将所述绝缘子区域图像中的绝缘子分为有绑扎线和无绑扎线两类。

2.根据权利要求1所述的方法，其特征在于，在基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像之前，还包括：基于所述位置区域，获取构成所述绝缘子的各个边界线的长度；

从各个所述边界线的长度中，确定出最大边界线的长度；

当所述最大边界线的长度大于长度阈值时，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像。

3.根据权利要求1所述的方法，其特征在于，所述绝缘子检测模型的训练过程，包括：获取多种类型的绝缘子的样本图像，作为训练样本；

采用所述训练样本对预先构建的绝缘子检测模型进行训练，得到训练后的绝缘子检测模型。

4.根据权利要求3所述的方法，其特征在于，在采用所述训练样本对预先构建的绝缘子检测模型进行训练之前，还包括：对所述训练样本中的样本图像进行优化处理，得到处理后的训练样本；

采用所述处理后的训练样本对所述预先构建的绝缘子检测模型进行训练。

5.根据权利要求4所述的方法，其特征在于，所述优化处理包括图像缩放处理、图像色彩空间调整处理和多个样本图像的组合处理中的至少一种；

所述对所述训练样本中的样本图像进行优化处理，得到处理后的训练样本，包括：若所述优化处理为图像缩放处理，则对所述训练样本中的第一设定数目的样本图像进行缩小处理，得到缩小后的训练样本，和/或，对所述训练样本中的第二设定数目的样本图像进行放大处理，得到放大后的训练样本；

若所述优化处理为图像色彩空间调整，则将所述训练样本中的样本图像与预设的背景图像进行融合，得到融合后的训练样本；

若所述优化处理为多个样本图像的组合处理，则将所述训练样本中的多个样本图像进行拼接，并将得到的拼接图像的分辨率调整回拼接前的样本图像的分辨率，得到分辨率调整后的拼接图像的训练样本。

6.根据权利要求1所述的方法，其特征在于，所述绑扎线分类模型的训练包括：获取包含有绑扎线的绝缘子图像和未包含绑扎线的绝缘子图像，作为所述绑扎线分类模型的训练样本；

采用所述绑扎线分类模型的训练样本对预先构建的绑扎线分类模型进行训练，得到训练后的绑扎线分类模型。

7.一种绝缘子绑扎线缺失识别装置，其特征在于，所述装置包括：获取模块，用于获取绝缘子的原始图像；

检测模块，用于将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；其中，所述绝缘子检测模型以跨阶段局部网络和Darknet53网络作为主干网络提取训练样本特征，以路径聚合网络作为特征金字塔生成网络改善底层特征传播，以单层卷积作为预测网络输出目标类别和位置；所述Darknet53网络为Yolov3网络的主干网络；

分割模块，用于若所述绝缘子的类型为预设类型，则将所述绝缘子在所述原始图像中的位置区域向外扩充设定的距离，基于扩充后的位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

识别模块，用于将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果；所述训练后的绑扎线分类模型用于将所述绝缘子区域图像中的绝缘子分为有绑扎线和无绑扎线两类。

8.根据权利要求7所述的装置，其特征在于，所述分割模块，还用于基于所述位置区域，获取构成所述绝缘子的各个边界线的长度；从各个所述边界线的长度中，确定出最大边界线的长度；当所述最大边界线的长度大于长度阈值时，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

说明书

绝缘子绑扎线缺失识别方法、装置和计算机设备

技术领域

[0001] 本申请涉及绝缘子技术领域，特别是涉及一种绝缘子绑扎线缺失识别方法、装置、计算机设备和存储介质。

背景技术

[0002] 配网架空线长，且覆盖面积广，为防止电路下垂，造成火灾或人畜伤亡，因此，需要将线路固定在瓷绝缘子等部件上，并定期进行巡检，查看线路是否出现固定异常情况。

[0003] 随着无人机技术的快速发展，目前，虽然可以采用无人机对配网线路进行巡检，来提高对配网线路运维的效率。但是，在通过无人机采集机巡图片后，后期仍需要由人工识别
所采集的机巡图片中，线路是否固定在瓷绝缘子上，这种人工识别的方法的劳动强度大，需
要消耗较多的时间和人力成本。

发明内容

[0004] 基于此，有必要针对上述人工识别配网线路是否固定在瓷绝缘子上存在的劳动强度大，且消耗较多时间和人力成本的技术问题，提供一种绝缘子绑扎线缺失识别方法、装
置、计算机设备和存储介质。

[0005] 一种绝缘子绑扎线缺失识别方法，所述方法包括：

[0006] 获取绝缘子的原始图像；

[0007] 将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；

[0008] 若所述绝缘子的类型为预设类型，则基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0009] 将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果。

[0010] 在其中一个实施例中，在基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像之前，还包括：

[0011] 基于所述位置区域，获取构成所述绝缘子的各个边界线的长度；

[0012] 从各个所述边界线的长度中，确定出最大边界线的长度；

[0013] 当所述最大边界线的长度大于长度阈值时，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像。

[0014] 在其中一个实施例中，在判定所述最大边界线的长度大于长度阈值之后，还包括：

[0015] 将所述绝缘子在所述原始图像中的位置区域向外扩充设定的距离，得到扩充后的位置区域；

[0016] 基于所述扩充后的位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像。

[0017] 在其中一个实施例中，所述绝缘子检测模型的训练过程，包括：

[0018] 获取多种类型的绝缘子的样本图像，作为训练样本；

[0019] 采用所述训练样本对预先构建的绝缘子检测模型进行训练，得到训练后的绝缘子检测模型。

[0020] 在其中一个实施例中，在采用所述训练样本对预先构建的绝缘子检测模型进行训练之前，还包括：

[0021] 对所述训练样本中的样本图像进行优化处理，得到处理后的训练样本；

[0022] 采用所述处理后的训练样本对所述预先构建的绝缘子检测模型进行训练。

[0023] 在其中一个实施例中，所述优化处理包括图像缩放处理、图像色彩空间调整处理和多个样本图像的组合处理中的至少一种；

[0024] 所述对所述训练样本中的样本图像进行优化处理，得到处理后的训练样本，包括：

[0025] 若所述优化处理为图像缩放处理，则对所述训练样本中的第一设定数目的样本图像进行缩小处理，得到缩小后的训练样本，和/或，对所述训练样本中的第二设定数目的样
本图像进行放大处理，得到放大后的训练样本；

[0026] 若所述优化处理为图像色彩空间调整，则将所述训练样本中的样本图像与预设的背景图像进行融合，得到融合后的训练样本；

[0027] 若所述优化处理为多个样本图像的组合处理，则将所述训练样本中的多个样本图像进行拼接，并将得到的拼接图像的分辨率调整回拼接前的样本图像的分辨率，得到分辨
率调整后的拼接图像的训练样本。

[0028] 在其中一个实施例中，所述绑扎线分类模型的训练包括：

[0029] 获取包含有绑扎线的绝缘子图像和未包含绑扎线的绝缘子图像，作为所述绑扎线分类模型的训练样本；

[0030] 采用所述绑扎线分类模型的训练样本对预先构建的绑扎线分类模型进行训练，得到训练后的绑扎线分类模型。

[0031] 一种绝缘子绑扎线缺失识别装置，所述装置包括：

[0032] 获取模块，用于获取绝缘子的原始图像；

[0033] 检测模块，用于将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；

[0034] 分割模块，用于若所述绝缘子的类型为预设类型，则基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0035] 识别模块，用于将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果。

[0036] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0037] 获取绝缘子的原始图像；

[0038] 将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；

[0039] 若所述绝缘子的类型为预设类型，则基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0040] 将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果。

[0041] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0042] 获取绝缘子的原始图像；

[0043] 将所述原始图像输入训练后的绝缘子检测模型，得到所述绝缘子的类型和所述绝缘子在所述原始图像中的位置区域；

[0044] 若所述绝缘子的类型为预设类型，则基于所述位置区域，从所述绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0045] 将所述绝缘子区域图像输入训练后的绑扎线分类模型，得到所述绝缘子的绑扎线缺失识别结果。

[0046] 上述绝缘子绑扎线缺失识别方法、装置、计算机设备和存储介质，在获取绝缘子的原始图像后，将原始图像输入训练后的绝缘子检测模型，得到绝缘子的类型和绝缘子在原
始图像中的位置区域，并在判定绝缘子的类型为预设类型时，基于位置区域，从绝缘子的原
始图像中裁剪得到绝缘子区域图像，最后将绝缘子区域图像输入训练后的绑扎线分类模
型，得到绝缘子的绑扎线缺失识别结果。该方法采用级联检测的策略，第一步采用训练后的
绝缘子检测模型检测绝缘子的类型和绝缘子位置区域，第二步在绝缘子位置区域上采用训
练后的绑扎线分类模型再次检测绝缘子绑扎线是否缺失，一方面提高了识别效率，克服了
传统人工识别存在的劳动强度大，耗费较多时间和人工成本的缺陷，另一方面，还可提高绝
缘子绑扎线缺失识别的准确度，解决传统识别方法依赖于用户经验，对绑扎线缺失的识别
不及时不全面，容易出现误检、漏检的问题。

附图说明

[0047] 图1为一个实施例中绝缘子绑扎线缺失识别方法的流程示意图；

[0048] 图2为一个实施例中绝缘子检测的原理示意图；

[0049] 图3为另一个实施例中绝缘子绑扎线缺失识别方法的流程示意图；

[0050] 图4为一个实施例中绝缘子绑扎线缺失识别装置的结构框图；

[0051] 图5为一个实施例中计算机设备的内部结构图。

具体实施方式

[0052] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不
用于限定本申请。

[0053] 在一个实施例中，如图1所示，提供了一种绝缘子绑扎线缺失识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应
用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括
以下步骤：

[0054] 步骤S102，获取绝缘子的原始图像。

[0055] 其中，原始图像中可包含至少一个绝缘子。

[0056] 具体实现中，终端获取绝缘子的原始图像的方式可以为：无人机在巡检过程中，通过自身安装的相机设备采集得到绝缘子的原始图像后，将原始图像传输给终端，由终端进
行处理。或者，无人机采集得到绝缘子的原始图像后，将原始图像传输给数据库或服务器进
行存储，终端从数据库或服务器获取绝缘子的原始图像，并进行处理。

[0057] 步骤S104，将原始图像输入训练后的绝缘子检测模型，得到绝缘子的类型和绝缘子在原始图像中的位置区域。

[0058] 其中，训练后的绝缘子检测模型可用于检测绝缘子的类型以及绝缘子在原始图像中的位置区域。

[0059] 其中，位置区域可理解为绝缘子图像在原始图像中的位置所占据的区域。

[0060] 其中，绝缘子的类型可分为需要通过绑扎线固定线路和无需通过绑扎线固定线路两类。

[0061] 其中，需要通过绑扎线固定线路的绝缘子为瓷绝缘子，具体包括陶瓷支柱式瓷绝缘子、陶瓷针式绝缘子、陶瓷悬式绝缘子和棒式瓷横担等。

[0062] 其中，无需通过绑扎线固定线路的绝缘子可以为复合绝缘子和玻璃绝缘子。

[0063] 具体实现中，本申请针对线路是否固定在瓷绝缘子上的问题，是通过绝缘子上是否有绑扎线来进行识别的，因此针对的是需要绑扎线固定线路的瓷绝缘子的识别。故而，绝
缘子检测模型需要具有识别原始图像中绝缘子是否为瓷绝缘子的功能，若识别出原始图像
中的绝缘子为瓷绝缘子，可进一步识别瓷绝缘子上的绑扎线是否缺失；若识别出原始图像
中的绝缘子为复合绝缘子或玻璃绝缘子，由于其自身并不需要通过绑扎线对线路进行固
定，因此，也无需进一步进行绑扎线是否缺失的识别。基于此，需要采用不同类型的绝缘子
的原始图像对绝缘子检测模型进行训练，使得在将原始图像输入训练后的绝缘子检测模型
后，不仅可以得到绝缘子在原始图像中的位置区域，还可以得到绝缘子的类型，本步骤通过
对绝缘子类型的识别，可以在原始图像中的绝缘子为复合绝缘子或玻璃绝缘子时，无需进
行绑扎线是否缺失的识别，避免计算资源的浪费。

[0064] 实际应用中，绝缘子检测模型可以为基于YOLOv3检测算法（一种深度学习目标检测算法，可以定位出目标在图像中的位置，并识别出目标的类别）构建的模型，参考图2，为
绝缘子检测的原理示意图，首先将原始图像的尺寸调整到608*608，将调整后的图像输入
YOLOv3目标检测算法中得到目标框位置和类别信息，其中，这些框中存在大量冗余的框，需
要通过非极大值抑制（Non‑Maximum Suppression，NMS）过滤掉，最后得到图2中的最后一个
图所示的瓷绝缘子部件检测框。其中，非极大值抑制过滤方法是指去掉各个检测框中重叠
面积大于阈值，如50%的检测框。

[0065] 步骤S106，若绝缘子的类型为预设类型，则基于位置区域，从绝缘子的原始图像中裁剪得到绝缘子区域图像。

[0066] 其中，预设类型表示需要通过绑扎线固定线路的瓷绝缘子，例如，陶瓷支柱式瓷绝缘子、陶瓷针式绝缘子、陶瓷悬式绝缘子和棒式瓷横担等。

[0067] 具体实现中，若识别出原始图像中的绝缘子为瓷绝缘子，则可进一步识别瓷绝缘子上的绑扎线是否缺失，具体地，可先基于绝缘子的位置区域，对绝缘子的原始图像进行图
像裁剪，将绝缘子所在区域的图像裁剪出来，从而去除了背景部分图像的干扰，以便于之后
将得到的绝缘子区域图像输入训练后的绑扎线分类模型中，识别绑扎线是否缺失时，可以
减少识别区域，提高识别效率。

[0068] 步骤S108，将绝缘子区域图像输入训练后的绑扎线分类模型，得到绝缘子的绑扎线缺失识别结果。

[0069] 其中，训练后的绑扎线分类模型用于将绝缘子区域图像中的绝缘子分为有绑扎线和无绑扎线两类。

[0070] 具体实现中，在将绝缘子区域图像输入训练后的绑扎线分类模型后，得到该绝缘子区域图像中的绝缘子是否有绑扎线的识别结果，进一步在得到绝缘子无绑扎线的识别结
果时，判定该绝缘子处的线路固定异常，进行异常报警，提示运维人员对异常的绝缘子处的
线路进行重新绑扎和固定。

[0071] 上述绝缘子绑扎线缺失识别方法中，在获取绝缘子的原始图像后，将原始图像输入训练后的绝缘子检测模型，得到绝缘子的类型和绝缘子在原始图像中的位置区域，并在
判定绝缘子的类型为预设类型时，基于位置区域，从绝缘子的原始图像中裁剪得到绝缘子
区域图像，最后将绝缘子区域图像输入训练后的绑扎线分类模型，得到绝缘子的绑扎线缺
失识别结果。该方法采用级联检测的策略，第一步采用训练后的绝缘子检测模型检测绝缘
子的类型和绝缘子位置区域，第二步在绝缘子位置区域上采用训练后的绑扎线分类模型再
次检测绝缘子绑扎线是否缺失，一方面提高了绝缘子绑扎线缺失识别的效率，克服了传统
人工识别存在的劳动强度大，耗费较多时间和人工成本的缺陷，另一方面，还可提高绝缘子
绑扎线缺失识别的准确度，解决传统识别方法依赖于用户经验，对绑扎线缺失的识别不及
时不全面，容易出现误检、漏检的问题。

[0072] 在一个实施例中，在基于位置区域，从绝缘子的原始图像中裁剪得到绝缘子区域图像之前，还包括：基于位置区域，获取构成绝缘子的各个边界线的长度；从各个边界线的
长度中确定出最大边界线的长度；当最大边界线的长度大于长度阈值时，从绝缘子的原始
图像中裁剪得到绝缘子区域图像。

[0073] 其中，边界线的长度可通过边界线的像素数目确定。

[0074] 具体实现中，由于无人机采集原始图像中可能包括有多个绝缘子部件，其中，部分绝缘子部件的区域可能较小，分辨率不够，导致难以识别是否有绑扎线，因此，在从绝缘子
的原始图像中裁剪得到绝缘子区域图像之前，还需要基于绝缘子的尺寸对需要进行缺失识
别的绝缘子进行过滤，以减少计算资源的浪费。更具体地，可根据绝缘子在原始图像中的位
置区域，获取绝缘子的各个边界线的像素数目，并从中确定出最大边界线的像素数目。将该
最大边界线的像素数目与像素阈值（例如，60像素）进行比较，若最大边界线的像素数目大
于像素阈值，则可进一步从绝缘子的原始图像中裁剪得到绝缘子区域图像。反之，若最大边
界线的像素数目小于或等于像素阈值，则无需对对应的绝缘子进行裁剪。

[0075] 可以理解的是，若原始图像中包含多个绝缘子，则根据各个绝缘子的最大边界线的长度与长度阈值的对比结果，将最大边界线的长度大于长度阈值的多个绝缘子图像从原
始图像中裁剪出来，得到多个绝缘子区域图像。

[0076] 本实施例中，将绝缘子的各个边界线中最大边界线的长度与长度阈值进行比较，在最大边界线的长度大于长度阈值时，才从绝缘子的原始图像中裁剪得到绝缘子区域图
像，可以避免训练后的绑扎线分类模型对最大边界线的长度小于或等于长度阈值的绝缘子
区域图像的无效计算和识别的问题。

[0077] 在一个实施例中，在判定最大边界线的长度大于长度阈值之后，还包括：将绝缘子在原始图像中的位置区域向外扩充设定的距离，得到扩充后的位置区域；基于扩充后的位
置区域，从绝缘子的原始图像中裁剪得到绝缘子区域图像。

[0078] 具体地，可以将绝缘子在原始图像中的位置区域向外扩充1/10。

[0079] 本实施例中，通过将绝缘子在原始图像中的位置区域向外扩充设定的距离，可以防止绝缘子部件检测的不完整的问题。

[0080] 在一个实施例中，绝缘子检测模型的训练过程，包括：获取多种类型的绝缘子的样本图像；采用预设的形状对样本图像进行标注，将标注后的样本图像作为绝缘子检测模型
的训练样本；采用训练样本对预先构建的绝缘子检测模型进行训练，得到训练后的绝缘子
检测模型。

[0081] 具体实现中，对于绝缘子检测神经网络结构搭建：可以将CSPNet（跨阶段局部网络）+Darknet53（YOLO V3的骨干网络）作为主干网络提取训练样本特征，既可以有效缓解梯
度消失问题，又可以减少网络参数量；将PANET（路径聚合网络）作为特征金字塔生成网络改
善底层特征传播，将单层卷积作为预测网络输出目标类别和位置。在获取样本图像后，可采
用图像标注工具，如labelme标注工具对样本图像进行标注，生成VOC格式的xml文件作为训
练样本，将训练样本划分为训练集、测试集和验证集，具体地，训练集、测试集和验证集的划
分比例可以为6:1:1。在对绝缘子检测模型进行训练时，可采用GIOU_Loss作为回归框的损
失函数，以便于获得更精确的目标位置，其计算公式为： ，其中，IoU是两
个区域的交集面积除以两个区域的并集面积得到， 是两个矩形框的最小闭包区域面积，U
是两个矩形框的并集面积。在训练完成后，利用测试集评估模型效果。

[0082] 本实施例中，通过多种类型的绝缘子的样本图像对绝缘子检测模型进行训练，使得得到的训练后的绝缘子检测模型可以准确确定绝缘子在原始图像中的位置区域和绝缘
子的类型。

[0083] 在一个实施例中，在采用训练样本对预先构建的绝缘子检测模型进行训练之前，还包括：对训练样本中的样本图像进行优化处理，得到处理后的训练样本；采用处理后的训
练样本对预先构建的绝缘子检测模型进行训练。

[0084] 进一步地，在一个实施例中，优化处理包括图像缩放处理、图像色彩空间调整处理和多个样本图像的组合处理中的至少一种；

[0085] 上述对训练样本中的样本图像进行优化处理，得到处理后的训练样本的步骤，具体包括：

[0086] 若优化处理为图像缩放处理，则对训练样本中的第一设定数目的样本图像进行缩小处理，得到缩小后的训练样本，和/或，对训练样本中的第二设定数目的样本图像进行放
大处理，得到放大后的训练样本；

[0087] 若优化处理为图像色彩空间调整，则将训练样本中的样本图像与预设的背景图像进行融合，得到融合后的训练样本；

[0088] 若优化处理为多个样本图像的组合处理，则将训练样本中的多个样本图像进行拼接，并将得到的拼接图像的分辨率调整回拼接前的样本图像的分辨率，得到分辨率调整后
的拼接图像的训练样本。

[0089] 具体实现中，对样本图像的优化处理可从尺寸和背景两方面考虑，对尺寸上的优化处理可包括图像缩放处理和多个样本图像的组合处理，对图像背景上的优化处理可以为
图像色彩空间调整。更具体地，若是图像缩放处理，则对训练样本中的第一设定数目的样本
图像进行缩小处理，得到缩小后的训练样本，和/或，对训练样本中的第二设定数目的样本
图像进行放大处理，得到放大后的训练样本。若是多个样本图像的组合处理，则将训练样本
中的多个样本图像进行拼接，并将得到的拼接图像的分辨率调整回拼接前的样本图像的分
辨率，得到分辨率调整后的拼接图像的训练样本。若优化处理为图像色彩空间调整，则将训
练样本中的样本图像与预设的背景图像进行融合，得到融合后的训练样本，其中，预设的背
景图像可以为包含强光反射、鸟屎、污渍等的多种复杂背景图像。

[0090] 本实施例中，通过图像缩放处理，扩充了样本图像在尺寸方面的多样性；通过多样本图像组合处理，缩小了瓷绝缘子在样本图像中的占比，可以提升针对瓷绝缘子属于小目
标的情况下的识别结果的准确度；通过加入强光反射、鸟屎、污渍等复杂背景图像的负样
本，可以增强绝缘子检测模型的鲁棒性，通过这三种优化处理方法，丰富了训练样本的多样
性，从而提高了绝缘子检测模型的抗干扰性和鲁棒性，增强了模型的识别效果。

[0091] 在一个实施例中，绑扎线分类模型的训练包括：获取包含有绑扎线的绝缘子图像和未包含绑扎线的绝缘子图像，作为绑扎线分类模型的训练样本；采用绑扎线分类模型的
训练样本对预先构建的绑扎线分类模型进行训练，得到训练后的绑扎线分类模型。

[0092] 具体实现中，可采用MobilenetV3网络训练一个绑扎线分类模型，在获取绑扎线分类模型的训练样本后，可将各个样本图像的尺寸或分辨率对应调整到设定的尺寸或分辨
率，并且后续在从绝缘子的原始图像中裁剪得到的绝缘子区域图像时，可以将绝缘子区域
图像的尺寸或分辨率裁剪到与该设定的尺寸或分辨率一致，从而，在通过绑扎线分类模型
对绝缘子区域图像进行缺失识别时，可以提高识别效率和准确性。

[0093] 本实施例中，通过在对绑扎线分类模型训练时，将各个样本图像的尺寸或分辨率对应调整到设定的尺寸或分辨率，通过使设定的尺寸或分辨率与从绝缘子的原始图像中裁
剪得到的绝缘子区域图像的尺寸或分辨率一致，从而可提高通过绑扎线分类模型对绝缘子
区域图像进行缺失识别时的识别效率和准确性。

[0094] 在另一个实施例中，如图3所示，提供了一种绝缘子绑扎线缺失识别方法，本实施例中，该方法包括以下步骤：

[0095] 步骤S302，获取绝缘子的原始图像；

[0096] 步骤S304，将原始图像输入训练后的绝缘子检测模型，得到绝缘子的类型和绝缘子在原始图像中的位置区域；

[0097] 步骤S306，若绝缘子的类型为预设类型，则基于位置区域，获取构成绝缘子的各个边界线的长度，并从各个边界线的长度中，确定出最大边界线的长度；

[0098] 步骤S308，当最大边界线的长度大于长度阈值时，将绝缘子在原始图像中的位置区域向外扩充设定的距离，得到扩充后的位置区域；

[0099] 步骤S310，基于扩充后的位置区域，从绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0100] 步骤S312，将绝缘子区域图像输入训练后的绑扎线分类模型，得到绝缘子的绑扎线缺失识别结果。

[0101] 可以理解的是，配网机巡图像绝缘子绑扎线缺失缺陷目标区域小，直接在全图上找难度大，容易漏检，而且易出现绝缘子部件外区域的误识别情况，同时由于拍摄角度容易
造成遮挡、屏幕视觉误差，极易造成误检。本实施例提供的绝缘子绑扎线缺失识别方法，采
用级联检测的策略，第一步采用深度学习目标检测算法检测绝缘子部件与绝缘子绑扎线缺
失缺陷，第二步在特定的绝缘子部件上采用深度学习目标检测算法再次检测瓷绝缘子绑扎
线缺失缺陷，极大增加绑扎线的减除率。最后在通过非极大值抑制，去掉重复检测的结果，
在训练绑扎线分类模型时，同时加入绑扎线无缺失的样本，极大的增强了模型的鲁棒性。

[0102] 应该理解的是，虽然图1和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些
步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图3中的
至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时
刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次
进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地
执行。

[0103] 在一个实施例中，如图4所示，提供了一种绝缘子绑扎线缺失识别装置，包括：获取模块402、检测模块404、分割模块406和识别模块408，其中：

[0104] 获取模块402，用于获取绝缘子的原始图像；

[0105] 检测模块404，用于将原始图像输入训练后的绝缘子检测模型，得到绝缘子的类型和绝缘子在原始图像中的位置区域；

[0106] 分割模块406，用于若绝缘子的类型为预设类型，则基于位置区域，从绝缘子的原始图像中裁剪得到绝缘子区域图像；

[0107] 识别模块408，用于将绝缘子区域图像输入训练后的绑扎线分类模型，得到绝缘子的绑扎线缺失识别结果。

[0108] 在一个实施例中，上述分割模块406，还用于基于位置区域，获取构成绝缘子的各个边界线的长度；从各个边界线的长度中，确定出最大边界线的长度；当最大边界线的长度
大于长度阈值时，从绝缘子的原始图像中裁剪得到绝缘子区域图像。

[0109] 在一个实施例中，上述分割模块406，还用于将绝缘子在原始图像中的位置区域向外扩充设定的距离，得到扩充后的位置区域；基于扩充后的位置区域，从绝缘子的原始图像
中裁剪得到绝缘子区域图像。

[0110] 在一个实施例中，上述装置还包括检测模型训练模块，用于获取多种类型的绝缘子的样本图像，作为训练样本；采用训练样本对预先构建的绝缘子检测模型进行训练，得到
训练后的绝缘子检测模型。

[0111] 在一个实施例中，上述装置还包括优化模块，用于对训练样本中的样本图像进行优化处理，得到处理后的训练样本；采用处理后的训练样本对预先构建的绝缘子检测模型
进行训练。

[0112] 在一个实施例中，优化处理包括图像缩放处理、图像色彩空间调整处理和多个样本图像的组合处理中的至少一种；上述优化模块，还用于若优化处理为图像缩放处理，则对
训练样本中的第一设定数目的样本图像进行缩小处理，得到缩小后的训练样本，和/或，对
训练样本中的第二设定数目的样本图像进行放大处理，得到放大后的训练样本；若优化处
理为图像色彩空间调整，则将训练样本中的样本图像与预设的背景图像进行融合，得到融
合后的训练样本；若优化处理为多个样本图像的组合处理，则将训练样本中的多个样本图
像进行拼接，并将得到的拼接图像的分辨率调整回拼接前的样本图像的分辨率，得到分辨
率调整后的拼接图像的训练样本。

[0113] 在一个实施例中，上述装置还包括分类模型训练模块，用于获取包含有绑扎线的绝缘子图像和未包含绑扎线的绝缘子图像，作为绑扎线分类模型的训练样本；采用绑扎线
分类模型的训练样本对预先构建的绑扎线分类模型进行训练，得到训练后的绑扎线分类模
型。

[0114] 需要说明的是，本申请的绝缘子绑扎线缺失识别装置与本申请的绝缘子绑扎线缺失识别方法一一对应，在上述绝缘子绑扎线缺失识别方法的实施例阐述的技术特征及其有
益效果均适用于绝缘子绑扎线缺失识别装置的实施例中，具体内容可参见本申请方法实施
例中的叙述，此处不再赘述，特此声明。

[0115] 此外，上述绝缘子绑扎线缺失识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，
也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块
对应的操作。

[0116] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示
屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存
储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、
运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种绝
缘子绑扎线缺失识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示
屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上
设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0117] 本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备
可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0118] 在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0119] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0120] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读
取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申
请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括
非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read‑Only 
Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种
形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存
储器（Dynamic Random Access Memory，DRAM）等。

[0121] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。

[0122] 以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在
不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
因此，本申请专利的保护范围应以所附权利要求为准。