输电架空线路缺陷识别方法、装置、设备和存储介质

摘要

本申请涉及一种输电架空线路缺陷识别方法、装置、设备和存储介质。该方法包括：获取包含架空线路的原始图像；将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。采用本方法能够实现对跨地域场景的高泛化性特征提取。

权利要求

1.一种输电架空线路缺陷识别方法，其特征在于，所述方法包括：

获取包含架空线路的原始图像；

将所述原始图像输入至训练完成的图像识别模型；所述图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；所述主干网络模型图谱包括多个主干网络，所述颈部头部网络模型图谱包括颈部网络模型图谱和头部网络，所述颈部网络模型图谱包括一个以上颈部网络；

通过所述特征提取网络提取所述原始图像的特征信息；所述特征信息包括场景网络索引和场景特征向量；

根据所述场景网络索引选取目标主干网络；并将所述原始图像和所述场景特征向量输入至所述目标主干网络，得到图像通用特征；

选取一个以上所述颈部网络；

将所述图像通用特征输入至所有选取的颈部网络中；

当所述颈部网络具有两个以上时，第一个所述颈部网络根据所述图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据所述图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征；

根据所述图像深层特征，通过所述头部网络确定所述架空线路的缺陷类别；

其中，所述图像识别模型通过以下步骤训练得到：

根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集；

使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，所述特征提取网络不参与训练；

使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，所述颈部头部网络模型图谱不参与训练，所述第二地区大于第一地区；

再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

2.根据权利要求1所述的方法，其特征在于，在所述再次使用第一地区的架空线路图像数据集对图像识别模型进行训练之后，所述方法还包括：再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

3.根据权利要求1所述的方法，其特征在于，

当所述颈部网络具有一个时，所述颈部网络根据所述图像通用特征输出所述图像深层特征。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像深层特征，通过所述头部网络确定所述架空线路的缺陷类别，包括：根据所述图像深层特征，通过所述颈部头部网络模型图谱确定所述架空线路的检测结果；所述检测结果包括位置、类别和置信度分数；

将所述检测结果与缺陷图谱进行比对，得到所述架空线路的缺陷类别。

5.一种输电架空线路缺陷识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取包含架空线路的原始图像；

模型输入模块，用于将所述原始图像输入至训练完成的图像识别模型；所述图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；所述主干网络模型图谱包括多个主干网络，所述颈部头部网络模型图谱包括颈部网络模型图谱和头部网络，所述颈部网络模型图谱包括一个以上颈部网络；

特征信息提取模块，用于通过所述特征提取网络提取所述原始图像的特征信息；所述特征信息包括场景网络索引和场景特征向量；

通用特征确定模块，用于根据所述场景网络索引选取目标主干网络；并将所述原始图像和所述场景特征向量输入至所述目标主干网络，得到图像通用特征；

缺陷类别确定模块，用于选取一个以上所述颈部网络；将所述图像通用特征输入至所有选取的颈部网络中；当所述颈部网络具有两个以上时，第一个所述颈部网络根据所述图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据所述图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征；根据所述图像深层特征，通过所述头部网络确定所述架空线路的缺陷类别；

模型训练模块，用于根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集；使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，所述特征提取网络不参与训练；使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，所述颈部头部网络模型图谱不参与训练，所述第二地区大于第一地区；再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

6.根据权利要求5所述的装置，其特征在于，所述模型训练模块还用于再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

7.根据权利要求5所述的装置，其特征在于，所述缺陷类别确定模块用于当所述颈部网络具有一个时，通过所述颈部网络根据所述图像通用特征输出所述图像深层特征。

8.根据权利要求5所述的装置，其特征在于，所述缺陷类别确定模块还用于根据所述图像深层特征，通过所述颈部头部网络模型图谱确定所述架空线路的检测结果；所述检测结果包括位置、类别和置信度分数；将所述检测结果与缺陷图谱进行比对，得到所述架空线路的缺陷类别。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

说明书

输电架空线路缺陷识别方法、装置、设备和存储介质

技术领域

[0001] 本申请涉及电力设备技术领域，特别是涉及一种输电架空线路缺陷识别方法、装置、设备和存储介质。

背景技术

[0002] 架空线路是架设在地面之上，将输电导线固定在直立于地面的杆塔上以传输电能的输电线路。架空线路常常暴露在空气中，易受到气象影响，如风、雪等，因此会偶尔发生损坏，需要确认损坏的部位并进行维修。

[0003] 传统技术中，采用无人机巡检的方案，通过无人机拍摄架空线路图像后对图像进行识别，从而确认架空线路的具有损坏的缺陷部位。无人机具有体积小、无人驾驶和航程远等多种优势。

[0004] 但是电力输电架空线路场景复杂，覆盖地区广，导致采集的数据集样本差异性较强，无法对损坏的部位进行确认。

发明内容

[0005] 基于此，有必要针对上述技术问题，提供一种能够应用于多地区的输电架空线路缺陷识别方法、装置、设备和存储介质。

[0006] 第一方面，本申请提供一种输电架空线路缺陷识别方法。该方法包括：

[0007] 获取包含架空线路的原始图像；

[0008] 将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；

[0009] 通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；

[0010] 根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；

[0011] 根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0012] 在其中一个实施例中，图像识别模型通过以下步骤训练得到：

[0013] 使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，特征提取网络不参与训练；

[0014] 使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，颈部头部网络模型图谱不参与训练，第二地区大于第一地区；

[0015] 再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

[0016] 在其中一个实施例中，在再次使用第一地区的架空线路图像数据集对图像识别模型进行训练之后，方法还包括：

[0017] 再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

[0018] 在其中一个实施例中，在使用第一地区的架空线路图像数据集对图像识别模型进行训练之前，方法还包括：

[0019] 根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集。

[0020] 在其中一个实施例中，颈部头部网络模型图谱包括颈部网络模型图谱和头部网络；根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别，包括：

[0021] 根据图像通用特征，通过颈部网络模型图谱确定图像深层特征；

[0022] 根据图像深层特征，通过头部网络确定架空线路的缺陷类别。

[0023] 在其中一个实施例中，颈部网络模型图谱包括一个以上颈部网络；根据图像通用特征，通过颈部网络模型图谱确定图像深层特征，包括：

[0024] 选取一个以上颈部网络；

[0025] 将图像通用特征输入至所有选取的颈部网络中；

[0026] 当颈部网络具有一个时，颈部网络根据图像通用特征输出图像深层特征；

[0027] 当颈部网络具有两个以上时，第一个颈部网络根据图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征。

[0028] 在其中一个实施例中，根据图像深层特征，通过头部网络确定架空线路的缺陷类别，包括：

[0029] 根据图像深层特征，通过颈部头部网络模型图谱确定架空线路的检测结果；检测结果包括位置、类别和置信度分数；

[0030] 将检测结果与缺陷图谱进行比对，得到架空线路的缺陷类别。

[0031] 第二方面，本申请还提供一种输电架空线路缺陷识别装置。该装置包括：

[0032] 图像获取模块，用于获取包含架空线路的原始图像；

[0033] 模型输入模块，用于将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；

[0034] 特征信息提取模块，用于通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；

[0035] 通用特征确定模块，用于根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；

[0036] 缺陷类别确定模块，用于根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0037] 第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现以下步骤：

[0038] 获取包含架空线路的原始图像；

[0039] 将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；

[0040] 通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；

[0041] 根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；

[0042] 根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0043] 第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0044] 获取包含架空线路的原始图像；

[0045] 将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；

[0046] 通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；

[0047] 根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；

[0048] 根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0049] 第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

[0050] 获取包含架空线路的原始图像；

[0051] 将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；

[0052] 通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量；

[0053] 根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征；

[0054] 根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0055] 上述输电架空线路缺陷识别方法、装置、设备和存储介质，将具有架空线路的原始图像输入至图像识别模型中，根据特征提取网络提取场景网络索引和场景特征向量。场景网络索引用于唯一地确定目标主干网络，再将原始图像和场景特征向量共同输入至目标主干网络中，并通过场景特征向量对特征提取主干网络提供注意力信息，实现算法模型对跨地域场景的高泛化性特征提取。目标主干网络输出图像通用特征后，通过颈部头部网络模型图谱确定架空线路的缺陷类别。本实施例中先根据原始图像提取出用于选定目标主干网络的索引，在确定目标主干网络后再将原始图像输入至目标主干网络。通过索引限定在一个目标主干网络中，避免了其他主干网络的影响。相较于传统的对原始图像直接进行识别的方法，有效解决了电力缺陷在不同时段不同地域上的差异性问题。

附图说明

[0056] 图1为一个实施例中输电架空线路缺陷识别方法的应用环境图；

[0057] 图2为一个实施例中输电架空线路缺陷识别方法的流程示意图；

[0058] 图3为另一个实施例中输电架空线路缺陷识别方法的流程示意图；

[0059] 图4为一个实施例中输电架空线路缺陷识别方法的原理框图；

[0060] 图5为一个实施例中输电架空线路缺陷识别装置的结构框图；

[0061] 图6为一个实施例中计算机设备的内部结构图。

具体实施方式

[0062] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0063] 本申请实施例提供的输电架空线路缺陷识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种图像获取设备，如无人机、摄像机、智能手机和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

[0064] 在一个实施例中，如图2所示，提供了一种输电架空线路缺陷识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

[0065] S202，获取包含架空线路的原始图像。

[0066] 架空线路一般包括绝缘子、输电线、防震锤和间隔棒等设备。原始图像通过不同的图像采集设备得到，例如可以是无人机。采集得到的原始图像中至少具有需要判断故障的架空线路的场景。

[0067] S204，将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络。

[0068] 将原始图像作为输入图像输入至训练完成的图像识别模型中。图像识别模型是对输入的图像分析并提取图像的特征，然后建立分类器，根据图像的特征进行分类识别的一种技术。图像识别模型可以通过深度学习训练得到。深度学习本质上就是具有多层隐藏层的神经网络，是一种特定类型的机器学习方法，其基本思想是通过多层的神经网络，将低层特征聚合成更加抽象且更具区分度的高层特征，从而具有强大的表征能力和泛化性能。对于强化学习算法，当问题规模较小时，可以得到精确解；而当问题规模较大时，需要利用深度学习来近似复杂的输入和输出关系。

[0069] 特征提取网络也称为场景特征提取网络，用于提取图像的特征，能够对输入的原始图像处理得到归属于该原始图像的特征信息。主干网络模型图谱，也可以是场景自适应主干网络模型图谱，用于接收特征提取网络输出的特征信息，处理后输出至颈部头部网络模型图谱。

[0070] 其中，主干网络模型图谱根据不同地区建立不同的主干网络，地区可以是一片区域或按照行政区划建立主干网络。主干网络可以是特征提取主干网络。在一种可行的实现方式中，根据第一省区的架空路线场景建立一个主干网络，根据第二省区的架空路线场景建立另一个主干网络。

[0071] S206，通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量。

[0072] 原始图像输入至图像识别模型后，先由特征提取网络执行特征提取，得到对应于原始图像的场景网络索引和场景特征向量，也可以是场景自适应网络索引和场景自适应特征向量。场景网络索引是一个值或一个one‑hot的向量，唯一对应于主干网络的编号。one‑hot向量为有且只有一个元素为1，其余元素都为0的向量。场景特征向量是具有原始图像特征值的特征向量。能够对特征提取主干网络提供注意力信息。

[0073] S208，根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征。

[0074] 场景网络索引的值唯一地指向主干网络模型图谱中的一个主干网络。得到场景网络索引后，即可唯一地确定目标主干网络。确定目标主干网络后，将原始图像和场景特征向量共同输入至主干网络中，输出得到图像通用特征。示意性地，场景网络索引的第一省区元素为1，其余为0，则第一省区的主干网络为目标主干网络，将原始图像和场景特征向量归属于第一省区的目标主干网络。

[0075] 此步骤得到的图像通用特征相对较浅层，包含更多的像素点的信息图像的颜色、纹理、边缘、棱角等信息，其提取的特征较通用。

[0076] S210，根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别。

[0077] 将图像通用特征输入至颈部头部网络模型图谱中，利用颈部头部网络模型图谱确定原始图像中架空线路的图像，并根据架空线路的图像确定缺陷类别。

[0078] 上述输电架空线路缺陷识别方法中，将具有架空线路的原始图像输入至图像识别模型中，根据特征提取网络提取场景网络索引和场景特征向量。场景网络索引用于唯一地确定目标主干网络，再将原始图像和场景特征向量共同输入至目标主干网络中，并通过场景特征向量对特征提取主干网络提供注意力信息，实现算法模型对跨地域场景的高泛化性特征提取。目标主干网络输出图像通用特征后，通过颈部头部网络模型图谱确定架空线路的缺陷类别。本实施例中先根据原始图像提取出用于选定目标主干网络的索引，在确定目标主干网络后再将原始图像输入至目标主干网络。通过索引限定在一个目标主干网络中，避免了其他主干网络的影响。相较于传统的对原始图像直接进行识别的方法，有效解决了电力缺陷在不同时段不同地域上的差异性问题。

[0079] 在一个实施例中，图像识别模型通过以下步骤训练得到：使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，特征提取网络不参与训练；使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，颈部头部网络模型图谱不参与训练，第二地区大于第一地区；再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

[0080] 图像识别模型使用来自多个地区的图像数据进行训练。训练分为两个训练模式，每次训练时第一训练模式仅使用第一地区的架空线路图像数据集，第二训练模式使用第二地区的架空线路图像数据集。第二地区可以是多地区，第二地区的容量大于第一地区。

[0081] 具体地，第一训练模式训练时特征提取网络不参与训练，场景自适应特征向量以常数代替，或以此前在其他省区或其他任务的数据集上预训练好的场景特征提取网络提取该场景自适应特征向量。第一训练模式通过端到端的方式训练算法模型的其余部分，包括主干网络模型图谱和颈部头部网络模型图谱。其中特征提取主干网络、颈部网络模型图谱等部分可根据此前在其他省区或其他任务的数据集上的训练情况，选择是否冻结参数。

[0082] 第二训练模式仅训练场景特征提取网络部分，以多省区多任务的数据集作为训练集，按照图像分类任务的形式进行，训练场景特征提取网络能够输出对应的场景自适应网络索引。第二训练模式训练完成后，以第二训练模式训练好的场景特征提取网络作为预训练参数，再次以第一地区的数据集进行训练的方式再进行算法模型权重调优。

[0083] 本实施例中，第一训练模式使用小范围的数据集进行训练，并且第一次训练时不训练特征提取网络，目的在于训练根据图像通用特征确定缺陷类型。第二训练模式使用大范围的数据集进行训练，并且第一次训练时颈部头部网络模型图谱不参与训练，目的在于仅训练特征提取网络，使特征提取网络能够根据原始图像输出对应的场景自适应网络索引。在特征提取网络、主干网络模型图谱和颈部头部网络模型图谱均训练完成后，再按照第一训练模式使用第一地区的数据集进行训练。

[0084] 在另一个实施例中，在再次使用第一地区的架空线路图像数据集对图像识别模型进行训练之后，输电架空线路缺陷识别方法还包括：再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

[0085] 上述技术方案在训练时使用了一二一的训练阶段结构。本实施例中，可根据训练时损失函数收敛情况、验证集指标情况或研发人员经验等，修改为一二一二多阶段训练结构。可选地，还可以修改为一二一二一等训练结构。也即在完成第一训练模式、第二训练模式、第一训练模式三次训练之后，还可以分别使用第一训练模式和第二训练模式进行多次训练。

[0086] 本实施例中，在一二一的训练结构完成之后，再次使用多地区的数据集对图像识别模型进行训练，提高图像识别模型根据原始图像确定输电架空线路缺陷结构的准确率。

[0087] 在一个实施例中，在使用第一地区的架空线路图像数据集对图像识别模型进行训练之前，输电架空线路缺陷识别方法还包括：根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集。

[0088] 由于各地区的光照条件、植被分布、设备特点、图像采集方式等情况大相径庭，导致采集的数据集样本差异性较强，构建单一的人工智能模型难以同时适配不同地区采集图像的特征情况，难以支撑全地区的识别需求。在训练图像识别模型时先对将用于训练的图像按照光照条件、植被分布、设备特点、图像采集方式等进行筛选和分类。

[0089] 本实施例中，基于不同地区的光照条件、植被分布、设备特点、图像采集方式进行筛选和分类后输入至图像识别模型中进行训练。明确不同地区的差异性来源，并针对性地进行训练，使图像识别模型的输出结果更准确。

[0090] 在一个实施例中，颈部头部网络模型图谱包括颈部网络模型图谱和头部网络；根据图像通用特征，通过颈部头部网络模型图谱确定架空线路的缺陷类别，包括：根据图像通用特征，通过颈部网络模型图谱确定图像深层特征；根据图像深层特征，通过头部网络确定架空线路的缺陷类别。

[0091] 主干网络输出图像通用特征至颈部网络模型图谱，由颈部网络模型图谱进行处理后输出图像深层特征。图像深层特征输入头部网络中，由头部网络确定架空线路的缺陷特征。深层特征中包含更抽象的语义信息，由于其已经过了颈部网络进行处理，得到的结果更适用于目标任务的理解，对其他目标任务通用性较低。

[0092] 本实施例中，颈部头部网络模型图谱包括颈部网络模型图谱和头部网络，由颈部网络模型图谱将图像通用特征提取为图像深层特征，头部网络根据图像深层特征确定缺陷类别。对图像通用特征进行进一步提取，去除无关特征，保证准确度。

[0093] 在一个实施例中，颈部网络模型图谱包括一个以上颈部网络；根据图像通用特征，通过颈部网络模型图谱确定图像深层特征，包括：选取一个以上颈部网络；将图像通用特征输入至所有选取的颈部网络中；当颈部网络具有一个时，颈部网络根据图像通用特征输出图像深层特征；当颈部网络具有两个以上时，第一个颈部网络根据图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征。

[0094] 颈部网络模型图谱包括一个以上颈部网络，颈部网络也可以是颈部网络模型，用于对图像通用特征深化为图像深层特征。获得图像通用特征后，通过人工设计或自适应的方法选定一个或多个颈部网络。自适应方法是指图像识别模型根据图像通用特征的信息自动选取颈部网络。

[0095] 其中，颈部网络可以是任务特化颈部网络。任务特化是指根据电力知识，通过注意力机制对架空线路上的设备赋予更高的注意力。传统的颈部网络通过反复使用各种上下采样、拼接、点和和点积来设计聚合策略，对主干网络提取的通用特征进行再加工和利用。它使用的是通用性的方法，未有对各类别目标的特性进行考虑和优化。任务特化颈部网络模型图谱也包含上下采样、拼接、点和和点积等操作，但嵌入了电力知识。例如检测目标是销钉，根据电力知识，销钉是安装在连接金具上，此时是针对于金具的颈部网络，通过注意力机制对金具可能出现的地方赋予更高的注意力，使对销钉的颈部网络中实现更准确的销钉检测。

[0096] 在仅具有一个颈部网络时，将图像通用特征输入至该颈部网络中，输出图像深层特征至头部网络。

[0097] 在具有多个颈部网络时，先将图像通用特征输入至任一颈部网络中，得到中间特征。再将图像通用特征和得到中间特征共同输入下一颈部网络中，重复直至最后一个颈部网络接收到图像通用特征和来自于上一颈部网络的中间特征。最后一个颈部网络根据输入的图像通用特征和中间特征输出图像深层特征至头部网络。

[0098] 本实施例中，在颈部网络模型图谱中建立多个颈部网络，能够对不同的任务场景达到更有针对性的检测能力，同时能够结合不同任务间的业务依赖关系，如上述销钉与连接金具。

[0099] 在一个实施例中，根据图像深层特征，通过头部网络确定架空线路的缺陷类别，包括：根据图像深层特征，通过颈部头部网络模型图谱确定架空线路的检测结果；检测结果包括位置、类别和置信度分数；将检测结果与缺陷图谱进行比对，得到架空线路的缺陷类别。

[0100] 头部网络根据图像深层特征确定架空线路的位置、类别和置信度分数，也即能够确定原始图像中架空线路的图像。通过人为或计算机识别的方法，将架空线路的图像与缺陷图谱进行比对，若架空线路的图像与缺陷图谱的图像一致，即能够确定缺陷类别。缺陷图谱可以是杆塔鸟巢、绝缘子破损和输电线路覆冰等异常。

[0101] 本实施例中，在得到原始图像中架空线路的位置、类别和置信度分数检测结果后，将架空线路的图像与缺陷图谱比对，从而确定缺陷类别。

[0102] 在一个实施例中，如图3所示，输电架空线路缺陷识别方法包括：

[0103] S302，根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集。

[0104] S304，使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，特征提取网络不参与训练。

[0105] S306，使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，颈部头部网络模型图谱不参与训练，第二地区大于第一地区。

[0106] S308，再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

[0107] S310，再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

[0108] S312，获取包含架空线路的原始图像。

[0109] S314，将原始图像输入至训练完成的图像识别模型；图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；主干网络模型图谱包括多个主干网络；颈部头部网络模型图谱包括颈部网络模型图谱和头部网络；颈部网络模型图谱包括一个以上颈部网络。

[0110] S316，通过特征提取网络提取原始图像的特征信息；特征信息包括场景网络索引和场景特征向量。

[0111] S318，根据场景网络索引选取目标主干网络；并将原始图像和场景特征向量输入至目标主干网络，得到图像通用特征。

[0112] S320，选取一个以上颈部网络。

[0113] S322，将图像通用特征输入至所有选取的颈部网络中。

[0114] S324，当颈部网络具有一个时，颈部网络根据图像通用特征输出图像深层特征。

[0115] S326，当颈部网络具有两个以上时，第一个颈部网络根据图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征。

[0116] S328，根据图像深层特征，通过颈部头部网络模型图谱确定架空线路的检测结果；检测结果包括位置、类别和置信度分数。

[0117] S330，将检测结果与缺陷图谱进行比对，得到架空线路的缺陷类别。

[0118] 本实施例中，先使用不同地区的架空线路图像数据集对图像识别模型进行训练，进行深度学习，得到训练完成的图像识别模型。将具有架空线路的原始图像输入至训练完成的图像识别模型中，由特征提取网络提取场景网络索引和场景特征向量。根据场景网络索引唯一地确定目标主干网络后，将场景特征向量和原始图像共同输入至目标主干网络中，由目标主干网络确定图像通用特征。选取一个以上颈部网络后，由颈部网络根据图像通用特征确定图像深层特征。再由头部网络根据图像深层特征确定检测结果。最后根据检测结果与缺陷图谱进行比对，确定架空线路的缺陷类型。

[0119] 图4示出了一个实施例中由原始图像确定检测结果的示意图。其中，输入图像为包含架空线路的原始图像，可选的，原始图像为电网巡检原始图像，将该原始图像直接输入到训练完成的图像识别模型中，图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱。可选的，特征提取网络为场景特征提取网络，主干网络模型图谱为场景自适应主干网络模型图谱。颈部头部网络模型图谱包括颈部网络模型图谱和头部网络，可选的，颈部网络模型图谱是任务特化颈部网络模型图谱，头部网络是定制化检测头网络。

[0120] 特征提取网络，从输入图像中提取图像的特征信息，可选的，特征信息是图像场景特征信息。场景特征提取网络包含一个场景分类头，从上述图像场景特征信息中计算场景网络索引，可选的，场景网络索引是场景自适应网络索引，用于判别场景类型（如第一省区场景、第二省区场景等）。能够根据场景类型指定场景自适应主干网络模型图谱所选取的特征提取主干网络。特征提取网络还包含一个特征向量提取头，从上述图像场景特征信息中进一步提取场景特征向量，可选的，场景特征向量是场景自适应特征向量。场景自适应特征向量输入上述场景自适应主干网络模型图谱模块所选取的特征提取主干网络中。

[0121] 场景自适应主干网络模型图谱模块中包含若干主干网络，可选的，主干网络是特征提取主干网络。在单次推理时，根据上述场景自适应网络索引选取其中一个特征提取主干网络进行使用，输入上述电网巡检原始图像和场景自适应特征向量，提取输入图像通用特征。

[0122] 任务特化颈部网络模型图谱模块中包含若干颈部网络，可选的，颈部网络是任务特化的颈部网络模型。在单次推理时，通过人工设计或自适应的方法选定一个或多个任务特化的颈部网络模型进行组合，分别以上述输入图像通用特征和另一任务特化的颈部网络模型输出（如有）作为输入，得到图像深层特征。可选的，图像深层特征可以是任务特化的图像深层特征。

[0123] 定制化检测头网络，以上述任务特化图像深层特征作为输入，输出最终检测结果，包括目标的检测框位置坐标、类别及置信度分数。

[0124] 应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0125] 基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的输电架空线路缺陷识别方法的输电架空线路缺陷识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个输电架空线路缺陷识别装置实施例中的具体限定可以参见上文中对于架空线路缺陷识别方法的限定，在此不再赘述。

[0126] 在一个实施例中，如图5所示，提供了一种输电架空线路缺陷识别装置500，包括：图像获取模块502、模型输入模块504、特征信息提取模块506、通用特征确定模块508和缺陷类别确定模块510，其中：

[0127] 图像获取模块502，用于获取包含架空线路的原始图像。

[0128] 模型输入模块504，用于将所述原始图像输入至训练完成的图像识别模型；所述图像识别模型包括特征提取网络、主干网络模型图谱和颈部头部网络模型图谱；所述主干网络模型图谱包括多个主干网络。

[0129] 特征信息提取模块506，用于通过所述特征提取网络提取所述原始图像的特征信息；所述特征信息包括场景网络索引和场景特征向量。

[0130] 通用特征确定模块508，用于根据所述场景网络索引选取目标主干网络；并将所述原始图像和所述场景特征向量输入至目标主干网络，得到图像通用特征。

[0131] 缺陷类别确定模块510，用于根据所述图像通用特征，通过所述颈部头部网络模型图谱确定所述架空线路的缺陷类别。

[0132] 在一个实施例中，输电架空线路缺陷识别装置500还包括模型训练模块。该模型训练模块用于使用第一地区的架空线路图像数据集对图像识别模型进行训练；其中，特征提取网络不参与训练；使用第二地区的架空线路图像数据集对图像识别模型进行训练；其中，颈部头部网络模型图谱不参与训练，第二地区大于第一地区；再次使用第一地区的架空线路图像数据集对图像识别模型进行训练。

[0133] 在一个实施例中，模型训练模块还用于再次使用第二地区的架空线路图像数据集对图像识别模型进行训练。

[0134] 在一个实施例中，模型训练模块还用于根据光照条件、植被分布、架空线路特点和图像采集方式对所有架空线路图像进行筛选和分类，得到所有地区的架空线路图像数据集。

[0135] 在一个实施例中，颈部头部网络模型图谱包括颈部网络模型图谱和头部网络；缺陷类别确定模块510具体用于根据图像通用特征，通过颈部网络模型图谱确定图像深层特征；根据图像深层特征，通过头部网络确定架空线路的缺陷类别。

[0136] 在一个实施例中，颈部网络模型图谱包括一个以上颈部网络；缺陷类别确定模块510具体用于：选取一个以上颈部网络；将图像通用特征输入至所有选取的颈部网络中；当颈部网络具有一个时，颈部网络根据图像通用特征输出图像深层特征；当颈部网络具有两个以上时，第一个颈部网络根据图像通用特征确定中间特征并输入至下一颈部网络中；后续颈部网络依次根据图像通用特征和输入的中间特征输出中间特征至下一颈部网络中，直至最后一个颈部网络输出图像深层特征。

[0137] 在一个实施例中，缺陷类别确定模块510具体用于：根据图像深层特征，通过颈部头部网络模型图谱确定架空线路的检测结果；检测结果包括位置、类别和置信度分数；将检测结果与缺陷图谱进行比对，得到架空线路的缺陷类别。

[0138] 上述输电架空线路缺陷识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0139] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷图谱数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种输电架空线路缺陷识别方法。

[0140] 本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0141] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0142] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0143] 在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0144] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read‑Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

[0145] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0146] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。