一种输电线缺陷检测方法、系统、设备及介质转让专利
申请号 : CN202010945015.0
文献号 : CN112051270B
文献日 : 2021-08-13
发明人 : 姚志强 , 周曦 , 钟南昌 , 周依梦 , 雷智麟
申请人 : 广州云从人工智能技术有限公司
摘要 :
权利要求 :
1.一种基于级联检测模型的输电线缺陷检测方法,其特征在于,包括以下步骤:获取输电线巡检图像;
使用一级缺陷检测模型检测所述输电线巡检图像中包含有目标器件的目标区域、以及对所述输电线巡检图像中除所述目标器件外的其他待检测器件进行缺陷检测,获取一级缺陷检测结果;所述一级缺陷检测结果包括:其他待检测器件中存在缺陷的器件在所述输电线巡检图像的位置;
使用二级缺陷检测模型对目标区域中的目标器件进行缺陷检测,获取二级缺陷检测结果;
获取所述二级缺陷检测结果中存在缺陷的目标器件在目标区域的位置,将该位置变换为相对于在所述输电线巡检图像的位置;并与所述一级缺陷检测结果中的其他待检测器件中存在缺陷的器件在所述输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
2.根据权利要求1所述的基于级联检测模型的输电线缺陷检测方法,其特征在于,在使用所述一级缺陷检测模型进行缺陷检测前,还包括:对所述输电线巡检图像进行尺寸变换、对所述输电线巡检图像进行通道变换、对所述目标区域进行尺寸变换、对所述目标区域进行通道变换。
3.根据权利要求1所述的基于级联检测模型的输电线缺陷检测方法,其特征在于,所述一级缺陷检测结果还包括:包含有目标器件的目标区域在所述输电线巡检图像的位置、其他待检测器件中存在缺陷的器件的缺陷类别。
4.根据权利要求1所述的基于级联检测模型的输电线缺陷检测方法,其特征在于,所述二级缺陷检测结果包括:存在缺陷的目标器件的缺陷类别、存在缺陷的目标器件在目标区域的位置。
5.根据权利要求1所述的基于级联检测模型的输电线缺陷检测方法,其特征在于,所述一级缺陷检测模型和所述二级缺陷检测模型内设有目标检测算法,所述目标检测算法包括以下至少之一:YOLO(v1 v5)、Faster‑RCNN。
~
6.根据权利要求1至5中任一所述的基于级联检测模型的输电线缺陷检测方法,其特征在于,所述目标器件包括以下至少之一:螺母、销钉。
7.一种基于级联检测模型的输电线缺陷检测系统,其特征在于,包括有:图像模块,用于获取输电线巡检图像;
一级缺陷检测模块,用于使用一级缺陷检测模型检测所述输电线巡检图像中包含有目标器件的目标区域、以及对所述输电线巡检图像中除所述目标器件外的其他待检测器件进行缺陷检测,获取一级缺陷检测结果;所述一级缺陷检测结果包括:其他待检测器件中存在缺陷的器件在所述输电线巡检图像的位置;
二级缺陷检测模块,用于使用二级缺陷检测模型对目标区域中的目标器件进行缺陷检测,获取二级缺陷检测结果;
融合输出模块,用于获取所述二级缺陷检测结果中存在缺陷的目标器件在目标区域的位置,将该位置变换为相对于在所述输电线巡检图像的位置;并与所述一级缺陷检测结果中的其他待检测器件中存在缺陷的器件在所述输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
8.根据权利要求7所述的基于级联检测模型的输电线缺陷检测系统,其特征在于,在使用所述一级缺陷检测模型进行缺陷检测前,还包括:对所述输电线巡检图像进行尺寸变换、对所述输电线巡检图像进行通道变换、对所述目标区域进行尺寸变换、对所述目标区域进行通道变换。
9.根据权利要求7所述的基于级联检测模型的输电线缺陷检测系统,其特征在于,所述一级缺陷检测结果还包括:包含有目标器件的目标区域在所述输电线巡检图像的位置、其他待检测器件中存在缺陷的器件的缺陷类别。
10.根据权利要求7所述的基于级联检测模型的输电线缺陷检测系统,其特征在于,所述二级缺陷检测结果包括:存在缺陷的目标器件的缺陷类别、存在缺陷的目标器件在目标区域的位置。
11.根据权利要求7所述的基于级联检测模型的输电线缺陷检测系统,其特征在于,所述一级缺陷检测模型和所述二级缺陷检测模型内设有目标检测算法,所述目标检测算法包括以下至少之一:YOLO(v1 v5)、Faster‑RCNN。
~
12.根据权利要求7至11中任一所述的基于级联检测模型的输电线缺陷检测系统,其特征在于,所述目标器件包括以下至少之一:螺母、销钉。
13.一种设备,其特征在于,包括:一个或多个处理器;和
存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行所述指令时,使得所述设备执行如权利要求1‑6中任意一项所述的方法。
14.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行所述指令时,使得设备执行如权利要求1‑6中任意一项所述的方法。
说明书 :
一种输电线缺陷检测方法、系统、设备及介质
技术领域
背景技术
点检测。然而,由于此类小尺寸器件的实际尺寸远远小于输电线其他器件的尺寸,在输电线
巡检图像中相对于其他缺陷器件目标所占的面积也很小,这非常不利于检测算法的应用。
此外,并非所有的小尺寸器件的缺失都是危急的输电线缺陷,一般只有关键部件连接处的
小尺寸器件缺失才需要重点关注。
发明内容
标,用于解决现有技术中存在的问题。
级缺陷检测结果;
他待检测器件在所述输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
换、对所述目标区域进行通道变换。
缺陷的器件在所述输电线巡检图像的位置。
件进行缺陷检测,获取一级缺陷检测结果;
结果中存在缺陷的其他待检测器件在所述输电线巡检图像的位置进行结合后输出,完成对
输电线的缺陷检测。
换、对所述目标区域进行通道变换。
缺陷的器件在所述输电线巡检图像的位置。
级缺陷检测结果;
他待检测器件在所述输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
电线巡检图像中包含有目标器件的目标区域、以及对输电线巡检图像中除目标器件外的其
他待检测器件进行缺陷检测,获取一级缺陷检测结果;使用二级缺陷检测模型对目标区域
中的目标器件进行缺陷检测,获取二级缺陷检测结果;根据二级缺陷检测结果中存在缺陷
的目标器件在目标区域的位置,将该位置变换为相对于在输电线巡检图像的位置;并与一
级缺陷检测结果中存在缺陷的其他待检测器件在输电线巡检图像的位置进行结合后输出,
完成对输电线的缺陷检测。本发明根据目前现有技术中存在的技术问题,设计了一种基于
级联检测模型的检测算法,首先检测巡检图像中包含目标器件(例如小尺寸器件)的目标区
域(例如小尺寸器件的上下文目标——连接处)和除目标器件外的其他待检测器件;由于目
标区域中的器件尺寸与其他待检测器件尺寸在输电线巡检图像中的尺寸相仿,相当于间接
地检测了目标器件;解决了因器件尺寸差异大而不利于检测器检测的问题。同时再在目标
区域的基础上检测目标器件,解决了只需在重点区域检测目标器件(即小尺寸器件)的问
题。然后将存在缺陷的目标器件在目标区域的位置变换到在输电线巡检图像中,同时结合
输电线巡检图像中存在缺陷的其他待检测器件的位置一起输出,完成对输电线的缺陷检
测。如果目标器件是输电线中的小尺寸器件(例如螺母、销钉等),本发明还可以提高输电线
小尺寸缺陷器件的检测精度与召回率。
附图说明
具体实施方式
施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离
本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施
例中的特征可以相互组合。
绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也
可能更为复杂。
陷检测结果;
测器件在输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
的器件尺寸与其他待检测器件尺寸在输电线巡检图像中的尺寸相仿,相当于间接地检测了
目标器件;解决了因器件尺寸差异大而不利于检测器检测的问题。同时再在目标区域的基
础上检测目标器件,解决了只需在重点区域检测目标器件(即小尺寸器件)的问题。然后将
存在缺陷的目标器件在目标区域的位置变换到在输电线巡检图像中,同时结合输电线巡检
图像中存在缺陷的其他待检测器件的位置一起输出,完成对输电线的缺陷检测。如果目标
器件是输电线中的小尺寸器件(例如螺母、销钉等),本方法还可以提高输电线小尺寸缺陷
器件的检测精度与召回率。本方法中的目标区域实质上是输电线巡检图像中包含有目标器
件的图像区域。
巡检图像进行尺寸变换、对输电线巡检图像进行通道变换;对目标区域进行的预处理包括
对目标区域进行尺寸变换、对目标区域进行通道变换。本实施例根据后续缺陷检测使用检
测模型的需要,对待检测的输电线巡检图像和目标区域进行尺寸变换、通道数变换、归一化
等,以便后续缺陷检测模型的正常推理。
存在缺陷的器件在输电线巡检图像的位置。具体地,若目标器件为小尺寸器件,例如螺母、
销钉等;目标区域为小尺寸器件的上下文目标,例如器件的连接处。则对于一级缺陷检测模
型而言,通过使用目标检测算法,检测输电线巡检图像中的包含有小尺寸器件的连接处,以
及对除小尺寸器件外的所有待检测器件进行缺陷检测,得到连接处和除小尺寸缺陷器件外
的其他待测器件中存在缺陷的器件的缺陷类别、其他待测器件中存在缺陷的器件在输电线
巡检图像中的位置。作为示例,目标检测算法包括但不限于使用YOLO(v1~v5),Faster‑
RCNN等算法。
件,例如螺母、销钉等;目标区域为小尺寸器件的上下文目标,例如器件的连接处。则对于二
级缺陷检测模型而言,获取一级缺陷检测结果中包含有小尺寸器件的连接处,使用目标检
测算法,检测所有连接处中的小尺寸器件,得到所有小尺寸器件的缺陷类别和存在缺陷的
小尺寸器件相对于相应连接处区域的位置。作为示例,目标检测算法包括但不限于使用
YOLO(v1~v5),Faster‑RCNN等算法。
线巡检图像的位置;并与一级缺陷检测结果中存在缺陷的其他待检测器件在输电线巡检图
像的位置进行结合,在结合完成后输出结合结果,从而完成对输电线的缺陷检测。
目标器件外的其他待检测器件进行缺陷检测,获取一级缺陷检测结果;使用二级缺陷检测
模型对目标区域中的目标器件进行缺陷检测,获取二级缺陷检测结果;根据二级缺陷检测
结果中存在缺陷的目标器件在目标区域的位置,将该位置变换为相对于在输电线巡检图像
的位置;并与一级缺陷检测结果中存在缺陷的其他待检测器件在输电线巡检图像的位置进
行结合后输出,完成对输电线的缺陷检测。本方法首先检测巡检图像中包含目标器件(例如
小尺寸器件)的目标区域(例如小尺寸器件的上下文目标——连接处)和除目标器件外的其
他待检测器件;由于目标区域中的器件尺寸与其他待检测器件尺寸在输电线巡检图像中的
尺寸相仿,相当于间接地检测了目标器件;解决了因器件尺寸差异大而不利于检测器检测
的问题。同时再在目标区域的基础上检测目标器件,解决了只需在重点区域检测目标器件
(即小尺寸器件)的问题。然后将存在缺陷的目标器件在目标区域的位置变换到在输电线巡
检图像中,同时结合输电线巡检图像中存在缺陷的其他待检测器件的位置一起输出,完成
对输电线的缺陷检测。如果目标器件是输电线中的小尺寸器件(例如螺母、销钉等),本发明
还可以提高输电线小尺寸缺陷器件的检测精度与召回率。而且本方法选择了关键器件连接
处作为小尺寸器件的上下文目标,在可能的其他解决方案或应用场景下,任何包含了小尺
寸器件的实体在原始巡检图像上的相应区域均可以作为小尺寸器件的上下文目标。同时,
本方法使用的关键器件连接处是目前较为常用的小尺寸器件上下文目标,切合实际需求且
有相对固定的统计学分布,更有利于最终的检测效果。
陷检测,获取一级缺陷检测结果;
在缺陷的其他待检测器件在输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷
检测。
的器件尺寸与其他待检测器件尺寸在输电线巡检图像中的尺寸相仿,相当于间接地检测了
目标器件;解决了因器件尺寸差异大而不利于检测器检测的问题。同时再在目标区域的基
础上检测目标器件,解决了只需在重点区域检测目标器件(即小尺寸器件)的问题。然后将
存在缺陷的目标器件在目标区域的位置变换到在输电线巡检图像中,同时结合输电线巡检
图像中存在缺陷的其他待检测器件的位置一起输出,完成对输电线的缺陷检测。如果目标
器件是输电线中的小尺寸器件(例如螺母、销钉等),本系统中的目标区域实质上是输电线
巡检图像中包含有目标器件的图像区域。
巡检图像进行尺寸变换、对输电线巡检图像进行通道变换;对目标区域进行的预处理包括
对目标区域进行尺寸变换、对目标区域进行通道变换。本实施例根据后续缺陷检测使用检
测模型的需要,对待检测的输电线巡检图像和目标区域进行尺寸变换、通道数变换、归一化
等,以便后续缺陷检测模型的正常推理。
存在缺陷的器件在输电线巡检图像的位置。具体地,若目标器件为小尺寸器件,例如螺母、
销钉等;目标区域为小尺寸器件的上下文目标,例如器件的连接处。则对于一级缺陷检测模
型而言,通过使用目标检测算法,检测输电线巡检图像中的包含有小尺寸器件的连接处,以
及对除小尺寸器件外的所有待检测器件进行缺陷检测,得到连接处和除小尺寸缺陷器件外
的其他待测器件中存在缺陷的器件的缺陷类别、其他待测器件中存在缺陷的器件在输电线
巡检图像中的位置。作为示例,目标检测算法包括但不限于使用YOLO(v1~v5),Faster‑
RCNN等算法。
件,例如螺母、销钉等;目标区域为小尺寸器件的上下文目标,例如器件的连接处。则对于二
级缺陷检测模型而言,获取一级缺陷检测结果中包含有小尺寸器件的连接处,使用目标检
测算法,检测所有连接处中的小尺寸器件,得到所有小尺寸器件的缺陷类别和存在缺陷的
小尺寸器件相对于相应连接处区域的位置。作为示例,目标检测算法包括但不限于使用
YOLO(v1~v5),Faster‑RCNN等算法。
线巡检图像的位置;并与一级缺陷检测结果中存在缺陷的其他待检测器件在输电线巡检图
像的位置进行结合,在结合完成后输出结合结果,从而完成对输电线的缺陷检测。
目标器件外的其他待检测器件进行缺陷检测,获取一级缺陷检测结果;使用二级缺陷检测
模型对目标区域中的目标器件进行缺陷检测,获取二级缺陷检测结果;根据二级缺陷检测
结果中存在缺陷的目标器件在目标区域的位置,将该位置变换为相对于在输电线巡检图像
的位置;并与一级缺陷检测结果中存在缺陷的其他待检测器件在输电线巡检图像的位置进
行结合后输出,完成对输电线的缺陷检测。本系统首先检测巡检图像中包含目标器件(例如
小尺寸器件)的目标区域(例如小尺寸器件的上下文目标——连接处)和除目标器件外的其
他待检测器件;由于目标区域中的器件尺寸与其他待检测器件尺寸在输电线巡检图像中的
尺寸相仿,相当于间接地检测了目标器件;解决了因器件尺寸差异大而不利于检测器检测
的问题。同时再在目标区域的基础上检测目标器件,解决了只需在重点区域检测目标器件
(即小尺寸器件)的问题。然后将存在缺陷的目标器件在目标区域的位置变换到在输电线巡
检图像中,同时结合输电线巡检图像中存在缺陷的其他待检测器件的位置一起输出,完成
对输电线的缺陷检测。如果目标器件是输电线中的小尺寸器件(例如螺母、销钉等),本发明
还可以提高输电线小尺寸缺陷器件的检测精度与召回率。而且本系统选择了关键器件连接
处作为小尺寸器件的上下文目标,在可能的其他解决方案或应用场景下,任何包含了小尺
寸器件的实体在原始巡检图像上的相应区域均可以作为小尺寸器件的上下文目标。同时,
本系统使用的关键器件连接处是目前较为常用的小尺寸器件上下文目标,切合实际需求且
有相对固定的统计学分布,更有利于最终的检测效果。
级缺陷检测结果;
他待检测器件在所述输电线巡检图像的位置进行结合后输出,完成对输电线的缺陷检测。
执行图1所述的方法。在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设
备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音
层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压
缩标准语音层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携
计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于
具体的设备不加以限制。
施例的图1中数据处理方法所包含步骤的指令(instructions)。
信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速
RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中
可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或
其他电子元件实现,该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设
备1102。
面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于
设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用
户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用
户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选
的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入
引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
1201以及第二存储器1202。
等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能
还包括非易失性存储器(non‑volatile memory),例如至少一个磁盘存储器。
组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件
1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触
摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑
动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。
在一些实施例中,音频组件1206还包括一个扬声器,用于输出语音信号。
终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有
任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施
例中,该传感器组件1208还可以包括摄像头等。
中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登
录GPRS网络,通过互联网与服务器建立通信。
此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完
成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。