一种断路器试验图像增强方法、装置、设备及存储介质

摘要

本申请公开了一种断路器试验图像增强方法、装置、设备及存储介质，方法包括：对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片，预置背景切片包括随机尺寸和随机位置；以粘贴的方式根据预置背景切片对训练图像集进行图像增强操作，得到增强图像集。本申请能够解决现有技术忽略了样本背景特征的增强，使得目标检测模型的背景训练样本不足，继而导致检测准确率较低的技术问题。

权利要求

1.一种断路器试验图像增强方法，其特征在于，包括：对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，所述标签信息包括标注框、框尺寸和框位置；

基于所述框尺寸和所述框位置在所述标注框的上面、下面、左面和右面分别获取预置背景切片，所述预置背景切片包括随机尺寸和随机位置；

以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集；

所述以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集，包括：将所述训练图像集中的训练图像进行排序；

根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集；

或

将所述训练图像集中的训练图像进行排序；

根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

将所述拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

2.根据权利要求1所述的断路器试验图像增强方法，其特征在于，所述以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集，之后还包括：采用增强图像集与所述训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

3.一种断路器试验图像增强装置，其特征在于，包括：标注模块，用于对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，所述标签信息包括标注框、框尺寸和框位置；

切片模块，用于基于所述框尺寸和所述框位置在所述标注框的上面、下面、左面和右面分别获取预置背景切片，所述预置背景切片包括随机尺寸和随机位置；

增强模块，用于以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集；

所述增强模块，具体用于：

将所述训练图像集中的训练图像进行排序；

根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集；

或

将所述训练图像集中的训练图像进行排序；

根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

将所述拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

4.根据权利要求3所述的断路器试验图像增强装置，其特征在于，还包括：优化训练模块，用于采用增强图像集与所述训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

5.一种断路器试验图像增强设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1‑2任一项所述的断路器试验图像增强方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1‑2任一项所述的断路器试验图像增强方法。

说明书

一种断路器试验图像增强方法、装置、设备及存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种断路器试验图像增强方法、装置、设备及存储介质。

背景技术

[0002] 断路器触头识别和定位的目标检测算法的泛化能力和准确率直接影响断路器试验机器人接线的准确可靠性，是断路器试验机器人实用化的关键技术之一。而实际上，往往会因训练样本不足导致目标检测算法准确率不高。针对各种训练样本不足的问题，通常采用相应的数据增强方法对原图像训练样本进行扩充，如通过亮度和饱和度数据增强方法扩充不同亮度和饱和度条件下的图像训练样本，通过添加高斯噪声数据增强方法扩充误差正态分布的图像训练样本，通过mixup、cutout、cutmix和mosaic等数据增强方法扩充图像前景训练样本等。上述数据增强方法均可使得目标特征不变但图像特征更加多样化，进而增加了图像训练样本数量，使得所训练的目标检测模型具有更强的泛化能力和准确率。

[0003] 但是，在断路器机器人试验环境下，断路器试验图像训练样本是在特定试验场所（背景）拍摄获取的，所摄取图像中的前景目标（断路器触头）纹理特征较多，而断路器试验图像背景特征往往不足，因而所训练的目标检测模型在断路器试验场所变化或试验过程中的人员走动等背景扰动下，因图像背景训练样本不足，其准确率将会降低；没有足够背景特征的图像训练样本，就难以满足目标检测模型泛化能力和准确率对训练图像样本的要求。

发明内容

[0004] 本申请提供了一种断路器试验图像增强方法、装置、设备及存储介质，用于解决现有技术忽略了样本背景特征的增强，使得目标检测模型的背景训练样本不足，继而导致检测准确率较低的技术问题。

[0005] 有鉴于此，本申请第一方面提供了一种断路器试验图像增强方法，包括：

[0006] 对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，所述标签信息包括标注框、框尺寸和框位置；

[0007] 基于所述框尺寸和所述框位置在所述标注框的上面、下面、左面和右面分别获取预置背景切片，所述预置背景切片包括随机尺寸和随机位置；

[0008] 以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集。

[0009] 优选地，所述以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集，包括：

[0010] 将所述训练图像集中的训练图像进行排序；

[0011] 根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集。

[0012] 优选地，所述以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集，包括：

[0013] 将所述训练图像集中的训练图像进行排序；

[0014] 根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

[0015] 将所述拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

[0016] 优选地，所述以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集，之后还包括：

[0017] 采用增强图像集与所述训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

[0018] 本申请第二方面提供了一种断路器试验图像增强装置，包括：

[0019] 标注模块，用于对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，所述标签信息包括标注框、框尺寸和框位置；

[0020] 切片模块，用于基于所述框尺寸和所述框位置在所述标注框的上面、下面、左面和右面分别获取预置背景切片，所述预置背景切片包括随机尺寸和随机位置；

[0021] 增强模块，用于以粘贴的方式根据所述预置背景切片对所述训练图像集进行图像增强操作，得到增强图像集。

[0022] 优选地，所述增强模块，具体用于：

[0023] 将所述训练图像集中的训练图像进行排序；

[0024] 根据排序的顺序将当前训练图像对应的所述预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集。

[0025] 优选地，所述增强模块，具体用于：

[0026] 将所述训练图像集中的训练图像进行排序；

[0027] 根据排序的顺序将前预置数量的所述训练图像对应的所述预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

[0028] 将所述拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

[0029] 优选地，还包括：

[0030] 优化训练模块，用于采用增强图像集与所述训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

[0031] 本申请第三方面提供了一种断路器试验图像增强设备，所述设备包括处理器以及存储器；

[0032] 所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

[0033] 所述处理器用于根据所述程序代码中的指令执行第一方面所述的断路器试验图像增强方法。

[0034] 本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的断路器试验图像增强方法。

[0035] 从以上技术方案可以看出，本申请实施例具有以下优点：

[0036] 本申请中，提供了一种断路器试验图像增强方法，包括：对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片，预置背景切片包括随机尺寸和随机位置；以粘贴的方式根据预置背景切片对训练图像集进行图像增强操作，得到增强图像集。

[0037] 本申请提供的断路器试验图像增强方法，在初始训练图像集的基础上，对每个训练图像的背景进行切片处理，然后基于预置背景切片进行基于背景随机粘贴的图像增强操作，即同样的检测目标可以粘贴不同的背景，从而扩大训练图像集的规模，进而提升训练模型的泛化能力，使得训练后的检测模型更能适应断路器试验背景的变化，鲁棒性也更强。因此，本申请能够解决现有技术忽略了样本背景特征的增强，使得目标检测模型的背景训练样本不足，继而导致检测准确率较低的技术问题。

附图说明

[0038] 图1为本申请实施例提供的一种断路器试验图像增强方法的流程示意图；

[0039] 图2为本申请实施例提供的一种断路器试验图像增强装置的结构示意图；

[0040] 图3为本申请实施例提供的预置背景切片抽取流程示意图一；

[0041] 图4为本申请实施例提供的预置背景切片抽取流程示意图二；

[0042] 图5为本申请实施例提供的不同数据增强算法下的视频流帧图像测试样本方差对比曲线图；

[0043] 图6为本申请应用例提供的增强图像的不同背景图像测试样本示例图。

具体实施方式

[0044] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0045] 为了便于理解，请参阅图1，本申请提供的一种断路器试验图像增强方法的实施例，包括：

[0046] 步骤101、对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置。

[0047] 训练图像集是根据摄像头提前获取得到的，可以进行基本的剪切和常规预处理操作，达到去冗余以及去噪声的目的，再进行标注操作。本实施例中的检测目标是指断路器触头，将断路器触头用标注框标出，并给出标注框的尺寸和位置信息；此外，在模型训练过程中，标签信息还包括置信度。基于标注后的训练图像集训练目标检测模型，可以对模型的训练进行把控调整，从而提升模型的检测性能。

[0048] 步骤102、基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片，预置背景切片包括随机尺寸和随机位置。

[0049] 请参阅图3，标注框object的上面（top）、下面（bottom）、左面（left）和右面（right）均可以获取一个预置背景切片，可以分别表示为 、 、 、 ；而标注框采用其左上角坐标 和右下角坐标 进行位置描述。

[0050] 四个预置背景切片 、 、 、 的尺寸和位置是随机的，但是不能包含任何前景特征，即不可将标注框内的区域纳入预置背景切片中；量化描述就是 的底部边界高于 、 的上部边界低于 、 的右侧边界小于 、 的左侧边界大于 。按照描述的区域范围进行随机切片，将获取的四个切片抽出，即如图3左侧所示。

[0051] 步骤103、以粘贴的方式根据预置背景切片对训练图像集进行图像增强操作，得到增强图像集。

[0052] 进一步地，步骤103，包括：

[0053] 将训练图像集中的训练图像进行排序；

[0054] 根据排序的顺序将当前训练图像对应的预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集。

[0055] 请参阅图3，将一张训练图像中抽取出的预置背景切片，按照另一张训练图像抽取切片后的空缺大小进行尺寸调整后就可以粘贴在其对应的背景区域，形成新的背景图像，从而实现训练图像的增强操作。如果此处的两张训练图像是先后顺序，则是将当前训练图像的预置背景切片粘贴给下一张训练图像，以此方式完成所有训练图像的背景粘贴，最后一张训练图像的预置背景切片可以粘贴给第一张训练图像，实现闭环操作。

[0056] 本实施例仅给出一个背景粘贴示例方案，也可以根据实际情况设计其他的背景粘贴方案，例如跳跃粘贴，即当前训练图像的预置背景切片调整尺寸后粘贴在后面第二张、第三张或者第n张训练图像的背景区域，实现图像增强；具体的操作流程与上述方案相似，在此不再赘述。

[0057] 进一步地，步骤103，包括：

[0058] 将训练图像集中的训练图像进行排序；

[0059] 根据排序的顺序将前预置数量的训练图像对应的预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

[0060] 将拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

[0061] 训练图像集中的训练图像排序后，请参阅图4，假设前预置数量的训练图像为3，当前训练图像为第4张图像，前面三张训练图像分别抽取各自对应的预置背景切片，然后将对应方位的切片拼接，即三张训练图像的上面（top）的切片 、 、 进行拼接，得到上面的拼接背景切片；三张训练图像的下面（bottom）的切片 、 、 进行拼接，得到下面的拼接背景切片；三张训练图像的左面（left）的切片 、 、 进行拼接，得到左面的拼接背景切片；三张训练图像的右面（right）的切片 、 、 进行拼接，得到右面的拼接背景切片。

[0062] 四个方位的拼接背景切片按照第4张训练图像抽取切片后的背景缺口区域大小进行基本的尺寸调整，就可以粘贴切片形成新的背景区域，得到一种新的训练图像；而前面3张训练图像则还是可以采用上述依次粘贴背景的方式进行图像增强，在整体上形成一种综合增强方案。基于以上的背景粘贴方式也可以实现图像的增强，得到增强图像集。可以理解的是，以上仅为基于背景粘贴的图像增强示例，并不唯一限定。

[0063] 可以理解的是，前预置数量的训练图像是相对当前训练图像而言，前预置数量可以根据实际需要设置，即可以是4、5，或者n，在此不作限定。

[0064] 进一步地，步骤103，之后还包括：

[0065] 采用增强图像集与训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

[0066] 基于上述第二种综合增强方案可知，每次4张训练图像经过增强处理后，可以额外获得三张增强图像，若训练图像样本为504张，在训练模型之前，则可以通过以上方法进行图像增强，若是采用上述方法增强迭代300次，则相当于用113400张背景差异较大的图像样本对对预置断路器目标检测模型进行训练，与原始训练图像集的训练相比，模型将具有更强的泛化能力，其准确率受到人员走动或者背景扰动的影响更小，所以得到的优化断路器目标检测模型会更加准确可靠。

[0067] 为了验证本实施例方案的可靠性，利用背景数据增强方法和典型数据增强方法（mosaic、cutmix、mixup和cutout）对原始图像样本进扩充，之后分别基于扩充后的图像训练样本对模型进行训练，得到对应的目标检测模型。利用各目标检测模型对测试图像样本进行预测并计算准确率，仿真计算结果见表1。

[0068] 表1 基于不同数据增强算法的检测模型准确率对比结果

[0069]

[0070] 由表1可知，采用背景数据增强方法训练的断路器触头目标检测模型的综合准确率mAP为99.9%，预测框位置和尺寸的准确率均为99.89%，不论哪一个指标均优于mosaic、cutmix、mixup和cutout等典型数据增强方法训练的断路器触头检测模型的准确率。

[0071] 截取视频流连续100帧图像，用不同数据增强方法的训练目标检测模型进行检测，得到的样本方差的统计如图5所示，其中bg_mix即为本实施例中的背景数据增强方法。由图5可见，采用背景数据增强方法训练的断路器触头目标检测模型的测试样本方差约为0.23，且仅用10帧图像的预测框位置和尺寸的均值就可基本消除视频流帧图像波动对模型检测结果的影响，具有较高的稳定性，优于其它方法扩充得到的图像样本训练的断路器触头目标检测模型。

[0072] 为了便于理解，本申请还提供了一个应用例，请参阅图6，以图6中的（a）所示的某试验场所背景拍摄获取的训练图像为例，采用本申请实施例的背景数据增强方法对训练图像背景样本进行扩充；其中，图6中的（b）为试验场所改变的背景扰动，图6中的（c）为人员走动的背景扰动，图6中的（d）为外来物引起的背景扰动。以上述得到的增强图像对目标检测模型进行训练，优化断路器目标检测模型。根据测试过程中机器人接线出现的碰撞逼停和准确可靠接线次数计算机器人接线的准确率，具体请参阅表2。

[0073] 表2 断路器试验机器人接线准确率测试结果

[0074]

[0075] 由表2给出的断路器试验机器人接线准确率测试结果可知，采用背景数据增强方法训练的优化断路器目标检测模型的准确率为98.8%，优于未进行背景扩充的模型。测试结果表明，在试验场所改变、人员走动等背景扰动影响时，断路器试验机器人仍能准确可靠接线，也表明采用背景数据增强方法训练的目标检测模型具有很强的泛化能力和很高的准确率。

[0076] 本申请实施例提供的断路器试验图像增强方法，在初始训练图像集的基础上，对每个训练图像的背景进行切片处理，然后基于预置背景切片进行基于背景随机粘贴的图像增强操作，即同样的检测目标可以粘贴不同的背景，从而扩大训练图像集的规模，进而提升训练模型的泛化能力，使得训练后的检测模型更能适应断路器试验背景的变化，鲁棒性也更强。因此，本申请实施例能够解决现有技术忽略了样本背景特征的增强，使得目标检测模型的背景训练样本不足，继而导致检测准确率较低的技术问题。

[0077] 为了便于理解，请参阅图2，本申请提供了一种断路器试验图像增强装置的实施例，包括：

[0078] 标注模块201，用于对获取的断路器试验机器人接线的训练图像集中的检测目标进行标注处理，得到标签信息，标签信息包括标注框、框尺寸和框位置；

[0079] 切片模块202，用于基于框尺寸和框位置在标注框的上面、下面、左面和右面分别获取预置背景切片，预置背景切片包括随机尺寸和随机位置；

[0080] 增强模块203，用于以粘贴的方式根据预置背景切片对训练图像集进行图像增强操作，得到增强图像集。

[0081] 进一步地，增强模块203，具体用于：

[0082] 将训练图像集中的训练图像进行排序；

[0083] 根据排序的顺序将当前训练图像对应的预置背景切片调整尺寸后粘贴在下一张训练图像对应的背景区域，得到增强图像集。

[0084] 进一步地，增强模块203，具体用于：

[0085] 将训练图像集中的训练图像进行排序；

[0086] 根据排序的顺序将前预置数量的训练图像对应的预置背景切片分别进行上面、下面、左面和右面的背景拼接操作，得到拼接背景切片；

[0087] 将拼接背景切片粘贴至当前训练图像的背景区域，得到增强图像集。

[0088] 进一步地，还包括：

[0089] 优化训练模块204，用于采用增强图像集与训练图像集对预置断路器目标检测模型进行训练，得到优化断路器目标检测模型。

[0090] 本申请还提供了一种断路器试验图像增强设备，设备包括处理器以及存储器；

[0091] 存储器用于存储程序代码，并将程序代码传输给处理器；

[0092] 处理器用于根据程序代码中的指令执行上述方法实施例中的断路器试验图像增强方法。

[0093] 本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的断路器试验图像增强方法。

[0094] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0095] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0096] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0097] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read‑Only Memory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

[0098] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。