本发明公开一种目标检测图像的自动标注方法，包括以下步骤：获取待标注原始数据集，区分已标注数据集B和待标注数据集，将已标注数据集中的数据分别训练集和测试集；对训练集中的每个数据进行数据增强，利用增强训练集训练目标检测模型，将测试集Te中的图片输入目标检测模型，计算在测试集上的检测平均精度均值，将待标注数据集中的图片输入目标检测模型得到自动预标注结果，并将对其筛选所得正样本集合加入增强训练集。本发明将自学习及在线更新模型相结合，利用模型在测试集的检测平均精度均值作为预标注数据质量评估反馈指标，替代人工评分机制，大大减少人工参与，提高图像自动标注的自动化水平。
1.一种目标检测图像的自动标注方法，其特征在于：包括以下步骤：步骤S1、获取待标注的目标检测图像生成对应原始数据集，确定原始数据集中的待检测物体的类别和最小正外接矩形锚框；
步骤S2、根据上述物体类别和最小正外接矩形锚框，对步骤S1所得原始数据集中a%的数据进行人工标注形成已标注数据集B，剩余数据则形成待标注数据集W，将已标注数据集B中的数据分为训练集Tr和测试集Te；
步骤S3、对训练集Tr中的每个数据进行数据增强，得到增强训练集Tr_a；增强训练集Tr_a中的每个标注也随之增强；
步骤S4、利用增强训练集Tr_a训练YOLOv4目标检测模型，训练过程中当训练总体损失total_loss趋于稳定时则结束训练，将该训练完成的目标检测模型记为Model_base；
total_loss=回归框loss+分类loss+置信度loss；
其中：IoU为真实框与预测框的交并比；d为真实框与预测框两个中心点的欧式距离；L为同时包含预测框和真实框的最小闭包区域的对角线距离； 为真实框的宽； 为真实框的高；为预测框的宽；为预测框的高；
其中：K为特征层网格的尺寸； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 ，否则为0； 表示第i个网格的第j个锚框为c类物体的概率真实值；
其中：K为特征层网格的尺寸；M为物体类别数； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 ，否则为0； 表示第i个网格的第j个锚框是否负责这个object，如果不负责，则 =1，若负责，则 ； 表示参数置信度真实值，如果第i个网格的第j个锚框负责预测某个object，则 ，否则 ； 表示参数置信度预测值；
步骤S5、将测试集Te中的图片输入目标检测模型Model_base，计算Model_base在测试集Te上的检测平均精度均值mAP，作为基准平均精度均值，记为mAP_base；IoU阈值取0.5计算mAP的值；
其中： 为Precision‑Recall平滑曲线；为IoU的阈值为0.5时的c类物体召回率；c为待检测目标物体中的某类； 为c类物体的平均检测精度； 为全部待检测目标物体类别数量；
步骤S6、将待标注数据集W中的图片输入目标检测模型Model_base，得到自动预标注结果；
步骤S7、对步骤S6所得自动预标注结果进行筛选，筛选过程如下：步骤S7.1、对于步骤S6目标检测模型Model_base中置信度高于b的预标注和图片，均纳入预标注集Y中，预标注集Y中最小单位为（标注，图片），对于置信度低于或等于b的预标注则删除，对于置信度低于或等于b的图片则仍放入待标注数据集W；
步骤S7.2、从预标注集Y中选取某个预标注Yi，对Yi中的图片和标注执行步骤S3中的数据增强处理；
步骤S7.3、将Yi经过数据增强后生成的2048个标注Yi_a加入训练集，执行步骤S4得到模型Model_Yi；
步骤S7.4、将测试集Te的图片输入Model_Yi，计算Model_Yi在测试集上的检测平均精度均值mAP_Yi；
步骤S7.5、判断mAP_Yi是否不小于mAP_base，若成立，则将Yi_a加入正样本集合Y_P，并将Yi从Y中移除；若不成立，则直接将Yi从Y中移除，回归待标注数据集W；
步骤S7.6、判断集合Y是否为空，若为空，则返回正样本集合Y_P；若不为空，则重复步骤S7.2至步骤S7.5；
步骤S8、将正样本集合Y_P加入增强训练集Tr_a；
步骤S9、使用步骤S8所得最新的增强训练集Tr_a中的数据在步骤S4中Model_base基础上训练模型，并更新Model_base；
步骤S10、判断待标注数据集W是否为空：若为空，则返回已标注数据集B=Tr_a+Te和最终的模型Model_base，并结束整个标注过程；
2.根据权利要求1所述的目标检测图像的自动标注方法，其特征在于：所述步骤S2中对原始数据集中a%进行人工标注时，须包含步骤S1中所有待检测物体类别，且各类标签数量相近；训练集Tr和测试集Te中的数据数量为1：1。
3.根据权利要求1所述的目标检测图像的自动标注方法，其特征在于：所述步骤S3中的数据增强处理方法共N种，经过数据增强处理后训练集Tr中1个标注将增强为 ，也就是训练集Tr_a数据量增强为Tr的 倍。
4.根据权利要求3所述的目标检测图像的自动标注方法，其特征在于：所述步骤S3中的数据增强处理方法共11种，为随机改变亮度、随机改变对比度、随机改变色度、随机改变饱和度、随机改变颜色通道、随机水平翻转、随机裁剪、随机缩放、随机拉伸、随机旋转和随机高斯模糊；根据排列组合原理，经过数据增强后训练集Tr中1个标注将增强为，即训练集Tr_a数据量增强为
一种目标检测图像的自动标注方法
技术领域
[0001] 本发明属于图像检测技术，具体涉及一种目标检测图像的自动标注方法。
背景技术
[0002] 图像的自动标注是利用人工智能或模式识别等计算机方法对数字图像的低层视觉特征进行分析，从而对图像打上特定语义标签的一个过程。传统图像标注方法通过手工
标注，尤其是目标检测问题的标注工作量巨大，标注效率低，所以目标检测图像自动标注是
目前亟需解决的问题。
[0003] 现有技术，已有类似自动标注方法，但是这些自动标注方法在实施过程中人需要专业人员进行对大量中间结果进行人工评分、奖励等操作，有的需要全程人工参与标注，甚
至对最终的自动标注结果进行人工复核，并没有真正实现图像标注的自动化。简言之，现有
的图像自动标注方法其过程仍然充满人员的主观判断性以及不确定性，最终的结果仍不够
精确。
发明内容
[0004] 发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种目标检测图像的自动标注方法。
[0005] 技术方案：本发明的一种目标检测图像的自动标注方法，包括以下步骤：
[0006] 步骤S1、获取待标注的目标检测图像生成对应原始数据集，确定原始数据集中的待检测物体的类别和最小正外接矩形锚框；
[0007] 步骤S2、根据上述物体类别和最小正外接矩形锚框，对步骤S1所得原始数据集中a％的数据进行人工标注形成已标注数据集B，剩余数据则形成待标注数据集W，将已标注数
据集B中的数据分为训练集Tr和测试集Te；
[0008] 步骤S3、对训练集Tr中的每个数据进行数据增强，得到增强训练集Tr_a；增强训练集Tr_a中的每个标注也随之增强；
[0009] 步骤S4、利用增强训练集Tr_a训练YOLOv4目标检测模型，训练过程中当训练总体损失total_loss趋于稳定时则结束训练，将该训练完成的目标检测模型记为Model_base；
total_loss＝回归框loss+分类loss+置信度loss；
[0010] 回归框
[0011]
[0012]
[0013] 其中：IoU为真实框与预测框的交并比；d为真实框与预测框两个中心点的欧式距gt gt
离；L为同时包含预测框和真实框的最小闭包区域的对角线距离；w 为真实框的宽；h 为真
实框的高；w为预测框的宽；h为预测框的高；
[0014] 分类
[0015] 其中：K为特征层网格的尺寸； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 否则为0； 表示第i个网格的第j个锚框为c类物体的概
率真实值； 表示第i个网格的第j个锚框为c物体的概率预测值；
[0016] 置信度
[0017] 其中：K为特征层网格的尺寸；M为物体类别数； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 否则为0； 表示第i个网格的第j个锚框是
否负责这个object，如果不负责，则 若负责，则 表示参数置信度真
实值，如果第i个网格的第j个锚框负责预测某个object，则 否则 表示参
数置信度预测值；
[0018] 步骤S5、
[0019] 将测试集Te中的图片输入目标检测模型Model_base，计算Model_base在测试集Te上的检测平均精度均值mAP，作为基准平均精度均值，记为mAP_base；IoU阈值取0.5计算mAP
的值；
[0020]
[0021]
[0022] 其中： 为Precision‑Recall平滑曲线；rc为IoU的阈值为0.5时的c类物体召回率；c为待检测目标物体中的某类；APc为c类物体的平均检测精度；N(classes)为全
部待检测目标物体类别数量；
[0023] 步骤S6、将待标注数据集W中的图片输入目标检测模型Modelbase，得到自动预标注结果；
[0024] 步骤S7、对步骤S6所得自动预标注结果进行筛选，筛选过程如下：
[0025] 步骤S7.1、对于步骤S6目标检测模型Model_base中置信度高于b的预标注和图片，均纳入预标注集Y中，预标注集Y中最小单位为(标注，图片)，对于置信度低于或等于b的预
标注则删除，对于置信度低于或等于b的图片则仍放入待标注数据集W；
[0026] 步骤S7.2、从预标注集Y中选取某个预标注Yi，对Yi中的图片和标注执行步骤3中的数据增强处理；
[0027] 步骤S7.3、将Yi经过数据增强后生成的2048个标注Yi_a加入训练集，执行步骤4得到模型Model_Yi；
[0028] 步骤S7.4、将测试集Te的图片输入Model_Yi，计算Model_Yi在测试集上的检测平均精度均值mAP_Yi；
[0029] 步骤S7.5、判断mAP_Yi是否不小于mAP_base，若成立，则将Yi_a加入正样本集合Y_P，并将Yi从Y中移除；若不成立，则直接将Yi从Y中移除，回归待标注数据集W；
[0030] 步骤S7.6、判断集合Y是否为空，若为空，则返回正样本集合Y_P；若为不为空，则重复步骤S7.2至步骤S7.5；
[0031] 步骤S8、将正样本集合Y_P加入增强训练集Tr_a；
[0032] 步骤S9、使用步骤S8所得最新的增强训练集Tr_a中的数据在步骤S4中Model_base基础上训练模型，并更新Model_base；
[0033] 步骤S10、判断待标注数据集W是否为空：
[0034] 若为空，则返回已标注数据集B＝Tr_a+Te和最终的模型Model_base，并结束整个标注过程；
[0035] 若不为空，则重复步骤S5至步骤S9。
[0036] 进一步地，所述步骤S2中对原始数据集中a％进行人工标注时，须包含步骤S1中所有待检测物体类别，且各类标签数量相近；训练集Tr和测试集Te中的数据数量为1：1。
[0037] 进一步地，所述步骤S3中的数据增强处理方法共N种，经过数据增强处理后训练集Tr中1个标注将增强为 也就是训练集Tr_a数据量增强为Tr的 倍。
[0038] 进一步地，所述步骤S3中的数据增强处理方法共11种，依次为随机改变亮度、随机改变对比度、随机改变色度、随机改变饱和度、随机改变颜色通道、随机水平翻转、随机裁
剪、随机缩放、随机拉伸、随机旋转和随机高斯模糊；根据排列组合原理，经过数据增强后训
练集Tr中1个标注将增强为
即训练集Tr_a数据量增强为
Tr的2048倍，以此能将有限的数据产生等价于更多数据的价值。
[0039] 有益效果：本发明将自学习及在线更新模型相结合，利用模型在测试集的mAP作为预标注数据质量评估反馈指标，替代人工评分机制，大大减少人工参与，提高图像自动标注
的自动化水平，并且实现同步完成数据集自动标注和目标检测模型的训练。
附图说明
[0040] 图1为本发明的整体流程示意图；
[0041] 图2为本发明中预标注筛选的流程图。
具体实施方式
[0042] 下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0043] 如图1和图2所示，本发明的一种目标检测图像的自动标注方法，包括以下步骤：
[0044] 步骤S1、获取待标注的目标检测图像生成对应原始数据集，确定原始数据集中的待检测物体的类别和最小正外接矩形锚框；
[0045] 步骤S2、根据上述物体类别和最小正外接矩形锚框，对步骤S1所得原始数据集中a％的数据进行人工标注形成已标注数据集B，剩余数据则形成待标注数据集W，将已标注数
据集B中的数据分为训练集Tr和测试集Te；
[0046] 步骤S3、对训练集Tr中的每个数据进行数据增强，得到增强训练集Tr_a；增强训练集Tr_a中的每个标注也随之增强；
[0047] 步骤S4、利用增强训练集Tr_a训练目标检测模型，训练过程中当训练总体损失total_loss趋于稳定时则结束训练，将该训练完成的目标检测模型记为Model_base；
total_loss＝回归框loss+分类loss+置信度loss；
[0048] 回归框
[0049]
[0050]
[0051] 其中：IoU为真实框与预测框的交并比；d为真实框与预测框两个中心点的欧式距gt gt
离；L为同时包含预测框和真实框的最小闭包区域的对角线距离；w 为真实框的宽；h 为真
实框的高；w为预测框的宽；h为预测框的高；
[0052] 分类
[0053] 其中：K为特征层网格的尺寸； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 否则为0； 表示第i个网格的第j个锚框为c类物体的概
率真实值； 表示第i个网格的第j个锚框为c物体的概率预测值；
[0054] 置信度
[0055] 其中：K为特征层网格的尺寸；M为物体类别数； 表示第i个网格的第j个锚框是否负责这个object，如果负责那么 否则为0； 表示第i个网格的第j个锚框是
否负责这个object，如果不负责，则 若负责，则 表示参数置信度真
实值，如果第i个网格的第j个锚框负责预测某个object，则 否则 表示参
数置信度预测值；
[0056] 步骤S5、将测试集Te中的图片输入目标检测模型Model_base，计算Model_base在测试集Te上的检测平均精度均值mAP，作为基准平均精度均值，记为mAP_base；IoU阈值取
0.5计算mAP的值；
[0057]
[0058]
[0059] 其中： 为Precision‑Recall平滑曲线；rc为IoU阈值为0.5时的c类物体召回率；c为待检测目标物体中的某类；APc为c类物体的平均检测精度；N(classes)为全部
待检测目标物体类别数量；
[0060] 步骤S6、将待标注数据集W中的图片输入目标检测模型Model_base，得到自动预标注结果；
[0061] 步骤S7、对步骤S6所得自动预标注结果进行筛选，筛选过程如下：
[0062] 步骤S7.1、对于步骤S6目标检测模型Model_base中置信度高于b的预标注和图片，均纳入预标注集Y中，预标注集Y中最小单位为(标注，图片)，对于置信度低于或等于b的预
标注则删除，对于置信度低于或等于b的图片则仍放入待标注数据集W；
[0063] 步骤S7.2、从预标注集Y中选取某个预标注Yi，对Yi中的图片和标注执行步骤3中的数据增强处理；
[0064] 步骤S7.3、将Yi经过数据增强后生成的2048个标注Yi_a加入训练集，执行步骤4得到模型Model_Yi；
[0065] 步骤S7.4、将测试集Te的图片输入Model_Yi，计算Model_Yi在测试集上的检测平均精度均值mAP_Yi；
[0066] 步骤S7.5、判断mAP_Yi是否不小于mAP_base，若成立，则将Yi_a加入正样本集合Y_P，并将Yi从Y中移除；若不成立，则直接将Yi从Y中移除，回归待标注数据集W；
[0067] 步骤S7.6、判断集合Y是否为空，若为空，则返回正样本集合Y_P；若不为空，则重复步骤S7.2至步骤S7.5；
[0068] 步骤S8、将正样本集合Y_P加入增强训练集Tr_a；
[0069] 步骤S9、使用步骤S8所得最新的增强训练集Tr_a中的数据在步骤S4中Model_base基础上训练模型，并更新Model_base；
[0070] 步骤S10、判断待标注数据集W是否为空：
[0071] 若为空，则返回已标注数据集B＝Tr_a+Te和最终的模型Model_base，并结束整个标注过程；
[0072] 若不为空，则重复步骤S5至步骤S9。
[0073] 实施例1：以配电房仪表检测任务为实施例。
[0074] 步骤1、采集配电房可见光图像共10000张，作为原始数据集，配电房中需要检测的目标仪表类型包括电流电压表、压板、指示灯、旋钮、SF6压力表共5种，标注时应采用最小正
外接矩形框标注目标；
[0075] 步骤2、根据上述物体类别和最小正外接矩形锚框，对10000张原始数据集中10％的数据，即1000张图片进行人工标注形成已标注数据集B，需要保证这1000张图片中包含全
部5种目标物体(电流电压表、压板、指示灯、旋钮、SF6压力表)，且每个物体的标注数量相
近，剩余9000张图片则形成待标注数据集W，将已标注数据集B中的数据分别训练集Tr和测
试集Te各500张；
[0076] 本实施例中的a取值10，即对10000张原始数据集中10％的数据，使得最后的自动标注效率极大的提高。
[0077] 步骤3、对训练集Tr中的每个数据进行数据增强，采用随机改变亮度、随机改变对比度、随机改变色度、随机改变饱和度、随机改变颜色通道、随机水平翻转、随机裁剪、随机
缩放、随机拉伸、随机旋转和随机高斯模糊11种数据增强处理方法，根据排列组合原理，经
过数据增强后训练集Tr中1个标注将增强为 得到增强训练集Tr_a；
[0078] 步骤4、利用增强训练集Tr_a训练YOLOv4目标检测模型，训练过程中当训练总体损失total_loss趋于稳定时则结束训练，将该训练完成的目标检测模型记为Model_base；
[0079] 步骤5、将测试集Te中的图片输入目标检测模型Model_base，计算Model_base在测试集Te上的检测平均精度均值mAP，作为基准平均精度均值，记为mAP_base；IoU阈值取0.5
计算mAP的值。
[0080] 步骤6、将待标注数据集W中的图片输入目标检测模型Model_base，得到自动预标注结果；
[0081] 步骤7、对步骤S6所得自动预标注结果进行筛选，筛选过程如下：
[0082] 步骤7.1、对于步骤S6目标检测模型Model_base中置信度高于0.4的预标注和图片，均纳入预标注集Y中，预标注集Y中最小单位为(标注，图片)；
[0083] 步骤7.2、从预标注集Y中选取某个预标注Yi，对Yi中的图片和标注执行步骤3中的数据增强处理；
[0084] 步骤7.3、将Yi经过数据增强后生成的2048个标注Yi_a加入训练集，执行步骤4得到模型Model_Yi；
[0085] 步骤7.4、将测试集Te的图片输入Model_Yi，计算Model_Yi在测试集上的检测平均精度均值mAP_Yi；
[0086] 步骤7.5、判断mAP_Yi是否不小于mAP_base，若成立，则将Yi_a加入正样本集合Y_P，并将Yi从Y中移除；若不成立，则直接将Yi从Y中移除，回归待标注数据集W；
[0087] 步骤7.6、判断集合Y是否为空，若为空，则返回正样本集合Y_P；若为不为空，则重复步骤S7.2至步骤S7.5；
[0088] 步骤8、将正样本集合Y_P加入增强训练集Tr_a；
[0089] 步骤9、使用步骤8所得最新的增强训练集Tr_a中的数据在步骤S4中Model_base基础上训练模型，并更新Model_base；
[0090] 步骤10、判断待标注数据集W是否为空：
[0091] 若为空，则返回已标注数据集B＝Tr_a+Te和最终的模型Model_base，并结束整个标注过程；
[0092] 若不为空，则重复步骤5至步骤9。
