基于YOLOv5网络的目标检测方法、装置和设备终端转让专利

申请号 : CN202210971536.2

文献号 : CN115049851B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈磊周有喜

申请人 : 深圳市爱深盈通信息技术有限公司

摘要 :

本申请公开了目标检测方法、装置、设备终端和可读存储介质,该目标检测方法包括:获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,基于YOLOv5网络,对训练集中的每张训练图片进行目标检测以生成对应的第一预测值;根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成第一目标检测模型;基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值;根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成第二目标检测模型,提高了对应模型的目标检测准确率。

权利要求 :

1.一种基于YOLOv5网络的目标检测方法,其特征在于,包括:获取第一图片输入数据作为训练集,所述训练集包括第一样本集和第二样本集,所述第一样本集的复杂度低于所述第二样本集的复杂度;

基于所述YOLOv5网络,对所述训练集中的每张训练图片进行训练以生成对应的第一预测值;

根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至所述第一预设损失函数收敛以生成对应的第一目标检测模型,所述第一预设损失函数为交叉熵损失函数;

基于所述第一目标检测模型,对所述第二样本集中的每张训练图片进行训练以生成对应的第二预测值;

根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至所述第二预设损失函数收敛以生成对应的第二目标检测模型;

所述第二预设损失函数采用以下公式:

其中,Loss表示所述第二预设损失函数,yi表示对应样本i的标签值,Pi表示对应样本i的预测值, 表示调整因子,所述第二预设损失函数Loss中包含两部分,第一部分‑yilog

1+γ

(Pi)为交叉熵损失函数,第二部分(1‑Pi) 是通过将焦点损失函数进行泰勒展开并取对应

1+γ

泰勒展开式中第一项(1‑Pi) 即可得到。

2.根据权利要求1所述的方法,其特征在于,所述目标检测方法还包括:获取第二图片输入数据作为测试集;

根据所述第二目标检测模型对所述测试集进行测试,输出对应的目标检测结果。

3.根据权利要求1所述的方法,其特征在于,所述YOLOv5网络包括依次连接的输入端、特征提取单元和预测输出单元,所述特征提取单元包括依次连接的backbone单元、Neck单元和注意力单元,所述backbone单元与所述输入端连接,所述Neck单元的输出端与所述注意力单元连接;

所述基于所述YOLOv5网络,对所述训练集中的每张训练图片进行训练以生成对应的第一预测值的步骤包括:基于所述backbone单元对所述训练集中每张训练图片进行切片操作以及卷积操作,以获得初始特征图;

基于所述Neck单元对初始特征图进行二次特征提取,以得到不同尺度的中间特征图;

根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图;

将各个中间特征图以及各个中间特征图各自对应的注意力提取特征图分别进行特征合并,以得到各个目标特征图;

通过所述预测输出单元对各个目标特征图分别进行检测以生成对应的第一预测值。

4.根据权利要求3所述的方法,其特征在于,所述注意力单元包括第一注意力子单元和第二注意力子单元,所述中间特征图的尺度为三种,所述根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图的步骤包括:通过所述第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图;

通过所述第二注意力子单元对第二尺度和第三尺度的中间特征图分别进行特征提取,以得到第二注意力提取特征图和第三注意力提取特征图,所述第一尺度、第二尺度和第三尺度依次减小。

5.根据权利要求3所述的方法,其特征在于,所述注意力单元包括第一注意力子单元、第二注意力子单元和第三注意力子单元,所述中间特征图的尺度为三种,所述根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图的步骤包括:通过所述第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图;

通过所述第二注意力子单元对第二尺度的中间特征图进行特征提取,以得到第二注意力提取特征图;

通过所述第三注意力子单元对第三尺度的中间特征图进行特征提取,以得到第三注意力提取特征图,所述第一尺度、第二尺度和第三尺度依次减小。

6.根据权利要求4或5所述的方法,其特征在于,所述第一注意力子单元为压缩和激励模块,所述第二注意力子单元为卷积块注意力模块。

7.一种基于YOLOv5网络的目标检测装置,其特征在于,包括:训练集建立单元,用于获取第一图片输入数据作为训练集,所述训练集包括第一样本集和第二样本集,所述第一样本集的复杂度低于所述第二样本集的复杂度;

第一预测值生成单元,用于基于所述YOLOv5网络,对所述训练集中的每张训练图片进行训练以生成对应的第一预测值;

第一模型生成单元,用于根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至所述第一预设损失函数收敛以生成对应的第一目标检测模型,所述第一预设损失函数为交叉熵损失函数;

第二预测值生成单元,用于基于所述第一目标检测模型,对所述第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值;

第二模型生成单元,用于根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至所述第二预设损失函数收敛以生成对应的第二目标检测模型,所述第二预设损失函数采用以下公式:其中,Loss表示所述第二预设损失函数,yi表示对应样本i的标签值,Pi表示对应样本i的预测值,表示调整因子,所述第二预设损失函数Loss中包含两部分,第一部分‑yilog

1+γ

(Pi)为交叉熵损失函数,第二部分(1‑Pi) 是通过将焦点损失函数进行泰勒展开并取对应

1+γ

泰勒展开式中第一项(1‑Pi) 即可得到。

8.一种设备终端,其特征在于,所述设备终端包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述设备终端执行权利要求1至6中任一项所述的目标检测方法。

9.一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序在被处理器执行时实施权利要求1至6中任一项所述的目标检测方法。

说明书 :

基于YOLOv5网络的目标检测方法、装置和设备终端

技术领域

[0001] 本申请涉及图像处理领域,具体涉及一种基于YOLOv5网络的目标检测方法、装置、设备终端和可读存储介质。

背景技术

[0002] 随着深度卷积神经网络在计算机视觉领域的深入应用,以YOLO算法为代表的实时目标检测模型在工业领域以及实际应用场景中发挥了很好的检测效果。
[0003] YOLOv5‑Lite模型在前代YOLOv4的基础上进行了改进,有着更快的训练速度,并且YOLOv5‑Lite有着更小的模型尺寸,利于模型的快速部署。
[0004] 其中,训练集中通常包括简单样本和困难样本,在实际应用中,交叉熵损失函数是目前主流的目标检测函数之义,但是该损失函数对于困难样本的训练效果不佳,即存在无法解决训练集中复杂度较高的样本(即通常所说的困难样本)的训练问题的缺点,进而使得训练后生成的检测模型的目标检测准确率总体不高。

发明内容

[0005] 鉴于此,本申请提供一种基于YOLOv5网络的目标检测方法、装置、设备终端和可读存储介质,该目标检测方法能够解决训练集中复杂度较高的样本的训练问题,从整体上提高训练后生成的检测模型的目标检测准确率。
[0006] 该目标检测方法包括:
[0007] 获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度;
[0008] 基于YOLOv5网络,对训练集中的每张训练图片进行目标检测以生成对应的第一预测值;
[0009] 根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型,第一预设损失函数为交叉熵损失函数;
[0010] 基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值;
[0011] 根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型。
[0012] 在一个实施例中,第二预设损失函数采用以下公式:
[0013]
[0014] 其中,Loss表示所述第二预设损失函数,yi表示对应样本i的标签值,Pi表示对应样本i的预测值, 表示调整因子。
[0015] 在一个实施例中,目标检测方法还包括:
[0016] 获取第二图片输入数据作为测试集;
[0017] 根据第二目标检测模型对测试集进行测试,输出对应的目标检测结果。
[0018] 在一个实施例中,YOLOv5网络包括依次连接的输入端、特征提取单元和预测输出单元,特征提取单元包括依次连接的backbone单元、Neck单元和注意力单元,backbone单元与输入端连接,Neck单元的输出端与注意力单元连接;
[0019] 基于YOLOv5网络,对训练集中的每张训练图片进行训练以生成对应的第一预测值的步骤包括:
[0020] 基于backbone单元对训练集中每张训练图片进行切片操作以及卷积操作,以获得初始特征图;
[0021] 基于Neck单元对初始特征图进行二次特征提取,以得到不同尺度的中间特征图;
[0022] 根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图;
[0023] 将各个中间特征图以及各个中间特征图各自对应的注意力提取特征图分别进行特征合并,以得到各个目标特征图;
[0024] 通过预测输出单元对各个目标特征图分别进行检测以生成对应的第一预测值。
[0025] 在一个实施例中,注意力单元包括第一注意力子单元和第二注意力子单元,中间特征图的尺度为三种,根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图的步骤包括:
[0026] 通过第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图;
[0027] 通过第二注意力子单元对第二尺度和第三尺度的中间特征图分别进行特征提取,以得到第二注意力提取特征图和第三注意力提取特征图,第一尺度、第二尺度和第三尺度依次减小。
[0028] 在一个实施例中,注意力单元包括第一注意力子单元、第二注意力子单元和第三注意力子单元,中间特征图的尺度为三种,根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图的步骤包括:
[0029] 通过第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图;
[0030] 通过第二注意力子单元对第二尺度的中间特征图进行特征提取,以得到第二注意力提取特征图;
[0031] 通过第三注意力子单元对第三尺度的中间特征图进行特征提取,以得到第三注意力提取特征图,第一尺度、第二尺度和第三尺度依次减小。
[0032] 在一个实施例中,第一注意力子单元为压缩和激励模块,第二注意力子单元为卷积块注意力模块。
[0033] 此外,还提供一种基于YOLOv5网络的目标检测装置,包括:
[0034] 训练集建立单元,用于获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度;
[0035] 第一预测值生成单元,用于基于YOLOv5网络,对训练集中的每张训练图片进行训练以生成对应的第一预测值;
[0036] 第一模型生成单元,用于根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型,第一预设损失函数为交叉熵损失函数;
[0037] 第二预测值生成单元,用于基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值;
[0038] 第二模型生成单元,用于根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型。
[0039] 此外,还提供一种设备终端,设备终端包括处理器和存储器,存储器用于存储计算机程序,处理器运行计算机程序以使设备终端执行上述目标检测方法。
[0040] 此外,还提供一种可读存储介质,可读存储介质存储有计算机程序,计算机程序在被处理器执行时实施上述目标检测方法。
[0041] 上述基于YOLOv5网络的目标检测方法,获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度;基于YOLOv5网络,对训练集中的每张训练图片进行训练以生成对应的第一预测值;根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型;基于第一目标检测模型,对第二样本集中的每张训练图片进行训练以生成对应的第二预测值;根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型,基于YOLOv5网络以及第一预设损失函数对训练集中的每张训练图片进行训练以生成第一目标检测模型,然后在第一目标检测模型的基础上,针对第二样本集中的每张训练图片进行训练,并结合第二预设损失函数生成对应的第二目标检测模型,在不改变第一预设损失函数的训练效果上,通过改进的第二预设损失函数对复杂度较高的第二样本集进行训练直至第二目标检测模型收敛,克服了第一预设损失函对于训练集中复杂度较高的样本(即通常所说的困难样本)的训练效果不佳的缺点,从整体上提高了对应模型的目标检测准确率。

附图说明

[0042] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0043] 图1是本申请实施例提供的一种基于YOLOv5网络的目标检测方法的流程示意图;
[0044] 图2是本申请实施例提供的另一种基于YOLOv5网络的目标检测方法的流程示意图;
[0045] 图3是本申请实施例提供的一种特征提取单元的结构示意图;
[0046] 图4是本申请实施例提供的一种得到第一预测值的方法流程示意图;
[0047] 图5是本申请实施例提供的一种得到各个中间特征图各自对应的注意力提取特征图的方法流程示意图;
[0048] 图6是本申请实施例提供的另一种得到各个中间特征图各自对应的注意力提取特征图的方法流程示意图;
[0049] 图7是本申请实施例提供的一种基于YOLOv5网络的目标检测装置的结构框图。

具体实施方式

[0050] 下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
[0051] 如图1所示,提供一种基于YOLOv5网络的目标检测方法,该目标检测方法包括:
[0052] 步骤S110,获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度。
[0053] 其中,训练集中通常包含复杂度不同的样本,通常包括简单样本集和困难样本集,这里第一样本集可理解为简单样本集,第二样本集可理解为困难样本集,即第一样本集的复杂度低于第二样本集的复杂度。
[0054] 步骤S120,基于YOLOv5网络,对训练集中的每张训练图片进行目标检测以生成对应的第一预测值。
[0055] 步骤S130,根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型,第一预设损失函数为交叉熵损失函数。
[0056] 其中,第一预设损失函数为交叉熵损失函数,交叉熵损失函数通常对于复杂度较低的第一样本集中的样本的训练效果较好,而对于复杂度较高的第二样本集中的样本的训练效果较差,因而需要进行后续步骤。
[0057] 步骤S140,基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值。
[0058] 其中,利用第一预设损失函数训练上述训练集得到第一目标检测模型之后,还需要进一步利用第二预设损失函数对复杂度较高的第二样本集进行目标检测训练,即进入步骤S150。
[0059] 步骤S150,根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型。
[0060] 其中,在步骤S140的基础上,基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值,然后对其中的第一预设损失函数进行改进得到第二预设损失函数,然后根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型。
[0061] 上述基于YOLOv5网络的目标检测方法,通过获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度;基于YOLOv5网络,对训练集中的每张训练图片进行训练以生成对应的第一预测值;根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型;基于第一目标检测模型,对第二样本集中的每张训练图片进行训练以生成对应的第二预测值;根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型,基于YOLOv5网络以及第一预设损失函数对训练集中的每张训练图片进行训练以生成第一目标检测模型,然后在第一目标检测模型的基础上,针对第二样本集中的每张训练图片进行训练,并结合第二预设损失函数生成对应的第二目标检测模型,在不改变第一预设损失函数的训练效果上,通过改进的第二预设损失函数对复杂度较高的第二样本集进行训练直至第二目标检测模型收敛,克服了第一预设损失函对于训练集中复杂度较高的样本(即通常所说的困难样本)的训练效果不佳的缺点,从整体上提高了对应模型的目标检测准确率。
[0062] 在一个实施例中,第二预设损失函数采用以下公式:
[0063]
[0064] 其中,Loss表示第二预设损失函数,yi表示对应样本i的标签值,Pi表示对应样本i的预测值, 表示调整因子。
[0065] 本实施例中,第二预设损失函数Loss中包含了两部分,第一部分‑yilog(Pi)为交叉1+γ
熵损失函数,第二部分(1‑Pi) 是通过对焦点损失函数(focal loss)基于泰勒函数展开而
1+γ
得到,即通过将焦点损失函数进行泰勒展开,取对应泰勒展开式中第一项(1‑Pi) 即可得到,这是因为,泰勒展开式中第一项往往为影响最大,即权重最大的部分,因此,为将焦点损
1+γ
失函数的优点进行利用,则直接取焦点损失函数对应泰勒展开式中第一项(1‑Pi) 即可。
[0066] 显然,通过上述第二易预设损失函数,在综合利用交叉熵损失函数的基础上,进一步将焦点损失函数focal loss引入,进而实现对复杂度较高的第二样本集(即困难样本集)进行训练,克服了第一预设损失函对于训练集中复杂度较高的样本(即通常所说的困难样本)的训练效果不佳的缺点,从整体上提高了对应模型的目标检测准确率。
[0067] 在一个实施例中,如图2所示,目标检测方法还包括:
[0068] 步骤S160,获取第二图片输入数据作为测试集。
[0069] 步骤S170,根据第二目标检测模型对测试集进行测试,输出对应的目标检测结果。
[0070] 在一个实施例中,如图3所示,YOLOv5网络包括依次连接的输入端11、特征提取单元12和预测输出单元13,特征提取单元12包括依次连接的backbone单元、Neck单元和注意力单元12a,backbone单元与输入端11连接,Neck单元的输出端与注意力单元12a连接。
[0071] 其中,预测输出单元通常指YOLOv5网络中的head部分,
[0072] 如图4所示,步骤S120包括:
[0073] S121,基于backbone单元对训练集中每张训练图片进行切片操作以及卷积操作,以获得初始特征图。
[0074] S122,基于Neck单元对初始特征图进行二次特征提取,以得到不同尺度的中间特征图。
[0075] S123,根据各个中间特征图的尺寸,至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图。
[0076] 其中,针对各个中间特征图的尺寸,采用对应合适的注意力子单元分别对各个中间特征图进行特征提取,即可得到各个中间特征图各自对应的注意力提取特征图。
[0077] 在一个实施例中,得到三种不同尺度的中间特征图,此时,根据各个中间特征图的尺寸,可至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图,其中,一个注意力子单元用于对其中一个尺度的中间特征图进行特征提取,另一个注意力子单元用于分别对剩余两种尺度的中间特征图进行特征提取。
[0078] 本实施例中,通过对各个不同尺度的中间特征特征图分别采取相应的注意力子单元进行特征提取,进而使得该目标检测模型在针对图片中各个尺寸的目标进行检测时,能够根据各个中间特征图的尺寸,通过各自对应的注意力子单元分别提取对应的特征信息,即对各种尺寸的目标能够分别针对性的进行特征提取和采集。
[0079] S124,将各个中间特征图以及各个中间特征图各自对应的注意力提取特征图分别进行特征合并,以得到各个目标特征图。
[0080] 其中,这里将各个中间特征图以及各个中间特征图各自对应的注意力提取特征图分别进行特征合并,以得到各个目标特征图,一方面,注意力提取特征图就是在原中间特征图上提取了更多的信息,另一方面,又保留了原中间特征图,进而将两个特征图的信息合并,从而得到更多有用的特征信息,进一步从整体上提高了对各个尺寸的目标的检测准确度。
[0081] S125,通过预测输出单元对各个目标特征图分别进行检测以生成对应的第一预测值。
[0082] 本实施例中,通过至少获取两个注意力子单元分别对各个中间特征图进行特征提取,以得到各个中间特征图各自对应的注意力提取特征图,进而使得该目标检测模型在针对图片中各个尺寸的目标进行检测时,能够根据各个中间特征图的尺寸,通过各自对应的注意力子单元分别提取对应的特征信息,即对各种尺寸的目标能够分别针对性的进行特征提取和采集,同时,将各个中间特征图以及各个中间特征图各自对应的注意力提取特征图分别进行特征合并,以得到各个目标特征图,一方面,注意力提取特征图就是在原中间特征图上提取了更多的信息,另一方面,又保留了原中间特征图,进而将两个特征图的信息合并,从而得到更多有用的特征信息,进一步从整体上提高了模型的目标检测准确率。
[0083] 在一个实施例中,注意力单元包括第一注意力子单元和第二注意力子单元,中间特征图的尺度为三种,如图5所示,步骤S123包括:
[0084] 步骤S123a,通过第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图。
[0085] 步骤S123b,通过第二注意力子单元对第二尺度和第三尺度的中间特征图分别进行特征提取,以得到第二注意力提取特征图和第三注意力提取特征图,第一尺度、第二尺度和第三尺度依次减小。
[0086] 本实施例中,通过第一注意力子单元对尺度最大的中间特征图(即第一尺度的中间特征图)进行特征提取,然后对于尺度较小的第二尺度和第三尺度的中间特征图,则采用第二注意力子单元进行特征提取,这样一来能从尺度较小的中间特征图上提取到更多的特征信息,即能够根据各个中间特征图的尺寸,通过各自对应的注意力子单元分别提取对应的特征信息,从而实现对各种尺寸的目标能够分别针对性的进行特征提取和采集,进一步从整体上提高了模型的目标的检测准确率。
[0087] 在一个实施例中,注意力单元包括第一注意力子单元、第二注意力子单元和第三注意力子单元,中间特征图的尺度为三种,如图6所示,步骤S123包括:
[0088] 步骤S123c,通过第一注意力子单元对第一尺度的中间特征图进行特征提取,以得到对应的第一注意力提取特征图。
[0089] 步骤S123d,通过第二注意力子单元对第二尺度的中间特征图进行特征提取,以得到第二注意力提取特征图。
[0090] 步骤S123e,通过第三注意力子单元对第三尺度的中间特征图进行特征提取,以得到第三注意力提取特征图,第一尺度、第二尺度和第三尺度依次减小。
[0091] 本实施例中,通过第一注意力子单元对尺度最大的中间特征图(即第一尺度的中间特征图)进行特征提取,然后对于尺度较小的第二尺度的中间特征图,则采用第二注意力子单元进行特征提取,对于尺度更小的第三尺度的中间特征图,则采用第三注意力子单元进行特征提取,这样一来,能进一步从尺度较小的中间特征图上提取到更多的特征信息,即能够进一步根据各个中间特征图的尺寸,通过各自对应的注意力子单元分别提取对应的特征信息,从而实现对各种尺寸的目标能够分别针对性的进行特征提取和采集,进一步从整体上提高了模型的目标的检测准确率。
[0092] 在一个实施例中,第一注意力子单元为压缩和激励模块,第二注意力子单元为卷积块注意力模块。
[0093] 在一个实施例中,第一注意力子单元为压缩和激励模块,第二注意力子单元为卷积块注意力模块。
[0094] 其中,压缩和激励模块即为(Squeeze‑and‑Excitation,SE模块),卷积块注意力模块即为(Convolutional Block Attention Module,CBAM模块)。
[0095] 此外,如图7所示,还提供一种基于YOLOv5网络的目标检测装置200,包括:
[0096] 训练集生成单元210,获取第一图片输入数据作为训练集,训练集包括第一样本集和第二样本集,第一样本集的复杂度低于第二样本集的复杂度;
[0097] 第一预测值生成单元220,用于基于YOLOv5网络,对训练集中的每张训练图片进行目标检测以生成对应的第一预测值;
[0098] 第一模型生成单元230,用于根据对应的第一预测值进行第一预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第一预设损失函数收敛以生成对应的第一目标检测模型;
[0099] 第二预测值生成单元240,用于基于第一目标检测模型,对第二样本集中的每张训练图片进行目标检测以生成对应的第二预测值;
[0100] 第二模型生成单元250,用于根据对应的第二预测值进行第二预设损失函数计算,获得优化梯度,进行权重和偏置更新,直至第二预设损失函数收敛以生成对应的第二目标检测模型。
[0101] 此外,还提供一种设备终端,设备终端包括处理器和存储器,存储器用于存储计算机程序,处理器运行计算机程序以使设备终端执行上述目标检测方法,因此可以产生前述目标检测方法所具有的有益效果。
[0102] 此外,还提供一种可读存储介质,可读存储介质存储有计算机程序,计算机程序在被处理器执行时实施上述目标检测方法,因此可以产生前述目标检测方法所具有的有益效果。
[0103] 上述目标检测装置200中各个单元的划分仅用于举例说明,在其他实施例中,可将上述目标检测装置200按照需要划分为不同的单元,以完成上述目标检测装置200的全部或部分功能。关于的上述目标检测装置200具体限定可以参见上文中对于方法的限定,在此不再赘述。
[0104] 即,以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,例如各实施例之间技术特征的相互结合,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
[0105] 另外,对于特性相同或相似的结构元件,本申请可采用相同或者不相同的标号进行标识。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
[0106] 在本申请中,“例如”一词是用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本申请,本申请给出了以上描述。在以上描述中,为了解释的目的而列出了各个细节。
[0107] 应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。