一种安全帽佩戴检测方法、装置及介质转让专利

申请号 : CN202110521925.0

文献号 : CN113313148B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵雪辰朱梦成韩光

申请人 : 南京邮电大学

摘要 :

本发明公开了一种安全帽佩戴检测方法、装置及介质。为解决现有安全帽检测算法普遍存在的检测精度低和鲁棒性差的问题,本算法以SSD算法为基础提出了一种新颖的多尺度感知与特征自适应融合的安全帽佩戴检测方法。该算法对高层特征反卷积并与低层特征进行自适应融合,而非简单的等比例相加或者相乘,从而生成新的且更有效的特征图。此外,该算法还对新的高层特征图引入了多尺度感知模块来提高网络对目标尺度变化的鲁棒性。最后,本算法在输出特征金字塔上还设计了一种有效的锚框分配策略,可根据输出特征图的大小自适应调整每层锚框的尺度分布,这有利于在低层特征图上检测到小目标,实验效果表明该算法在安全帽检测数据集GDUT‑HWD上达到了较高的检测水平。

权利要求 :

1.一种安全帽佩戴检测方法,其特征在于,包括以下步骤:

获取待检测图像;

将待检测图像输入到一个深度卷积神经网络进行特征提取,生成六种不同尺度的特征图并按尺度大小顺序从小至大命名为第一特征图、第二特征图、第三特征图、第四特征图、第五特征图和第六特征图;

将尺度最小的第一特征图进行恒等映射,生成第一融合特征图;

将所述第一融合特征图反卷积到第二特征图相同分辨率大小,并进行特征自适应融合,生成与第二特征图相同大小的第二融合特征图;

将所述第二融合特征图反卷积到第三特征图相同分辨率大小,并进行特征自适应融合,生成与第三特征图相同大小的第三融合特征图;

将所述第三融合特征图反卷积到第四特征图相同分辨率大小,并进行特征自适应融合,生成与第四特征图相同大小的第四融合特征图;

将所述第四融合特征图反卷积到第五特征图相同分辨率大小,并进行特征自适应融合,生成与第五特征图相同大小的第五融合特征图;

将所述第五融合特征图反卷积到第六特征图相同分辨率大小,并进行特征自适应融合,生成与第六特征图相同大小的第六融合特征图;

将第五融合特征图以及第六融合特征图送入多尺度感知模块,以通过多尺度感知模块的特征图以及第四融合特征图,第三融合特征图,第二融合特征图,第一融合特征图作为输出特征图,并在这些特征图上使用新型锚框分配策略,对锚框以不同的尺度间隔分配到不同的特征层上,生成多个锚框,最后通过非极大值抑制得到最终的检测结果;所述最终的 检测结果指具有被边框包围的目标;

所述新型锚框分配策略,具体分配方式如下式:

其中,Smin为最底层锚框尺度,Smax为最高层锚框尺度,m为上面六个输出的待检测特征图数量,k表示特征层的索引;Wmin和Wmax分别代表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检测的第m+1‑k层特征图的尺度; 是得到的锚框尺度分布。

2.根据权利要求1所述的安全帽佩戴检测方法,其特征在于,所述不同尺度的特征图的尺寸大小分别为38×38,19×19,10×10,5×5,3×3,1×1。

3.根据权利要求1所述的安全帽佩戴检测方法,其特征在于,进行特征自适应融合的方法包括:如下式进行自适应融合:

对不同感受野大小的输出特征图Xij进行融合时,可将来自不同分支的特征乘上相对应的权重并相加,最终生成融合特征图Yij,字符右下角的i,j代表特征图上坐标为(i,j);

通过下式,使参数α,β,γ,θ保持在[0,1]的范围内,并且其四个参数和为1;

其中λα,λβ,λγ,λθ是对输入特征图Xij进行1×1卷积降维后生成的单通道特征图,以此实现通过梯度反向传播进行权重学习,字符右下角的i,j代表特征图上坐标为(i,j)。

4.根据权利要求1所述的安全帽佩戴检测方法,其特征在于,所述多尺度感知模块用于对所给定的输入特征图用不同空洞率的空洞卷积进行采样;其内部含有4个分支,每个分支均对应不同大小的感受野范围,感受野范围较大的用于检测大目标,感受野范围较小的用于检测小目标。

5.一种安全帽佩戴检测装置,其特征在于,所述装置包括:

图像获取模块:用于获取待检测图像;

特征提取模块:用于将待检测图像输入到一个深度卷积神经网络进行特征提取,生成六种不同尺度的特征图并按尺度大小从小到大分层排序;

特征融合模块:用于将尺度最小的第一层特征图进行恒等映射,生成融合特征图;反复并将融合特征图反卷积到高一层的特征图相同分辨率大小,并进行特征自适应融合,生成与高一层的特征图相同大小的融合特征图;

结果输出模块:用于将融合特征图融入多尺度感知模块,以通过多尺度感知模块的特征图以及第四融合特征图,第三融合特征图,第二融合特征图,第一融合特征图作为输出特征图,并在这些特征图上使用新型锚框分配策略,对锚框以不同的尺度间隔分配到不同的特征层上,生成多个锚框,最后通过非极大值抑制得到最终的检测结果;所述最终的 检测结果指具有被边框包围的目标;

所述新型锚框分配策略,具体分配方式如下式:

其中,Smin为最底层锚框尺度,Smax为最高层锚框尺度,m为上面六个输出的待检测特征图数量,k表示特征层的索引;Wmin和Wmax分别代表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检测的第m+1‑k层特征图的尺度; 是得到的锚框尺度分布。

6.一种安全帽佩戴检测装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1~4任一项所述方法的步骤。

7.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~4任一项所述方法的步骤。

说明书 :

一种安全帽佩戴检测方法、装置及介质

技术领域

[0001] 本发明涉及一种安全帽佩戴检测方法、装置及介质,属于计算机视觉技术 领域。

背景技术

[0002] 在建筑工地、矿区、电力以及化工等作业区域,高空坠物伤人的事件时有 发生,所以要求任何进入上述相关工作区域的人员必须佩带安全帽以保证人员 的安全。但是从现在看来,这些行业的安全管理仍然存在着很多问题。首先, 从施工人员层面来看,安全教育全面覆盖比较难,并且总存在着心存侥幸、风 险意识不强的施工人员,不按要求佩带安全帽。其次,从监管层面来看,现在 大部分企业与监管部门仍依靠专门人员来对施工人员是否佩戴安全帽进行监察, 或者在项目危险部位树立警示牌等方式来实施监管,存在监管效率低,时效性 差等问题,因此这些传统手段已越来越不能满足现有安全管理需要。
[0003] 是否佩戴安全帽的自动检测是一类目标检测问题,但是目标检测领域存在 一个问题,就是对小目标以及目标尺度变化较大的目标检测效果较差,而安全 帽佩戴的检测在某种程度上属于中小尺度的目标检测,存在一定的难度。

发明内容

[0004] 本发明的目的在于克服现有技术中的不足,提供一种安全帽佩戴检测方法、 装置及介质,提高检测的有效性和感知结果的鲁棒性。
[0005] 为达到上述目的,本发明是采用下述技术方案实现的:
[0006] 第一方面,本发明提供了一种安全帽佩戴检测方法,包括以下步骤:
[0007] 获取待检测图像;
[0008] 将待检测图像输入到一个深度卷积神经网络进行特征提取,生成六种不同 尺度的特征图并按尺度大小顺序从小至大命名为第一特征图、第二特征图、第 三特征图、第四特征图、第五特征图和第六特征图;
[0009] 将尺度最小的第一特征图进行恒等映射,生成第一融合特征图;
[0010] 将所述第一融合特征图反卷积到第二特征图相同分辨率大小,并进行特征 自适应融合,生成与第二特征图相同大小的第二融合特征图;
[0011] 将所述第二融合特征图反卷积到第三特征图相同分辨率大小,并进行特征 自适应融合,生成与第三特征图相同大小的第三融合特征图;
[0012] 将所述第三融合特征图反卷积到第四特征图相同分辨率大小,并进行特征 自适应融合,生成与第四特征图相同大小的第四融合特征图;
[0013] 将所述第四融合特征图反卷积到第五特征图相同分辨率大小,并进行特征 自适应融合,生成与第五特征图相同大小的第五融合特征图;
[0014] 将所述第五融合特征图反卷积到第六特征图相同分辨率大小,并进行特征 自适应融合,生成与第六特征图相同大小的第六融合特征图;
[0015] 将第五融合特征图以及第六融合特征图送入多尺度感知模块,以通过多尺 度感知模块的特征图以及第四融合特征图,第三融合特征图,第二融合特征图, 第一融合特征图作为输出特征图,并在这些特征图上使用新型锚框分配策略, 对锚框以不同的尺度间隔分配到不同的特征层上,生成多个锚框,最后通过非 极大值抑制(Non‑maximum suppression,NMS)得到最终的检测结果。最终检 测结果指具有被方框包围的目标,即在图像中检测到目标,使用方框将其框起 来的图像。
[0016] 进一步的,所述不同尺度的特征图的尺寸大小分别为38×38,19×19,10 ×10,5×5,3×3,1×1。特征图的大小、名称都和原算法ssd的参数保持一致。 这几个尺度的特征图分别用于检测不同尺度的目标,其名称分别为Conv4_3,fc7, Conv8_2,Conv9_2,Conv10_2,Conv11_2。
[0017] 进一步的,进行特征自适应融合的方法包括:
[0018] 如下式进行自适应融合:
[0019]
[0020] 对不同感受野大小的输出特征图Xij进行融合时,可将来自不同分支的特征 乘上相对应的权重并相加,最终生成融合特征图Yij,字符右下角的i,j代表特征 图上坐标为(i,j)。
[0021] 通过下式,使参数α、β、γ和θ保持在[0,1]的范围内,并且其四个参数和为1;
[0022]
[0023] 其中λα,λβ,λγ,λθ是对输入特征图Xij进行1×1卷积降维后生成的单通道特 征图,以此实现通过梯度反向传播进行权重学习。
[0024] 进一步的,所述新型锚框分配策略,具体分配方式如下式:
[0025]
[0026] 其中,Smin为最底层锚框尺度,其值为0.1,Smax为最高层锚框尺度,其值为 0.9,m为上面六个输出的待检测特征图数量,值为6,k表示特征层的索引。Wmin和Wmax分别代表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检 测的第m+1‑k层特征图的尺度。是得到的锚框尺度分布。
[0027] 进一步的,所述多尺度感知模块用于对所给定的输入特征图用不同空洞率 的空洞卷积进行采样,相当于用多个尺度捕捉图像的上下文信息;其内部含有4 个分支,每个分支均对应不同大小的感受野范围,感受野范围较大的用于检测 大目标,感受野范围较小的适合检测小目标。
[0028] 第二方面,本发明提供了一种安全帽佩戴检测装置,所述装置包括:
[0029] 图像获取模块:用于获取待检测图像;
[0030] 特征提取模块:用于将待检测图像输入到一个深度卷积神经网络进行特征 提取,生成六种不同尺度的特征图并按尺度大小从小到大分层排序;
[0031] 特征融合模块:用于将尺度最小的第一层特征图进行恒等映射,生成融合 特征图;反复并将融合特征图反卷积到高一层的特征图相同分辨率大小,并进 行特征自适应融合,生成与高一层的特征图相同大小的融合特征图;
[0032] 结果输出模块:用于将融合特征图融入多尺度感知模块,以通过多尺度感 知模块的特征图以及第四融合特征图,第三融合特征图,第二融合特征图,第 一融合特征图作为输出特征图,并在这些特征图上使用新型锚框分配策略,对 锚框以不同的尺度间隔分配到不同的特征层上,生成多个锚框,最后通过非极 大值抑制(Non‑maximum suppression,NMS)得到最终的检测结果。最终检测 结果指具有被方框包围的目标,即在图像中检测到目标,使用方框将其框起来 的图像。
[0033] 第三方面,本发明提供一种安全帽佩戴检测装置,其特征在于,包括处理 器及存储介质;
[0034] 所述存储介质用于存储指令;
[0035] 所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的 步骤。
[0036] 第四方面,本发明提供计算机可读存储介质,其上存储有计算机程序,其 特征在于,该程序被处理器执行时实现上述任一项所述方法的步骤。
[0037] 与现有技术相比,本发明所达到的有益效果:
[0038] 1、本发明通过对低层特征和对高层特征进行自适应特征融合,由卷积神经 网络自己学习如何更好的融合特征,从而生成更有效的目标特征;
[0039] 2、本发明采用了多尺度感知模块,帮助提高网络对目标尺度变化的鲁棒性 和对小目标的检测效果;
[0040] 3、本发明提出一种行之有效的锚框分配策略,该策略可以根据特征图的大 小自适应调整每层锚框的尺度分布,实现对小目标的尺度范围进行更精细的划 分,有利于在低层特征图上检测到较小的安全帽目标。

附图说明

[0041] 图1为本发明提出的安全帽佩戴检测方法网络流程图。
[0042] 图2为本发明提出的多尺度感知模块结构图。
[0043] 图3为本发明所提算法用于安全帽检测的效果图。
[0044] 图中:
[0045] 1、第一融合特征图;2、第二融合特征图;3、第三融合特征图;4、第四 融合特征图;5、第五融合特征图;6、第六融合特征图。

具体实施方式

[0046] 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案,而不能以此来限制本发明的保护范围。
[0047] 实施例一:
[0048] 如图1至图3所示,本实施例提供一种基于多尺度感知与特征自适应融合 的安全帽佩戴检测方法,为解决现有安全帽检测算法普遍存在的检测精度低和 鲁棒性差的问题,本算法以SSD算法为基础提出了一种新颖的多尺度感知与特 征自适应融合的安全帽佩戴检测方法。该算法对高层特征反卷积并与低层特征 进行自适应融合,而非简单的等比例相加或者相乘,从而生成新的且更有效的 特征图。此外,该算法还对新的高层特征图引入了多尺度感知模块来提高网络 对目标尺度变化的鲁棒性。最后,本算法在输出特征金字塔上还设计了一种有 效的锚框分配策略,可根据特征图的大小自适应调整每层锚框的尺度分布,这 有利于在低层特征图上检测到小目标。
[0049] 总体的技术思想是:高层特征图语义信息可以帮助目标进行分类,低层特 征图含有的空间信息可以帮助小目标的检测,从高层特征图进行反卷积不断地 与低层特征图进行特征自适应融合,从而生成语义信息,空间信息都比较丰富 的特征图。此外,为了检测小目标及应对目标多尺度的变化,对分辨率较大的 两层特征图采用多尺度感知模块用于提高小目标的检测效果和尺度变化较大的 目标。最后,为了进一步地提升较小的安全帽目标的检测精度,本算法提出一 种行之有效的锚框分配策略,帮助算法对小目标进行检测。
[0050] 具体地,该方法包括以下步骤:
[0051] 步骤1,以SSD算法为基础,选取Conv4_3,fc7,Conv8_2,Conv9_2, Conv10_2,Conv11_2六个高层特征图作为基础特征图,其特征图大小分别为38 ×38,19×19,10×10,5×5,3×3,1×1。
[0052] 步骤2,对步骤1选取中的特征图Conv11_2使用卷积核大小为1×1的卷积 操作,将其恒等映射为第一融合特征图,其特征图大小仍为1×1。
[0053] 步骤3,将第一融合特征图反卷积到特征图Conv10_2的大小,即3×3,然 后对反卷积后的特征图与Conv10_2进行特征自适应融合,生成第二融合特征图, 其特征图大小为3×3,所采用的特征自适应融合方法如式(1)所示:
[0054]
[0055]
[0056] 对不同感受野大小的输出特征图Xij进行融合时,可将来自不同分支的特征 乘上相对应的权重并相加,最终生成融合特征图Yij,右下角的i,j代表特征图上 坐标为(i,j)。
[0057] 通过式(2),使α,β,γ,θ保持在[0,1]的范围内,并且其四个参数和 为1。其中λα,λβ,λγ,λθ是对输入特征图Xij进行1×1卷积降维后生成的单通道 特征图,这样网络就可以实现通过梯度反向传播进行权重学习。
[0058] 步骤4,将融合后的第二融合特征图反卷积到特征图Conv9_2的大小,即5 ×5,然后对反卷积后的特征图与Conv9_2进行特征自适应融合,生成第三融合 特征图3,其特征图大小为5×5,特征自适应融合方法同步骤3。
[0059] 步骤5,将融合后的第三融合特征图反卷积到特征图Conv8_2的大小,即 10×10,然后对反卷积后的特征图与Conv8_2进行特征自适应融合,生成第四 融合特征图,其特征图大小为10×10,特征自适应融合方法同步骤3。
[0060] 步骤6,将融合后的第四融合特征图反卷积到特征图fc7的大小,即19×19, 然后对反卷积后的特征图与fc7进行特征自适应融合,生成第五融合特征图,其 特征图大小为19×19,特征自适应融合方法同步骤3。
[0061] 步骤7,将融合后的第五融合特征图反卷积到特征图Conv4_3的大小,即38×38,然后对反卷积后的特征图与Conv4_3进行特征自适应融合,生成第六 融合特征图,其特征图大小为38×38,特征自适应融合方法同步骤3。
[0062] 步骤8,将第五融合特征图以及第六融合特征图融入多尺度感知模块,该模 块对所给定的输入特征图用不同空洞率的空洞卷积进行采样,相当于用多个尺 度捕捉图像的上下文信息。同时,所提出的多尺度感知模块在进行特征融合阶 段采用了特征自适应融合方法,对具有不同感受野的特征图进行融合,通过学 习权重参数将不同层的特征按照重要性的不同有效地融合到一起。其内部含有4 个分支,分别是对输入特征图进行1×1卷积,空洞率分别为3、2、1的卷积操 作,每个分支均对应不同大小的感受野范围,感受野范围较大的用于检测大目 标,感受野范围较小的适合检测小目标。再以通过多尺度感知模块的特征图以 及第四融合特征图,第三融合特征图,第二融合特征图,第一融合特征图作为 输出特征图,并在这些特征图上使用本算法提出的一种新的锚框分配策略,具 体分配方式如式(3):
[0063]
[0064] 其中,Smin为最底层锚框尺度,其值为0.1,Smax为最高层锚框尺度,其值为 0.9,m为上面六个输出的待检测特征图数量,值为6,k表示特征层的索引。Wmin和Wmax分别代表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检 测的第m+1‑k层特征图的尺度。是采用公式(3)得到的锚框尺度分布。
[0065] 对锚框以不同的尺度间隔分配到不同的特征层上,用于更好地检测安全帽 这类小目标,总共生成8732个锚框。最后通过非极大值抑制Non‑maximum suppression(NMS)得到最终的检测结果。图3为本发明所提算法用于安全帽检 测的效果图,最终检测结果指的是在图像中检测到目标,使用方框将其框起来。
[0066] 综上所述,本发明通过对低层特征和对高层特征进行自适应特征融合,由 卷积神经网络自己学习如何更好的融合特征,从而生成更有效的目标特征。并 且对于第六融合特征图,第五融合特征图采用了多尺度感知模块,帮助提高网 络对目标尺度变化的鲁棒性和对小目标的检测效果。此外,提出的一种行之有 效的锚框分配策略,该策略可以根据特征图的大小自适应调整每层锚框的尺度 分布,实现对小目标的尺度范围进行更精细的划分,有利于在低层特征图上检 测到较小的安全帽目标。
[0067] 实施例二:
[0068] 如图1至图3所示,本实施例提供了一种基于多尺度感知与特征自适应融 合的安全帽佩戴检测装置,所述装置包括:
[0069] 图像获取模块:用于获取待检测图像;
[0070] 特征提取模块:用于将待检测图像输入到一个深度卷积神经网络进行特征 提取,生成六种不同尺度的特征图并按尺度大小从小到大分层排序;
[0071] 特征融合模块:用于将尺度最小的第一层特征图进行恒等映射,生成融合 特征图;反复并将融合特征图反卷积到高一层的特征图相同分辨率大小,并进 行特征自适应融合,生成与高一层的特征图相同大小的融合特征图;
[0072] 结果输出模块:用于将融合特征图融入多尺度感知模块,以通过多尺度感 知模块的特征图以及第四融合特征图,第三融合特征图,第二融合特征图,第 一融合特征图1作为输出特征图,并在这些特征图上使用新型锚框分配策略, 对锚框以不同的尺度间隔分配到不同的特征层上,生成多个锚框,最后通过非 极大值抑制(Non‑maximum suppression,NMS)得到最终的检测结果。最终检 测结果指的是在图像中检测到目标,使用方框将其框起来。
[0073] 实施例三:
[0074] 如图1至图3所示,本发明实施例还提供了一种安全帽佩戴检测装置,包 括处理器及存储介质;
[0075] 所述存储介质用于存储指令;
[0076] 所述处理器用于根据所述指令进行操作以执行下述方法的步骤:
[0077] 步骤1,以SSD算法为基础,选取Conv4_3,fc7,Conv8_2,Conv9_2, Conv10_2,Conv11_2六个高层特征图作为基础特征图,其特征图大小分别为38 ×38,19×19,10×10,5×5,3×3,1×1。
[0078] 步骤2,对步骤1选取中的特征图Conv11_2使用卷积核大小为1×1的卷积 操作,将其恒等映射为第一融合特征图1,其特征图大小仍为1×1。
[0079] 步骤3,将第一融合特征图1反卷积到特征图Conv10_2的大小,即3×3, 然后对反卷积后的特征图与Conv10_2进行特征自适应融合,生成第二融合特征 图2,其特征图大小为3×3,所采用的特征自适应融合方法如式(1)所示:
[0080]
[0081]
[0082] 对不同感受野大小的输出特征图Xij进行融合时,可将来自不同分支的特征 乘上相对应的权重并相加,最终生成融合特征图Yij,右下角的i,j代表特征图上 坐标为(i,j)。
[0083] 通过式(2),使α,β,γ,θ保持在[0,1]的范围内,并且其四个参数和 为1。其中λα,λβ,λγ,λθ是对输入特征图Xij进行1×1卷积降维后生成的单通道 特征图,这样网络就可以实现通过梯度反向传播进行权重学习。
[0084] 步骤4,将融合后的第二融合特征图反卷积到特征图Conv9_2的大小,即5 ×5,然后对反卷积后的特征图与Conv9_2进行特征自适应融合,生成第三融合 特征图,其特征图大小为5×5,特征自适应融合方法同步骤3。
[0085] 步骤5,将融合后的第三融合特征图反卷积到特征图Conv8_2的大小,即 10×10,然后对反卷积后的特征图与Conv8_2进行特征自适应融合,生成第四 融合特征图,其特征图大小为10×10,特征自适应融合方法同步骤3。
[0086] 步骤6,将融合后的第四融合特征图反卷积到特征图fc7的大小,即19×19, 然后对反卷积后的特征图与fc7进行特征自适应融合,生成第五融合特征图,其 特征图大小为19×19,特征自适应融合方法同步骤3。
[0087] 步骤7,将融合后的第五融合特征图反卷积到特征图Conv4_3的大小,即 38×38,然后对反卷积后的特征图与Conv4_3进行特征自适应融合,生成第六 融合特征图,其特征图大小为38×38,特征自适应融合方法同步骤3。
[0088] 步骤8,将第五融合特征图以及第六融合特征图融入多尺度感知模块,该模 块对所给定的输入特征图用不同空洞率的空洞卷积进行采样,相当于用多个尺 度捕捉图像的上下文信息。同时,所提出的多尺度感知模块在进行特征融合阶 段采用了特征自适应融合方法,对具有不同感受野的特征图进行融合,通过学 习权重参数将不同层的特征按照重要性的不同有效地融合到一起。其内部含有4 个分支,分别是对输入特征图进行1×1卷积,空洞率分别为3、2、1的卷积操 作,每个分支均对应不同大小的感受野范围,感受野范围较大的用于检测大目 标,感受野范围较小的适合检测小目标。再以通过多尺度感知模块的特征图以 及第四融合特征图,第三融合特征图,第二融合特征图,第一融合特征图作为 输出特征图,并在这些特征图上使用本算法提出的一种新的锚框分配策略,具 体分配方式如式(3):
[0089]
[0090] 其中,Smin=0.1,Smax=0.9,m=6,k表示特征层的索引。Wmin和Wmax分别代 表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检测的第m+1‑k 层特征图的尺度。是采用公式(3)得到的锚框尺度分布。
[0091] 对锚框以不同的尺度间隔分配到不同的特征层上,用于更好地检测安全帽 这类小目标,总共生成8732个锚框。最后通过非极大值抑制Non‑maximum suppression(NMS)得到最终的检测结果。最终检测结果指的是在图像中检测到 目标,使用方框将其框起来。
[0092] 实施例四:
[0093] 如图1至图3所示,本发明实施例还提供了一种计算机可读存储介质,其 上存储有计算机程序,该程序被处理器执行时实现下述方法的步骤:
[0094] 步骤1,以SSD算法为基础,选取Conv4_3,fc7,Conv8_2,Conv9_2, Conv10_2,Conv11_2六个高层特征图作为基础特征图,其特征图大小分别为38 ×38,19×19,10×10,5×5,3×3,1×1。
[0095] 步骤2,对步骤1选取中的特征图Conv11_2使用卷积核大小为1×1的卷积 操作,将其恒等映射为第一融合特征图1,其特征图大小仍为1×1。
[0096] 步骤3,将第一融合特征图1反卷积到特征图Conv10_2的大小,即3×3, 然后对反卷积后的特征图与Conv10_2进行特征自适应融合,生成第二融合特征 图2,其特征图大小为3×3,所采用的特征自适应融合方法如式(1)所示:
[0097]
[0098]
[0099] 对不同感受野大小的输出特征图Xij进行融合时,可将来自不同分支的特征 乘上相对应的权重并相加,最终生成融合特征图Yij,右下角的i,j代表特征图上 坐标为(i,j)。
[0100] 通过式(2),使α,β,γ,θ保持在[0,1]的范围内,并且其四个参数和 为1。其中λα,λβ,λγ,λθ是对输入特征图Xij进行1×1卷积降维后生成的单通道 特征图,这样网络就可以实现通过梯度反向传播进行权重学习。
[0101] 步骤4,将融合后的第二融合特征图反卷积到特征图Conv9_2的大小,即5 ×5,然后对反卷积后的特征图与Conv9_2进行特征自适应融合,生成第三融合 特征图,其特征图大小为5×5,特征自适应融合方法同步骤3。
[0102] 步骤5,将融合后的第三融合特征图反卷积到特征图Conv8_2的大小,即 10×10,然后对反卷积后的特征图与Conv8_2进行特征自适应融合,生成第四 融合特征图,其特征图大小为10×10,特征自适应融合方法同步骤3。
[0103] 步骤6,将融合后的第四融合特征图反卷积到特征图fc7的大小,即19×19, 然后对反卷积后的特征图与fc7进行特征自适应融合,生成第五融合特征图,其 特征图大小为19×19,特征自适应融合方法同步骤3。
[0104] 步骤7,将融合后的第五融合特征图反卷积到特征图Conv4_3的大小,即 38×38,然后对反卷积后的特征图与Conv4_3进行特征自适应融合,生成第六 融合特征图,其特征图大小为38×38,特征自适应融合方法同步骤3。
[0105] 步骤8,将第五融合特征图以及第六融合特征图融入多尺度感知模块,该模 块对所给定的输入特征图用不同空洞率的空洞卷积进行采样,相当于用多个尺 度捕捉图像的上下文信息。同时,所提出的多尺度感知模块在进行特征融合阶 段采用了特征自适应融合方法,对具有不同感受野的特征图进行融合,通过学 习权重参数将不同层的特征按照重要性的不同有效地融合到一起。其内部含有4 个分支,分别是对输入特征图进行1×1卷积,空洞率分别为3、2、1的卷积操 作,每个分支均对应不同大小的感受野范围,感受野范围较大的用于检测大目 标,感受野范围较小的适合检测小目标。再以通过多尺度感知模块的特征图以 及第四融合特征图,第三融合特征图,第二融合特征图,第一融合特征图作为 输出特征图,并在这些特征图上使用本算法提出的一种新的锚框分配策略,具 体分配方式如式(3):
[0106]
[0107] 其中,Smin=0.1,Smax=0.9,m=6,k表示特征层的索引。Wmin和Wmax分别代 表用于检测的最大特征图和最小特征图的尺度,Wm+1‑k表示用于检测的第m+1‑k 层特征图的尺度。是采用公式(3)得到的锚框尺度分布。
[0108] 对锚框以不同的尺度间隔分配到不同的特征层上,用于更好地检测安全帽 这类小目标,总共生成8732个锚框。最后通过非极大值抑制Non‑maximum suppression(NMS)得到最终的检测结果。最终检测结果指的是在图像中检测到 目标,使用方框将其框起来。
[0109] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计 算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0110] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
[0112] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理, 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0113] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通 技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变 形,这些改进和变形也应视为本发明的保护范围。