一种安全帽检测方法、系统、存储介质及电子设备

摘要

本发明揭示了一种安全帽检测方法、系统、存储介质及电子设备，其方法包括：采集多路作业现场视频图像；对所采集的多路视频图像进行预处理，获得预处理后的视频图像；构建安全帽检测模型并训练，获得训练好的安全帽检测模型，其中，所述检测模型采取Focus层、逐深度卷积DWC3层、CBAM层以在较少的参数量的前提下降低对计算资源的需求；将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测。本发明通过使用轻量化网络模型进行安全帽检测，降低了计算资源的需求，同时依然保障了检测精度和检测速率，可用于边缘计算。

权利要求

1.一种安全帽检测方法，其特征在于，包括如下步骤：S100：采集多路作业现场视频图像；

S200：对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

S300：构建安全帽检测模型并训练，以获得训练好的安全帽检测模型，其中，所述安全帽检测模型包括基于主动队列管理的检测网络，所述检测网络由21层组成，至少包括Focus、CONV、逐深度卷积DWC3、SPPF、CBAM、UPSAMPLE、CONCAT、HEAD八类层，具体的，构成所述检测网络的21个层依次为：Focus(3,64)层，

CONV (64,128)层，

DWC3(128,128)层，

CONV (128,256)层，DWC3(256,256)层，

CONV (256,512)层，DWC3(512,512)层，

CONV (512,1024)层，SPPF(1024,1024)层，DWC3(1024,1024)层，CBAM(1024,1024)层，CONV (1024,512)层，UPSAMPLE(512)层，

CONCAT(1024)层，

DWC3(1024,512)层，CONV (512,256)层，UPSAMPLE(256)层，

CONCAT(512)层，

DWC3(512,256)层，

CBAM(256,256)层，

HEAD层；

其中，

Focus层，用于将特征图通过切片、输入通道扩充、拼接、卷积操作，先进行下采样操作以降低对计算资源的需求，且在没有信息丢失的情况下获得下采样处理后的特征图，其余后续的下采样则均通过CONV层实现，以减少参数量同时保留有效信息；

CONV层，用于对特征图进行下采样，减少参数的同时保留有效信息；

逐深度卷积DWC3层，用于将特征图一分为二以实现特征提取，以满足边缘计算端轻量化网络的计算需求；

SPPF层，用于实现CONV层和DWC3层所提取特征的融合；

CBAM层，用于进一步加强特征提取能力；

UPSAMPLE层，用于对特征图进行上采样；

CONCAT层，用于拼接特征图融合底层网络的浅层信息和深层网络的特征信息；

HEAD层，用于对图像特征进行预测；

S400：将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测；

其中，步骤S200中，所述对所采集的多路视频图像进行预处理包括如下步骤：S201：对多路视频图像的数据格式进行统一；

S202：将格式统一后的多路视频图像进行压缩、拼接；

步骤S300中，所述安全帽检测模型的训练过程包括如下步骤：S301：构建数据集，将数据集划分为训练集和验证集；

S302：设置训练参数，并通过训练集对安全帽检测模型进行训练，训练达到500次后，获得训练后的安全帽检测模型；

S303：通过验证集对训练后的安全帽检测模型进行验证，当平均查准率达到0.95，验证通过，则获得训练好的安全帽检测模型；否则调整训练参数重新训练。

2.一种执行权利要求1所述方法的安全帽检测系统，其特征在于，包括：采集单元，用于采集多路作业现场视频图像；

预处理单元，用于对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

训练单元，用于构建安全帽检测模型并训练，获得训练好的安全帽检测模型；

检测单元，用于将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测。

3.根据权利要求2所述的系统，其特征在于，所述预处理单元包括：格式处理子单元，用于对多路视频图像的数据格式进行统一；

压缩拼接子单元，用于将格式统一后的多路视频图像进行压缩、拼接。

4.一种基于主从边缘计算的安全帽检测系统，其特征在于，包括：多个终端传感器，多个终端传感器连接有流媒体子盒，流媒体子盒通过边缘计算主盒连接至云端服务器，云端服务器连接至监控端；

其中，边缘计算主盒用于执行权利要求1所述的方法。

5.一种电子设备，其特征在于，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1所述的方法。

6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1所述的方法。

说明书

一种安全帽检测方法、系统、存储介质及电子设备

技术领域

[0001] 本发明属于计算机领域，具体涉及一种安全帽检测方法、系统、存储介质及电子设备。

背景技术

[0002] 近年来经济高速发展，天然气为提供能源起到了非常重要的作用，天然气站场环境复杂，存在多种能够对工人生命安全产生威胁的危险因素。

[0003] 安全帽是天然气安全生产中最基本的安全防护用具，对于保护作业现场人员的人身及财产安全有着十分重要的作用。

[0004] 目前大部分天然气站场主要依靠人力监控进行安全帽佩戴管理，传统的视频监控只有对视频操作的简单功能，存在人员容易疲劳、容易漏检等问题。

[0005] 此外，现有技术中的目标检测模型存在参数量与计算量大、检测速度慢等问题，无法满足如天然气站场计算资源受限的场景。

发明内容

[0006] 针对现有技术中的不足，本发明的目的在于提供一种安全帽检测方法，该方法能够降低对计算资源的需求，并依然保障天然气生产场所中安全帽的检测精度和检测速率。

[0007] 为实现上述目的，本发明提供以下技术方案：

[0008] 一种安全帽检测方法，包括如下步骤：

[0009] S100：采集多路作业现场视频图像；

[0010] S200：对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

[0011] S100：采集多路作业现场视频图像；

[0012] S200：对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

[0013] S300：构建安全帽检测模型并训练，以获得训练好的安全帽检测模型，其中，[0014] 所述安全帽检测模型包括基于主动队列管理的检测网络，其至少包括Focus、CONV、逐深度卷积DWC3、SPPF、CBAM、UPSAMPLE、CONCAT、HEAD八类层，其中，[0015] Focus层，用于将特征图通过切片、输入通道扩充、拼接、卷积操作，先进行下采样操作以降低对计算资源的需求，且在没有信息丢失的情况下获得下采样处理后的特征图，其余后续的下采样则均通过CONV层实现，以减少参数量同时保留有效信息；

[0016] CONV层，用于对特征图进行下采样，减少参数的同时保留有效信息；

[0017] 逐深度卷积DWC3层，用于将特征图一分为二以实现特征提取，以满足边缘计算端轻量化网络的计算需求；

[0018] SPPF层，用于实现CONV层和DWC3层所提取特征的融合；

[0019] CBAM层，用于进一步加强特征提取能力；

[0020] UPSAMPLE层，用于对特征图进行上采样；

[0021] CONCAT层，用于拼接特征图融合底层网络的浅层信息和深层网络的特征信息；

[0022] HEAD层，用于对图像特征进行预测；

[0023] S400：将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测；

[0024] 其中，步骤S200中，所述对所采集的多路视频图像进行预处理包括如下步骤：

[0025] S201：对多路视频图像的数据格式进行统一；

[0026] S202：将格式统一后的多路视频图像进行压缩、拼接。

[0027] 步骤S300中，所述安全帽检测模型的训练过程包括如下步骤：

[0028] S301：构建数据集，将数据集划分为训练集和验证集；

[0029] S302：设置训练参数，并通过训练集对安全帽检测模型进行训练，训练达到500次后，获得训练后的安全帽检测模型；

[0030] S303：通过验证集对训练后的安全帽检测模型进行验证，当平均查准率达到0.95，验证通过，则获得训练好的安全帽检测模型；否则调整训练参数重新训练。

[0031] 本发明还提出一种执行前述安全帽检测方法的安全帽检测系统，包括：

[0032] 采集单元，用于采集多路作业现场视频图像；

[0033] 预处理单元，用于对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

[0034] 训练单元，用于构建安全帽检测模型并训练，获得训练好的安全帽检测模型；

[0035] 检测单元，用于将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测。

[0036] 优选的，所述预处理单元包括：

[0037] 格式处理子单元，用于对多路视频图像的数据格式进行统一；

[0038] 压缩拼接子单元，用于将格式统一后的多路视频图像进行压缩、拼接。

[0039] 本发明还提出一种基于主从边缘计算的安全帽检测系统，包括：

[0040] 多个终端传感器，多个终端传感器连接有流媒体子盒，流媒体子盒通过边缘计算主盒连接至云端服务器，云端服务器连接至监控端；

[0041] 其中，边缘计算主盒用于执行如前任一所述的方法。

[0042] 本发明还提出一种电子设备，包括：

[0043] 存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，[0044] 所述处理器执行所述程序时实现如前任一所述的方法。

[0045] 本发明还提出一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。

[0046] 与现有技术相比，本发明带来的有益效果为：本发明通过使用轻量化网络模型进行安全帽检测，降低了计算资源的需求，同时依然保障了检测精度和检测速率，可用于边缘计算。

附图说明

[0047] 图1是本发明一个实施例提供的一种安全帽检测方法的流程图；

[0048] 图2是格式统一后的多路视频图像；

[0049] 图3是压缩拼接后的视频图像；

[0050] 图4是本发明另一个实施例提供的安全帽检测模型的结构示意图；

[0051] 图5（a）是检测模型输入图；

[0052] 图5（b）是检测模型输出图；

[0053] 图6是本发明另一个实施例提供的一种基于主从边缘计算的安全帽检测系统的结构示意图；

[0054] 图7是图6所示系统的检测流程图。

具体实施方式

[0055] 下面将参照附图1至图7详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以通过各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

[0056] 需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

[0057] 为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。

[0058] 一个实施例中，如图1所示，本发明提出一种安全帽检测方法，包括如下步骤：

[0059] S100：采集多路作业现场视频图像；

[0060] S200：对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

[0061] S300：构建安全帽检测模型并训练，获得训练好的安全帽检测模型；

[0062] S400：将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测。

[0063] 另一个实施例中，步骤S200中，所述对所采集的多路视频图像进行预处理包括如下步骤：

[0064] S201：对多路视频图像的数据格式进行统一；

[0065] 该步骤中，由于在作业现场布置有多个摄像头，由此会造成所采集的多路视频图像可能存在格式不统一的问题，为了便于后续图像检测，需要将多路视频图像通过OPENCV统一为RTMP格式（如图2所示）。

[0066] S202：将格式统一后的多路视频图像进行压缩、拼接。

[0067] 该步骤中，在完成对多路视频图像格式统一后，需要将多路视频图像压缩为一路视频图像，例如，假如作业现场有9个摄像头，则需要将9个摄像头采集到的9幅图像通过离散余弦变换压缩，并且通过OPENCV拼接到3×3一幅图像中，在拼接过程中，如有某个摄像头丢失画面，则用纯黑图片替代（如图3所示）。

[0068] 另一个实施例中，步骤S300中，所述安全帽检测模型包括基于主动队列管理AQM的检测网络。

[0069] 所述检测网络共由21层组成，其至少包括Focus、CONV、逐深度卷积DWC3、SPPF、CBAM、UPSAMPLE、CONCAT、HEAD八类层。

[0070] 在一个实施例中，如图4所示，所述AQM检测网络的21层依次为：

[0071] Focus(3,64)层，

[0072] CONV (64,128)层、DWC3(128,128)层，

[0073] CONV (128,256)层、DWC3(256,256)层，

[0074] CONV (256,512)层、DWC3(512,512)层，

[0075] CONV (512,1024)层、SPPF(1024,1024)层，

[0076] CBAM(1024,1024)层，

[0077] CONV (1024,512)层、UPSAMPLE(512)层、CONCAT(1024)层、DWC3(1024,512)层，[0078] CONV (512,256)层、UPSAMPLE(256)层、CONCAT(512)层、DWC3(512,256)层，[0079] CBAM(256,256)层，

[0080] HEAD层。

[0081] 其中，

[0082] 1、Focus层，用于将特征图通过切片、输入通道扩充、拼接、卷积操作，相比其他下采样技术以较少的参数量和计算量先进行下采样操作以降低对计算资源的需求，且在没有信息丢失的情况下获得下采样处理后的特征图。示例性的，使用Focus将640×640×3的特征图先变成320×320×12的特征图，再经过卷积变成320×320×32的特征图。

[0083] 2、至于其余后续的下采样则均通过CONV层实现，以减少参数量同时保留有效信息。特征提取层采用逐深度卷积DWC3层，特征提取时首先将特征图一分为二，一部分卷积层进行特征提取，另一部分则是不进行操作而通过连接上一卷积层操作的结果进行融合。需要说明的是，逐深度卷积可通过更小的参数量实现特征提取，以满足边缘计算端轻量化网络的计算需求，尤其是本发明所属的天然气生产的现场领域。

[0084] 3、上采样层涉及UPSAMPLE层， UPSAMPLE层通过最近邻插值实现上采样的同时使不同尺度的特征图具有相同的尺寸。

[0085] 4、通过SPPF层实现CONV层和DWC3层所提取的特征在featherMap级别的融合。

[0086] 5、通过CONCAT拼接特征图融合底层网络的浅层信息和深层网络的特征信息，进而获取更丰富的特征信息。

[0087] 6、至于CBAM，其进一步以较低的参数量加强特征提取能力，例如，输入图（如图5（a）所示）为640×640×3，输出图（如图5（b）所示）为80×80×256。

[0088] 7、最终经由21层HEAD层对图像特征进行预测，生成边界框和并预测类别。

[0089] 综上，通过该模型不仅能学习安全帽的渐层特征，如安全帽的外形轮廓、边缘特征、色彩分布、明暗差异等，还能学习到安全帽的更为抽象的深层特征例如图像的语义特征，最关键的在于通过模型中的多个层的设计，提高了计算速度，降低了对计算资源的需求，亦可用于边缘计算。

[0090] 因此，当采集到作业现场视频图像后，即可在低计算资源的前提下，快速根据上述特征对作业现场人员是否佩戴安全帽进行检测。

[0091] 另一个实施例中，步骤S300中，所述安全帽检测模型的训练过程包括如下步骤：

[0092] S301：通过网络下载和实地拍摄构建数据集，将数据集划分为训练集和验证集；

[0093] 该步骤中，需要根据实际情况在站场采集并且改进数据集，向数据集补充负样本数据集、不同作业姿态数据集、不同光照条件数据集、不同遮挡情况数据集，以增强网络模型泛化能力，减少误检、漏检情况。

[0094] S302：设置训练参数，并通过训练集对安全帽检测模型进行训练，达到一定训练次数后（例如，训练次数设定为500次），获得训练后的模型；

[0095] 该步骤中，训练参数设置如表1所示：

[0096] 表1

[0097]

[0098] S303：通过验证集对训练后的安全帽检测模型进行验证，当平均查准率达到0.95及以上（平均查准率mAP是评估目标检测算法性能的重要指标，越高的mAP代表检测效果越好），验证通过，则获得训练好的安全帽检测模型；否则调整训练参数重新训练（例如增加数据集样本或增加训练轮数）。

[0099] 另一个实施例中，本发明还提出一种安全帽检测系统，包括：

[0100] 采集单元，用于采集多路作业现场视频图像；

[0101] 预处理单元，用于对所采集的多路视频图像进行预处理，获得预处理后的视频图像；

[0102] 训练单元，用于构建安全帽检测模型并训练，获得训练好的安全帽检测模型；

[0103] 检测单元，用于将预处理后的视频图像输入训练好的安全帽检测模型，以对视频图像中作业人员是否佩戴安全帽进行检测。

[0104] 另一个实施例中，所述预处理单元包括：

[0105] 格式处理子单元，用于对多路视频图像的数据格式进行统一；

[0106] 压缩拼接子单元，用于将格式统一后的多路视频图像进行压缩、拼接。

[0107] 另一个实施例中，如图6所示，本发明还提出一种基于主从边缘计算的安全帽检测系统，包括：

[0108] 多个终端传感器，多个终端传感器连接有流媒体子盒，流媒体子盒通过边缘计算主盒连接至云端服务器，云端服务器连接至监控端；

[0109] 其中，边缘计算主盒用于执行前文任一所述的方法。

[0110] 本实施例中，所述系统的检测流程如图7所示，多个终端传感器用于采集作业现场的视频图像，所采集的多路视频图像汇集到流媒体子盒内进行统一格式和压缩拼接处理，获得一张完整的视频图像，然后被推送至边缘计算主盒。边缘计算主盒内置有训练好的安全帽检测模型（本实施例采用AQM检测网络模型），当边缘计算主盒接收到由流媒体子盒推送的视频图像后，会调用该检测网络对图像进行检测。当该检测网络未在图像中检测到安全帽时，向边缘计算主盒发送报警信息，边缘计算主盒再向云端服务器发送报警信息，以报告图像中未佩戴安全帽的地点、人员个数、报警时间等信息。云端服务器收到报警信息后，向监控端推送报警信息并且记录到系统日志。

[0111] 本系统通过主从边缘计算设备使用轻量化网络模型实现检测。AQM模型大小仅为0.8M，平均精度为97.6%（大于0.95），帧率可达80FPS。

[0112] 表2为本发明所述的AQM检测网络模型同部分经典算法模型的对比：

[0113] 表2

[0114]

[0115] 由表2可知，本发明所采用的AQM网络模型在检测精度和检测速率均优于经典算法模型。

[0116] 另一个实施例中，本发明还提出一种电子设备，其特征在于，包括：

[0117] 存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，[0118] 所述处理器执行所述程序时实现如前任一所述的方法。

[0119] 另一个实施例中，本发明还提出一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。

[0120] 以上所述仅为本发明的较佳实例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。