施工现场的人机碰撞预警方法及系统

摘要

本公开是关于一种施工现场的人机碰撞预警方法及系统，系统包括：采集模块，用于通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；处理模块，连接至所述采集模块，用于从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；报警模块，用于根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。通过该技术方案，可以通过图像数据自动确定施工现场的工人与机械设备之间的实际距离，进而根据该实际距离进行预警提示，从而有效地排除施工时潜在的隐患，无需依赖工作人员，节省时间。

权利要求

1.一种施工现场的人机碰撞预警系统，其特征在于，包括：

采集模块，用于通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

处理模块，连接至所述采集模块，用于从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

报警模块，用于根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

2.根据权利要求1所述的施工现场的人机碰撞预警系统，其特征在于，所述处理模块包括：识别单元，用于通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标；

深度计算单元，用于通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

距离确定单元，用于确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

获取单元，获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

距离计算单元，用于根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

3.根据权利要求2所述的施工现场的人机碰撞预警系统，其特征在于，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法。

4.根据权利要求1所述的施工现场的人机碰撞预警系统，其特征在于，所述报警模块包括：第一报警单元，用于当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

第二报警单元，用于当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

5.根据权利要求4所述的施工现场的人机碰撞预警系统，其特征在于，所述系统还包括：阈值确定模块，用于通过德尔菲法方法确定所述预设距离阈值。

6.一种施工现场的人机碰撞预警方法，其特征在于，包括：

通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

7.根据权利要求6所述的施工现场的人机碰撞预警方法，其特征在于，所述从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离，包括：通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法；

通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

8.根据权利要求6所述的施工现场的人机碰撞预警方法，其特征在于，所述根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示，包括：当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

9.根据权利要求8所述的施工现场的人机碰撞预警方法，其特征在于，所述方法还包括：通过德尔菲法方法确定所述预设距离阈值。

10.一种施工现场的人机碰撞预警系统，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

定位每个数据采集模块所在的位置，并确定每个所述数据采集模块的坐标；

获取所述每个数据采集模块设置的绝对角度，以及所述每个数据采集模块与施工现场的工人之间的相对角度；

通过所述数据采集模块采集施工现场的图像数据，并从所述图像数据中选取出图像中含有工人，且工人与所述移动式机械设备的距离在预设距离范围内的目标图像数据；将所述目标图像数据按照图像数据和与其对应的标签数据的存储方式进行存储，其中，所述标签数据包括所述数据采集模块的坐标，采集时间，所述绝对角度，所述相对角度和所述工人与所述移动式机械设备之间的距离。

说明书

施工现场的人机碰撞预警方法及系统

技术领域

[0001] 本公开涉及施工现场的安全监测技术领域，尤其涉及一种施工现场的人机碰撞预警方法及系统。

背景技术

[0002] 建筑业在世界范围内仍然是最危险的行业，每年造成大量的人员伤亡，安全形势每况愈下，我国同样面临挑战。近年来随着工地机械化程度逐步攀升，常见的机械包括吊车、挖掘机等多种多样的施工机械设备被使用在施工作业中，给施工带来了便利，但同时也带来了更多与施工机械相关的事故。在所有与施工机械相关的事故中，人机碰撞事故是其中一类重要的事故类型。工人由于工作任务需要或场地条件限制需要在机械附近进行工作，当工人与机械在同一时空范围内相互接近并小于一定阈值时即形成人机碰撞风险。

[0003] 目前有关人机碰撞的预警总体上还是通过在人工检查的基础上进行监测和评估的方式开展的。具体操作为安全相关人员，如项目经理、安全经理、安全员以及班组长通过安全检查清单的方法加以管理。安全检查清单可以有效的排除施工时潜在的隐患，但他们高度依赖于安全相关人员的个人能力，需要花费大量时间现场监督。当面临安全相关人员不在场，或是实时的、突发的风险源时，往往没有应对办法。

发明内容

[0004] 为克服相关技术中存在的问题，本公开提供一种施工现场的人机碰撞预警方法及系统。

[0005] 根据本公开实施例的第一方面，提供一种施工现场的人机碰撞预警系统，包括：

[0006] 采集模块，用于通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

[0007] 处理模块，连接至所述采集模块，用于从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

[0008] 报警模块，用于根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

[0009] 在一个实施例中，优选地，所述处理模块包括：

[0010] 识别单元，用于通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标；

[0011] 深度计算单元，用于通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

[0012] 距离确定单元，用于确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

[0013] 获取单元，获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

[0014] 距离计算单元，用于根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

[0015] 在一个实施例中，优选地，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法。

[0016] 在一个实施例中，优选地，所述报警模块包括：

[0017] 第一报警单元，用于当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

[0018] 第二报警单元，用于当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

[0019] 在一个实施例中，优选地，所述系统还包括：

[0020] 阈值确定模块，用于通过德尔菲法方法确定所述预设距离阈值。

[0021] 根据本公开实施例的第二方面，提供一种施工现场的人机碰撞预警方法，包括：

[0022] 通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

[0023] 从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

[0024] 根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

[0025] 在一个实施例中，优选地，所述从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离，包括：

[0026] 通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法；

[0027] 通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

[0028] 确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

[0029] 获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

[0030] 根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

[0031] 在一个实施例中，优选地，所述根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示，包括：

[0032] 当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

[0033] 当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

[0034] 在一个实施例中，优选地，所述方法还包括：

[0035] 通过德尔菲法方法确定所述预设距离阈值。

[0036] 根据本公开实施例的第三方面，提供一种施工现场的人机碰撞预警系统，包括：

[0037] 处理器；

[0038] 用于存储处理器可执行指令的存储器；

[0039] 其中，所述处理器被配置为：

[0040] 定位每个数据采集模块所在的位置，并确定每个所述数据采集模块的坐标；

[0041] 获取所述每个数据采集模块设置的绝对角度，以及所述每个数据采集模块与施工现场的工人之间的相对角度；

[0042] 通过所述数据采集模块采集施工现场的图像数据，并从所述图像数据中选取出图像中含有工人，且工人与所述移动式机械设备的距离在预设距离范围内的目标图像数据；

[0043] 将所述目标图像数据按照图像数据和与其对应的标签数据的存储方式进行存储，其中，所述标签数据包括所述数据采集模块的坐标，采集时间，所述绝对角度，所述相对角度和所述工人与所述移动式机械设备之间的距离。

[0044] 本公开的实施例提供的技术方案可以包括以下有益效果：

[0045] 本发明实施例中，可以通过图像数据自动确定施工现场的工人与机械设备之间的实际距离，进而根据该实际距离进行预警提示，从而有效地排除施工时潜在的隐患，无需依赖工作人员，节省时间。

[0046] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0047] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

[0048] 图1是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统的结构示意图。

[0049] 图2是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统中处理模块的结构示意图。

[0050] 图3-A是根据一示例性实施例示出的Resnet网络示意图。

[0051] 图3-B是根据一示例性实施例示出的Unet结构示意图。

[0052] 图4是根据一示例性实施例示出的FPN示意图。

[0053] 图5是根据一示例性实施例示出的双目视觉算法示意图。

[0054] 图6是根据一示例性实施例示出的滑动平均滤波算法示意图。

[0055] 图7是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统中报警模块的结构示意图。

[0056] 图8是根据一示例性实施例示出的界面交互预警示意图。

[0057] 图9是根据一示例性实施例示出的另一种施工现场的人机碰撞预警系统的结构示意图。

[0058] 图10是根据一示例性实施例示出的另一种施工现场的人机碰撞预警系统的结构示意图。

[0059] 图11是根据一示例性实施例示出的设备三防装置结构示意图。

[0060] 图12是根据一示例性实施例示出的设备三防装置中防震设计示意图。

[0061] 图13是根据一示例性实施例示出的移动式吊车预警范围确定示意图。

[0062] 图14是根据一示例性实施例示出的移动式吊车工人识别示意图。

[0063] 图15是根据一示例性实施例示出的移动式吊车工人预警示意图。

[0064] 图16是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法的流程图。

[0065] 图17是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法中步骤S1602的流程图。

[0066] 图18是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法中步骤S1603的流程图。

具体实施方式

[0067] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

[0068] 在施工现场，对建筑起重、运输、挖掘机械设备的应用可以有效缩短工期，提高施工效率。施工现场机械设备总量自2002年起逐年上升，这是我国成为建设大国的必然结果，也是现代化施工所提出的新要求。随着建筑业生产规模的不断扩大和生产周期的持续压缩，施工机械在现场扮演着越来越重要的角色。生产效率提高的同时，施工现场与机械相关的事故也在不断增加。目前施工现场约有四分之一的事故是与机械相关。在所有与施工机械相关的事故中，人机碰撞事故是其中一类重要的事故类型。施工现场的人机碰撞事故通常是由于工人与施工机械的整体或部分不当接触所导致或引发。在施工现场，机械由于工作任务的需要可能处于整体或部分运动的状态，如铲车在铲土时整体前进或后退、吊车在吊装时伸长吊臂或旋转吊机。而工人也会由于工作任务需要或场地条件限制件在机械附近进行工作，如绳索工协捆绑吊车吊装的物料、工人和机械同时在狭小的场地内工作。当工人与机械在同一时空范围内相互接近并小于一定阈值时即形成人机碰撞风险。故需要有效的技术或管理手段，防止两者继续接近形成碰撞事故。

[0069] 本发明借助深度学习视觉技术，以施工人员与施工机械设备相对距离为指标，将计算机领域快速发展的深度学习技术和双目立体视觉技术引入到施工现场安全管理的研究上，使用更新的、性能更佳的技术手段解决施工安全管理上存在的问题。

[0070] 下面参照附图描述根据本发明实施例提出的基于深度学习视觉技术的施工现场的人机碰撞预警系统及方法，首先将参照附图描述根据本发明实施例提出的施工现场的人机碰撞预警系统。

[0071] 图1是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统的结构示意图，如图1所示，施工现场的人机碰撞预警系统100，包括：采集模块101，处理模块102和报警模块103；

[0072] 采集模块101，与处理模块102连接，用于通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据。

[0073] 处理模块102，连接至所述采集模块101，用于从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离。其中，处理模块可以通过工控机实现。

[0074] 报警模块103，连接至处理模块102，用于根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。其中，报警模块可以通过机械设备上的显示屏或者其他显示设备实现。

[0075] 在该实施例中，可以通过图像数据自动确定施工现场的工人与机械设备之间的实际距离，进而根据该实际距离进行预警提示，从而有效地排除施工时潜在的隐患，无需依赖工作人员，节省时间。

[0076] 图2是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统中处理模块的结构示意图。

[0077] 如图2所示，在一个实施例中，优选地，所述处理模块102包括：

[0078] 识别单元201，用于通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标；

[0079] 在一个实施例中，优选地，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法。

[0080] 为了满足施工作业无人时设备记录冗余数据这一问题，本发明采用深度学习的技术，针对识别出人之后的工作场景进行记录。算法选择卷积神经网络(CNN)算法，具体在网络设计上，结合ResNet和Unet。

[0081] 随着神经网络的深度加深出现梯度消失问题使得分类准确度下降，Resnet网络通过使用残差单元一定程度解决了此问题，提取高质量的高层次信息。具体单元如图3-A所示。输入为x输出为H(x)＝F(x)+x。

[0082] 随着神经网络的深度多次池化导致特征空间分辨率损失，识别精度下降，边界细节容易丢失。Unet结构把高层次信息与低层次信息融合，使得物体框的边界更准确。示意图如图3-B所示。

[0083] 在Detection结构上，考虑到移动式设备有限的内存和电源，需要选择低计算量的算法，降低消耗。本算法结合FPN和One-stage算法，目的是减少计算消耗，加快检测过程。FPN利用卷积网络本身带有的层次性语义特征，构建特征金字塔，通过自顶向下、带有侧向连接的层次结构来构建各个尺度的高层语义特征。FPN作为特征提取器，显著提升了性能。
对比传统的图像金字塔，二者在不同远近的物体表现一样好，但FPN避免了图像金字塔中的过多计算消耗示意图如图4所示。

[0084] One-stage检测算法免去了第二个stage中的regionproposalnetwork等额外操作，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，Retina-Net。

[0085] 卷积神经网络(CNN)算法实现对工人目标的实时检测，该算法并不使用人工设定的规则识别图像中工人目标的特征，而是使用大量标记过工人的图片样本进行训练，使该算法通过学习获得识别工人的能力，并不断提高准确性。

[0086] 深度计算单元202，用于通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离。

[0087] 其中，图5示出了双目视觉算法示意图，如图5所示，图中物体P是待测距物体，Ol和Or是双目摄像头的两个摄像头，T是实际两个摄像头间的距离，f是摄像头焦距，所以T和f是已知参数。根据相似三角形原理

[0088]

[0089]

[0090] 所以求物体距离问题变为了确定视差D＝Xl-Xr的问题。

[0091] 视差是同一个空间点在两个相机成像中对应的x坐标的差值，在成像中每一个像素点通过编码具有一个灰度值，离镜头越近的灰度越亮。通过灰度值可以在两张照片中找到对应的像素点从而计算灰度值获得视差D，由此可以通过双目测距算法得到深度图像。

[0092] 距离确定单元203，用于确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离。

[0093] 需要说明的是，由于一般双目摄像头一秒钟可以获得90帧图像，人眼一般只能识别24帧一秒，实际0.1s一帧即可满足防碰撞要求，基于功耗的考虑，本发明实施例设定0.1s进行一次距离计算。

[0094] 由于取点多导致所取点不在工人身上使得极差过大产生工人距离计算错误使得系统发生错误报警的情况，因此，还可以采用滑动平均滤波算法，提高整体精度，具体算法如图6所示，将每帧得到的工人距离数据看成一个队列，连续取5个值看成一个循环队列，队列的长度固定为5，每新采到一帧数据放入队尾，并扔掉原来队首的一个数据，滤波器每次输出的数据总是当前队列中5个数据的算数平均值。

[0095] 双目摄像头每秒传10帧包含距离数据的图片到本系统的处理模块102。为保证传输速度，本发明实施例采用光纤进行传输，本领域技术人员可根据具体情况选择，在此不做具体限定。

[0096] 获取单元204，获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度。其中，可以通过IMU传感器获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度。

[0097] 距离计算单元205，用于根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

[0098] 通过本申请的上述技术方案，可以使得计算出的工人与移动式机械设备之间的距离更加准确。

[0099] 图7是根据一示例性实施例示出的一种施工现场的人机碰撞预警系统中报警模块的结构示意图。

[0100] 如图7所示，在一个实施例中，优选地，所述报警模块103包括：

[0101] 第一报警单元701，用于当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

[0102] 第二报警单元702，用于当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

[0103] 其中，界面交互可以为设置在机械设备上的显示器。当人与机械设备之间的距离大于预设距离阈值时，则触发界面交互，使显示器中线框内显示绿色。当人与机械设备之间的距离小于预设距离阈值时，同时触发界面交互和声音交互，声音交互发出蜂鸣声进行警告，显示器线框内显示红色。具体而言，如图8所示，预警交互分为界面交互与声音交互两部分。界面交互针对坐在机械设备驾驶室内的驾驶员。驾驶员可以通过显示器实时看到双目摄像头拍到的画面。画面中人被长方形线框框选突出，当画面中的人与机械设备距离大于预设距离阈值时，线框为绿色(图中小长方形)；当画面中的人与机械设备距离小于预设距离阈值时，线框变为红色(图中大长方形)，声音交互针对现场的工人，为当人与机械设备距离小于预设距离阈值时发出蜂鸣声进行警告。

[0104] 图9是根据一示例性实施例示出的另一种施工现场的人机碰撞预警系统的结构示意图。

[0105] 如图9所示，在一个实施例中，优选地，所述系统还包括：

[0106] 阈值确定模块901，用于通过德尔菲法方法确定所述预设距离阈值。

[0107] 其中，德尔菲法方法具体为：拟定调查的问题是施工机械设备的预设距离阈值，设计问卷中包括常见的施工机械设备包括挖掘机、移动式吊车等。可以通过客户端将问卷调查发送至专家小组，其中，专家小组的人员可以包括甲方安全负责人、乙方安全负责人、第三方监理与工人以及相关专业专家。对专家小组成员进行第一轮问卷调查，让专家们在客户端写下自己心中的预警阈值，并写明阈值得出的原因。通过服务端将各位专家第一次判断意见汇总，列成图表，进行对比，再分发给各位专家，让专家比较自己同他人的不同意见，修改自己的意见和判断。也可以把各位专家的意见加以整理，或请身份更高的其他专家加以评论，然后把这些意见再分送给各位专家，以便他们参考后修改自己的意见。将所有专家的修改意见收集起来，汇总，再次分发给各位专家，以便做第二次修改。逐轮收集意见并为专家反馈信息是德尔菲法的主要环节。收集意见和信息反馈一般要经过三、四轮。在向专家进行反馈的时候，只给出各种意见，但并不说明发表各种意见的专家的具体姓名。这一过程重复进行，直到每一个专家不再改变自己的意见为止。由此便得出了各个设备的合理预设距离阈值。

[0108] 如图10所示，在一个实施例中，优选地，所述系统还包括：

[0109] 设备三防模块1000，处理模块102可以安装至设备三防模块1000内部，用于避免处理模块102受雨水、尘土和振动的影响，保障正常工作。

[0110] 具体而言，施工现场的工作环境复杂，施工过程中会造成大量尘土漫天飞扬，为了保证良好的施工环境以及环保要求，施工方会用喷水的方式减少空气中的尘土。本发明实施例依赖以CPU和GPU为核心的工控机作为算法实现的载体，需要工控机机箱满足计算核心防尘防水的要求。同时由于设备安装在起重、运输、挖掘等施工机械设备上，设备在运转时会带来高频振动，所以计算核心还有防震的要求。最后由于CPU和GPU功率较高，还要考虑设备散热问题。因此，如图11所示，设计一种设备三防装置，解决上述存在的问题。

[0111] 进一步地，在本发明的一个实施例中，设备三防模块包括防水防尘单元和防震单元。防震单元是在处理模块中内箱与固定支架之间采用钢丝减震器，以缓冲三维震动，在处理模块中主板与内箱之间采用弹簧减振结构，以消除残余震动。

[0112] 具体地，首先在防水防尘问题上，采用了多个结构设计来避免。采用外罩机箱来防水和防尘，并在机箱侧面留出特殊的向下出风口，避免雨水倒灌，内箱与外罩之间留出足够空间。外罩下方出风口加装防尘过滤网。内箱通风口也加装防尘过滤网。量级过滤，有效防尘。

[0113] 如图12所示，其次针对于防震问题，本发明实施例采用了两级防震措施。机箱大结构分为内箱和外罩。内箱与固定的支架之间采用钢丝减震器连接固定。钢丝减震器可以对三维震动有效的缓冲。钢丝减震器通过绕制的螺旋型钢丝绳，可以通过螺线结构的变形来吸收上下左右前后的震动，并且结构稳定，有很好的弹性和韧性。第二级减震措施安装在主板与内箱之间。主板固定在内箱使用了弹簧减震结构，进一步消除残余震动，保证工控机正常运行。

[0114] 最后，针对散热问题，对机箱的风冷循环做了优化设计。在内箱装了5部风扇，其中一部位于CPU上部，保证处理器的散热。另外有一部风扇在显卡GPU上，保证显卡的散热。其他三步位于内箱一侧，进行整个机箱与外箱通风循环。另外，考虑到工地常有高温和阳光直射情况，使用散热外罩可以有效的隔离阳光直射内箱导致升温，增加了散热性能。

[0115] 下面将本发明实施例应用在实际机械设备施工过程中，具体如下：

[0116] (1)选择预警区域安装设备

[0117] 根据施工机械设备作业内容选择需要预警的范围，在设备合适的位置安装摄像头。以移动式吊车为例，本次活动预警范围为车尾一侧，具体预警范围如图13所示，将包含CPU和GPU等算力的工控机机箱选择合适地方安装，最好安装在驾驶室内。以车载电瓶为电源，在吊车发动的情况下不间断为工控机供电。工控机与摄像头之间通过光纤连接，降低数据传输延迟。显示器在驾驶室选择合适的位置固定并与工控机相连。

[0118] (2)设定报警阈值

[0119] 通过德尔菲法(问卷调查和半结构化等方式相结合)方法确定选择拟预警设备的阈值。不同摄像头覆盖区域的报警阈值可以不同。在系统中输入最后确定的报警阈值。

[0120] (3)风险情况报警

[0121] 如图14所示，在系统运行的过程中，每一位出现在摄像头中距离机械设备10米以内大于阈值的工人都会自动用绿色的框子框出。

[0122] 如图15所示，当工人靠近施工机械设备的距离小于阈值时，显示器中会用红色框框出工人，并发出蜂鸣声。

[0123] 通过现场试验可知报警延迟小于1s，5米内报警距离误差小于10cm，每个摄像头可覆盖范围为72°，工控机可连接多个双目摄像头。摄像头每秒处理超过10帧输入的图片，满足预警要求。

[0124] 根据本发明实施例提出的基于深度学习视觉技术的施工现场的人机碰撞预警系统，基于成熟的深度学习视觉算法，设计满足要求算力的工控机，配套双目摄像头及蜂鸣报警装置，实现基于深度学习视觉技术的施工人机碰撞预警系统。本发明以移动式吊车为研究对象，拟安装在以移动式吊车为代表的施工现场的可移动机械设备上，以双目摄像机采集的视频流数据作为输入，通过算法识别视频中的人以及人与摄像头之间的距离，对与机械设备距离超过阈值的风险状况进行报警，有效地排除施工时潜在的隐患，无需依赖工作人员，节省时间，可轻松应对实时的、突发的状况。

[0125] 其次参照附图描述根据本发明实施例提出的施工现场的人机碰撞预警方法。

[0126] 图16是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法的流程图。

[0127] 如图16所示，根该施工现场的人机碰撞预警方法，包括步骤S1601-S1603：

[0128] 在步骤S1601中，通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

[0129] 在步骤S1602中，从图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

[0130] 在步骤S1603中，根据工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

[0131] 图17是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法中步骤S1602的流程图。

[0132] 如图17所示，在一个实施例中，优选地，上述步骤S1602包括步骤S1701-S1705：

[0133] 在步骤S1701中，通过深度学习算法从图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标，深度学习算法包括：CNN算法、ResNet算法和Unet算法；

[0134] 在步骤S1702中，通过双目视觉算法计算出目标图像数据中的每个像素点对应的物体到摄像头的深度距离；

[0135] 在步骤S1703中，确定每个人体范围的中心点坐标，并以中心点坐标为基准坐标，等距离的在人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为工人与双目摄像头之间的距离；

[0136] 在步骤S1704中，获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

[0137] 在步骤S1705中，根据工人与双目摄像头之间的距离，以及绝对角度和相对角度，计算出工人与移动式机械设备之间的距离。

[0138] 图18是根据一示例性实施例示出的一种施工现场的人机碰撞预警方法中步骤S1603的流程图。

[0139] 如图18所示，在一个实施例中，优选地，上述步骤S1603包括步骤S1801-S1802：

[0140] 在步骤S1801中，当工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，第一人机碰撞预警提示方式包括界面显示和声音报警；

[0141] 在步骤S1802中，当工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，第二人机碰撞预警提示方式包括界面显示。

[0142] 在一个实施例中，优选地，方法还包括：

[0143] 通过德尔菲法方法确定预设距离阈值。

[0144] 根据本公开实施例的第三方面，提供一种施工现场的人机碰撞预警系统，包括：

[0145] 处理器；

[0146] 用于存储处理器可执行指令的存储器；

[0147] 其中，所述处理器被配置为：

[0148] 定位每个数据采集模块所在的位置，并确定每个所述数据采集模块的坐标；

[0149] 获取所述每个数据采集模块设置的绝对角度，以及所述每个数据采集模块与施工现场的工人之间的相对角度；

[0150] 通过所述数据采集模块采集施工现场的图像数据，并从所述图像数据中选取出图像中含有工人，且工人与所述移动式机械设备的距离在预设距离范围内的目标图像数据；

[0151] 将所述目标图像数据按照图像数据和与其对应的标签数据的存储方式进行存储，其中，所述标签数据包括所述数据采集模块的坐标，采集时间，所述绝对角度，所述相对角度和所述工人与所述移动式机械设备之间的距离。

[0152] 所述处理器还被配置为：

[0153] 在一个实施例中，优选地，所述从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离，包括：

[0154] 通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法；

[0155] 通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

[0156] 确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

[0157] 获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

[0158] 根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

[0159] 在一个实施例中，优选地，所述根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示，包括：

[0160] 当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

[0161] 当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

[0162] 通过德尔菲法方法确定所述预设距离阈值。

[0163] 一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种用于施工现场的人机碰撞预警方法，所述方法包括：

[0164] 通过设置在施工现场的移动式机械设备上的多个双目摄像头采集施工现场的图像数据；

[0165] 从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离；

[0166] 根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示。

[0167] 在一个实施例中，优选地，所述从所述图像数据中选取出图像中含有工人的目标图像数据，并根据每个目标图像数据确定工人与机械设备之间的实际距离，包括：

[0168] 通过深度学习算法从所述图像数据中识别出图像中含有工人的目标图像数据，并确定每个目标图像数据中工人的人体范围对应的像素点的坐标，所述深度学习算法包括：CNN算法、ResNet算法和Unet算法；

[0169] 通过双目视觉算法计算出所述目标图像数据中的每个像素点对应的物体到所述摄像头的深度距离；

[0170] 确定每个所述人体范围的中心点坐标，并以所述中心点坐标为基准坐标，等距离的在所述人体范围内取5×5个目标像素点，根据所有目标像素点对应的深度距离的极差与5的商为距离，生成频数分布直方图，将频数最大的直方图中包含的所有目标像素点对应的深度距离的平均值确定为所述工人与所述双目摄像头之间的距离；

[0171] 获取每个双目摄像头与正北方向所成的绝对角度，以及每个双目摄像头与对应的施工现场的工人之间的相对角度；

[0172] 根据工人与所述双目摄像头之间的距离，以及所述绝对角度和所述相对角度，计算出所述工人与所述移动式机械设备之间的距离。

[0173] 在一个实施例中，优选地，所述根据所述工人与机械设备之间的实际距离，确定对应的人机碰撞预警提示方式进行提示，包括：

[0174] 当所述工人与机械设备之间的实际距离小于预设距离阈值时，通过第一人机碰撞预警提示方式进行提示，所述第一人机碰撞预警提示方式包括界面显示和声音报警；

[0175] 当所述工人与机械设备之间的实际距离大于或者等于预设距离阈值时，通过第二人机碰撞预警提示方式进行提示，所述第二人机碰撞预警提示方式包括界面显示。

[0176] 在一个实施例中，优选地，所述方法还包括：

[0177] 通过德尔菲法方法确定所述预设距离阈值。

[0178] 进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

[0179] 进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

[0180] 进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

[0181] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

[0182] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。