一种风险行为识别方法及系统

摘要

本发明涉及一种风险行为识别方法及系统，基于空间信息、生产设备位置信息和生产设备的几何信息建立工作空间的三维模型；然后从视频流中抽取多个目标图像帧，并提取目标图像帧中的作业人员的姿态特征和位置特征；将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在作业三维模型中确定作业人员的位置风险和动作风险。本申请通过建立工作空间的三维模型，并将视频流中作业人员的姿态特征和位置特征都映射至三维模型中，从而对作业人员当前的动作和位置进行三维分析，确定作业人员在当前作业环境下的位置风险和动作风险。相较于现有的仅基于视频进行风险分析的技术，本申请的风险识别准确度高。

权利要求

1.一种风险行为识别方法，其特征在于，包括步骤：

获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间；提取所述目标图像帧中的作业人员的姿态特征，包括：提取所述目标图像帧中的作业人员的人体关键点，其中，所述人体关键点包括多个人体骨骼关节；将所述人体关键点进行连线处理，得到作业人员的姿态特征；提取所述目标图像帧中的作业人员的位置特征，包括：在所述三维模型中绘制三维网格线；转动所述工作空间的三维模型至目标视角，以使得所述目标图像帧中的生产设备与所述三维模型中的生产设备模型重合；将处于目标视角三维网格线映射至所述目标图像帧中，并基于所述三维网格线确定每一个人体关键点在所述三维模型中的位置，得到作业人员的位置特征；

基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险；在所述作业三维模型中确定作业人员的位置风险，包括：确定所述姿态特征中的目标人体关键点和其他人体关键点的所处区域，其中，所述目标人体关键点为参与作业的人体部位对应的关键点；基于目标人体关键点Dj和其他人体关键点Bj的所处区域对应的风险值确定位置风险的值Rp，其中式中，w(Dj)为目标人体关键点Dj所在区域的风险值，w(Bj)为其他人体关键点Bj所在区域的风险值，β为第二比例因子；

在所述作业三维模型中确定作业人员的动作风险，包括：将所述姿态特征中的人体关键点坐标与预先建立的姿态模板中对应的人体关键点参考坐标进行求差，得到每个人体关

2 2

键点的位置偏差值DEk；计算多个位置偏差值DEk的方差σ，并基于所述方差σ构建所述姿态特征与姿态模板的相似度S， 在所述相似度S大于或者等于预设的相似度阈值时，判定所述姿态特征的动作风险Ra的值为0；在所述相似度S小于预设的相似度阈值时，基于每个人体关键点的位置偏差值DEk和所述相似度S计算动作风险Ra，其中，式中，γ为第三比例因子，δ为第四比例因子，DE'k为目标人体关键点与对应人体关键点参考坐标的偏差值，DE为所有人体关键点的位置偏差值DEk的平均值。

2.根据权利要求1所述的一种风险行为识别方法，其特征在于，基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，包括：基于所述空间信息建立空白工作空间；

基于所述生产设备的几何信息建立设备初始模型，并基于所述位置信息将所述设备初始模型映射至所述空白工作空间中，得到中间工作空间；

在所述中间工作空间中定义多个风险区域的范围以及多个风险区域的风险值，得到工作空间的三维模型，其中，距离所述生产设备越近的风险区域的风险值越高。

3.根据权利要求1所述的一种风险行为识别方法，其特征在于，从所述视频流中抽取多个目标图像帧，包括：从所述视频流中抽取目标时间点T1到当前时间点Td之间的所有图像帧，得到第一图像帧Pi；

提取时间最早的第一图像帧Pfirst中的作业人员的腕关节的位置坐标A1，并提取时间最晚的第一图像帧Plsat中的作业人员的腕关节的位置坐标A2；

计算所述位置坐标A1和所述位置坐标A2的距离S12，并基于所述距离S12确定目标图像帧的抽取数量C，C＝S12×α，α为第一比例因子；

基于所述抽取数量C对所有的第一图像帧Pi进行均匀抽取，得到多个目标图像帧。

4.根据权利要求1所述的一种风险行为识别方法，其特征在于，基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险，包括：确定每一个目标图像帧的综合风险R，R＝Rp+Ra；

计算所有目标图像帧的综合风险R的平均值R'，得到作业人员的当前行为风险的取值。

5.根据权利要求1所述的一种风险行为识别方法，其特征在于，从所述视频流中抽取多个目标图像帧之前，还包括：对所述视频流中的图像帧进行人体识别；

在所述视频流中任意一个图像帧存在人体特征时，触发从所述视频流中抽取多个目标图像帧的步骤。

6.一种风险行为识别系统，其特征在于，包括：

获取模块，用于获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

模型建立模块，用于基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

特征提取模块，用于从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间；提取所述目标图像帧中的作业人员的姿态特征，包括：提取所述目标图像帧中的作业人员的人体关键点，其中，所述人体关键点包括多个人体骨骼关节；将所述人体关键点进行连线处理，得到作业人员的姿态特征；提取所述目标图像帧中的作业人员的位置特征，包括：在所述三维模型中绘制三维网格线；转动所述工作空间的三维模型至目标视角，以使得所述目标图像帧中的生产设备与所述三维模型中的生产设备模型重合；将处于目标视角三维网格线映射至所述目标图像帧中，并基于所述三维网格线确定每一个人体关键点在所述三维模型中的位置，得到作业人员的位置特征；

映射模块，用于基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

风险识别模块，用于在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险在所述作业三维模型中确定作业人员的位置风险，包括：确定所述姿态特征中的目标人体关键点和其他人体关键点的所处区域，其中，所述目标人体关键点为参与作业的人体部位对应的关键点；基于目标人体关键点Dj和其他人体关键点Bj的所处区域对应的风险值确定位置风险的值Rp，其中式中，w(Dj)为目标人体关键点Dj所在区域的风险值，w(Bj)为其他人体关键点Bj所在区域的风险值，β为第二比例因子；

在所述作业三维模型中确定作业人员的动作风险，包括：将所述姿态特征中的人体关键点坐标与预先建立的姿态模板中对应的人体关键点参考坐标进行求差，得到每个人体关

2 2

键点的位置偏差值DEk；计算多个位置偏差值DEk的方差σ，并基于所述方差σ构建所述姿态特征与姿态模板的相似度S， 在所述相似度S大于或者等于预设的相似度阈值时，判定所述姿态特征的动作风险Ra的值为0；在所述相似度S小于预设的相似度阈值时，基于每个人体关键点的位置偏差值DEk和所述相似度S计算动作风险Ra，其中，式中，γ为第三比例因子，δ为第四比例因子，DE'k为目标人体关键点与对应人体关键点参考坐标的偏差值，DE为所有人体关键点的位置偏差值DEk的平均值。

说明书

一种风险行为识别方法及系统

技术领域

[0001] 本发明涉及计算机技术领域，具体是一种风险行为识别方法及系统。

背景技术

[0002] 在一些生产领域，经常需要对生产区域进行视频监控，从而对生产人员在操作危险设备时进行监控。防止生产人员因为危险行为导致受伤。

[0003] 但是在现有技术中，一般通过仅通过对视频进行分析确定生产人员的行为。但是由于视频是二维的，无法确定真实的生成人员行为。因此现有的行为识别技术准确度较差，容易出现误识别、或者识别不出存在风险的行为。

发明内容

[0004] 有鉴于此，本发明的目的是提供一种风险行为识别方法及系统，以解决现有技术中易出现误识别、或者识别不出存在风险的行为的技术问题。

[0005] 为了实现上述目的，本发明采用了如下技术方案：

[0006] 本发明的一种风险行为识别方法，包括步骤：

[0007] 获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

[0008] 基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

[0009] 从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间；

[0010] 基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

[0011] 在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险。

[0012] 在本申请一实施例中，基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，包括：

[0013] 基于所述空间信息建立空白工作空间；

[0014] 基于所述生产设备的几何信息建立设备初始模型，并基于所述位置信息将所述设备初始模型映射至所述空白工作空间中，得到中间工作空间；

[0015] 在所述中间工作空间中定义多个风险区域的范围以及多个风险区域的风险值，得到工作空间的三维模型，其中，距离所述生产设备越近的风险区域的风险值越高。

[0016] 在本申请一实施例中，从所述视频流中抽取多个目标图像帧，包括：

[0017] 从所述视频流中抽取目标时间点T1到当前时间点Td之间的所有图像帧，得到第一图像帧Pi；

[0018] 提取时间最早的第一图像帧Pfirst中的作业人员的腕关节的位置坐标A1，并提取时间最晚的第一图像帧Plast中的作业人员的腕关节的位置坐标A2；

[0019] 计算所述位置坐标A1和所述位置坐标A2的距离S12，并基于所述距离S12确定目标图像帧的抽取数量C，C＝S12×α，α为第一比例因子；

[0020] 基于所述抽取数量C对所有的第一图像帧Pi进行均匀抽取，得到多个目标图像帧。

[0021] 在本申请一实施例中，提取所述目标图像帧中的作业人员的姿态特征，包括：

[0022] 提取所述目标图像帧中的作业人员的人体关键点，其中，所述人体关键点包括多个人体骨骼关节；

[0023] 将所述人体关键点进行连线处理，得到作业人员的姿态特征。

[0024] 在本申请一实施例中，提取所述目标图像帧中的作业人员的位置特征，包括：

[0025] 在所述三维模型中绘制三维网格线；

[0026] 转动所述工作空间的三维模型至目标视角，以使得所述目标图像帧中的生产设备与所述三维模型中的生产设备模型重合；

[0027] 将处于目标视角三维网格线映射至所述目标图像帧中，并基于所述三维网格线确定每一个人体关键点在所述三维模型中的位置，得到作业人员的位置特征。

[0028] 在本申请一实施例中，在所述作业三维模型中确定作业人员的位置风险，包括：

[0029] 确定所述姿态特征中的目标人体关键点和其他人体关键点的所处区域，其中，所述目标人体关键点为参与作业的人体部位对应的关键点；

[0030] 基于目标人体关键点Dj和其他人体关键点Bj的所处区域对应的风险值确定位置风险的值Rp，其中

[0031]

[0032] 式中，w(Dj)为目标人体关键点Dj所在区域的风险值，w(Bj)为其他人体关键点Bj所在区域的风险值，β为第二比例因子。

[0033] 在本申请一实施例中，在所述作业三维模型中确定作业人员的动作风险，包括：

[0034] 将所述姿态特征中的人体关键点坐标与预先建立的姿态模板中对应的人体关键点参考坐标进行求差，得到每个人体关键点的位置偏差值DEk；

[0035] 计算多个位置偏差值DEk的方差σ2，并基于所述方差σ2构建所述姿态特征与姿态模板的相似度S，

[0036] 在所述相似度S大于或者等于预设的相似度阈值时，判定所述姿态特征的动作风险Ra的值为0；

[0037] 在所述相似度S小于预设的相似度阈值时，基于每个人体关键点的位置偏差值DEk和所述相似度S计算动作风险Ra，其中，

[0038]

[0039] 式中，γ为第三比例因子，δ为第四比例因子，DE′k为目标人体关键点与对应人体关键点参考坐标的偏差值，DE为所有人体关键点的位置偏差值DEk的平均值。

[0040] 在本申请一实施例中，基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险，包括：

[0041] 确定每一个目标图像帧的综合风险R，R＝Rp+Ra；

[0042] 计算所有目标图像帧的综合风险R的平均值R′，得到作业人员的当前行为风险的取值。

[0043] 在本申请一实施例中，从所述视频流中抽取多个目标图像帧之前，还包括：

[0044] 对所述视频流中的图像帧进行人体识别；

[0045] 在所述视频流中任意一个图像帧存在人体特征时，触发从所述视频流中抽取多个目标图像帧的步骤。

[0046] 本申请还提供一种风险行为识别系统，包括：

[0047] 获取模块，用于获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

[0048] 模型建立模块，用于基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

[0049] 特征提取模块，用于从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间；

[0050] 映射模块，用于基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

[0051] 风险识别模块，用于在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险。

[0052] 本发明还提供一种存储介质，其中存储有计算机程序，所述计算机程序被处理器加载执行时，实现如上所述的一种风险行为识别方法。

[0053] 本发明还提供一种电子设备，包括：处理器、及存储器；其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如上所述的一种风险行为识别方法。

[0054] 本发明的有益效果是：本发明的一种风险行为识别方法及系统，基于空间信息、生产设备位置信息和生产设备的几何信息建立工作空间的三维模型；然后从视频流中抽取多个目标图像帧，并提取目标图像帧中的作业人员的姿态特征和位置特征；将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在作业三维模型中确定作业人员的位置风险和动作风险。本申请通过建立工作空间的三维模型，并将视频流中作业人员的姿态特征和位置特征都映射至三维模型中，从而对作业人员当前的动作和位置进行三维分析，确定作业人员在当前作业环境下的位置风险和动作风险。相较于现有的仅基于视频进行风险分析的技术，本申请的风险识别准确度高。

附图说明

[0055] 下面结合附图和实施例对本发明作进一步描述：

[0056] 图1是本申请一实施例中示出的一种风险行为识别方法的流程图；

[0057] 图2为本申请一实施例中的人体关键点示意图；

[0058] 图3为本申请一实施例中展示的映射三维网格线后的目标图像帧示意图[0059] 图4是本申请一实施例中示出的一种风险行为识别系统的结构图；

[0060] 图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

[0061] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

[0062] 需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。

[0063] 在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。

[0064] 图1是本申请一实施例中示出的一种风险行为识别方法的流程图，如图1所示：本实施例的一种风险行为识别方法，可以包括步骤S110至步骤S150：

[0065] S110，获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

[0066] 其中，图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息均可以通过传感器扫描的方式获取。例如，采用激光雷达扫描，得到三维点云。此时，图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息均为三维点云数据。

[0067] 视频流为图像采集设备(如网络摄像头)在某一固定视角下，拍摄的生产场所的实时画面。

[0068] S120，基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

[0069] 在本实施例中，可以通过三维点云数据在相关工具中构建整个生产场所的数字孪生模型。

[0070] 具体地，基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，包括：

[0071] S121，基于所述空间信息建立空白工作空间；

[0072] S122，基于所述生产设备的几何信息建立设备初始模型，并基于所述位置信息将所述设备初始模型映射至所述空白工作空间中，得到中间工作空间；

[0073] S123，在所述中间工作空间中定义多个风险区域的范围以及多个风险区域的风险值，得到工作空间的三维模型，其中，距离所述生产设备越近的风险区域的风险值越高。

[0074] 在本申请中，建立了设备初始模型和空白工作空间之后，还需要依据生产设备的距离建立风险区域，例如，生产设备为切割机，风险区域为围绕切割机模型四周的区域，且距离切割机越近，风险越高。例如，生产设备为锅炉，那么风险区域为围绕锅炉四周和顶部的区域，且距离锅炉越近，风险越高。提前建立各个区域的风险值，以便于后续对作业人员的行为风险进行计算。

[0075] S130，从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间，具体地，单位时间一般取2‑3秒；

[0076] 在本申请中，采用60帧的摄像机进行拍摄，得到的视频流每秒有60个图像帧。如果逐一进行特征提取，那么对于计算设备的负担巨大，还会影响识别效果。因此本申请根据视频画面中人员动作幅度来抽取多个目标图像帧，人员的动作幅度越大，抽取的数量越多，以保留更多的动作信息。

[0077] 具体地，从所述视频流中抽取多个目标图像帧，包括：

[0078] S13101，从所述视频流中抽取目标时间点T1到当前时间点Td之间的所有图像帧，得到第一图像帧Pi；

[0079] S13102，提取时间最早的第一图像帧Pfirst中的作业人员的腕关节的位置坐标A1，并提取时间最晚的第一图像帧Plast中的作业人员的腕关节的位置坐标A2；

[0080] S13103，计算所述位置坐标A1和所述位置坐标A2的距离S12，并基于所述距离S12确定目标图像帧的抽取数量C，C＝S12×α，α为第一比例因子；距离S12即为单位时间Tn内作业人员手腕处的运动幅度；

[0081] S13104，基于所述抽取数量C对所有的第一图像帧Pi进行均匀抽取，得到多个目标图像帧。

[0082] 一般来说，作业人员运动最频繁的位置就是手部，因此，本申请提取作业人员的腕关节所在的关键点来进行参考。确定作业人员的运动幅度。目标图像帧的抽取数量基于运动幅度确定，运动幅度越大抽取数量越多，且采用均匀抽取的方式，例如60帧里面均匀抽取6帧。

[0083] 本申请中的作业人员的姿态特征基于人体特征点来构建，具体地，提取所述目标图像帧中的作业人员的姿态特征，包括：

[0084] S13201，提取所述目标图像帧中的作业人员的人体关键点，其中，所述人体关键点包括多个人体骨骼关节；

[0085] 图2为本申请一实施例中的人体关键点示意图，如图2所示，多个人体骨骼关节包括颈部关节、左肩关节、右肩关节、左肘关节、右肘关节、左手腕关节、右手腕关节、左臀关节、右臀关节、左膝盖关节、右膝盖关节、左脚踝关节、右脚踝关节等。

[0086] S13202，将所述人体关键点进行连线处理，得到作业人员的姿态特征。连线后就可以得到作业人员在当前的姿态。

[0087] 在本申请一实施例中，提取所述目标图像帧中的作业人员的位置特征，包括：

[0088] S13301，在所述三维模型中绘制三维网格线；其中，三维网格线将整个三维模型划分为多个立方体空间，每个立方体空间均具有一个对应的风险值。

[0089] S13302，转动所述工作空间的三维模型至目标视角，以使得所述目标图像帧中的生产设备与所述三维模型中的生产设备模型重合；

[0090] S13303，将处于目标视角三维网格线映射至所述目标图像帧中，并基于所述三维网格线确定每一个人体关键点在所述三维模型中的位置，得到作业人员的位置特征。

[0091] 图3为本申请一实施例中展示的映射三维网格线后的目标图像帧示意图，为了便于展示，简化了中间的网格线，如图3所示，将三维模型转动至目标视角后，再进行缩放和平移操作，就可以使得目标图像帧中的生产设备与三维模型中的生产设备模型重合，此时，将处于目标视角三维网格线映射至目标图像帧中，就可以通过映射至目标图像帧中的三维网格来确定每一个人体关键点的位置。具体地，由于三维网格映射至目标图像帧中时，会变成二维形式，在一些方向上会出现重叠的现象，因此，本实施例中，先确定最下方，位于地板上的人体关键点。然后向上一一确定每个人体关键点的所在网格，如果出现一个人体关键点位于重叠的多个网格中，且将多个网格中距离已经确定的网格最近的网格作为该人体关键点的所在网格。

[0092] 在确定了每个人体关键点的所在网格后，就可以得到作业人员的多个身体部位的三维位置，进而得到作业人员的位置特征。

[0093] 此外，由于摄像头的位置固定，因此在第一次映射三维网格线后，后续的图像可以直接沿用该三维网格线，以快速确定作业人员的位置特征。

[0094] S140，基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

[0095] 在本申请中，作业三维模型可以实时显示作业人员在三维模型中的动作和位置，作业三维模型输出到一个显示器中，可以帮助相关人员对一线作业人员的作业行为进行监控。

[0096] S150，在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险。

[0097] 具体地，在所述作业三维模型中确定作业人员的位置风险，包括：

[0098] S15101，确定所述姿态特征中的目标人体关键点和其他人体关键点的所处区域，其中，所述目标人体关键点为参与作业的人体部位对应的关键点；

[0099] S15102，基于目标人体关键点Dj和其他人体关键点Bj的所处区域对应的风险值确定位置风险的值Rp，其中

[0100]

[0101] 式中，w(Dj)为目标人体关键点Dj所在区域的风险值，w(Bj)为其他人体关键点Bj所在区域的风险值，β为第二比例因子。

[0102] 在本申请中，一般来说，生产作业时，生产设备对于手部的威胁较大，因此本申请中将手部相关的人体关键点作为目标人体关键点，本申请对目标人体关键点所在的区域对应的风险值增加一个大于1的目标风险因子，放大目标人体关键点带来的风险值。从而得到更能够反映作业人员真实作业风险的位置风险值。

[0103] 在所述作业三维模型中确定作业人员的动作风险，包括：

[0104] S15201，将所述姿态特征中的人体关键点坐标与预先建立的姿态模板中对应的人体关键点参考坐标进行求差，得到每个人体关键点的位置偏差值DEk；

[0105] S15202，计算多个位置偏差值DEk的方差σ2，并基于所述方差σ2构建所述姿态特征与姿态模板的相似度S，

[0106] 其中，姿态模板基于预先录制的作业视频生成，姿态模块的数量可以为多个，与所述姿态特征中的人体关键点坐标进行求差的姿态模板，为与所述姿态特征最相似的一个。姿态特征与多个姿态模板的相似度可以通过求汉明距离快速计算。

[0107] S15203，在所述相似度S大于或者等于预设的相似度阈值时，判定所述姿态特征的动作风险Ra的值为0；

[0108] S15204，在所述相似度S小于预设的相似度阈值时，基于每个人体关键点的位置偏差值DEk和所述相似度S计算动作风险Ra，其中，

[0109]

[0110] 式中，γ为第三比例因子，δ为第四比例因子，DE′k为目标人体关键点与对应人体关键点参考坐标的偏差值，DE为所有人体关键点的位置偏差值DEk的平均值。

[0111] 其中，在所述相似度S小于预设的相似度阈值时，说明当前作业人员的姿态与姿态模板并不相似，当前作业人员并未按照规范进行作业。此时，通过相似度计算大致的动作风险值，即 然后再引入目标人体关键点带来的额外影响，即 如果目标人体关键点与对应人体关键点的偏差大于平均偏差，那么 为正，
Ra>Ra，反之则Ra

[0112] 基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险，包括：

[0113] S15301，确定每一个目标图像帧的综合风险R，R＝Rp+Ra；

[0114] S15302，计算所有目标图像帧的综合风险R的平均值R′，得到作业人员的当前行为风险的取值。

[0115] 其中，由于本申请中包含多个目标图像帧，因此，最后进行求和平均，对单位时间内作业人员的行为风险进行统计。如果平均值R′大于预设的判定阈值，则进行报警，并保存单位时间内的视频流信息，以提供回放功能。从而可以帮助作业人员了解作业时的哪些行为会带来风险。

[0116] 在本申请一实施例中，从所述视频流中抽取多个目标图像帧之前，还包括：

[0117] 对所述视频流中的图像帧进行人体识别；

[0118] 在所述视频流中任意一个图像帧存在人体特征时，触发从所述视频流中抽取多个目标图像帧的步骤。

[0119] 在本实施例中，在第一次建立三维模型之后，便可以直接引用该三维模型。在摄像头的画面中出现人体特征时，从所述视频流中抽取多个目标图像帧，然后后续再执行步骤S130‑S150即可。

[0120] 本发明的一种风险行为识别方法，基于空间信息、生产设备位置信息和生产设备的几何信息建立工作空间的三维模型；然后从视频流中抽取多个目标图像帧，并提取目标图像帧中的作业人员的姿态特征和位置特征；将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在作业三维模型中确定作业人员的位置风险和动作风险。本申请通过建立工作空间的三维模型，并将视频流中作业人员的姿态特征和位置特征都映射至三维模型中，从而对作业人员当前的动作和位置进行三维分析，确定作业人员在当前作业环境下的位置风险和动作风险。相较于现有的仅基于视频进行风险分析的技术，本申请的风险识别准确度高。

[0121] 如图4所示，本申请还提供一种风险行为识别系统，包括：

[0122] 获取模块，用于获取图像采集设备所在场所的空间信息、生产设备位置信息、生产设备的几何信息和图像采集设备获取的视频流；

[0123] 模型建立模块，用于基于所述空间信息、所述生产设备位置信息和所述生产设备的几何信息建立工作空间的三维模型，其中，所述三维模型包括生产设备模型和生产设备模型对应的风险区域；

[0124] 特征提取模块，用于从所述视频流中抽取多个目标图像帧，并提取所述目标图像帧中的作业人员的姿态特征和位置特征，所述多个目标图像帧为目标时间点T1到当前时间点Td之间的图像帧，Td‑T1＝Tn，Tn为单位时间；

[0125] 映射模块，用于基于时间顺序将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；

[0126] 风险识别模块，用于在所述作业三维模型中确定作业人员的位置风险和动作风险，并基于所述作业人员的位置风险和动作风险确定作业人员的当前行为风险。

[0127] 本发明的一种风险行为识别系统，基于空间信息、生产设备位置信息和生产设备的几何信息建立工作空间的三维模型；然后从视频流中抽取多个目标图像帧，并提取目标图像帧中的作业人员的姿态特征和位置特征；将每一个目标图像帧中的位置特征和姿态特征映射至三维模型中，得到作业三维模型；在作业三维模型中确定作业人员的位置风险和动作风险。本申请通过建立工作空间的三维模型，并将视频流中作业人员的姿态特征和位置特征都映射至三维模型中，从而对作业人员当前的动作和位置进行三维分析，确定作业人员在当前作业环境下的位置风险和动作风险。相较于现有的仅基于视频进行风险分析的技术，本申请的风险识别准确度高。

[0128] 图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图5示出的电子设备的计算机系统500仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0129] 如图5所示，计算机系统500包括中央处理单元(Central Processing Unit，CPU)501，其可以根据存储在只读存储器(Read‑Only Memory，ROM)502中的程序或者从储存部分
508加载到随机访问存储器(Random Access Memory，RAM)505中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。

[0130] 以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。

[0131] 特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。

[0132] 需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read‑Only Memory，CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

[0133] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0134] 描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

[0135] 本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

[0136] 本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的方法。

[0137] 以上实施例仅是为充分说明本申请而所举的较佳的实施例，本申请的保护范围不限于此。本技术领域的技术人员在本申请基础上所作的等同替代或变换，均在本申请的保护范围之内。