一种煤矿安全监管方法及系统转让专利

申请号 : CN202311353937.2

文献号 : CN117095465B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高昊刘江牛永刚申佳鹏刘振兴李鑫

申请人 : 华夏天信智能物联(大连)有限公司

摘要 :

本发明涉及数据处理技术领域,提供了一种煤矿安全监管方法及系统,包括:获取煤矿作业场景进行关联性分析,获取敏感作业行为、隐式敏感行为和显式敏感行为;采集第一作业人员的作业视频流,获取作业人员定位信息;属于敏感作业区域时,生成第一监管标识;获取显式作业行为和隐式作业行为;不属于敏感作业区域,且显式作业行为属于显式敏感行为时,生成第二监管标识;当显式作业行为不属于显式敏感行为,且隐式作业行为属于所述隐式敏感行为时,生成第三监管标识;根据第一监管标识或第二监管标识或第三监管标识,生成预警信息。解决了现有技术由于无法实时对工作人员自身的作业行为进行监测,导致存在安全事故管理及时性较差的技术问题。

权利要求 :

1.一种煤矿安全监管方法,其特征在于,包括:

获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;

当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;

根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;

当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;

根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;

当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;

当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;

根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端;

其中,获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为,包括:以所述煤矿作业场景为约束条件,采集第一事故记录数据,其中,所述煤矿作业场景指的是任意一个预设煤矿生产任务对应的任意一个时刻的作业场景,所述第一事故记录数据包括事故类型、发生区域和作业行为;

基于触发区域遍历所述第一事故记录数据进行聚类,获取事故记录数据第一聚类结果;

统计所述事故记录数据第一聚类结果的第一区域触发频率、第二区域触发频率直到第M区域触发频率,其中,所述第一区域触发频率指的是任意一个类别的聚类的记录数据条数,M个类别则对应有第一区域触发频率、第二区域触发频率直到第M区域触发频率;

筛选所述第一区域触发频率、所述第二区域触发频率直到所述第M区域触发频率满足第一触发频率阈值的区域,设为所述敏感作业区域;

将仅属于所述敏感作业区域的事故类型的所述第一事故记录数据删除,获取第二事故记录数据;

对所述第二事故记录数据进行行为关联性分析,获取所述敏感作业行为;

对所述第二事故记录数据进行行为关联性分析,获取所述敏感作业行为,包括:根据事故类型对所述第二事故记录数据进行一级聚类,获取事故记录数据第二聚类结果;

根据作业行为特征遍历所述事故记录数据第二聚类结果进行二级聚类,获取事故记录数据第三聚类结果;

统计所述事故记录数据第二聚类结果的第一事故类型触发频率、第二事故类型触发频率直到第N事故类型触发频率,其中,第一事故类型触发频率、第二事故类型触发频率直到第N事故类型触发频率指的是事故记录数据第二聚类结果的任意一个类内的记录数据条数,每一个类对应于一个事故类型;

统计所述事故记录数据第三聚类结果,获取第一事故类型的第一行为触发频率、第二行为触发频率直到第Q行为触发频率;

统计所述事故记录数据第三聚类结果,获取第N事故类型的第一行为触发频率、第二行为触发频率直到第L行为触发频率;

基于所述第一事故类型的所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,直至所述第N事故类型的所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率,提取所述第一事故类型直到所述第N事故类型的共有触发行为的第一组行为触发频率直到第N组行为触发频率,其中,所述共有触发行为指的是第一事故类型直到第N事故类型都触发的多个动作特征信息;

以所述第一事故类型触发频率和所述第一组行为触发频率,构建第一行数据序列;

以所述第N事故类型触发频率和所述第N组行为触发频率,构建第N行数据序列;

根据所述第一行数据序列直到所述第N行数据序列,构建关联性分析矩阵进行灰色关联度分析,获取关联度分析结果;

将所述关联度分析结果大于或等于关联度阈值的所述作业行为特征设为对应事故类型的所述敏感作业行为,包括,所述作业行为特征包括显式行为特征和隐式行为特征,所述显式行为特征指的是动作幅度大于幅度阈值的行为特征,所述隐式行为特征指的是动作幅度小于或等于所述幅度阈值的行为特征;

当所述作业行为特征属于所述显式行为特征时,将所述作业行为特征设为对应事故类型的所述显式敏感行为;

当所述作业行为特征属于所述隐式行为特征时,将所述作业行为特征设为对应事故类型的所述隐式敏感行为。

2.如权利要求1所述的方法,其特征在于,还包括:

基于所述第一事故类型的所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,直至所述第N事故类型的所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率,提取所述第一事故类型直到所述第N事故类型的独有触发行为的第一组独立行为触发频率直到第N组独立行为触发频率;

将所述第一组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第一事故类型敏感作业行为;

将所述第N组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第N事故类型敏感作业行为;

将所述第一事故类型敏感作业行为直到所述第N事故类型敏感作业行为,添加进所述敏感作业行为。

3.如权利要求1所述的方法,其特征在于,根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息,包括:获取第一作业人员的工作服编号信息,其中,所述工作服编号信息至少部署于头盔、手臂、胸前、肩膀和后背的任意三个区域;

获取所述作业视频流的第一帧图像直到第O帧图像;

获取所述第一帧图像的多个作业人员定位信息,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果;

将所述工作服编号信息和所述工作服编号识别结果进行比对,获取第一帧定位信息;

重复分析直到所述第O帧图像,融合所述第一作业人员的所述第一帧定位信息直到第O帧定位信息,获取所述作业人员定位信息;

其中,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果,包括:采集多个姿态的工作服图像集,对所述工作服图像集进行编号标识,获取工作服编号标识信息;

对二分之一的所述工作服图像集进行文字区域标识,获取文字区域标识结果;

以所述工作服图像集为输入数据,以所述文字区域标识结果为监督数据,进行半监督训练,训练文字标识层,其中,所述文字标识层用于对所述工作服图像集进行文字区域标识;

以所述文字区域标识结果为输入数据,以所述工作服编号标识信息为监督数据,进行全监督训练,训练文字识别层;

将所述文字标识层的输出节点和所述文字识别层的输入节点全连接,获取编号识别模型,遍历所述多个作业人员定位信息进行编号识别,获取所述工作服编号识别结果。

4.如权利要求1所述的方法,其特征在于,根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为,包括:获取所述第一作业人员的关节编号信息,基于所述作业视频流提取所述关节编号信息的关节定位序列;

根据所述关节定位序列,确定关节点转动幅度变化曲线;

根据所述关节点转动幅度变化曲线,确定转动幅度极大值;

当所述转动幅度极大值大于或等于幅度阈值,将对应关节编号的动作添加进所述显式作业行为;

当所述转动幅度极大值小于所述幅度阈值,将对应关节编号的动作添加进所述隐式作业行为。

5.如权利要求1所述的方法,其特征在于,还包括:

获取所述显式作业行为的第一关节编号定位序列;

获取所述显式敏感行为的第二关节编号定位序列;

构建动作偏离系数分析公式:

其中,S表征显式作业行为和显式敏感行为的动作偏离程度, 表征显式敏感行为和显式作业行为的第t个关节编号的第j帧图像的定位距离,T表征显式关节总数,J表征图像帧总数, 表征第t个关节编号的距离阈值, 表征无穷大;

将所述作业视频流和所述显式敏感行为的样本视频流的任意一帧的作业人员的第一特征区域进行重合定位,基于所述动作偏离系数分析公式进行动作偏离度分析,获取动作偏离系数,其中,所述第一特征区域指的是臀部区域和腰部区域;

当所述动作偏离系数小于或等于动作偏离系数阈值,视为所述显式作业行为属于所述显式敏感行为;

当所述动作偏离系数大于所述动作偏离系数阈值,视为所述显式作业行为不属于所述显式敏感行为。

6.一种煤矿安全监管系统,其特征在于,用于实施权利要求1‑5任意一项所述的一种煤矿安全监管方法,包括:事故关联分析模块,用于获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;

图像采集模块,用于当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;

定位分析模块,用于根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;

第一监管标识模块,用于当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;

动作识别模块,用于根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;

第二监管标识模块,用于当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;

第三监管标识模块,用于当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;

预警信息发送模块,用于根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端。

说明书 :

一种煤矿安全监管方法及系统

技术领域

[0001] 本发明涉及数据处理相关技术领域,具体涉及一种煤矿安全监管方法及系统。

背景技术

[0002] 煤矿工作人员的安全监管是煤矿安全管理的重要内容。传统的煤矿人员作业安全监控,通常在预设的区域设置警告,避免工作人员进入,而对于工作人员自身的作业失误无法实时分析,仅能通过后续主观排查,进行相应作业行为的定向培训。
[0003] 但是煤矿的安全事故,一旦发生,则较为严重,因此增强培训的方式实用性不强,亟需可以实时进行工作人员自身的作业失误分析的安全监管方案。

发明内容

[0004] 本申请通过提供了一种煤矿安全监管方法及系统,旨在解决现有技术由于无法实时对工作人员自身的作业行为进行监测,导致存在安全事故管理及时性较差的技术问题。
[0005] 鉴于上述问题,本申请提供了一种煤矿安全监管方法及系统。
[0006] 本申请公开的第一个方面,提供了一种煤矿安全监管方法,其中,所述方法包括:获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端。
[0007] 本申请公开的另一个方面,提供了一种煤矿安全监管系统,其中,所述系统包括:事故关联分析模块,用于获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;图像采集模块,用于当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;定位分析模块,用于根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;第一监管标识模块,用于当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;动作识别模块,用于根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;第二监管标识模块,用于当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;第三监管标识模块,用于当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;预警信息发送模块,用于根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端。
[0008] 本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
[0009] 由于采用了进行基于对煤矿作业场景事故关联性分析,得到作业时禁止进入的敏感作业区域和以及不同区域禁止出现的敏感作业行为,其中,敏感作业行为包括隐式敏感行为和显式敏感行为;当第一煤矿区域触发煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;根据作业视频流对第一作业人员进行定位分析,获取作业人员定位信息;当作业人员定位信息属于敏感作业区域时,基于敏感作业区域生成第一作业人员的第一监管标识;根据作业视频流对第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;当作业人员定位信息不属于敏感作业区域,且当显式作业行为属于显式敏感行为时,基于显式敏感行为生成第一作业人员的第二监管标识;当显式作业行为不属于显式敏感行为,且隐式作业行为属于隐式敏感行为时,基于隐式敏感行为生成第一作业人员的第三监管标识;根据第一监管标识或第二监管标识或第三监管标识,生成预警信息发送至第一作业人员的便携式用户端的技术方案,通过事故关联性分析,确定需要监测的敏感作业区域以及敏感作业行为,然后通过作业视频流对任意一个作业人员进行行为识别,当触发敏感作业区域以及敏感作业行为时,及时预警,达到了提高煤矿安全监管及时性的技术效果。
[0010] 上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

附图说明

[0011] 图1为本申请实施例提供了一种煤矿安全监管方法可能的流程示意图;
[0012] 图2为本申请实施例提供了一种煤矿安全监管方法中生成敏感作业区域和敏感作业行为可能的流程示意图;
[0013] 图3为本申请实施例提供了一种煤矿安全监管方法中独有触发行为分析的可能的流程示意图;
[0014] 图4为本申请实施例提供了一种煤矿安全监管系统可能的结构示意图。
[0015] 附图标记说明:事故关联分析模块100,图像采集模块200,定位分析模块300,第一监管标识模块400,动作识别模块500,第二监管标识模块600,第三监管标识模块700,预警信息发送模块800。

具体实施方式

[0016] 本申请实施例提供了一种煤矿安全监管方法及系统,解决了现有技术由于无法实时对工作人员自身的作业行为进行监测,导致存在安全事故管理及时性较差的技术问题。通过事故关联性分析,确定需要监测的敏感作业区域以及敏感作业行为,然后通过作业视频流对任意一个作业人员进行行为识别,当触发敏感作业区域以及敏感作业行为时,及时预警,达到了提高煤矿安全监管及时性的技术效果。
[0017] 在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
[0018] 实施例一:
[0019] 如图1所示,本申请实施例提供了一种煤矿安全监管方法,其中,所述方法包括:
[0020] S10:获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;
[0021] 如图2所示,步骤S10包括步骤:
[0022] S11:以所述煤矿作业场景为约束条件,采集第一事故记录数据,其中,所述煤矿作业场景指的是任意一个预设煤矿生产任务对应的任意一个时刻的作业场景,所述第一事故记录数据包括事故类型、发生区域和作业行为;
[0023] S12:基于触发区域遍历所述第一事故记录数据进行聚类,获取事故记录数据第一聚类结果;
[0024] S13:统计所述事故记录数据第一聚类结果的第一区域触发频率、第二区域触发频率直到第M区域触发频率;
[0025] S14:筛选所述第一区域触发频率、所述第二区域触发频率直到所述第M区域触发频率满足第一触发频率阈值的区域,设为所述敏感作业区域;
[0026] S15:将仅属于所述敏感作业区域的事故类型的所述第一事故记录数据清洗,获取第二事故记录数据;
[0027] S16:对所述第二事故记录数据进行行为关联性分析,获取所述敏感作业行为。
[0028] 具体而言,煤矿作业场景指的是任意一个预设煤矿生产任务对应的任意一个时刻的作业场景,示例性地如煤矿运输区域的煤矿运输任务,配电区域的配电调试任务,通风区域的通风设备调试任务等。进一步,可以确定不同的煤矿作业场景,具有关联的禁止作业人员进入的区域,以及作业人员不被允许的行为,例如:输送场景下,输送通道下方为禁止作业人员进入的区域,用手触碰输送通道上的输送物为作业人员不被允许的行为。
[0029] 将禁止作业人员进入的区域设为敏感作业区域,将作业人员不被允许的行为设为敏感作业行为,更进一步,隐式敏感行为指的是动作幅度小于或等于幅度阈值的人员行为,显式敏感行为指的是动作幅度大于幅度阈值的人员行为。动作幅度指的是任意一个动作可以覆盖的范围大小,通过动作幅度的划分,可以将动作幅度较大的动作和动作幅度较小的动作实现区分,这是因为动作幅度较大的动作通常容易识别进行特征提取,因此视为显式敏感行为;而动作幅度较小的动作识别难度较大,因此视为隐式敏感行为。二者的识别模式具有较大区别,因此需要区别存储进行处理。
[0030] 更进一步,敏感作业区域和敏感作业行为可通过专家人员进行自定义设定,也可以通过智能算法进行数据挖掘确定。本申请实施例优选的使用事故关联性分析算法实现敏感作业区域和敏感作业行为的确定,详细流程如下:
[0031] 第一步骤:通过煤矿作业场景,即以生产区域、生产任务类型、任务执行环节为约束信息,基于大数据,检索对应场景下的煤矿安全事故历史数据集,存储为第一事故记录数据,任意一条第一事故记录数据包括事故类型、发生区域和作业行为,优选的存储方式如下: , 表征第i条事故记录数据, 表征第i条事故记录数据的事故类型, 表征第i条事故记录数据的发生区域,此处的发生区域指的是作业区域内部的区域,指的是事故发生的覆盖坐标区域, 表征第i条事故记录数据的作业行为。
[0032] 第二步骤:确定敏感作业区域:当第一事故记录数据采集的数据记录条数满足记录数据条数阈值时,基于发生区域对第一事故记录数据的进行聚类分析,即当任意两条第一事故记录数据的发生区域的重合比例大于或等于重合比例阈值,则二者视为一类,否则视为两类,重合比例优选的通过:重合比例=重合面积/(重合面积+非重合面积)计算,得到事故记录数据第一聚类结果,第一聚类结果的任意一个类别对应于相近的多个事故发生区域,当属于一个类别都视为一个区域。第一区域触发频率指的是任意一个类别的聚类的记录数据条数,M个类别则对应有第一区域触发频率、第二区域触发频率直到第M区域触发频率。进一步,优选的由用户自定义设定决策是否为敏感作业区域的第一触发频率阈值,筛选第一区域触发频率、第二区域触发频率直到第M区域触发频率大于或等于第一触发频率阈值的聚类对应的区域,视为敏感作业区域。而频率过低的区域,则视为偶然事故,不计入敏感区域。
[0033] 第三步骤:确定敏感作业行为:由于敏感作业区域是禁止进入的区域,当进入即报警,因此发生于敏感作业区域的用户行为无需处理,所以将仅属于所述敏感作业区域的事故类型的第一事故记录数据清洗,得到不属于敏感作业区域作业行为的第二事故记录数据,提取出触发频率较高的敏感作业行为。
[0034] 通过事故关联性分析算法,基于小样本的记录数据进行数据挖掘,快速确定相对客观的敏感作业区域和敏感作业行为,为后步的安全监管提供了监控基准数据。
[0035] 步骤S16包括步骤:
[0036] S161:根据事故类型对所述第二事故记录数据进行一级聚类,获取事故记录数据第二聚类结果;
[0037] S162:根据作业行为特征遍历所述事故记录数据第二聚类结果进行二级聚类,获取事故记录数据第三聚类结果;
[0038] S163:统计所述事故记录数据第二聚类结果的第一事故类型触发频率、第二事故类型触发频率直到第N事故类型触发频率,其中,事故触发频率指的是事故记录数据第一聚类结果中的记录数据条数;
[0039] S164:统计所述事故记录数据第三聚类结果,获取第一事故类型的第一行为触发频率、第二行为触发频率直到第Q行为触发频率;
[0040] S165:统计所述事故记录数据第三聚类结果,获取第N事故类型的第一行为触发频率、第二行为触发频率直到第L行为触发频率;
[0041] S166:基于所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,以及所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率提取所述第一事故类型直到所述第N事故类型的共有触发行为的第一组行为触发频率直到第N组行为触发频率;
[0042] S167:以所述第一事故类型触发频率和所述第一组行为触发频率,构建第一行数据序列;
[0043] S168:以所述第N事故类型触发频率和所述第N组行为触发频率,构建第N行数据序列;
[0044] S169:根据所述第一行数据序列直到所述第N行数据序列,构建关联性分析矩阵进行灰色关联度分析,获取关联度分析结果;
[0045] S16A:将所述关联度分析结果大于或等于关联度阈值的所述作业行为特征设为对应事故类型的所述敏感作业行为,包括,
[0046] S16A1:所述作业行为特征包括显式行为特征和隐式行为特征,所述显式行为特征指的是动作幅度大于幅度阈值的行为特征,所述隐式行为特征指的是动作幅度小于或等于所述幅度阈值的行为特征;
[0047] S16A2:当所述作业行为特征属于所述显式行为特征时,将所述作业行为特征设为对应事故类型的所述显式敏感行为;
[0048] S16A3:当所述作业行为特征属于所述隐式行为特征时,将所述作业行为特征设为对应事故类型的所述隐式敏感行为。
[0049] 具体而言,基于第二事故记录数据进行关联性分析的优选流程如下:
[0050] 根据事故类型对第二事故记录数据进行聚类分析,即相同事故类型的第二事故记录数据视为一类,不同事故类型视为一类,事故类型示例性的包括:有害气体泄漏、输送物掉落、设备受潮等类型,不同的事故类型具有唯一编号,得到事故记录数据第二聚类结果,任意一个第二聚类结果中存储着相同事故类型的第二事故记录数据。
[0051] 根据作业行为特征遍历所述事故记录数据第二聚类结果进行二级聚类,获取事故记录数据第三聚类结果,作业行为特征指的是事故记录数据存储的作业人员动作特征。遍历事故记录数据第二聚类结果将任意一个第二聚类结果的作业行为一致的事故记录数据聚集为一类,将作业行为不一致的事故记录数据聚集为两类,此处的作业行为是否一致指的是,在相同区域相同任务场景下的用户动作形态是否一致。
[0052] 进一步,动作特征优选的以用户各个关节的定位信息表征,某个动作特征,应当由各个关节的一段定位序列表征;进一步的,将任意两个动作特征的关节的定位序列的腰部关节进行重合,这是由于腰部关节的活动量较小,因此重合腰部关节。比对其它关节的定位偏离程度,统计所有关节在每个时刻的定位差之和,再统计多个时刻定位差的总和,设为两个动作特征的偏离系数,当偏离系数小于或等于偏离系数阈值,则视为动作特征一致。事故记录数据第三聚类结果的任意一个类内存储着相同事故类型、相同动作特征的事故记录数据。
[0053] 第一事故类型触发频率、第二事故类型触发频率直到第N事故类型触发频率指的是事故记录数据第二聚类结果的任意一个类内的记录数据条数,每一个类对应于一个事故类型。第一行为触发频率、第二行为触发频率直到第Q行为触发频率指的是事故记录数据第三聚类结果的第一事故类型对应的行为特征聚类结果的记录数据条数;第一行为触发频率、第二行为触发频率直到第L行为触发频率指的是事故记录数据第三聚类结果的第N事故类型对应的行为特征聚类结果的记录数据条数。以相同方式遍历第二事故类型触发频率直到第N‑1事故类型触发频率得到所有事故类型的各类型行为特征触发频率。
[0054] 进一步,共有触发行为指的是第一事故类型直到第N事故类型都触发的多个动作特征信息;根据上述统计的第一事故类型直到第N事故类型的N组各类型行为特征触发频率,提取共有触发行为的触发频率进行存储,将从第一事故类型的第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率提取的共有触发行为的触发频率,存储为第一组行为触发频率,其中,第一组行为触发频率优选的存储形式如下:(共有行为特征类型1:触发频率1,共有行为特征类型2:触发频率2,共有行为特征类型3:触发频率3,….,共有行为特征类型Z:触发频率Z),Z为共有触发行为的总数量。基于相同原理,遍历第二事故类型直到第N事故类型进行统计,获取第二组行为触发频率直到第N组行为触发频率。
[0055] 进一步的,以第一事故类型触发频率和第一组行为触发频率,构建第一行数据序列,优选的第一行数据序列中,第一事故类型触发频率为第一列属性,第一组行为触发频率中的各类型动作特征依次为第二列属性直到第Z列属性;通过相同方式对第二组行为触发频率直到第N组行为触发频率进行处理,得到第二行数据序列直到第N行数据序列。
[0056] 更进一步,基于第一行数据序列直到第N行数据序列,构建关联性分析矩阵,如下:,其中, 表征第一行数据序列直到第N行数据序列的事
故触发频率,其余的为各类型行为特征触发频率。
[0057] 以共有触发行为和第一事故类型直到第N事故类型为约束信息,重复g次采集事故记录数据构建g个关联性分析矩阵,对g个关联性分析矩阵进行整理,则得到:,其中, 表征第n事故类型的关联性分析矩阵,
表征第n事故类型的g个关联性分析矩阵记录的事故触发频率,其余的为共有触发行为在g个关联性分析矩阵记录的触发频率,N≥n≥1,n为整数。
[0058] 更进一步的,基于关联性分析矩阵进行灰色关联度分析,灰色关联度分析公式如下:
[0059] ,
[0060] 其中, 表征第i列,第k行的元素的关联系数,2≤i≤Z+1,i为整数,1≤k≤g,k为整数; 表征使用任意一行的事故触发频率减去行为触发频率的绝对值, 表征经过 处理后g行中的最
小值, 表征经过 处理后g行中的最大
值,为分辨系数,默认为0.5;
[0061] 基于灰色关联度分析公式对g个关联性分析矩阵进行处理,获取任意一个事故类型的任意一个共有触发行为的多个关联系数,求取均值,设为对应触发行为的关联度分析结果。将所述关联度分析结果大于或等于关联度阈值的所述作业行为特征设为对应事故类型的所述敏感作业行为,关联度阈值指的是预设的敏感行为决策关联度。
[0062] 进一步的,任意一个动作特征具有动作幅度,动作幅度大于幅度阈值的行为特征设为显式行为特征,动作幅度小于或等于所述幅度阈值的行为特征设为隐式行为特征;当敏感作业行为的作业行为特征属于所述显式行为特征,设为对应事故类型的所述显式敏感行为;当敏感作业行为的作业行为特征属于所述隐式行为特征,设为对应事故类型的所述隐式敏感行为。通过以上方式确定敏感作业行为,为后步异常行为的分析提供数据基础。
[0063] 如图3所示,本申请实施例包括:
[0064] S16B1:基于所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,以及所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率提取所述第一事故类型直到所述第N事故类型的独有触发行为的第一组独立行为触发频率直到第N组独立行为触发频率;
[0065] S16B2:将所述第一组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第一事故类型敏感作业行为;
[0066] S16B3:将所述第N组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第N事故类型敏感作业行为;
[0067] S16B4:将所述第一事故类型敏感作业行为直到所述第N事故类型敏感作业行为,添加进所述敏感作业行为。
[0068] 具体而言,除开共有触发行为以外,任意一个事故类型还具有,独有触发行为,提取所述第一事故类型直到所述第N事故类型的独有触发行为的第一组独立行为触发频率直到第N组独立行为触发频率;将第一组独立行为触发频率大于或等于第二独有触发频率阈值的行为特征,设为第一事故类型敏感作业行为,第二触发频率阈值为预设的触发行为的频率阈值;重复处理,获取第一事故类型敏感作业行为直到第N事故类型敏感作业行为。进一步的,对第一事故类型敏感作业行为直到第N事故类型敏感作业行为分别进行隐式敏感行为和显式敏感行为分类,从而得到最终的敏感作业行为。通过独有触发行为频繁性分析,保证了敏感行为的完整性。
[0069] S20:当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;
[0070] 具体而言,第一煤矿区域指的是任意一个煤矿区域,煤矿作业场景指的是上述已经进行了敏感行为和敏感区域分析的场景,当第一煤矿区域发生煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流,第一作业人员指的是煤矿作业场景的任意一个作业人员,作业视频流指的是图像采集装置实时采集的作业监控视频信息。通过采集作业视频流,便于后步对敏感作业区域和敏感作业行为进行识别分析。
[0071] S30:根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;
[0072] 步骤S30包括步骤:
[0073] S31:获取第一作业人员的工作服编号信息,其中,所述工作服编号信息至少部署于头盔、手臂、胸前、肩膀和后背的任意三个区域;
[0074] S32:获取所述作业视频流的第一帧图像直到第O帧图像;
[0075] S33:获取所述第一帧图像的多个作业人员定位信息,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果;
[0076] S34:将所述工作服编号信息和所述工作服编号识别结果进行比对,获取第一帧定位信息;
[0077] S35:重复分析直到所述第O帧图像,融合所述第一作业人员的所述第一帧定位信息直到第O帧定位信息,获取所述作业人员定位信息;
[0078] S36:其中,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果,包括,
[0079] S361:采集多个姿态的工作服图像集,对所述工作服图像集进行编号标识,获取工作服编号标识信息;
[0080] S362:对二分之一的所述工作服图像集进行文字区域标识,获取文字区域标识结果;
[0081] S363:以所述工作服图像集为输入数据,以所述文字区域标识结果为监督数据,进行半监督训练,训练文字标识层,其中,所述文字标识层用于对所述工作服图像集进行文字区域标识;
[0082] S364:以所述文字区域标识结果为输入数据,以所述工作服编号标识信息为监督数据,进行全监督训练,训练文字识别层;
[0083] S365:将所述文字标识层的输出节点和所述文字识别层的输入节点全连接,获取编号识别模型,遍历所述多个作业人员定位信息进行编号识别,获取所述工作服编号识别结果。
[0084] 具体而言,作业人员定位信息指的是表征第一作业人员位置的信息,通过从作业视频流中识别第一作业人员进行定位分析的流程如下:
[0085] 获取第一作业人员的工作服编号信息,其中,工作服编号信息至少部署于头盔、手臂、胸前、肩膀和后背的任意三个区域,任意一个作业人员具有唯一的工作服编号信息,通过部署于头盔、手臂、胸前、肩膀和后背的任意三个区域,可以保证图像采集的准确性。对作业视频流进行逐帧分解后得到按照时序排列的第一帧图像直到第O帧图像。进一步,采集第一帧图像的多个作业人员定位信息,遍历多个作业人员定位信息进行编号识别,获取工作服编号识别结果,工作服编号识别结果指的是基于第一帧图像直到第O帧图像进行多个作业人员的图像进行编号识别得到的结果,通过工作服编号识别结果可以将作业人员身份信息和作业人员定位信息联立,便于后步进行实时预警,多个作业人员定位信息优选的可通过每个作业人员穿戴的便携式设备提供。
[0086] 进一步的,编号识别的流程如下:
[0087] 采集多个姿态的工作服图像集,对所述工作服图像集进行编号标识,获取工作服编号标识信息,其中,工作服编号标识信息指的是标识的编号数据;对二分之一的所述工作服图像集进行文字区域标识,获取文字区域标识结果,其中,文字区域标识结果指的是进行工作服图像的文字区域的数字标识,便于计算机识别。只标记二分之一的原因在于,需要进行半监督训练,因此还有仅标记一半数据。
[0088] 进一步的,以所述工作服图像集为输入数据,以所述文字区域标识结果为监督数据,基于卷积神经网络进行半监督训练,训练文字标识层,其中,所述文字标识层用于对所述工作服图像集进行文字区域标识;以所述文字区域标识结果为输入数据,以所述工作服编号标识信息为监督数据,基于卷积神经网络,进行全监督训练,训练文字识别层。由于智能化模型训练构建过程已经是较为成熟的技术,优选采用较为成熟的梯度下降训练法,于此不多加赘述。
[0089] 将所述文字标识层的输出节点和所述文字识别层的输入节点全连接,获取编号识别模型,遍历所述多个作业人员定位信息进行编号识别,获取所述工作服编号识别结果,编号识别模型可用于对多个作业人员定位信息的图像数据进行编号识别,将工作服编号信息和多个工作服编号识别结果进行比对得到第一帧图像的第一作业人员的第一帧定位信息,更进一步,重复分析直到所述第O帧图像,融合所述第一作业人员的所述第一帧定位信息直到第O帧定位信息,从而得到表征第一作业人员的定位变化序列的作业人员定位信息。通过编号识别可以将人员定位信息和编号一一匹配,确定任意一个编号的员工的实时定位数据。便于进行作业区域异常的预警。
[0090] S40:当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;
[0091] S50:根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;
[0092] 步骤S50包括步骤:
[0093] S51:获取所述第一作业人员的关节编号信息,基于所述作业视频流提取所述关节编号信息的关节定位序列;
[0094] S52:根据所述关节定位序列,确定关节点转动幅度变化曲线;
[0095] S53:根据所述关节点转动幅度变化曲线,确定转动幅度极大值;
[0096] S54:当所述转动幅度极大值大于或等于幅度阈值,将对应关节编号的动作添加进所述显式作业行为;
[0097] S55:当所述转动幅度极大值小于所述幅度阈值,将对应关节编号的动作添加进所述隐式作业行为。
[0098] 具体而言,显式作业行为指的是根据作业视频流对所述第一作业人员进行动作识别的属于显式动作的行为特征,隐式作业行为指的是根据作业视频流对所述第一作业人员进行动作识别的属于隐式动作的行为特征。详细确定流程如下:
[0099] 关节编号信息指的是作业人员的身体关节编号,人员一个关节编号和一个关节唯一对应。关节定位序列指的是基于作业视频流提取的关节编号信息的定位变化序列。关节点转动幅度变化曲线指的是关节点转动幅度变化曲线,转动幅度极大值指的是关节点转动幅度变化曲线的往某个方向转动的最大角度,当转动幅度极大值大于或等于幅度阈值,将对应关节编号的动作添加进显式作业行为,当转动幅度极大值小于幅度阈值,将对应关节编号的动作添加进隐式作业行为。
[0100] S60:当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;
[0101] S70:当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;
[0102] S80:根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端。
[0103] 具体而言,当作业人员定位信息属于敏感作业区域时,基于所述敏感作业区域生成表征第一作业人员定位区域异常的第一监管标识;当作业人员定位信息不属于敏感作业区域,且当显式作业行为属于显式敏感行为时,基于显式敏感行为生成表征第一作业人员较大幅度行为异常的第二监管标识;当显式作业行为不属于显式敏感行为,且隐式作业行为属于隐式敏感行为时,基于隐式敏感行为生成表征第一作业人员小幅度动作异常的第三监管标识。根据第一监管标识或第二监管标识或第三监管标识生成实时的预警信息发送至第一作业人员的便携式用户端进行安全预警,警告停止对应的异常作业行为以及禁止进入异常的区域。
[0104] 本申请实施例还包括:
[0105] S91:获取所述显式作业行为的第一关节编号定位序列;
[0106] S92:获取所述显式敏感行为的第二关节编号定位序列;
[0107] S93:构建动作偏离系数分析公式: ,其中,S表征显式作业行为和显式敏感行为的动作偏离程度, 表征显式敏感行为和显式作业行为的第t个关节编号的第j帧图像的定位距离,T表征显式关节总数,J表征图像帧总数, 表征第t个关节编号的距离阈值, 表征无穷大;
[0108] S94:将所述作业视频流和所述显式敏感行为的样本视频流的任意一帧的作业人员的第一特征区域进行重合定位,基于所述动作偏离系数分析公式进行动作偏离度分析,获取动作偏离系数,其中,所述第一特征区域指的是臀部区域和腰部区域;
[0109] S95:当所述动作偏离系数小于或等于动作偏离系数阈值,视为所述显式作业行为属于所述显式敏感行为;
[0110] S96:当所述动作偏离系数大于所述动作偏离系数阈值,视为所述显式作业行为不属于所述显式敏感行为。
[0111] 具体而言,判断动作特征是否一致的方法在上述实施例中已经简要阐述,此处以显式作业行为和显式敏感行为一致性判断为例子进行量化说明:
[0112] 基于上述可知,行为特征为存储了关节动作序列的特征数据,获取所述显式作业行为的第一关节编号定位序列,获取任意一个显式敏感行为的第二关节编号定位序列,构建动作偏离系数分析公式: ,其中,S表征显式作业行为和显式敏感行为的动作偏离程度, 表征显式敏感行为和显式作业行为的第t个关节编号的第j帧图像的定位距离,T表征显式关节总数,J表征图像帧总数, 表征第t个关节编号的距离阈值, 表征无穷大;将作业视频流和显式敏感行为的样本视频流的任意一帧的作业人员的第一特征区域进行重合定位,基于所述动作偏离系数分析公式进行动作偏离度分析,获取动作偏离系数,其中,由于臀部区域和腰部区域关节较少,因此优选的第一特征区域指的是臀部区域和腰部区域,样本视频流指的是显式敏感行为对应的视频数据。获得显式作业行为和显式敏感行为的动作偏离系数,当动作偏离系数小于或等于动作偏离系数阈值,视为所述显式作业行为属于所述显式敏感行为,动作偏离系数阈值为预设的偏离系数阈值,优选的为管理人员进行自定义设定,偏离系数阈值越大,则容错偏差越大,当所述动作偏离系数大于所述动作偏离系数阈值,视为所述显式作业行为不属于所述显式敏感行为。
[0113] 综上所述,本申请实施例所提供的一种煤矿安全监管方法及系统具有如下技术效果:
[0114] 1.本申请实施例提供了一种煤矿安全监管方法及系统,解决了现有技术由于无法实时对工作人员自身的作业行为进行监测,导致存在安全事故管理及时性较差的技术问题。通过事故关联性分析,确定需要监测的敏感作业区域以及敏感作业行为,然后通过作业视频流对任意一个作业人员进行行为识别,当触发敏感作业区域以及敏感作业行为时,及时预警,达到了提高煤矿安全监管及时性的技术效果。
[0115] 实施例二:
[0116] 基于与前述实施例中一种煤矿安全监管方法相同的发明构思,如图4所示,本申请实施例提供了一种煤矿安全监管系统,其中,所述系统包括:
[0117] 事故关联分析模块100,用于获取煤矿作业场景进行事故关联性分析,获取敏感作业区域和敏感作业行为,其中,所述敏感作业行为包括隐式敏感行为和显式敏感行为;
[0118] 图像采集模块200,用于当第一煤矿区域触发所述煤矿作业场景时,通过图像采集装置采集第一作业人员的作业视频流;
[0119] 定位分析模块300,用于根据所述作业视频流对所述第一作业人员进行定位分析,获取作业人员定位信息;
[0120] 第一监管标识模块400,用于当所述作业人员定位信息属于所述敏感作业区域时,基于所述敏感作业区域生成所述第一作业人员的第一监管标识;
[0121] 动作识别模块500,用于根据所述作业视频流对所述第一作业人员进行动作识别,获取显式作业行为和隐式作业行为;
[0122] 第二监管标识模块600,用于当所述作业人员定位信息不属于所述敏感作业区域,且当所述显式作业行为属于所述显式敏感行为时,基于所述显式敏感行为生成所述第一作业人员的第二监管标识;
[0123] 第三监管标识模块700,用于当所述显式作业行为不属于所述显式敏感行为,且所述隐式作业行为属于所述隐式敏感行为时,基于所述隐式敏感行为生成所述第一作业人员的第三监管标识;
[0124] 预警信息发送模块800,用于根据所述第一监管标识或所述第二监管标识或所述第三监管标识,生成预警信息发送至所述第一作业人员的便携式用户端。
[0125] 进一步的,所述事故关联分析模块100用于执行以下步骤:
[0126] 以所述煤矿作业场景为约束条件,采集第一事故记录数据,其中,所述煤矿作业场景指的是任意一个预设煤矿生产任务对应的任意一个时刻的作业场景,所述第一事故记录数据包括事故类型、发生区域和作业行为;
[0127] 基于触发区域遍历所述第一事故记录数据进行聚类,获取事故记录数据第一聚类结果;
[0128] 统计所述事故记录数据第一聚类结果的第一区域触发频率、第二区域触发频率直到第M区域触发频率;
[0129] 筛选所述第一区域触发频率、所述第二区域触发频率直到所述第M区域触发频率满足第一触发频率阈值的区域,设为所述敏感作业区域;
[0130] 将仅属于所述敏感作业区域的事故类型的所述第一事故记录数据清洗,获取第二事故记录数据;
[0131] 对所述第二事故记录数据进行行为关联性分析,获取所述敏感作业行为。
[0132] 进一步的,所述事故关联分析模块100用于执行以下步骤:
[0133] 根据事故类型对所述第二事故记录数据进行一级聚类,获取事故记录数据第二聚类结果;
[0134] 根据作业行为特征遍历所述事故记录数据第二聚类结果进行二级聚类,获取事故记录数据第三聚类结果;
[0135] 统计所述事故记录数据第二聚类结果的第一事故类型触发频率、第二事故类型触发频率直到第N事故类型触发频率,其中,事故触发频率指的是事故记录数据第一聚类结果中的记录数据条数;
[0136] 统计所述事故记录数据第三聚类结果,获取第一事故类型的第一行为触发频率、第二行为触发频率直到第Q行为触发频率;
[0137] 统计所述事故记录数据第三聚类结果,获取第N事故类型的第一行为触发频率、第二行为触发频率直到第L行为触发频率;
[0138] 基于所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,以及所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率提取所述第一事故类型直到所述第N事故类型的共有触发行为的第一组行为触发频率直到第N组行为触发频率;
[0139] 以所述第一事故类型触发频率和所述第一组行为触发频率,构建第一行数据序列;
[0140] 以所述第N事故类型触发频率和所述第N组行为触发频率,构建第N行数据序列;
[0141] 根据所述第一行数据序列直到所述第N行数据序列,构建关联性分析矩阵进行灰色关联度分析,获取关联度分析结果;
[0142] 将所述关联度分析结果大于或等于关联度阈值的所述作业行为特征设为对应事故类型的所述敏感作业行为,包括,
[0143] 所述作业行为特征包括显式行为特征和隐式行为特征,所述显式行为特征指的是动作幅度大于幅度阈值的行为特征,所述隐式行为特征指的是动作幅度小于或等于所述幅度阈值的行为特征;
[0144] 当所述作业行为特征属于所述显式行为特征时,将所述作业行为特征设为对应事故类型的所述显式敏感行为;
[0145] 当所述作业行为特征属于所述隐式行为特征时,将所述作业行为特征设为对应事故类型的所述隐式敏感行为。
[0146] 进一步的,所述煤矿安全监管系统还用于执行以下步骤:
[0147] 基于所述第一行为触发频率、所述第二行为触发频率直到所述第Q行为触发频率,以及所述第一行为触发频率、所述第二行为触发频率直到所述第L行为触发频率提取所述第一事故类型直到所述第N事故类型的独有触发行为的第一组独立行为触发频率直到第N组独立行为触发频率;
[0148] 将所述第一组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第一事故类型敏感作业行为;
[0149] 将所述第N组独立行为触发频率大于或等于第二触发频率阈值的行为特征,设为第N事故类型敏感作业行为;
[0150] 将所述第一事故类型敏感作业行为直到所述第N事故类型敏感作业行为,添加进所述敏感作业行为。
[0151] 进一步的,所述定位分析模块300用于执行以下步骤:
[0152] 获取第一作业人员的工作服编号信息,其中,所述工作服编号信息至少部署于头盔、手臂、胸前、肩膀和后背的任意三个区域;
[0153] 获取所述作业视频流的第一帧图像直到第O帧图像;
[0154] 获取所述第一帧图像的多个作业人员定位信息,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果;
[0155] 将所述工作服编号信息和所述工作服编号识别结果进行比对,获取第一帧定位信息;
[0156] 重复分析直到所述第O帧图像,融合所述第一作业人员的所述第一帧定位信息直到第O帧定位信息,获取所述作业人员定位信息;
[0157] 其中,遍历所述多个作业人员定位信息进行编号识别,获取工作服编号识别结果,包括,
[0158] 采集多个姿态的工作服图像集,对所述工作服图像集进行编号标识,获取工作服编号标识信息;
[0159] 对二分之一的所述工作服图像集进行文字区域标识,获取文字区域标识结果;
[0160] 以所述工作服图像集为输入数据,以所述文字区域标识结果为监督数据,进行半监督训练,训练文字标识层,其中,所述文字标识层用于对所述工作服图像集进行文字区域标识;
[0161] 以所述文字区域标识结果为输入数据,以所述工作服编号标识信息为监督数据,进行全监督训练,训练文字识别层;
[0162] 将所述文字标识层的输出节点和所述文字识别层的输入节点全连接,获取编号识别模型,遍历所述多个作业人员定位信息进行编号识别,获取所述工作服编号识别结果。
[0163] 进一步的,所述动作识别模块500用于执行以下步骤:
[0164] 获取所述第一作业人员的关节编号信息,基于所述作业视频流提取所述关节编号信息的关节定位序列;
[0165] 根据所述关节定位序列,确定关节点转动幅度变化曲线;
[0166] 根据所述关节点转动幅度变化曲线,确定转动幅度极大值;
[0167] 当所述转动幅度极大值大于或等于幅度阈值,将对应关节编号的动作添加进所述显式作业行为;
[0168] 当所述转动幅度极大值小于所述幅度阈值,将对应关节编号的动作添加进所述隐式作业行为。
[0169] 进一步的,所述煤矿安全监管系统还用于执行以下步骤:
[0170] 获取所述显式作业行为的第一关节编号定位序列;
[0171] 获取所述显式敏感行为的第二关节编号定位序列;
[0172] 构建动作偏离系数分析公式: ,其中,S表征显式作业行为和显式敏感行为的动作偏离程度, 表征显式敏感行为和显式作业行为的第t个关节编号的第j帧图像的定位距离,T表征显式关节总数,J表征图像帧总数, 表征第t个关节编号的距离阈值, 表征无穷大;
[0173] 将所述作业视频流和所述显式敏感行为的样本视频流的任意一帧的作业人员的第一特征区域进行重合定位,基于所述动作偏离系数分析公式进行动作偏离度分析,获取动作偏离系数,其中,所述第一特征区域指的是臀部区域和腰部区域;
[0174] 当所述动作偏离系数小于或等于动作偏离系数阈值,视为所述显式作业行为属于所述显式敏感行为;
[0175] 当所述动作偏离系数大于所述动作偏离系数阈值,视为所述显式作业行为不属于所述显式敏感行为。
[0176] 综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
[0177] 进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,和/或指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。