会员体验
专利管家（专利管理）
工作空间（专利管理）
风险监控（情报监控）
数据分析（专利分析）
侵权分析（诉讼无效）
联系我们
交流群
官方交流：
QQ群： 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 空中交通管制员 / 一种空中交通管制员疲劳状态监测方法及系统

一种空中交通管制员疲劳状态监测方法及系统
申请号 CN202311116133.0 申请日 2023-08-31 公开(公告)号 CN117152724A 公开(公告)日 2023-12-01
申请人 中国民用航空西南地区空中交通管理局; 安徽中科昊音智能科技有限公司; 发明人 何天剑; 刘敏; 胡翼; 廖伟; 吴喜生;
摘要 本发明属于民航运行安全保障技术领域，公开一种空中交通管制员疲劳状态监测方法及系统，其中，方法包括：获取工作区域中的空中交通管制员的图像；对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。本发明基于坐姿、眼部和嘴部特征能够准确及时发现空中交通管制员的疲劳。
权利要求

1.一种空中交通管制员疲劳状态监测方法，其特征在于，包括以下步骤：获取工作区域中的空中交通管制员的图像；

对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；

根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；

对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；

提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；

根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。

2.根据权利要求1所述的空中交通管制员疲劳状态监测方法，其特征在于，对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量，包括以下步骤：对空中交通管制员的图像进行预处理，通过已训练的MTCNN模型对预处理后的图像进行检测，获得人脸面部特征点的坐标向量，其中，MTCNN模型包括P‑Net网络、R‑Net网络和O‑Net网络。

3.根据权利要求2所述的空中交通管制员疲劳状态监测方法，其特征在于，通过已训练的MTCNN模型对预处理后的图像进行检测，获得人脸面部特征点的坐标向量，包括以下步骤：将预处理后的图像输入已训练的MTCNN模型中的P‑Net网络进行检测，获得人脸框；

将人脸候选框输入已训练的MTCNN模型中的R‑Net网络中对人脸框进行第一次筛选处理，获得筛选后的人脸框；

将筛选后的人脸框输入已训练的MTCNN模型中的O‑Net网络对筛选后的人脸框区域进行第二次筛选处理，获得准确的人脸框以及人脸面部特征点的坐标向量。

4.根据权利要求1所述的空中交通管制员疲劳状态监测方法，其特征在于，对预处理后的图像进行轮廓提取，获得人体轮廓图像，包括以下步骤：将预处理后的图像中的像素点灰度值与设定的阈值进行比较，提取图像中的人体区域，去除图像中的背景，获得人体分割图像；

通过边缘检测算法提取人体分割图像中的边缘像素点，获得人体轮廓图像。

5.根据权利要求1所述的空中交通管制员疲劳状态监测方法，其特征在于，提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿，包括以下步骤：通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域；

获取头部区域的顶点，计算头部区域所有像素点的中心获得头部中心点；

基于人体头部宽度与肩部宽度的比例关系，根据头部区域的宽度，在人体轮廓图像中的定位肩部区域，确定获取的肩部区域最左侧点坐标、最右侧点坐标和中心点坐标，分别为左肩点、右肩点和肩部中心点；

确定获取的人体轮廓图像中肩部区域的下部区域的中心点为身体中心点；

根据人体轮廓图像的头部区域的顶点、头部中心点、左肩点、右肩点、肩部中心点和身体中心点对应的像素点坐标和灰度值，与坐姿类别模型进行匹配，确定坐姿。

6.根据权利要求5所述的空中交通管制员疲劳状态监测方法，其特征在于，通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域，包括以下步骤：确定人体轮廓图像中每个轮廓点与人体头部模板图的轮廓线的最短距离，对人体轮廓图像中所有轮廓点与人体头部模板图的轮廓线的最短距离进行求和，获得第一距离参数；

确定人体头部模板图中每个轮廓点与人体轮廓图像的轮廓线的最短距离，对人体头部模板图中所有轮廓点与人体轮廓图像的轮廓线的最短距离进行求和，获得第二距离参数；

当第一距离参数与第二距离参数的总和，与人体头部模板图和人体轮廓图像中总轮廓点的数量的总和比值A最小时，完成头部定位，获得头部区域。

7.根据权利要求1‑6任一所述的空中交通管制员疲劳状态监测方法，其特征在于，根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态，包括以下步骤：当设定时间内，空中交通管制员的眼睛闭合次数达到第一设定值，嘴巴的张开次数达到第二设定值，且坐姿出现仰头、左偏头、右偏头、身体左斜、身体右斜、后躺和趴下中的一种或多种时，确定空中交通管制员处于疲劳状态。

8.根据权利要求7所述的空中交通管制员疲劳状态监测方法，其特征在于，还包括以下步骤：当确定空中交通管制员的坐姿为非正直坐姿时，提醒空中交通管制员调整坐姿。

9.一种空中交通管制员疲劳状态监测系统，其特征在于，包括：图像获取模块，用于获取工作区域中的空中交通管制员的图像；

第一图像处理模块，用于对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；

第二图像处理模块，用于根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；

第三图像处理模块，用于对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；

第四图像处理模块，用于提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；

计算模块，用于根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。

10.根据权利要求9所述的空中交通管制员疲劳状态监测系统，其特征在于，第四图像处理模块具体用于：通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域；

获取头部区域的顶点，计算头部区域所有像素点的中心获得头部中心点；

基于人体头部宽度与肩部宽度的比例关系，根据头部区域的宽度，在人体轮廓图像中的定位肩部区域，确定获取的肩部区域最左侧点坐标、最右侧点坐标和中心点坐标，分别为左肩点、右肩点和肩部中心点；

确定获取的人体轮廓图像中肩部区域的下部区域的中心点为身体中心点；

根据人体轮廓图像的头部区域的顶点、头部中心点、左肩点、右肩点、肩部中心点和身体中心点对应的像素点坐标和灰度值，与坐姿类别模型进行匹配，确定坐姿。
说明书全文

一种空中交通管制员疲劳状态监测方法及系统

技术领域

[0001] 本发明属于民航运行安全保障技术领域，特别涉及一种空中交通管制员疲劳状态监测方法及系统。

背景技术

[0002] 根据目前的调查，飞行事故的原因中，因空中交通管制员疲劳引发的事故和事故征候更是占据了较大的比例。主要原因是空中交通管制员在工作的同时，不可避免的会产生包括肢体、视力、听力、心理等疲劳状况。
[0003] 空中交通管制员主要的工作是通过雷达显示的实时信息，密切监控每架飞机的飞行动态，通过无线电通信设备向飞行员发布各种指令，包括飞行高度、速度和航向等等。最繁忙的时候，一个空中交通管制员需同时管制十几架甚至更多的飞机，而且必须注意到每一个细节，任何的疏漏都可能成为安全隐患。任何疲劳状况的产生会使空中交通管制员的兴奋程度降低，注意力很难集中；同时空中交通管制员的情境意识、应变能力也会下降，从而埋下安全隐患。
[0004] 因此如何减少人为失误，及时智能检测空中交通管制员疲劳状态，主动疲劳预警，最大限度降低空中交通管制员因疲劳导致的飞机安全隐患，是目前需要解决的技术问题。
[0005] 目前的疲劳监测依据停留在头部的嘴、眼的物理变化以及声音的变化，这种监测方式容易受到外部的其他场景干扰，无法给出准确的判断。

发明内容

[0006] 针对上述问题，本发明提供一种空中交通管制员疲劳状态监测方法及系统，采用以下技术方案：
[0007] 一种空中交通管制员疲劳状态监测方法，包括以下步骤：获取工作区域中的空中交通管制员的图像；对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；
根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。
[0008] 进一步的，对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量，包括以下步骤：
[0009] 对空中交通管制员的图像进行预处理，通过已训练的MTCNN模型对预处理后的图像进行检测，获得人脸面部特征点的坐标向量，其中，MTCNN模型包括P‑Net网络、R‑Net网络和O‑Net网络。
[0010] 进一步的，通过已训练的MTCNN模型对预处理后的图像进行检测，获得人脸面部特征点的坐标向量，包括以下步骤：
[0011] 将预处理后的图像输入已训练的MTCNN模型中的P‑Net网络进行检测，获得人脸框；
[0012] 将人脸候选框输入已训练的MTCNN模型中的R‑Net网络中对人脸框进行第一次筛选处理，获得筛选后的人脸框；
[0013] 将筛选后的人脸框输入已训练的MTCNN模型中的O‑Net网络对筛选后的人脸框区域进行第二次筛选处理，获得准确的人脸框以及人脸面部特征点的坐标向量。
[0014] 进一步的，对预处理后的图像进行轮廓提取，获得人体轮廓图像，包括以下步骤：
[0015] 将预处理后的图像中的像素点灰度值与设定的阈值进行比较，提取图像中的人体区域，去除图像中的背景，获得人体分割图像；
[0016] 通过边缘检测算法提取人体分割图像中的边缘像素点，获得人体轮廓图像。
[0017] 进一步的，提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿，包括以下步骤：
[0018] 通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域；
[0019] 获取头部区域的顶点，计算头部区域所有像素点的中心获得头部中心点；
[0020] 基于人体头部宽度与肩部宽度的比例关系，根据头部区域的宽度，在人体轮廓图像中的定位肩部区域，确定获取的肩部区域最左侧点坐标、最右侧点坐标和中心点坐标，分别为左肩点、右肩点和肩部中心点；
[0021] 确定获取的人体轮廓图像中肩部区域的下部区域的中心点为身体中心点；
[0022] 根据人体轮廓图像的头部区域的顶点、头部中心点、左肩点、右肩点、肩部中心点和身体中心点对应的像素点坐标和灰度值，与坐姿类别模型进行匹配，确定坐姿。
[0023] 进一步的，通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域，包括以下步骤：
[0024] 确定人体轮廓图像中每个轮廓点与人体头部模板图的轮廓线的最短距离，对人体轮廓图像中所有轮廓点与人体头部模板图的轮廓线的最短距离进行求和，获得第一距离参数；
[0025] 确定人体头部模板图中每个轮廓点与人体轮廓图像的轮廓线的最短距离，对人体头部模板图中所有轮廓点与人体轮廓图像的轮廓线的最短距离进行求和，获得第二距离参数；
[0026] 当第一距离参数与第二距离参数的总和，与人体头部模板图和人体轮廓图像中总轮廓点的数量的总和比值A最小时，完成头部定位，获得头部区域。
[0027] 进一步的，根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态，包括以下步骤：
[0028] 当设定时间内，空中交通管制员的眼睛闭合次数达到第一设定值，嘴巴的张开次数达到第二设定值，且坐姿出现仰头、左偏头、右偏头、身体左斜、身体右斜、后躺和趴下中的一种或多种时，确定空中交通管制员处于疲劳状态。
[0029] 进一步的，还包括以下步骤：
[0030] 当确定空中交通管制员的坐姿为非正直坐姿时，提醒空中交通管制员调整坐姿。
[0031] 本发明还提供一种空中交通管制员疲劳状态监测系统，包括：
[0032] 图像获取模块，用于获取工作区域中的空中交通管制员的图像；
[0033] 第一图像处理模块，用于对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；
[0034] 第二图像处理模块，用于根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；
[0035] 第三图像处理模块，用于对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；
[0036] 第四图像处理模块，用于提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；
[0037] 计算模块，用于根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。
[0038] 进一步的，第四图像处理模块具体用于：
[0039] 通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域；
[0040] 获取头部区域的顶点，计算头部区域所有像素点的中心获得头部中心点；
[0041] 基于人体头部宽度与肩部宽度的比例关系，根据头部区域的宽度，在人体轮廓图像中的定位肩部区域，确定获取的肩部区域最左侧点坐标、最右侧点坐标和中心点坐标，分别为左肩点、右肩点和肩部中心点；
[0042] 确定获取的人体轮廓图像中肩部区域的下部区域的中心点为身体中心点；
[0043] 根据人体轮廓图像的头部区域的顶点、头部中心点、左肩点、右肩点、肩部中心点和身体中心点对应的像素点坐标和灰度值，与坐姿类别模型进行匹配，确定坐姿。
[0044] 本发明的有益效果：
[0045] 1、本发明对交通管制员的坐姿、眼睛开合状态和嘴部状态进行实时检测，从而对空中交通管制员疲劳状态进行监测，准确及时发现空中交通管制员的疲劳。
[0046] 2、本发明采用MTCNN模型利用级联的方式将人脸检测过程中不同任务级联在一起，实现多任务共同进行，确保在人脸检测过程中的实时性以及准确性。
[0047] 3、本发明通过人体轮廓图像的特征与坐姿类别模型进行图像匹配，识别坐姿，可以实现快速确定坐姿。
[0048] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

附图说明

[0049] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050] 图1示出了根据本发明实施例的一种空中交通管制员疲劳状态监测方法的流程示意图；
[0051] 图2示出了根据本发明实施例的一种空中交通管制员疲劳状态监测系统的结构示意图。

具体实施方式

[0052] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053] 需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0054] 本发明实施例提供一种空中交通管制员疲劳状态监测方法及系统，对交通管制员的坐姿、眼睛开合状态和嘴部状态进行实时检测，从而对空中交通管制员疲劳状态进行监测，准确及时发现空中交通管制员的疲劳，并进行警告，例如提醒坐姿调整，起身活动等，并且能够避免外部干扰造成监测结果的不准确。
[0055] 如图1所示，一种空中交通管制员疲劳状态监测方法，包括以下步骤：
[0056] S1、获取工作区域中的空中交通管制员的图像，图像包括空中交通管制员的人脸区域、头部区域和身体区域。
[0057] 例如，工作区域为空中交通管制员的工位，在空中交通管制员正前方设置相机，相机的位置根据空中交通管制员座位的高度和位置确定，考虑人体身高的不同、椅子高度的不同、以及人体的各种姿态，要想让人体坐立时，整个人体全部处于相机的视场范围内，例如，相机的位置设置在距离空中交通管制员前方90cm的位置，相机的高度与空中交通管制员座位的高度差为40cm。
[0058] S2、对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量。
[0059] 对空中交通管制员的图像进行预处理，由于图像在产生和传输过程中会受光照强度、外部环境、设备性能差异以及各种噪声等条件的干扰和影响，采集到的图像的质量会受到严重影响，从而影响了人脸识别和坐姿识别的准确性。因此，在对图像进行分析和处理之前，必须对图像预处理，改善图像的质量，增强图像的有效信息，减少图像中的无用信息，确保后续图像处理的结果准确可靠。
[0060] 通过已训练的MTCNN(Multi‑task Cascaded Convolutional Networks，多任务卷积神经网络)模型对预处理后的图像进行检测，获得人脸面部特征点的坐标向量，包括以下步骤：
[0061] S21、将预处理后的图像输入已训练的MTCNN模型中的P‑Net网络进行检测，获得人脸框。
[0062] S22、将人脸候选框输入已训练的MTCNN模型中的R‑Net网络中对人脸框进行第一次筛选处理，获得筛选后的人脸框。
[0063] S23、将筛选后的人脸框输入已训练的MTCNN模型中的O‑Net网络对筛选后的人脸框区域进行第二次筛选处理，获得准确的人脸框以及人脸面部特征点的坐标向量。
[0064] 其中，人脸面部特征点的坐标向量包括左眼中心部位横纵坐标、右眼中心部位横纵坐标、鼻子中心部位横纵坐标、嘴部左端横纵坐标以及嘴部右端横纵坐标。
[0065] 需要说的是，P‑Net网络是MTCNN模型的第一层子网络，R‑Net网络是MTCNN模型的第二层子网络，O‑Net网络是MTCNN模型的第三层子网络。
[0066] 本步骤中，采用MTCNN模型利用级联的方式将人脸检测过程中不同任务级联在一起，实现多任务共同进行，确保在人脸检测过程中的实时性以及准确性。
[0067] 获得已训练的MTCNN模型可以采用以下步骤：
[0068] 选择了WIDER FACE和CelebA两种数据库作为模型训练的数据集。其中人脸区域的检测采用WIDER FACE数据集，它主要包含了人脸图像数据以及人脸候选框数据，将WIDER FACE数据集以3:1:1的比例分为正样本集、负样本集以局部样本集，然后将正样本集、负样本集以局部样本集输入P‑Net网络进行训练。
[0069] 将CelebA数据集中已标记特征点的图像样本输入网络模型，同时进行P‑Net，R‑Net，O‑Net三层网络模型的训练；将WIDER FACE数据集再次通过P‑Net网络层，通过图像标定好的人脸框和实际训练得到的候选框进行交并比计算，通过比值结果将数据集再次分为正样本集、负样本集以局部样本集，然后再训练P‑Net网络。
[0070] 将WIDER FACE数据集的图像通过R‑Net网络训练，同样将训练结果分为正负样本集以及局部样本集，进行O‑Net网络的训练，完成MTCNN模型的训练。
[0071] S3、根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态具体为：根据人脸面部特征点的坐标向量确定眼睛纵横比和嘴巴纵横比值，根据眼睛纵横比值确定眼睛开合状态，根据嘴巴纵横比值确定嘴巴的开合状态。
[0072] 其中，根据人脸面部特征点的坐标向量确定眼睛纵横比，根据眼睛纵横比确定眼睛开合状态，包括以下步骤：
[0073] S31、提取人脸面部特征点的坐标向量中的眼部特征点。
[0074] S32、确定眼部最左侧眼角特征点和最右侧眼角特征点之间的距离为眼部横向距离。
[0075] S33、获取眼部多个上眼睑特征点和下眼睑特征点之间的垂直距离，并且平均值，获得眼部纵向距离。
[0076] S34、眼部纵向距离与眼部横向距离的比值为眼睛纵横比值，当眼睛纵横比值小于设定值时，确定眼睛处于闭合状态，否则为张开状态。
[0077] 其中，根据人脸面部特征点的坐标向量确定嘴巴纵横比值，根据嘴巴纵横比值确定嘴巴的开合状态，包括以下步骤：
[0078] S35、提取人脸面部特征点的坐标向量中的嘴部特征点。
[0079] S36、确定嘴部最左侧嘴角特征点和最右侧嘴角特征点之间的横向距离为嘴部横向距离。
[0080] S37、获取嘴部多个上嘴唇特征点和下嘴唇特征点之间的垂直距离，并取平均值，获得嘴唇之间的纵向距离。
[0081] S38、嘴唇之间的纵向距离与嘴部横向距离的比值为嘴巴纵横比值，当嘴巴纵横比值大于设定值时，确定嘴巴处于张开状态，否则为闭合状态。
[0082] S4、对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像，包括以下步骤：
[0083] S41、将预处理后的图像中的像素点灰度值与设定的阈值进行比较，提取图像中的人体区域，去除图像中的背景，获得人体分割图像。
[0084] 考虑到采集的图像中，除了人体图像以外，还存在大部分背景图像，在坐姿识别过程中，背景会对坐姿识别的效率和准确性带来干扰。本步骤中，通过对图像中的背景和人体进行分割，减少了后续坐姿识别的计算量，提高了坐姿识别的准确性。
[0085] S42、通过边缘检测算法提取人体分割图像中的边缘像素点，获得人体轮廓图像。
[0086] S5、提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿，包括以下步骤：
[0087] S51、通过人体头部模板图对人体轮廓图像进行头部定位，获得头部区域具体为：确定人体轮廓图像中每个轮廓点与人体头部模板图的轮廓线的最短距离，对人体轮廓图像中所有轮廓点与人体头部模板图的轮廓线的最短距离进行求和，获得第一距离参数；确定人体头部模板图中每个轮廓点与人体轮廓图像的轮廓线的最短距离，对人体头部模板图中所有轮廓点与人体轮廓图像的轮廓线的最短距离进行求和，获得第二距离参数；当第一距离参数第二距离参数与人体头部模板图和人体轮廓图像中总轮廓点的数量的比值A最小时，完成头部定位，获得头部区域。其中，A值的计算具体如下：
[0088] A＝(第一距离参数+第二距离参数)/(人体头部模板图的轮廓点数+人体轮廓图像的轮廓点数)
[0089] S52、获取头部区域的顶点，计算头部区域所有像素点的中心获得头部中心点。
[0090] S53、基于人体头部宽度与肩部宽度的比例关系，根据头部区域的宽度，在人体轮廓图像中的定位肩部区域，确定获取的肩部区域最左侧点坐标、最右侧点坐标和中心点坐标，分别为左肩点、右肩点和肩部中心点。
[0091] S54、确定获取的人体轮廓图像中肩部区域的下部区域的中心点为身体中心点。
[0092] S55、根据人体轮廓图像的头部区域的顶点、头部中心点、左肩点、右肩点、肩部中心点和身体中心点对应的像素点坐标和灰度值，与坐姿类别模型进行匹配，确定坐姿。
[0093] 例如，坐姿类别模型可以通过以下方式获得：通过分别采集正直、仰头、左偏头、右偏头、身体左斜、身体右斜、后躺以及趴下等坐姿的多张照片，提取每种坐姿的多张照片的图像中的人体轮廓图像建立数据库，从而获得坐姿类别模型。
[0094] 通过以上步骤可以实现正直、仰头、左偏头、右偏头、身体左斜、身体右斜、后躺以及趴下等坐姿的识别。
[0095] 例如，正直坐姿时，头部中心与肩部中心的连线接近垂直，肩部中心与身体中心的连线接近垂直；仰头坐姿时，头部中心的图像灰度值比头部顶点的图像灰度值大；左偏头或右偏头坐姿时，肩部中心与身体中心线接近垂直，头部区域的顶点与肩部中心角度大于设定值，根据头部区域的顶点与肩部中心点的角度判断偏转方向；身体左斜或右斜坐姿时，肩部中心点与身体中心线的角度超过一定阈值，身体中心线为头部中心点和身体中心点之间的连线，头部中心与身体中心线的角度超过设定值，根据肩部中心点与身体中心线的角度判断身体倾斜方向；后躺坐姿时，整个身体成弓形，与坐姿类别模型匹配确定；趴下坐姿时，整个人体的外接矩形的高宽比明显的变化，与坐姿类别模型匹配确定。
[0096] 本步骤中通过人体轮廓图像的特征与坐姿类别模型进行图像匹配，识别坐姿，可以实现快速确定坐姿。
[0097] S6、根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。
[0098] 实际工作中的轻度疲劳有以下特征：
[0099] 眼睛开合状态：眼睑睁闭速率及闭合时间，平均闭眼时长、平均眨眼频率、持续闭眼时间、持续睁眼时间，眼睑闭合范围及程度，眼睑下垂、甚至闭合。
[0100] 嘴巴开合状态：嘴巴的张开频率，嘴巴的张开范围及程度，打哈欠频率与持续时间等。
[0101] 身体坐姿状态：频繁变换坐姿，可能会出现左偏头、右偏头、身体左斜、身体右斜、后躺、趴下等坐姿中的一种或多种。
[0102] 需要说明的是，坐姿为身体正直时，能够使脊椎保持正常的生理曲度，有利于脊椎承受最合适的压力，使人不容易疲劳；当人们采用正直坐姿时，通常说明其精神状态比较好、工作比较认真。
[0103] 基于以上身体特征，步骤S6包括以下步骤：
[0104] S61、当设定时间内，空中交通管制员的眼睛闭合次数达到第一设定值，嘴巴的张开次数达到第二设定值，且坐姿出现仰头、左偏头、右偏头、身体左斜、身体右斜、后躺和趴下中的一种或多种时，确定空中交通管制员处于疲劳状态，采用语音进行提醒，和/或通知管理人员对空中交通管制员进行主动告警。
[0105] 例如，当人出现疲劳时，打哈欠的同时可能会出现仰头、左偏头或右偏头等坐姿，打瞌睡的时候，可能会出现头部晃动，从而导致身体坐姿的变化，出现仰头、左偏头、右偏头、身体左斜、身体右斜、后躺或趴下中的一些情况。
[0106] S62、当确定空中交通管制员的坐姿为非正直坐姿时，采用语音提醒空中交通管制员调整坐姿，起身活动。
[0107] 本步骤避免当空中交通管制员之间进行谈话时，嘴巴张开造成的误判，结合坐姿、眼部和嘴巴状态进行综合疲劳判断，使得判定结果更准确。通过对坐姿进行监控，通过提醒坐姿调整，避免出现因坐姿不正确而容易疲劳。
[0108] 如图2所示，基于上述空中交通管制员疲劳状态监测方法，本发明还提供一种空中交通管制员疲劳状态监测系统，包括图像获取模块、第一图像处理模块、第二图像处理模块、第三图像处理模块、第四图像处理模块和计算模块。
[0109] 其中，图像获取模块，用于获取工作区域中的空中交通管制员的图像；第一图像处理模块，用于对空中交通管制员的图像进行处理，获得人脸面部特征点的坐标向量；第二图像处理模块，用于根据人脸面部特征点的坐标向量，确定眼睛开合状态和眼睛开合状态；第三图像处理模块，用于对空中交通管制员的图像进行预处理，对预处理后的图像进行轮廓提取，获得人体轮廓图像；第四图像处理模块，用于提取人体轮廓图像上的人体坐姿的特征向量，将人体坐姿的特征向量与坐姿类别模型进行匹配，确定坐姿；计算模块，用于根据空中交通管制员的眼睛开合状态、嘴巴的开合状态和坐姿，确定空中交通管制员是否处于疲劳状态。
[0110] 本发明通过监测管制员的疲劳状况，对于出现轻度疲劳，能够快速给出准确的判断，对保证飞行正常及安全风险的评估具有重要的意义。
[0111] 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

IPRDB

最新中国发明专利 最新美国发明专利 技术领域 专利库 专利分类库 国际专利分类库

热门服务

会员版试用 API 数据接口 找代理 知嘟嘟专利交易 排行榜 大学排行榜 专利百科

关于我们

平台介绍 战略合作 网站地图

友情链接

知嘟嘟专利交易 国家知识产权局 中国商标网

联系方式


©2019-2023 上海吉码数字技术有限公司 版权所有，并保留所有权利 沪ICP备20016256号-6 沪公网安备31011702005475号