基于空中交通管制员陆空通话语音的疲劳监测方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

基于空中交通管制员陆空通话语音的疲劳监测方法
申请号	CN201910369924.1	申请日	2019-05-06	公开(公告)号	CN110164471A	公开(公告)日	2019-08-23
申请人	中国民用航空局空中交通管理局;			发明人	冯铮; 沈志远; 潘国壮;
摘要	本发明提供一种基于空中交通管制员陆空通话语音的疲劳监测方法，涉及民航运行安全保障技术领域，包括以下几个步骤：首先构建管制员陆空通话语音数据库；其次，对语音信号进行时频分析；再次，建立语音疲劳特征向量；随后，确定基于语音特征的疲劳判决准则；最后，根据疲劳状态的判决准则监测空中交通管制员的疲劳状态；本发明相较于现有的疲劳状态监测方法在减小监测成本的同时，大大提高了监测的速度和准确度，有效应用于民航管制员疲劳状态监测及安全保障。
权利要求	1.一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，包括顺序执行的如下步骤：(1)、采集管制一线的陆空通话语音信号，对其进行预处理，并将处理得到的每段语音信号按一定规则进行编号，构建管制员陆空通话语音数据库； (2)、基于离散小波分解对管制员陆空通话语音数据库中任意一条语音信号作为输入信号进行多尺度时频分析，进而提取其细节系数； (3)、通过局部去趋势波动分析研究每个时间尺度下的细节系数的分形特征，获得对应的赫斯特指数，建立语音疲劳特征向量； (4)、提取管制员陆空通话语音数据库中所有语音信号的语音疲劳特征向量，通过支持向量机技术确定疲劳状态的判决准则； (5)给定语音信号根据疲劳状态的判决准则监测空中交通管制员的疲劳状态。 2.根据权利要求1所述的基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，所述管制一线的陆空通话语音信号的预处理过程为：通过高通数字滤波器来实现对采集的语音信号中高频部分进行预加重，去除语音信号中口唇辐射的影响并添加语音的高频分辨率，再对滤波处理后的语音信号进行加窗分帧处理；所述高通数字滤波器的传递函数H(z)为: H(z)＝1-az-1 (1) 定义管制员陆空通话语音数据库中第n时刻语音信号的采样值为x(n)，则经过预加重处理后的语音信号y(n)结果为：y(n)＝x(n)-ax(n-1) (2) 其中，a为预加重系数，一般为0.9 所述加窗分帧处理使用的窗函数为汉明窗，定义加窗分帧处理后的语音信号为ω(n)，则：其中，N是管制员陆空通话语音数据库中语音信号中的样本个数。 3.根据权利要求1所述的基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，步骤(1)中，构建管制员陆空通话语音数据库的过程为：将预处理后得到的每段语音信号按一定规则进行编号，编号由数字和英文字母共同组成，用于表示语音相关的因素，编号规则如下：编号第1位，表示管制类别；编号第2位，表示管制员等级；编号第3-10位，表示值班时间段；编号第11位，表示管制员性别；编号第12-13位，表示管制员年龄；编号第14-15位，表示该值班时间段管制员的语音状态。 4.根据权利要求1所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，步骤(2)中，语音信号多尺度时频分析的过程为：将管制员陆空通话语音数据库中的任意一条语音信号作为输入信号，使用多贝西小波 5对输入信号进行离散小波分解，设定分解尺度，得到分解后的多层小波，再采用高通滤波器对每一层小波提取其对应的细节系数。 5.根据权利要求1所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，步骤(3)中建立语音疲劳特征向量的过程为：对输入信号及其每一尺度下的细节系数进行局部去趋势波动分析，去趋势波动分析的过程为：1)对输入信号等长分为无重复的V个分段；2)对各个分段局部去趋势；3)计算各分段局部去趋势后的每个分段的均方根，并对所有分段的均方根进行最小二乘拟合得到拟合直线的斜率；4)调整输入信号的分段长度，重复过程2)和3)，得到不同分段长度下的不同拟合直线的斜率；5)对不同分段长度及对应分段长度下的斜率组成的对数坐标再进行最小二乘拟合，拟合直线的斜率即为输入信号其细节系数对应的赫斯特指数，由赫斯特指数构成的向量即为语音疲劳特征向量。 6.根据权利要求5所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，输入信号的分段长度记为l，l＝2k，其中，k为常数，k＝4,…，9。 7.根据权利要求6所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，各分段局部去趋势的过程为将分段中的数据进行最小二乘拟合，原数据减去拟合直线中相应横坐标对应的值，计算步骤为：其中，a为拟合直线的斜率，b为截距，xn为分段中的数据对应的时刻，yn为分段中的数据，yn’为分段数据局部去趋势后的值；局部去趋势后，每个分段的均方根计算过程为：其中，v表示第v个分段，l表示分段长度，rv表示第v个分段的均方根；对V个分段共V个均方根rv进行最小二乘拟合得到拟合直线的斜率hl。 8.根据权利要求1所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，步骤(4)中，确定疲劳判决准则的方法为：在管制员陆空通话语音数据库中随机选择相同条数的正常状态的语音信号和疲劳状态的语音信号作为训练集，然后再从空中交通管制员陆空通话语音数据库中随机选取与训练集中信号条数相同的语音信号作为测试集，采用支持向量机技术进行仿真。 9.根据权利要求8所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，所述支持向量机技术进行仿真的过程为：首先使用主成分分析法对所有的语音信号的语音疲劳特征向量进行降维，随后选择多项式核函数作为支持向量机技术的核函数，惩罚函数C＝50000，进而确定疲劳状态的判决准则。 10.根据权利要求4所述的一种基于空中交通管制员陆空通话语音的疲劳监测方法，其特征在于，所述分解尺度设定为3。
说明书全文	基于空中交通管制员陆空通话语音的疲劳监测方法技术领域 [0001] 本发明涉及民航运行安全保障技术领域，具体涉及一种基于空中交通管制员陆空通话语音的疲劳监测方法。背景技术 [0002] 目前将语音特征应用于疲劳检测的研究大多基于线性系统理论，所提取分析的语音特征参数，如基音频率，共振峰，短时平均能量、短时平均过零率和线性预测倒谱系数(LPCC)等，大多集中于传统的语音线性滤波器模型，效果并不十分理想。然而随着研究的深入，人们发现语音信号的产生并不只是线性过程，而是一个复杂的非线性过程，其中还存在着混沌机制。从语音非线性处理技术与疲劳检测的相关研究来看，在2000年左右，日本的Shiomi等就开始对语音非线性特征与人体疲劳的相关性做了探索性的研究。并于2010年，Shiomi等针对五大元音信号在相空间内的混沌吸引子轨迹，定性地分析了在非线性动力学模型下语音与人体脑活力(脑力疲劳)之间的关系。2000年，德国的Krajewski 等从生理学和声学的角度详细地分析了疲劳对语音信号非线性动力学模型的影响。随后于2010年，Krajewski等提出了将语音非线性动力学分析与机器学习分类算法相结合的语音信号疲劳模式识别框架。由此可见，近些年混沌、分形理论及人工智能技术的逐渐成熟，提供了语音非线性处理技术应用于驾驶疲劳检测的可能。 [0003] 基于行为表现测量方法相较于其他方法较为直接，可实现非接触性测量。但是很容易受到环境的影响，比如光照。此外，测量角度的偏离也会造成测量误差。 [0004] 疲劳的主要特征是工作能力下降和作业绩效降低。作业绩效的测定项目包括作业完成的质量、数量、准确率及错误率等。但不同的作业类型难以确定统一的评价标准，较常用的是以作业初始的绩效作为基准，就作业过程中绩效下降的比例作为衡量疲劳累计的指标，应用于管制员工作绩效的评定指标包括设备操作次数和陆空通话时间记录等，无法准确判断管制员工的疲劳状态。发明内容 [0005] 本发明目的在于提供一种一种基于空中交通管制员陆空通话语音和面部特征的疲劳监测方法，用于解决现有技术中疲劳监测方法精度低和性能不佳的技术问题。 [0006] 为达成上述目的，本发明提出如下技术方案：一种基于空中交通管制员陆空通话语音的疲劳监测方法，包括顺序执行的如下步骤：(1)、采集管制一线的陆空通话语音信号，对其进行预处理，并将处理得到的每段语音信号按一定规则进行编号，构建管制员陆空通话语音数据库；(2)、基于离散小波分解对管制员陆空通话语音数据库中任意一条语音信号作为输入信号进行多尺度时频分析，进而提取其细节系数；(3)、通过局部去趋势波动分析研究每个时间尺度下的细节系数的分形特征，获得对应的赫斯特指数，建立语音疲劳特征向量；(4)、提取管制员陆空通话语音数据库中所有语音信号的语音疲劳特征向量，通过支持向量机技术确定疲劳状态的判决准则；(5)、根据疲劳状态的判决准则监测空中交通管制员的疲劳状态。 [0007] 进一步的，所述管制一线的陆空通话语音信号的预处理过程为：通过高通数字滤波器来实现对采集的语音信号中高频部分进行预加重，去除语音信号中口唇辐射的影响并添加语音的高频分辨率，再对滤波处理后的语音信号进行加窗分帧处理； [0008] 所述高通数字滤波器的传递函数H(z)为: [0009] H(z)＝1-az-1 (1) [0010] 定义管制员陆空通话语音数据库中第n个语音信号的采样值为x(n)，则经过预加重处理后的语音信号y(n)结果为： [0011] y(n)＝x(n)-ax(n-1) (2) [0012] 其中，a为预加重系数，一般为0.9 [0013] 所述加窗分帧处理使用的窗函数为汉明窗，定义加窗分帧处理后的语音信号为ω(n)，则： [0014] [0015] 其中，N是管制员陆空通话语音数据库中语音信号中的样本个数。 [0016] 进一步的，步骤(1)中，构建管制员陆空通话语音数据库的过程为：将预处理后得到的每段语音信号按一定规则进行编号，编号由数字和英文字母共同组成，用于表示语音相关的因素，编号规则如下：编号第1位，表示管制类别；编号第2位，表示管制员等级；编号第3-10位，表示值班时间段；编号第11位，表示管制员性别；编号第12-13位，表示管制员年龄；编号第14-15位，表示该值班时间段管制员的语音状态。 [0017] 进一步的，步骤(2)中，语音信号多尺度时频分析的过程为：将管制员陆空通话语音数据库中的任意一条语音信号作为输入信号，使用多贝西小波5对输入信号进行离散小波分解，设定分解尺度为3，得到分解后的3层小波，再采用高通滤波器对每一层小波提取其对应的细节系数。 [0018] 进一步的，步骤(3)中建立语音疲劳特征向量的过程为：对输入信号及其每一尺度下的细节系数进行局部去趋势波动分析，首先是对输入信号等长分为无重复的V个分段，随后对各个分段局部去趋势，即将分段中的数据进行最小二乘拟合，原数据减去拟合直线中相应横坐标对应的值，即 [0019] [0020] 其中，a为拟合直线的斜率，b为截距，xn为分段中的数据对应的时刻(横坐标)，yn为分段中的数据，yn’为分段数据局部去趋势后的值。 [0021] 然后，计算局部去趋势后的每个分段的均方根，即 [0022] [0023] 其中，v为第v个分段，l表示分段长度；对V个分段共V个均方根rv进行最小二乘拟合得到拟合直线的斜率hl；改变分段长度l的大小，即可以得到不同的斜率hl，本发明中选取的长度l＝2k，k＝4,…,9，就所有的hl进行最小二乘拟合，拟合直线的斜率即为输入信号及其细节系数对应的赫斯特指数，由赫斯特指数构成的向量即为表征疲劳状态的语音疲劳特征向量。 [0024] 进一步的，步骤(4)中，确定疲劳判决准则的方法为：随机选择管制员陆空通话语音数据库中相同条数的正常状态的语音信号和疲劳状态的语音信号作为训练集，然后再从空中交通管制员陆空通话语音数据库中随机选取与训练集中信号条数相同的语音信号作为测试集，采用支持向量机技术进行仿真。 [0025] 进一步的，所述支持向量机技术进行仿真的过程为：首先使用主成分分析法对提取出的语音信号的语音疲劳特征向量进行降维，随后选择多项式核函数作为支持向量机技术的核函数，惩罚函数C＝50000，进而确定疲劳状态的判决准则。 [0026] 进一步的，步骤(5)中，疲劳状态监测实现的过程为：给定语音信号，对其进行步骤(2)所述预处理，按步骤(3)提取其语音疲劳特征向量，按步骤 (4)对语音疲劳特征向量进行疲劳判决，最终得出该语音信号的疲劳状态，实现疲劳状态的监测。 [0027] 由以上技术方案可知，本发明的技术方案提供的基于空中交通管制员陆空通话语音的疲劳监测方法，获得了如下有益效果： [0028] 本发明基于空中交通管制员陆空通话语音，构建管制员陆空通话语音数据库，对语音信号进行时频分析，通过小波分解提取语音信号的细节系数，在传统去趋势波动分析的基础上，通过局部去趋势建立语音疲劳特征向量，确定基于语音特征的疲劳判决准则，为民航管制员疲劳状态监测提供了可行的方法。 [0029] 此外，本发明构建的管制员陆空通话语音数据库，为后续基于管制员语音的疲劳状态监测研究提供了数据源；本发明所提出的管制员语音疲劳特征向量，可以有效表征人体的疲劳状态；并且，本发明提出的基于空中交通管制员陆空通话语音的疲劳监测方法相比于已有的疲劳状态监测方法在减小监测成本的同时，大大提高了监测的速度和准确度。 [0030] 应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。 [0031] 结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。附图说明 [0032] 附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中： [0033] 图1为本发明的流程图； [0034] 图2为输入信号及预加重后的语音信号示意图； [0035] 图3为本发明所用汉明窗特性示意图； [0036] 图4为输入语音信号及小波分解结构示意图； [0037] 图5为输入语音信号及细节系数示意图； [0038] 图6为局部去趋势波动分析流程图； [0039] 图7为基于语音特征向量的疲劳状态判别结果示意图。具体实施方式 [0040] 为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。 [0041] 在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。 [0042] 基于现有技术中的衡量管制员工作疲劳监测方法的具有精度低和性能不佳的技术问题，本发明旨在提出一种基于空中交通管制员陆空通话语音的疲劳监测方法，有效表征人体的疲劳状态，提高疲劳监测的速度和准确度。 [0043] 下面结合附图所示的具体实施例，对本发明基于空中交通管制员陆空通话语音的疲劳监测方法，作进一步具体介绍。 [0044] 结合图1所示，本发明采用的技术方案包括如下步骤：(1)、采集管制一线的陆空通话语音信号，对其进行预处理，并将处理得到的每段语音信号按一定规则进行编号，构建管制员陆空通话语音数据库；(2)、基于离散小波分解对管制员陆空通话语音数据库中任意一条语音信号作为输入信号进行多尺度时频分析，进而提取其细节系数；(3)、通过局部去趋势波动分析研究每个时间尺度下的细节系数的分形特征，获得对应的赫斯特指数，建立语音疲劳特征向量；(4)、提取管制员陆空通话语音数据库中所有语音信号的语音疲劳特征向量，通过支持向量机技术确定疲劳状态的判决准则；(5)根据疲劳状态的判决准则监测空中交通管制员的疲劳状态；即在传统去趋势波动分析的基础上，通过局部去趋势建立语音疲劳特征向量，确定基于语音特征的疲劳判决准则，为民航管制员疲劳状态监测提供了可行的方法。 [0045] 结合图2和图3所示，步骤(1)中采集管制一线的管制员陆空通话语音，使用音频编辑软件GoldWave截取出不同管制员在不同时间的管制指令语音信号；随后，通过高通数字滤波器来实现对输入的语音信号进行预加重，具体为，对语音信号的高频部分进行加重，去除口唇辐射的影响并添加语音的高频分辨率，再对滤波处理后的语音信号进行加窗分帧处理；所述高通数字滤波器的传递函数H(z)为: [0046] H(z)＝1-az-1 (1) [0047] 定义管制员陆空通话语音数据库中第n个语音信号的采样值为x(n)，则经过预加重处理后的语音信号y(n)结果为： [0048] y(n)＝x(n)-ax(n-1) (2) [0049] 其中，a为预加重系数，一般为0.9 [0050] 所述加窗分帧处理使用的窗函数为汉明窗，定义加窗分帧处理后的语音信号为ω(n)，则： [0051] [0052] 其中，N是管制员陆空通话语音数据库中语音信号的长度。 [0053] 表1预处理后语音信号的编号规则 [0054] [0055] 再对语音信号预处理后，根据与疲劳紧密相关的工作时间、年龄、岗位、技能因素，将处理得到的每段语音信号按一定规则进行编号，即完成管制员陆空通话语音数据库的构建；其中，编号由数字和英文字母组成，表示语音相关的因素，编号规则如上表1所示，其中，编号第14-15位表示语音状态中，当语音正常时不标数字且无第14位编号。 [0056] 结合图4和图5所示，步骤(2)中，语音信号多尺度时频分析的过程为：将管制员陆空通话语音数据库中的任意一条语音信号作为输入信号，使用多贝西小波5对输入信号进行离散小波分解，设定分解尺度，得到分解后的多层小波，再采用高通滤波器对每一层小波提取其对应的细节系数。 [0057] 其具体过程为，设定分解尺度为3，即J＝3，t表示时间，幂级数基底a0＝2，则信号小波分解的结果WTx(j,k)为： [0058] [0059] 其中，WTx(j,k)为经过小波分解后的语音信号的第j层中的第k个值,0 [0060] 由此得到分解后的三层小波x1、x2、x3，调整函数在多尺度分析 (multi-resolution analysis)中的每一层可写为下列方程式： [0061] [0062] 其中，(a0,…,aN-1)为有限长度实数数列，称作调整系数，N为该层小波的长度；同时，通过小波函数调整函数的线性组合表示： [0063] [0064] 其中，(b0,…,bN-1)为有限长度的实数数列，即小波系数。 [0065] 随后，对每一层小波通过高通滤波器提取其细节系数得到d1、d2、d3，即[0066] [0067] 其中，h[k]表示高通滤波器。 [0068] 结合图6所示，对输入的语音信号及其每一尺度下的细节系数进行局部去趋势波动分析。对于输入的语音信号，首先将其分为等长的无重复的V个分段，随后对各个分段局部去趋势，即将分段中的数据进行最小二乘拟合，原数据减去拟合直线中相应横坐标对应的值，然后，计算局部去趋势后的每个分段的均方根，最后对均方根进行最小二乘拟合得到拟合直线的斜率。通过改变分段长度的大小，对不同大小的斜率进行最小二乘拟合，拟合直线的斜率即为Hurst 指数。对语音信号的每一尺度下的细节系数重复进行上述过程即得到其对应的 Hurst指数。由输入信号及其每层的细节系数得到的Hurst指数为元素组成得到向量，即为语音疲劳特征向量。 [0069] 其中，对各个分段局部去趋势，即： [0070] [0071] 然后，计算局部去趋势后的每个分段的均方根，即 [0072] [0073] 其中，v为第v个分段，l表示分段长度； [0074] 进一步的，对V个分段共V个均方根rv进行最小二乘拟合得到拟合直线的斜率hl；改变分段长度l的大小，即可以得到不同的斜率hl，本发明中选取的长度 l＝2k，k＝4,…,9，对对数坐标下(l,hl)进行最小二乘拟合，拟合直线的斜率即为输入信号x及其细节系数dj对应的Hurst指数Hj,j＝0,1,2,3。由Hurst指数Hj构成的向量Hf即为可以表征疲劳状态的语音特征向量，即Hf[H0,H1,…,H3]。 [0075] 结合图7所示，提取管制员陆空通话语音数据库中所有语音信号的语音疲劳特征向量，通过支持向量机技术确定疲劳状态的判决准则，并根据疲劳状态的判决准则监测空中交通管制员的疲劳状态；具体过程为，在管制员陆空通话语音数据库中随机选择相同条数的正常状态的语音信号和疲劳状态的语音信号作为训练集，然后再从空中交通管制员陆空通话语音数据库中随机选取与训练集中信号条数相同的语音信号作为测试集，采用支持向量机技术进行仿真。 [0076] 附图所示的实施例中，训练集中正常状态的语音信号和疲劳状态的语音信号各30条，测试集共60条语音信息，使用支持向量机技术，即SVM技术，利用Python平台进行仿真。首先使用主成分分析法(PCA，Principal Components Analysis)对语音疲劳特征向量进行降维，随后选择多项式核函数(Polynomial kernel function)作为SVM的核函数，惩罚函数C＝50000，从而确定了基于语音特征的疲劳判决准则。根据疲劳判决准则判别管制员的陆空通话语音疲劳监测的准确率为85％，相较于已有的疲劳状态监测方法在减小监测成本的同时，大大提高了监测的速度和准确度，并且本发明构建的管制员陆空通话语音数据库，为后续基于管制员语音的疲劳状态监测研究提供了数据源；本发明所提出的管制员语音疲劳特征向量，可以有效表征人体的疲劳状态，进一步提高了本发明的实用性。 [0077] 虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。