一种车队管理平台的MDVR设备集成疲劳检测方法

摘要

本发明公开一种车队管理平台的MDVR设备集成疲劳检测方法，当车辆的实时运动速度超过运动速度阀值，进行人眼开度检测，根据连续两帧人眼的眼睛开度大小均小于开眼阀值计入临时闭眼累计时间，当临时闭眼累计时间超过一定阀值计入闭眼累计时间，减少由于不良的光学环境造成的持续间歇性误判；检测到人眼的累计睁开时间超过睁眼时间阀值、人脸识别人脸转动角度、晃动幅度过大会清零闭眼累计时间，睁眼时间的累计需要在连续的时间段内不能出现闭眼的情况，否则清零睁眼累计时间，因此错误清零闭眼累计时间的可能性极低；由于闭眼累计时间要超过闭眼累计时间阀值，才会判定目标驾驶员处于疲劳状态，大幅度减少错误的报警数量。

权利要求

1.一种车队管理平台的MDVR设备集成疲劳检测方法，其特征在于，包括以下步骤：S1，预设车辆的运动速度阀值，通过车辆的GPS定位获得车辆的实时运动速度，车辆的实时运动速度达到运动速度阀值后进行人眼开度检测；

S2,获取目标驾驶员的脸部视频，对连续一段视频内的各帧图片进行人眼开度检测，计算出人眼的开眼阀值；

S3，将各帧图片的眼睛开度大小与开眼阀值比较，若连续两帧图片的眼睛开度大小小于开眼阀值，则将这两帧图片的时间间隔计入临时闭眼累计时间，若本帧图片的眼睛开度大小大于开眼阀值，则清零临时闭眼累计时间；

S4, 若临时闭眼累计时间超过一定阀值，则将该段时间内的临时闭眼累计时间计入闭眼累计时间，与此同时，临时闭眼累计时间清零；

S5，若在一段时间范围内，检测到人脸的中心位置变化过大，或者检测到人脸转动角度变化过大，则不进行任何的时间累积，并且清零闭眼累计时间和临时闭眼累计时间；

S6，预设睁眼时间阀值，实时检测人眼的保持睁眼时间，计算睁眼累计时间，若在睁眼的过程中出现闭眼，清零睁眼累计时间，若睁眼累计时间超过睁眼时间阀值，清零闭眼累计时间和临时闭眼累计时间；

S7，预设闭眼累计时间阀值，若闭眼累计时间长时间不清零且大于闭眼累计时间阀值，则判定目标驾驶员处于疲劳状态。

2.根据权利要求1所述的一种车队管理平台的MDVR设备集成疲劳检测方法，其特征在于，若是检测设备未检测到人脸，清零闭眼累计时间，清零临时闭眼累计时间。

3.根据权利要求1所述的一种车队管理平台的MDVR设备集成疲劳检测方法，其特征在于，实时更新人眼的开眼阀值，统计每段时间内人眼眼睛开度大小的平均值乘以某个百分比作为人眼开眼阈值。

4.根据权利要求3所述的一种车队管理平台的MDVR设备集成疲劳检测方法，其特征在于，只有在车辆实时速度超过运动速度阀值和检测到人脸的情况下，才进行开眼阀值计算，若是开眼阀值长时间不更新则会失效，在开眼阀值失效期间内，不进行任何的累计时间。

说明书

一种车队管理平台的MDVR设备集成疲劳检测方法

技术领域

[0001] 本发明涉及行车安全领域，具体是一种在行车中利用车队管理平台的MDVR（车载硬盘录像机）设备检测司机疲劳的检测方法。

背景技术

[0002] 交通事故一直是人类面临的对生命财产安全威胁最严重的问题之一，其中大部分交通事故的发生都是由于驾驶员人为因素造成的。在车辆行驶过程中，驾驶员疲劳是造成
恶性交通事故的重要原因之一，严重危害交通安全。长途汽车驾驶员由于连续驾驶时间过
长，长期在单一路况下驾驶，会出现频繁打哈、眼皮发沉、注意力不集中、走神、头晕目眩、反
应迟钝等现象。

[0003] 为了减少减轻驾驶员的精神压力并对疲劳及时提示预警，对驾驶员进行疲劳检测，同时提醒驾驶员，在很大程度上能够预防和减少交通事故的发生，使得公民的出行更加
安全。现在市面上的面向疲劳驾驶检测的车载辅助设备，主要是依靠摄像头光学检测驾驶
员的双眼是否闭合，从而检测驾驶员是否过渡疲劳。在驾驶员双眼闭合或者打瞌睡的时候，
报警提醒驾驶员需打起精神，注意危险。但是该种设备作为驾驶辅助设备，为了提醒驾驶员
规避风险，对驾驶员的驾驶状态判别方式，采取的是宁愿多报，不可漏报的原则，就会导致
有大量的错误报警信息。

[0004] 与此同时，基于类似功能，为了对司机的行为进行监督，统筹分析管理整个车队司机的疲劳状态，防止司机在疲劳的状态上驾驶车辆，基于车联网的车载硬盘录像设备也会
加载此功能。通过摄像头，检查司机的疲劳状态，在司机疲劳的情况下，截取视频段，作为证
据，上传至云端，方便车队管理层了解司机的疲劳状态，并实施管理。在这样的工作模式下，
如果仍然采类似驾驶辅助“宁可误报，不可漏报”的策略，有可能导致大量无效的视频上传，
这样会给基于该功能的车队管理，以及相关的管理人员带来巨大的麻烦，事实上，就是需要
人工对已经上传的视频进行二次筛查。过大的麻烦，以及无效视频，有可能导致管理层疏于
管理，对司机和疲劳驾车行为长期缺乏震慑，最后整个系统全部失效。

发明内容

[0005] 本发明提供一种在深度学习对人眼开眼程度检测的基础上，对驾驶员的驾驶状态进行判断，减少对驾驶员疲劳状态错误的报警触发的车队管理平台的MDVR设备检测司机疲
劳的检测方法，以提升MDVR相关功能接入车队管理平台的之后的可用性。

[0006] 本发明所述的车队管理平台的MDVR设备集成疲劳检测方法，包括以下步骤：

[0007] S1，预设车辆的运动速度阀值，通过车辆的GPS定位获得车辆的实时运动速度，车辆的实时运动速度达到运动速度阀值后进行人眼开度检测；

[0008] S2,获取目标驾驶员的脸部视频，对连续一段视频内的各帧图片进行人眼开度检测，计算出人眼的开眼阀值；

[0009] S3，将各帧图片的眼睛开度大小与开眼阀值比较，若连续两帧图片的眼睛开度大小小于开眼阀值，则将这两帧图片的时间间隔计入临时闭眼累计时间，若本帧图片的眼睛
开度大小大于开眼阀值，则清零临时闭眼累计时间；

[0010] S4,若临时闭眼累计时间超过一定阀值，则将该段时间内的临时闭眼累计时间计入闭眼累计时间，与此同时，临时闭眼累计时间清零；

[0011] S5，若在一段时间范围内，检测到人脸的中心位置变化过大，或者检测到人脸转动角度变化过大，则不进行任何的时间累积，并且清零闭眼累计时间和临时闭眼累计时间；

[0012] S6，预设睁眼时间阀值，实时检测人眼的保持睁眼时间，计算睁眼累计时间，若在睁眼的过程中出现闭眼，清零睁眼累计时间，若睁眼累计时间超过睁眼时间阀值，清零闭眼
累计时间和临时闭眼累计时间；

[0013] S7，预设闭眼累计时间阀值，若闭眼累计时间长时间不清零且大于闭眼累计时间阀值，则判定目标驾驶员处于疲劳状态。

[0014] 本发明所述的车队管理平台的MDVR设备集成疲劳检测方法，只有当车辆的实时运动速度超过运动速度阀值，才进行人眼开度检测，可大幅度减少上传无效的视频；根据连续
两帧人眼的眼睛开度大小均小于开眼阀值才会计入临时闭眼累计时间，只有当临时闭眼累
计时间超过一定阀值才会计入闭眼累计时间，减少由于不良的光学环境造成的持续间歇性
误判累计入闭眼累计时间；若是检测到人眼的累计睁开时间超过睁眼时间阀值、人脸识别
人脸转动角度、晃动幅度过大的情况，则会停止所有的时间累积，并且会清零闭眼累计时
间，而睁眼时间的累计需要在连续的时间段内不能出现闭眼的情况，否则清零睁眼累计时
间，因此错误清零闭眼累计时间的可能性极低；由于闭眼累计时间要超过闭眼累计时间阀
值，才会判定目标驾驶员处于疲劳状态；且闭眼累计时间需要临时闭眼累计时间超过某个
数值（比如一秒钟），才会一次性进行累计，若在此之前，若检测出睁眼，则会清零临时闭眼
时见；因此误报警的可能性极低，提升疲劳检测结果的准确度，大幅度减少错误的报警数
量，减少向云端服务器上传无效的视频片段。而截取疲劳相关的视频上传至管理部门这项
功能不需要通知司机，也无需连入驾驶辅助相关功能，因此能接受一定程度小概率的疲劳
事件的漏报。

附图说明

[0015] 图1为一种车队管理平台的MDVR设备集成疲劳检测方法步骤框图。

具体实施方式

[0016] 如图1所示，一种车队管理平台的MDVR设备集成疲劳检测方法，包括以下步骤：

[0017] S1，预设车辆的运动速度阀值，通过车辆的GPS定位获得车辆的实时运动速度，车辆的实时运动速度达到运动速度阀值后进行人眼开度检测；若未达到速度目标阈值，或者
无 GPS 卫星信号，或者定位的精度不够，则清零不进行检查，且清零之前所有进行的时间
累积;

[0018] S2,获取目标驾驶员的脸部视频，对连续一段视频内的各帧图片进行人眼开度检测，计算出人眼的开眼阀值；

[0019] S3，将各帧图片的眼睛开度大小与开眼阀值比较，若连续两帧图片的眼睛开度大小小于开眼阀值，则将这两帧图片的时间间隔计入临时闭眼累计时间，若本帧图片的眼睛
开度大小大于开眼阀值，则清零临时闭眼累计时间；

[0020] S4, 若临时闭眼累计时间超过一定阀值，则将该段时间内的临时闭眼累计时间计入闭眼累计时间，与此同时，临时闭眼累计时间清零；

[0021] S5，若在一段时间范围内，检测到人脸的中心位置变化过大，或者检测到人脸转动角度变化过大，则不进行任何的时间累积，并且清零闭眼累计时间和临时闭眼累计时间；

[0022] S6，预设睁眼时间阀值，实时检测人眼的保持睁眼时间，计算睁眼累计时间，若在睁眼的过程中出现闭眼，清零睁眼累计时间，若睁眼累计时间超过睁眼时间阀值，清零闭眼
累计时间和临时闭眼累计时间；

[0023] S7，预设闭眼累计时间阀值，若闭眼累计时间长时间不清零且大于闭眼累计时间阀值，则判定目标驾驶员处于疲劳状态。

[0024] 所述的车队管理平台的MDVR设备集成疲劳检测方法，可用车载MDVR设备作为车联网车队管理系统的终端设备，用于安装在各类运营车辆上，捕捉记录各类图像的人脸相关
信息，当MDVR设备检测到异常事件发生时，会向服务器上报警告信息，同时将相关的视频作
为证据上传。当GPS反馈当前定位信息的精度、坐标以及车辆的实时运动速度是存在且准确
的时候，且当车辆运动到一定速度时才有必要判定目标驾驶员是否疲劳驾驶。

[0025] 而人眼的开眼程度可通过人眼特征点拾取技术获取。具体而言，可基于级联卷积神经网络的人脸特征点定位，通过特征点获取人眼眼睛的高度和长度，开眼阀值等于眼睛
高度除以眼睛长度，也就是通过高度和宽度的比，作为人眼的开度。

[0026] 在步骤 S1 当中，只有当车辆的实时运动速度超过运动速度阀值，才进行人眼开度检测，若 GPS 信号丢失，或者速度小于阈值（比如5km/h），则不进行累计，并清零原有累
计数据。则可以大幅度防止车辆在停车状态下，对司机正常的休息行为的错误截取并上传
现象。该特征可以大幅度减少上传无效的视频。

[0027] 所述步骤S3和 S4 中根据连续两帧人眼的眼睛开度大小均小于开眼阀值才会计入临时闭眼累计时间，且只有当临时闭眼累计时间超过一定阀值才会计入闭眼累计时间，
如果在中途出现眼睛睁开（也就是开度大小大于阈值的现象），则会清零相关的临时闭眼时
间计数，因此大幅度减少由于不良的光学环境造成的持续间歇性误判。

[0028] 所述步骤S3 所提到的开眼的阈值，可以预设，也可以根据司机的眼睛大小，以及安装情况，进行动态调节。具体方式为：

[0029] 若一段时间内，没有检测到司机主动大幅度运动（方法见下文，s5 部分说明），且GPS 反馈的汽车的行驶速度均高过某个阈值（比如 5km/h），且有效的开眼程度的检测值，
超过某一个比例（比如 80%），则对有效的开眼程度值求取平均值，并乘以一定的比例（比如
40%），作为开眼程度的阈值。

[0030] 为了排除检测算法的某些异常检测结果，我们设定有效的开眼程度值对应的眼睛的高宽比，必须满足一定的条件（比如高宽比必须大于10%，低于这个阈值基本都可以认为
人眼睛已经闭上了，不能用这样的值加入累积求平均）。

[0031] 若我们未使用预设开眼程度阈值，则必须等到动态开眼程度阈值别解算出来以后才进行后续的计算，否则无阈值供比较。

[0032] 所述步骤S5 和S6 提出的特征的主要目标是，确认司机较大概率的处于非疲劳状态，进一步减少疲劳检测误虚警的触发。

[0033] 所述步骤 S5 ，在进行疲劳触发的时候，要求目标司机的人脸必须处于稳定状态。没有出现大幅度移动，大幅度转动，更不能出现丢失。若是检测设备未检测到人脸，清零闭
眼累计时间。

[0034] 具体实现上，若司机的脸部，处于大幅度移动，大幅度转动的情况，说明司机在主动做出动作，从客观上表明，司机并没有出现疲劳。另一方面，如果司机在画面中运动，由于
运动模糊，对眼睛的大小的检测，可能出现误差。

[0035] 更具体而言，在检测目标人眼的大小的时候，我们同时会获得人脸区域坐标，以区域坐标的中心，作为中心，检查人脸区域的移动情况。以人脸区域的大小，检查人脸大小的
变化情况。在实际使用中，可以使用整个检测的时间范围中（比如一秒内），两个相隔最远的
中心点的距离，作为中心点的移动位移。可以以整个时间范围内，最大的人脸宽度和长度，
作为阈值。换而言之，若中心点的相对位移，在Y 轴方向，大于最大人脸的长度，或者，在 X 
轴方向上，大于最小人脸的长度，则认为司机在主动大幅度运动。

[0036] 更具体而言，我们可以同样使用基于深度学习的分析方法，解算人脸相对摄像头的角度，如果在某一个时间范围内（比如一秒内），角度变化过大，超过某个我们预设的阈
值，比如30度，则认为人脸在剧烈转动，则认为司机在主动大幅度运动。

[0037] 根据上述两种情况分析，若检测到司机在主动大幅度运动，则我们认为司机人脸的检测，或者司机本身，处于不稳定状态。

[0038] 在具体的工作中，若司机处于不稳定状态，原有所有闭眼相关的时间计数清零。且只有在司机人脸稳定超过一段时间（比如一秒钟），我们才开始进行相关的检测。

[0039] 所述步骤 S6 ，睁眼时间的累计需要在连续的时间段内不能出现闭眼的情况，否则清零睁眼累计时间，因此错误清零闭眼累计时间的可能性极低。

[0040] 所述步骤 S7 ，由于闭眼累计时间要超过闭眼累计时间阀值，才会判定目标驾驶员处于疲劳状态，且由于步骤S5和 S6 包含的多种时间清零方式，在非疲劳状态下，时间累
积值非常容易清零，因此误报警的可能性极低，提升疲劳检测结果的准确度，大幅度减少错
误的报警数量，减少向云端服务器上传无效的视频片段。