疲劳状态的检测方法、终端设备及介质

摘要

本发明适用于数据处理技术领域，提供了一种疲劳状态的检测方法、终端设备及介质，该方法包括：采集待检测对象的脑电信号，并在采集脑电信号时，同步采集关于待检测对象所属环境场景的第一视频数据；解析出待检测对象在疲劳状态下所对应的各段脑电信号，并将确定出的脑电信号标记为疲劳预警信号；根据疲劳预警信号的采集时间，确定与采集时间对应的第一视频数据；将疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于待检测对象所属环境场景的第一视频数据时，基于预存储的关联关系，确定待检测对象是否处于疲劳状态。本发明在判断过程中加入了环境场景这一考量因素，提高了对用户疲劳状态的检测效率及检测准确率。

权利要求

1.一种疲劳状态的检测方法，其特征在于，包括：

采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据；所述环境场景为驾驶舱外部的环境场景；

解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号；

根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据；

将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

2.如权利要求1所述的疲劳状态的检测方法，其特征在于，所述解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号，包括：在采集所述脑电信号时，同步采集关于所述待检测对象的人脸特征的第二视频数据；

通过预设算法对所述第二视频数据进行解析处理，以确定出所述待检测对象在疲劳状态下所对应的所述第二视频数据；

对于确定出的所述第二视频数据，将与所述第二视频数据同步采集的所述脑电信号标记为疲劳预警信号。

3.如权利要求1或2所述的疲劳状态的检测方法，其特征在于，所述根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据，包括：基于所述疲劳预警信号，构建并训练脑电信号机器模型；

通过所述脑电信号机器模型，解析每一时刻采集得到的所述脑电信号，以得到关于所述待检测对象是否处于疲劳状态的第一检测结果；

若所述第一检测结果为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

4.如权利要求3所述的疲劳状态的检测方法，其特征在于，还包括：根据与所述疲劳预警信号同步采集的关于所述待检测对象的人脸特征的第二视频数据，构建并训练视频机器学习模型；

通过所述视频机器学习模型，解析每一时刻采集得到的所述第二视频数据，以得到关于所述待检测对象是否处于疲劳状态的第二检测结果；

所述若所述第一检测结果为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据，包括：若所述第一检测结果以及所述第二检测结果均为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

5.如权利要求1所述的疲劳状态的检测方法，其特征在于，所述根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据，包括：获取所述疲劳预警信号的采集时间；

确定在所述采集时间之前的预设时长内所采集得到的所述第一视频数据。

6.如权利要求1所述的疲劳状态的检测方法，其特征在于，所述将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，包括：将所述第一视频数据存储至缓存区；

判断最近预设时长内所述缓存区中是否添加有N条所述第一视频数据；其中，所述N为大于1的预设值；

若判断结果为是，则将所述疲劳预警信号以及所述第一视频数据的关联关系进行存储。

7.一种疲劳状态的检测装置，其特征在于，包括：

采集单元，用于采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据；所述环境场景为驾驶舱外部的环境场景；

第一解析单元，用于解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号；

确定单元，用于根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据；

关联存储单元，用于将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

8.如权利要求7所述的检测装置，其特征在于，所述第一解析单元包括：采集子单元，用于在采集所述脑电信号时，同步采集关于所述待检测对象的人脸特征的第二视频数据；

解析子单元，用于通过预设算法对所述第二视频数据进行解析处理，以确定出所述待检测对象在疲劳状态下所对应的所述第二视频数据；

标记子单元，用于对于确定出的所述第二视频数据，将与所述第二视频数据同步采集的所述脑电信号标记为疲劳预警信号。

9.一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。

说明书

疲劳状态的检测方法、终端设备及介质

技术领域

[0001] 本发明属于数据处理技术领域，尤其涉及一种疲劳状态的检测方法、终端设备及计算机可读存储介质。

背景技术

[0002] 近年来，交通事故的频频发生，给人民群众的生命财产带来了严重威胁，可见，交通事故的预防显得越来越重要。其中，疲劳驾驶是导致事故发生比率较大的一个因素，因此，如何准确地判断司机是否存在疲劳驾驶，是否处于睡意状态，是当前交通事故预防研究工作的一大重点以及技术难题。

[0003] 现有技术中，由于脑电信号能够更加直接、客观地反映人脑的活动情况，有着更高的时间分辨率，且脑电信号无法人为地控制和伪造，因而在一般情况下，都是基于对脑电信号的分析处理来确定司机的疲劳状态的。然而，此类通过对脑电信号的分析来直接判断疲劳状态的方法，考虑因素较为单一，故仍然存在判断准确率较为低下的问题。

发明内容

[0004] 有鉴于此，本发明实施例提供了一种疲劳状态的检测方法、终端设备及计算机可读存储介质，以解决现有疲劳状态的检测方法存在考量因素较为单一的问题。

[0005] 本发明实施例的第一方面提供了一种疲劳状态的检测方法，包括：

[0006] 采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据；

[0007] 解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号；

[0008] 根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据；

[0009] 将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

[0010] 本发明实施例的第二方面提供了一种疲劳状态的检测装置，包括：

[0011] 采集单元，用于采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据；

[0012] 第一解析单元，用于解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号；

[0013] 确定单元，用于根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据；

[0014] 关联存储单元，用于将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

[0015] 本发明实施例的第三方面提供了一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述疲劳状态的检测方法的步骤。

[0016] 本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如上述疲劳状态的检测方法的步骤。

[0017] 本发明实施例中，通过在采集待检测对象的脑电信号的同时，同步采集关于待检测对象所属环境场景的第一视频数据，解析出待检测对象在疲劳状态下所对应得到的各段疲劳预警信号，使得与疲劳预警信号对应采集的第一视频数据能够被准确获得并存储，实现了利用实际环境去建立脑电信号和疲劳状态之间的联系；在再次采集到关于待检测对象所属环境场景的第一视频数据时，由于本发明实施例可以基于上述预存储的关联关系，快速预判待检测对象是否处于疲劳状态，且在判断过程中加入了环境场景这一考量因素，因此，提高了对用户疲劳状态的检测效率以及检测准确率。

附图说明

[0018] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0019] 图1是本发明实施例提供的疲劳状态的检测方法的实现流程图；

[0020] 图2是本发明实施例提供的疲劳状态的检测方法S102的具体实现流程图；

[0021] 图3是本发明实施例提供的疲劳状态的检测方法S103的具体实现流程图；

[0022] 图4是本发明另一实施例提供的疲劳状态的检测方法S103的具体实现流程图；

[0023] 图5是本发明实施例提供的疲劳状态的检测装置的结构框图；

[0024] 图6是本发明实施例提供的终端设备的示意图。

具体实施方式

[0025] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

[0026] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

[0027] 图1示出了本发明实施例提供的疲劳状态的检测方法的实现流程，本方法所适用的场景为车辆驾驶舱，该方法流程包括步骤S101至S104。各步骤的具体实现原理如下：

[0028] S101：采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据。

[0029] 本发明实施例中，车辆驾驶舱内部预设有疲劳状态的检测装置。上述疲劳状态的检测装置包括摄像头以及脑电信号采集器。摄像头用于捕获其拍摄范围内的视频数据；脑电信号采集器用于采集待检测对象的脑电信号。脑电信号包括但不限于静息态脑电信号、视觉诱发电位(Visual Evoked Potential，VEP)信号、运动想像脑电信号及事件相关电位(Event Related Potential，ERP)信号等。其中，待检测对象具体为车辆驾驶舱的驾驶员，且该驾驶员处于疲劳状态检测阶段。

[0030] 具体地，对于上述疲劳状态的检测装置所包含的摄像头，其预置的拍摄视角为驾驶舱外部的环境场景，即，该摄像头用于拍摄车辆外部的交通状况。本发明实施例中，摄像头和脑电信号采集器所分别采集得到信号数据在时间上同步，以保证在脑电信号采集器采集脑电信号的过程中，摄像头也同步采集关于待检测对象所属环境场景的第一视频数据。

[0031] S102：解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号。

[0032] 通过预设算法对各个采集时刻所采集得到的脑电信号进行处理，包括：通过对脑电信号进行预处理、特征提取、特征平滑过滤、特征选择、动态特征提取以及疲劳监测等操作，识别出每一时刻所采集得到的脑电信号是否为待检测对象在疲劳状态下所产生的脑电信号。上述预设算法例如可以是基于mindwave脑电波的疲劳检测算法以及基于匹配追踪算法的疲劳驾驶脑电检测等。

[0033] 对任意一段脑电信号，若识别得出该段脑电信号为待检测对象在疲劳状态下所产生的脑电信号，则将该段脑电信号标记为疲劳预警信号，以表征该段脑电信号与疲劳状态的对应关系。

[0034] S103：根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据。

[0035] 本发明实施例中，根据标记出的疲劳预警信号的采集时间，查找与该采集时间对应的第一视频数据，包括：查找在该采集时间上与疲劳预警信号同步采集的第一视频数据；或者，以该采集时间为起点，回溯预定长度的第一视频数据。

[0036] S104：将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

[0037] 由于确定出的第一视频数据与待检测对象的疲劳状态关联，且第一视频数据为车辆驾驶舱外部的环境场景数据，因此，将上述确定出的第一视频数据识别为疲劳场景数据。通过将疲劳预警信号以及疲劳场景数据的关联关系存储至预设的数据表，保证了在后续的各个时间段内，当采集到实时产生的第一视频数据时，能够快速确定出数据表中是否存在该第一视频数据对应的信息记录。

[0038] 若当前的第一视频数据存在于数据表，则确定该时刻的待检测对象处于疲劳状态；若当前的第一视频数据不存在于数据表，则基于实时采集的脑电信号，进一步确定该时刻的待检测对象是否处于疲劳状态。

[0039] 优选地，在上述确定出与疲劳预警信号的采集时间对应的第一视频数据后，将该第一视频数据存储至缓存区。同理，在后续预设时长内，根据检测出的各段疲劳预警信号，也将与各段疲劳预警信号的采集时间相对应的第一视频数据存储至缓存区。若检测到缓存区中存在N(N为大于一的预设值)条特征相同或特征相似的第一视频数据，则确定该第一视频数据为疲劳场景数据。此时，再将疲劳预警信号以及疲劳场景数据的关联关系存储至预设的数据表，从而提高了疲劳场景数据的检测准确性。

[0040] 本发明实施例中，通过在采集待检测对象的脑电信号的同时，同步采集关于待检测对象所属环境场景的第一视频数据，解析出待检测对象在疲劳状态下所对应得到的各段疲劳预警信号，使得与疲劳预警信号对应采集的第一视频数据能够被准确获得并存储，实现了利用实际环境去建立脑电信号和疲劳状态之间的联系；在再次采集到关于待检测对象所属环境场景的第一视频数据时，由于本发明实施例可以基于上述预存储的关联关系，快速预判待检测对象是否处于疲劳状态，且在判断过程中加入了环境场景这一考量因素，因此，提高了对用户疲劳状态的检测效率以及检测准确率。

[0041] 作为本发明的一个实施例，图2示出了本发明实施例提供的疲劳状态的检测方法S102的具体实现流程图，详述如下：

[0042] S1021：在采集所述脑电信号时，同步采集关于所述待检测对象的人脸特征的第二视频数据。

[0043] 上述疲劳状态的检测装置除了包括脑电信号采集器以及用于拍摄车辆外部交通状况的第一摄像头之外，还包括有用于拍摄车辆内部人脸特征的第二摄像头。其中，第二摄像头所预置的拍摄视角为车辆驾驶员的头部区域。第一摄像头、第二摄像头和脑电信号采集器所分别采集得到信号数据在时间上同步，以保证在脑电信号采集器采集脑电信号的过程中，第一摄像头能够同步采集关于待检测对象所属环境场景的第一视频数据，第二摄像头同步采集关于待检测对象的人脸特征的第二视频数据。

[0044] S1022：通过预设算法对所述第二视频数据进行解析处理，以确定出所述待检测对象在疲劳状态下所对应的所述第二视频数据。

[0045] 本发明实施例中，通过预设算法对第二视频数据进行解析处理，以输出第二视频数据中每一图像帧所包含的人脸特征。人脸特征包括人脸信息、像素信息、声音信息以及时间信息等。人脸信息包括眼睛大小、嘴角位置以及嘴唇的弯曲程度等。其中，人脸信息的提取方式包括但不限于以下各种方式：

[0046] 基于先验规则的方式：获取预先采集得到的多个脸部样本图像，且每一脸部样本图像中的人脸信息为已标记信息。通过对脸部样本图像及其对应的人脸信息进行训练，输出用于检测人脸信息的先验规则。对第二视频数据中的图像帧作预变换处理，以强化其目标特征后，根据上述先验规则，从图像帧中识别出各项人脸信息所对应的候选点或区域。

[0047] 基于几何形状的方式：根据人脸脸部特征的形状特点，构造一个带可变参数的几何模型，并设定一个评价函数；评价函数用于度量图像帧中待检测区域与几何模型的匹配度。通过选取图像帧中的不同待检测区域，不断调整上述可变参数，以令评价函数的输出值最小化，使得几何模型能够收敛定位一包含人脸特征的图像区域。

[0048] 基于色彩信息的方式：使用统计方法建立起脸部特征的色彩模型，遍历图像帧中的每一个候选区域，根据候选区域中被测点的色彩与色彩模型的匹配度，定位出图像帧中与人脸信息对应的候选点。

[0049] 基于外观信息的方式：定位脸部样本图像中脸部特征附近区域内的子图像，将子图像作为一个整体，映射为高维空间中的一个点，以使高维空间中的点集能够用于描述同类的脸部特征，并使用统计方法得到其对应的分布模型。通过通过计算图像帧中各个待检测区域与分布模型的匹配度，可判定出图像帧中所包含的人脸信息。

[0050] 本发明实施例中，通过调用预设的视频机器学习模型或者调用预设的判定条件，对上述输出的人脸特征进行处理，以确定待检测对象是否处于疲劳状态。其中，视频机器学习模型可以是现有的人脸疲劳检测模型；上述预设的判断条件可以是利用人脸疲劳检测模型所预先获得的疲劳参数来进行判断的规则。例如，检测图像帧中待检测对象的眨眼频率是否超过预定门限、闭眼时间是否超过预定门限和/或打哈欠频率超过预定门限等。

[0051] 作为本发明的一个具体实施示例，上述调用预设的判定条件，对输出的人脸特征进行处理，以确定待检测对象是否处于疲劳状态的方法，还可以包括：

[0052] 获取待检测对象关联的各项人脸特征参数值以及每一项人脸特征参数值对应的疲劳参考值。其中，人脸特征参数值包括眼睛张开幅度、眉头下垂程度、嘴角下垂程度以及嘴形弯曲程度。分别判断各项人脸特征参数值是否达到其对应的疲劳参考值。若任意一项人脸特征参数值达到其对应的疲劳参考值，则将待检测对象的疲劳指数加一。当待检测对象的疲劳指数大于预设阈值时，确定待检测对象处于疲劳状态。

[0053] 优选地，在上述实施示例中，仅当其中的M项人脸特征参数值均达到其分别对应的疲劳参考值时，才将待检测对象的疲劳指数加一。M为大于或等于一的整数。

[0054] 优选地，上述M项人脸特征参数值为预先选定的M项人脸特征参数值。例如，预先选定的人脸特征参数值为眼睛张开幅度以及眉头下垂程度这两项人脸特征参数值。此时，仅当待检测对象的眼睛张开幅度达到了其对应的疲劳参考值，且眉头下垂程度也达到了其对应的疲劳参考值时，才将待检测对象的疲劳指数加一。

[0055] 对某一时刻采集得到的第二视频数据，若基于其对应的人脸特征所得到的判定结果为待检测对象处于疲劳状态，则将该第二视频数据进行选取，并确定其为待检测对象在疲劳状态下所对应的第二视频数据。

[0056] S1023：对于确定出的所述第二视频数据，将与所述第二视频数据同步采集的所述脑电信号标记为疲劳预警信号。

[0057] 根据上述分析可知，第一摄像头、第二摄像头和脑电信号采集器所分别采集得到的信号数据在时间上同步，故对于确定出的第二视频数据，可获取与该第二视频数据同步采集的脑电信号，并将该段脑电信号标记为疲劳预警信号。

[0058] 本发明实施例中，通过在采集待检测对象的脑电信号时，同步采集关于待检测对象的人脸特征的第二视频数据，使得整个检测装置除了可以根据车辆驾驶员的脑电信号来检测其是否处于疲劳状态之外，还可以基于车辆驾驶员的视频特征数据来确定其是否处于疲劳状态，因此，提高了疲劳检测方式的灵活性。

[0059] 作为本发明的一个实施例，图3示出了本发明实施例提供的疲劳状态的检测方法S103的具体实现流程，详述如下：

[0060] S1031：基于所述疲劳预警信号，构建并训练脑电信号机器模型。

[0061] 本发明实施例中，利用上述已标注的疲劳预警信号，构建并训练一脑电信号机器模型，以使得训练完成后的脑电信号机器模型能够用于判定当前所检测到的脑电信号是否为待检测对象在疲劳状态下所产生的脑电信号。脑电信号机器模型的训练过程可以看成是利用机器学习方法来对一个分类器的训练，用来解决分类问题。

[0062] 上述机器学习方法包括但不限于k近邻法、感知机、朴素贝叶斯法、决策树、逻辑回归模型、支持向量机、adaBoost、贝叶斯网络以及神经网络方法等。

[0063] S1032：通过所述脑电信号机器模型，解析每一时刻采集得到的所述脑电信号，以得到关于所述待检测对象是否处于疲劳状态的第一检测结果。

[0064] 对每一时刻所采集到的脑电信号，将其依序输入上述训练完成后的脑电信号机器模型，以通过该脑电信号机器模型对该输入的脑电信号进行识别处理后，输出第一检测结果。第一检测结果包括待检测对象在该时刻处于疲劳状态或待检测对象在该时刻未处于疲劳状态。

[0065] S1033：若所述第一检测结果为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

[0066] 若上述脑电信号机器模型所输出的第一检测结果为待检测对象在该时刻处于疲劳状态，则将该时刻所采集到的脑电信号标记为疲劳预警信号，并查找与该采集时间对应的第一视频数据，包括：查找在该采集时间上与疲劳预警信号同步采集的第一视频数据；或者，以该采集时间为起点，回溯预定长度的第一视频数据。

[0067] 优选地，作为本发明的另一个实施例，如图4所示，在上述S1033之前，还包括步骤S1034至S1035；上述步骤S1033包括S10331。各步骤的实现原理具体如下：

[0068] S1034：根据与所述疲劳预警信号同步采集的所述第二视频数据，构建并训练视频机器学习模型。

[0069] 除了训练得到上述脑电信号机器模型之外，本发明实施例中，对上述用于检测人脸特征以确定待检测对象是否处于疲劳状态的视频机器学习模型，同样需要对该视频机器学习模型进行更新及训练处理，以保证训练完成后的视频机器学习模型能够具有更高的泛化能力。

[0070] 其中，通过脑电信号机器模型来确定出待检测对象在疲劳状态下所产生的脑电信号后，可确定出与该段脑电信号同步采集的第二视频数据，并将该第二视频数据标记为疲劳特征数据。根据已标记疲劳特征数据以及未标记疲劳特征数据的各项第二视频数据，训练视频机器学习模型。

[0071] S1035：通过所述视频机器学习模型，解析每一时刻采集得到的所述第二视频数据，以得到关于所述待检测对象是否处于疲劳状态的第二检测结果。

[0072] 对后续每一时刻所同步采集到的脑电信号以及第二视频数据，将该脑电信号输入上述训练完成后的脑电信号机器模型，以通过该脑电信号机器模型对该输入的脑电信号进行识别处理后，输出第一检测结果；将第二视频数据依序输入上述训练完成后的视频机器学习模型，以通过该视频机器学习模型对该输入的第二视频数据进行识别处理后，输出第二检测结果。第一检测结果包括待检测对象在该时刻处于疲劳状态或待检测对象在该时刻未处于疲劳状态。第二检测结果包括待检测对象在该时刻处于疲劳状态或待检测对象在该时刻未处于疲劳状态。

[0073] S10331：若所述第一检测结果以及所述第二检测结果均为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

[0074] 若上述脑电信号机器模型所输出的第一检测结果以及上述视频机器学习模型所输出的第二检测结果均为待检测对象在该时刻处于疲劳状态，则将该时刻所采集到的脑电信号标记为疲劳预警信号，并查找与该采集时间对应的第一视频数据，包括：查找在该采集时间上与疲劳预警信号同步采集的第一视频数据；或者，以该采集时间为起点，回溯预定长度的第一视频数据。

[0075] 本发明实施例中，通过同时利用脑电信号机器模型以及视频机器学习模型来分别判断每一时刻所采集得到的信号数据是否与用户疲劳状态相关，并在两个模型的检测结果均相同的情况下，才将该信号数据所对应同步采集的第一视频数据进行提取，提高了对环境视频数据的提取准确率，保证了后续基于环境视频数据以及疲劳预警信号的对应关系来识别用户是否处于疲劳状态时，能够具备更高的识别准确率。

[0076] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

[0077] 对应于本发明实施例所提供的疲劳状态的检测方法，图5示出了本发明实施例提供的疲劳状态的检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。

[0078] 参照图5，该装置包括：

[0079] 采集单元51，用于采集待检测对象的脑电信号，并在采集所述脑电信号时，同步采集关于所述待检测对象所属环境场景的第一视频数据。

[0080] 第一解析单元52，用于解析出所述待检测对象在疲劳状态下所对应的各段所述脑电信号，并将确定出的所述脑电信号标记为疲劳预警信号。

[0081] 确定单元53，用于根据所述疲劳预警信号的采集时间，确定与所述采集时间对应的所述第一视频数据。

[0082] 关联存储单元54，用于将所述疲劳预警信号以及确定出的所述第一视频数据的关联关系进行存储，以在再次采集到关于所述待检测对象所属环境场景的第一视频数据时，基于预存储的所述关联关系，确定所述待检测对象是否处于疲劳状态。

[0083] 可选地，所述第一解析单元52包括：

[0084] 采集子单元，用于在采集所述脑电信号时，同步采集关于所述待检测对象的人脸特征的第二视频数据。

[0085] 解析子单元，用于通过预设算法对所述第二视频数据进行解析处理，以确定出所述待检测对象在疲劳状态下所对应的所述第二视频数据；

[0086] 标记子单元，用于对于确定出的所述第二视频数据，将与所述第二视频数据同步采集的所述脑电信号标记为疲劳预警信号。

[0087] 可选地，所述确定单元53包括：

[0088] 第一训练子单元，用于基于所述疲劳预警信号，构建并训练脑电信号机器模型。

[0089] 检测子单元，用于通过所述脑电信号机器模型，解析每一时刻采集得到的所述脑电信号，以得到关于所述待检测对象是否处于疲劳状态的第一检测结果。

[0090] 第一获取子单元，用于若所述第一检测结果为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

[0091] 可选地，所述疲劳状态的检测装置还包括：

[0092] 构建单元，用于根据与所述疲劳预警信号同步采集的所述第二视频数据，构建并训练视频机器学习模型。

[0093] 第二解析单元，用于通过所述视频机器学习模型，解析每一时刻采集得到的所述第二视频数据，以得到关于所述待检测对象是否处于疲劳状态的第二检测结果。

[0094] 所述第一获取子单元具体用于：

[0095] 若所述第一检测结果以及所述第二检测结果均为所述待检测对象处于疲劳状态，则获取在该时刻对应采集的所述第一视频数据。

[0096] 可选地，所述确定单元53包括：

[0097] 第二获取子单元，用于获取所述疲劳预警信号的采集时间。

[0098] 确定子单元，用于确定在所述采集时间之前的预设时长内所采集得到的所述第一视频数据。

[0099] 可选地，所述关联存储单元54包括：

[0100] 存储子单元，用于将所述第一视频数据存储至缓存区。

[0101] 判断子单元，用于判断最近预设时长内所述缓存区中是否添加有N条所述第一视频数据。

[0102] 关联子单元，用于若判断结果为是，则将所述疲劳预警信号以及所述第一视频数据的关联关系进行存储。

[0103] 本发明实施例中，通过在采集待检测对象的脑电信号的同时，同步采集关于待检测对象所属环境场景的第一视频数据，解析出待检测对象在疲劳状态下所对应得到的各段疲劳预警信号，使得与疲劳预警信号对应采集的第一视频数据能够被准确获得并存储，实现了利用实际环境去建立脑电信号和疲劳状态之间的联系；在再次采集到关于待检测对象所属环境场景的第一视频数据时，由于本发明实施例可以基于上述预存储的关联关系，快速预判待检测对象是否处于疲劳状态，且在判断过程中加入了环境场景这一考量因素，因此，提高了对用户疲劳状态的检测效率以及检测准确率。

[0104] 图6是本发明一实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如疲劳状态的检测程序。所述处理器60执行所述计算机程序62时实现上述各个疲劳状态的检测方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示单元51至54的功能。

[0105] 示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。

[0106] 所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

[0107] 所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0108] 所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

[0109] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0110] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0111] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。