基于人工神经网络和证据理论的疲劳驾驶评价方法

摘要

本发明公开了基于人工神经网络和证据理论的疲劳驾驶评价方法，包括以下步骤，步骤一，采集疲劳特征数据样本；步骤二，构建人工神经网络，利用样本数据确定人工神经网络参数；步骤三，实时计算疲劳特征参数；步骤四，基于人工神经网络的特征级融合；步骤五，基于D‑S证据理论的决策级融合；步骤六，根据决策规则进行驾驶状态辨识。本发明克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性，降低其误检率和漏检率，提高疲劳驾驶评价的可靠性和准确率，适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合。

权利要求

1.基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：包括以下步骤，步骤一，采集疲劳特征数据样本，用以人工神经网络训练；

疲劳特征数据为疲劳特征参数，包括面部行为特征信号和车辆行为特征信号；

步骤二，构建人工神经网络，利用样本数据确定人工神经网络参数；

构建的人工神经网络包括基于面部行为特征信号构建的第一个人工神经网络ANN-1和基于车辆行为特征信号构建的第二个人工神经网络ANN-2；

步骤三，实时计算疲劳特征参数；

步骤四，基于人工神经网络的特征级融合；

基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识；

步骤五，对ANN-1和ANN-2的结果进行基于D-S证据理论的决策级融合；

基于D-S证据理论的决策级融合的规则为，m(Az)为决策级融合后的结果在证据理论的识别框架Θ＝{A1,A2,A3}上的基本概率分配，z、i″和j″均为A的下标值，等于1，2或3， A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”，m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配，m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配；

步骤六，根据决策规则进行驾驶状态辨识；

所述决策规则的表达式为，

其中，εT1和εT2为设定的阈值，m(Af)、m(As)分别表示m(A1)，m(A2)和m(A3)中的最大值和第二大值，Af表示最大值所对应的驾驶状态，As表示第二大值所对应的驾驶状态；

当Af代表的驾驶状态为A1时，那么决策级融合的辨识结果为“清醒”；当Af代表的驾驶状态为A2时，那么决策级融合的辨识结果为“轻度疲劳”；当Af代表的驾驶状态为A3时，那么决策级融合的辨识结果为“重度疲劳”。

2.根据权利要求1所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：疲劳特征数据样本采集过程为，A1)招募若干受试驾驶员，并根据疲劳状态进行自我评价；

A2)对受试驾驶员的疲劳特征参数进行采集；

所述面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号；

所述车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号；

A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3；根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3；

A4)利用EEG检测装置同步采集受试驾驶员脑电信号，记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β；

rα,θ,β＝(Pα+Pθ)/Pβ

其中，Pα，Pθ和Pβ分别为脑电波在α，θ和β三个波段的功率谱；

A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类；

当rα,θ,β＜s1时，受试驾驶员的驾驶状态为“清醒”；

当s1≤rα,θ,β＜s2时，受试驾驶员的驾驶状态为“轻度疲劳”；

当rα,θ,β≥s2时，受试驾驶员的驾驶状态为“重度疲劳”；

s1＜s2，s1和s2均为设定的阈值；

A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较，当两者相同时，则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中，否则，作为无效数据剔除。

3.根据权利要求2所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：ANN-1结构为：将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量，ANN-1输出层神经元用y1,1、y1,2和y1,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-1隐含层神经元个数其中，a1为ANN-1输入层的神经元个数，b1为ANN-1输出层神经元个数，c1为一个常数；

ANN-2结构为：将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量，ANN-2输出层神经元用y2,1、y2,2和y2,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-2隐含层神经元个数 其中，a2为ANN-2输入层的神经元个数，b2为ANN-2输出层神经元个数，c2为一个常数。

4.根据权利要求3所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：ANN-1和ANN-2的网络参数利用样本参数，通过BP算法训练确定；

ANN-1的网络参数通过BP算法训练确定的过程为：B1)ANN-1网络参数初始化；

定义w1i,j为ANN-1输入层与隐含层之间的连接权值，θ1j为ANN-1输入层与隐含层之间的连接阈值，v1j,t为ANN-1隐含层与输出层之间的连接权值，γ1t为ANN-1隐含层与输出层之间的连接阈值，ε1为ANN-1训练的误差精度，nM为最大迭代次数；

其中，i、t、j均为整数，i∈[1,3]，t∈[1,3]，j∈[1,n1]；

B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1k，其中， xk1,1为第k个受试驾驶员的面部行为特征中的眨眼频率，xk1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率，xk1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值；

Y1k＝[yk1,1,yk1,2,yk1,3]，yk1,1、yk1,2和yk1,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

B3)将 作为ANN-1的输入向量，将Y1k作为ANN-1的期望输出向量输到ANN-1中；

B4)定义N＝1，w1i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值，θ1j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值，v1j,t(1)为第一次迭代ANN-1隐含层与1

输出层之间的连接权值，γt(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值；

B5)执行输入模式的正向传播过程；

正向传播过程如下：

a1)计算ANN-1隐含层各个神经元的输出a2)计算ANN-1输出层各个神经元的实际输出a3)计算ANN-1期望输出跟实际输出的误差B6)执行误差的逆向传播过程；

逆向传播过程如下：

b1)计算ANN-1输出层各个单元的校正误差b2)计算ANN-1隐含层各个单元的校正误差B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1i,j(N+1)和新阈值θ1j(N+1)；

其中，β1为ANN-1的学习系数；

B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1j,t(N+1)和新阈值γ1t(N+1)；

其中，α1为ANN-1的学习系数；

B9)判断 是否小于等于ε1，或者N+1是否等于nM，若满足，则训练结束，转至步骤B10，否则，N＝N+1，转至步骤B5；

B10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-1的最优网络参数；

其中，作为ANN-1的最优网络参数的连接权值分别记作 和 作为ANN-1的最优网络参数的连接阈值分别记作 和

ANN-2的网络参数通过BP算法训练确定的过程为：C1)ANN-2网络参数初始化；

2 2

定义w i,j′为ANN-2输入层与隐含层之间的连接权值，θj′为ANN-2输入层与隐含层之间的连接阈值，v2j′,t为ANN-2隐含层与输出层之间的连接权值，γ2t为ANN-2隐含层与输出层之间的连接阈值，ε2为ANN-2训练的误差精度；

其中，j′为整数，j′∈[1,n2]；

C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2k；

其中， xk2,1为第k个受试驾驶员的车辆行为特征中的车辆横向k k

偏离频率，x2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比，x2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差；

yk2,1，yk2,2和yk2,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

C3)将 作为ANN-2的输入向量，将 作为ANN-2的期望输出向量输到ANN-2中；

C4)定义N＝1，w2i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值，θ2j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值，v2j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值，γ2t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值；

C5)执行输入模式的正向传播过程；

正向传播过程如下：

c1)计算ANN-2隐含层各个神经元的输出c2)计算ANN-2输出层各个神经元的实际输出c3)计算ANN-2期望输出跟实际输出的误差C6)执行误差的逆向传播过程；

逆向传播过程如下：

d1)计算ANN-2输出层各个单元的校正误差d2)计算ANN-2隐含层各个单元的校正误差C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值w2i,j′(N+1)和新阈值θ2j′(N+1)；

其中，β2为ANN-2的学习系数；

C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2j′,t(N+1)和新阈值γ2t(N+1)；

其中，α2为ANN-2的学习系数；

C9)判断 是否小于等于ε2，或者N+1是否等于nM，若满足，则训练结束，转至步骤C10，否则，N＝N+1，转至步骤C5；

C10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-2的最优网络参数；

其中，作为ANN-2的最优网络参数的连接权值分别记作 和 作为ANN-2的最优网络参数的连接阈值分别记作 和

5.根据权利要求4所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：实时计算疲劳特征参数的过程为，D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号，分别记作 和D2)根据 计算出实时的眨眼频率 打哈欠频率 和眼睛持续闭合时间均值根据 计算出实时的车辆横向偏离频率 方向盘零速转动百分比 和车辆纵向车速方差

6.根据权利要求5所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：ANN-1的特征级融合辨识：

将 和 作为ANN-1的输入，根据BP人工神经网络模型对面部行为特征参数进行特征级融合，ANN-1的实际输出为

其中，

ANN-2的特征级融合辨识：

将 和 作为ANN-2的输入，根据BP人工神经网络模型对车辆行为特征参数进行特征级融合，ANN-2的实际输出为

其中，

7.根据权利要求6所述的基于人工神经网络和证据理论的疲劳驾驶评价方法，其特征在于：基于D-S证据理论的决策级融合的过程为，E1)对人工神经网络输出归一化处理；

将ANN-1的输出 进行归一化处理，得到归一化后的结果将ANN-2的输出 进行归一化处理，得到归一化后的结果E2)证据理论识别框架基本概率分配；

将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配，即令E3)基于D-S证据理论的决策级融合。

说明书

基于人工神经网络和证据理论的疲劳驾驶评价方法

技术领域

[0001] 本发明涉及一种基于人工神经网络和证据理论的疲劳驾驶评价方法，属于驾驶员疲劳驾驶评价技术领域。

背景技术

[0002] 疲劳驾驶检测和评价已成为汽车主动安全领域中的研究热点，其中基于物理传感器的非接触式疲劳驾驶检测方法在理论研究和应用领域近年来引起广泛重视。但现有的疲劳驾驶评价方法大都只针对驾驶员某一方面的单一疲劳特征，如频繁的眨眼和打呵欠，头部转动异常，或车辆行驶状态异常等。随着信息融合技术的发展，不少评价方法虽然已开始考虑融合多个疲劳特征，但它们大多只融合驾驶员面部的几个疲劳特征，而对于间接反应驾驶员是否疲劳的车辆行为特征，如因疲劳驾驶而产生的车辆异常偏离车道，方向盘转动和车速变化异常等却被忽略，导致目前这些方法的评价效果不够理想，容易造成误评，漏评等。同时，疲劳驾驶是一个非常复杂的生理现象，存在诱发原因多，症状复杂，难以检测和评价等问题，这些都给传统的疲劳驾驶评价方法带来了极大地挑战。

发明内容

[0003] 为了解决上述技术问题，本发明提供了一种基于人工神经网络和证据理论的疲劳驾驶评价方法。

[0004] 为了达到上述目的，本发明所采用的技术方案是：

[0005] 基于人工神经网络和证据理论的疲劳驾驶评价方法，包括以下步骤，

[0006] 步骤一，采集疲劳特征数据样本，用以人工神经网络训练；

[0007] 步骤二，构建人工神经网络，利用样本数据确定人工神经网络参数；

[0008] 步骤三，实时计算疲劳特征参数；

[0009] 步骤四，基于人工神经网络的特征级融合；

[0010] 步骤五，基于D-S证据理论的决策级融合；

[0011] 步骤六，根据决策规则进行驾驶状态辨识。

[0012] 疲劳特征数据样本采集过程为，

[0013] A1)招募若干受试驾驶员，并根据疲劳状态进行自我评价；

[0014] A2)对受试驾驶员的疲劳特征参数进行采集；

[0015] 所述疲劳特征参数包括面部行为特征信号和车辆行为特征信号；

[0016] 所述面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号；

[0017] 所述车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号；

[0018] A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3；根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3；

[0019] A4)利用EEG检测装置同步采集受试驾驶员脑电信号，记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β；

[0020] rα,θ,β＝(Pα+Pθ)/Pβ

[0021] 其中，Pα，Pθ和Pβ分别为脑电波在α，θ和β三个波段的功率谱；

[0022] A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类；

[0023] 当rα,θ,β＜s1时，受试驾驶员的驾驶状态为“清醒”；

[0024] 当s1≤rα,θ,β＜s2时，受试驾驶员的驾驶状态为“轻度疲劳”；

[0025] 当rα,θ,β≥s2时，受试驾驶员的驾驶状态为“重度疲劳”；

[0026] s1＜s2，s1和s2均为设定的阈值；

[0027] A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较，当两者相同时，则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中，否则，作为无效数据剔除。

[0028] 构建的人工神经网络有两个，第一个人工神经网络用ANN-1表示，第二个人工神经网络用ANN-2表示；

[0029] ANN-1结构为：将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量，ANN-1输出层神经元用y1,1、y1,2和y1,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-1隐含层神经元个数其中，a1为ANN-1输入层的神经元个数，b1为ANN-1输出层神经元个数，c1为一个常数；

[0030] ANN-2结构为：将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量，ANN-2输出层神经元用y2,1、y2,2和y2,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-2隐含层神经元个数 其中，a2为ANN-2输入层的神经元个数，b2为ANN-2输出层神经元个数，c2为一个常数。

[0031] ANN-1和ANN-2的网络参数利用样本参数，通过BP算法训练确定；

[0032] ANN-1的网络参数通过BP算法训练确定的过程为：

[0033] B1)ANN-1网络参数初始化；

[0034] 定义w1i,j为ANN-1输入层与隐含层之间的连接权值，θ1j为ANN-1输入层与隐含层之间的连接阈值，v1j,t为ANN-1隐含层与输出层之间的连接权值，γ1t为ANN-1隐含层与输出层之间的连接阈值，ε1为ANN-1训练的误差精度，nM为最大迭代次数；

[0035] 其中，i、t、j均为整数，i∈[1,3]，t∈[1,3]，j∈[1,n1]；

[0036] B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1k；

[0037]

[0038] 其中， xk1,1为第k个受试驾驶员的面部行为特征中的眨眼频率，xk1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率，xk1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值；

[0039] Y1k＝[yk1,1,yk1,2,yk1,3]，yk1,1、yk1,2和yk1,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

[0040] B3)将 作为ANN-1的输入向量，将Y1k作为ANN-1的期望输出向量输到ANN-1中；

[0041] B4)定义N＝1，w1i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值，θ1j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值，v1j,t(1)为第一次迭代ANN-1隐含层与输出层之间的连接权值，γ1t(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值；

[0042] B5)执行输入模式的正向传播过程；

[0043] 正向传播过程如下：

[0044] a1)计算ANN-1隐含层各个神经元的输出

[0045]

[0046] a2)计算ANN-1输出层各个神经元的实际输出

[0047]

[0048] a3)计算ANN-1期望输出跟实际输出的误差

[0049]

[0050] B6)执行误差的逆向传播过程；

[0051] 逆向传播过程如下：

[0052] b1)计算ANN-1输出层各个单元的校正误差

[0053]

[0054] b2)计算ANN-1隐含层各个单元的校正误差

[0055]

[0056] B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1i,j(N+1)和新阈值θ1j(N+1)；

[0057]

[0058]

[0059] 其中，β1为ANN-1的学习系数；

[0060] B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1j,t(N+1)和新阈值γ1t(N+1)；

[0061]

[0062]

[0063] 其中，α1为ANN-1的学习系数；

[0064] B9)判断 是否小于等于ε1，或者N+1是否等于nM，若满足，则训练结束，转至步骤B10，否则，N＝N+1，转至步骤B5；

[0065] B10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-1的最优网络参数；

[0066] 其中，作为ANN-1的最优网络参数的连接权值分别记作 和 作为ANN-1的最优网络参数的连接阈值分别记作 和

[0067] ANN-2的网络参数通过BP算法训练确定的过程为：

[0068] C1)ANN-2网络参数初始化；

[0069] 定义w2i,j′为ANN-2输入层与隐含层之间的连接权值，θ2j′为ANN-2输入层与隐含层之间的连接阈值，v2j′,t为ANN-2隐含层与输出层之间的连接权值，γ2t为ANN-2隐含层与输出层之间的连接阈值，ε2为ANN-2训练的误差精度；

[0070] 其中，j′为整数，j′∈[1,n2]；

[0071] C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2k；

[0072]

[0073] 其中， xk2,1为第k个受试驾驶员的车辆行为特征中的车辆横向偏离频率，xk2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比，xk2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差；

[0074] yk2,1，yk2,2和yk2,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

[0075] C3)将 作为ANN-2的输入向量，将 作为ANN-2的期望输出向量输到ANN-2中；

[0076] C4)定义N＝1，w2i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值，θ2j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值，v2j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值，γ2t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值；

[0077] C5)执行输入模式的正向传播过程；

[0078] 正向传播过程如下：

[0079] c1)计算ANN-2隐含层各个神经元的输出

[0080]

[0081] c2)计算ANN-2输出层各个神经元的实际输出

[0082]

[0083] c3)计算ANN-2期望输出跟实际输出的误差

[0084]

[0085] C6)执行误差的逆向传播过程；

[0086] 逆向传播过程如下：

[0087] d1)计算ANN-2输出层各个单元的校正误差

[0088]

[0089] d2)计算ANN-2隐含层各个单元的校正误差

[0090]

[0091] C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值w2i,j′(N+1)和新阈值θ2j′(N+1)；

[0092]

[0093]

[0094] 其中，β2为ANN-2的学习系数；

[0095] C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2j′,t(N+1)和新阈2
值γt(N+1)；

[0096]

[0097]

[0098] 其中，α2为ANN-2的学习系数；

[0099] C9)判断 是否小于等于ε2，或者N+1是否等于nM，若满足，则训练结束，转至步骤C10，否则，N＝N+1，转至步骤C5；

[0100] C10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-2的最优网络参数；

[0101] 其中，作为ANN-2的最优网络参数的连接权值分别记作 和 作为ANN-2的最优网络参数的连接阈值分别记作 和

[0102] 实时计算疲劳特征参数的过程为，

[0103] D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号，分别记作 和[0104] D2)根据 计算出实时的眨眼频率 打哈欠频率 和眼睛持续闭合时间均值

[0105] 根据 计算出实时的车辆横向偏离频率 方向盘零速转动百分比 和车辆纵向车速方差

[0106] 基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识；

[0107] ANN-1的特征级融合辨识：

[0108] 将 和 作为ANN-1的输入，根据BP人工神经网络模型对车辆行为特征参数进行特征级融合，ANN-1的实际输出为

[0109]

[0110] 其中，

[0111] ANN-2的特征级融合辨识：

[0112] 将 和 作为ANN-2的输入，根据BP人工神经网络模型对车辆行为特征参数进行特征级融合，ANN-2的实际输出为

[0113]

[0114] 其中，

[0115] 基于D-S证据理论的决策级融合的过程为，

[0116] E1)对人工神经网络输出归一化处理；

[0117] 将ANN-1的输出 进行归一化处理，得到归一化后的结果

[0118] 将ANN-2的输出 进行归一化处理，得到归一化后的结果

[0119] E2)证据理论识别框架基本概率分配；

[0120] 令证据理论的识别框架Θ＝{A1,A2,A3}，A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”，证据集e＝{e1,e2}，e1和e2分别表示基于面部行为特征的证据体和基于车辆行为特征的证据体，m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配，m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配，将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配，即令

[0121] E3)基于D-S证据理论的决策级融合；

[0122] 基于D-S证据理论的决策级融合的规则为，

[0123]

[0124] m(Az)为决策级融合后的结果在识别框架ΘΘ上的基本概率分配，z、i″和j″均为A的下标值，等于1，2或3，

[0125] 所述决策规则的表达式为，

[0126]

[0127] 其中，εT1和εT2为设定的阈值，m(Af)、m(As)分别表示m(A1)，m(A2)和m(A3)中的最大值和第二大值，Af表示最大值所对应的驾驶状态，As表示第二大值所对应的驾驶状态；

[0128] 当Af代表的驾驶状态为A1时，那么决策级融合的辨识结果为“清醒”；当Af代表的驾驶状态为A2时，那么决策级融合的辨识结果为“轻度疲劳”；当Af代表的驾驶状态为A3时，那么决策级融合的辨识结果为“重度疲劳”。

[0129] 本发明所达到的有益效果：

[0130] 1、本发明综合考虑反映疲劳驾驶的三个面部行为特征和三个车辆行为特征，其中，三个面部行为特征分别为眨眼频率，打呵欠频率和眼睛持续闭合时间均值，三个车辆行为特征分别为车辆横向偏离度，方向盘转动零速百分比以及车辆纵向车速方差，上述六个疲劳特征能够全面、客观、准确的衡量驾驶员的疲劳驾驶状态；

[0131] 2、对来自两个信息源的六个疲劳特征参数，运用人工神经网络和D-S证据理论对驾驶员疲劳驾驶进行双级融合评价，克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性，降低其误检率和漏检率，提高疲劳驾驶评价的可靠性和准确率，适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合；

[0132] 3、基于人工神经网络的特征级融合为后续决策级融合提供实时、客观、动态的基本概率分配，提高了疲劳驾驶融合辨识评价的准确性，克服现有融合方法主观、静态分配基本概率的缺陷。

附图说明

[0133] 图1为本发明的流程图。

[0134] 图2为确定ANN-1网络参数的流程图。

[0135] 图3为确定ANN-2网络参数的流程图

具体实施方式

[0136] 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

[0137] 如图1所示，基于人工神经网络和证据理论的疲劳驾驶评价方法，包括以下步骤：

[0138] 步骤一，采集疲劳特征数据样本，用以人工神经网络训练。

[0139] 疲劳特征数据样本采集过程为：

[0140] A1)招募若干受试驾驶员，并根据疲劳状态进行自我评价。

[0141] 招募的受试驾驶员一般需要至少有3年驾龄，身体健康，无疾病，心情舒畅，实验前24小时没有酗酒，喝浓茶或咖啡。受试驾驶员在受试之前，需要根据受试内容和注意事项对自身疲劳状态进打分，自我评价自身的驾驶状态。如：得分在0、1或2时，状态为“清醒”，得分在3、4或5时，状态在“轻度疲劳”，得分在6或7时，状态为“重度疲劳”。

[0142] A2)对受试驾驶员的疲劳特征参数进行采集。

[0143] 疲劳特征参数包括面部行为特征信号和车辆行为特征信号；面部行为特征信号包括眨眼信号、打哈欠信号和眼睛持续闭合信号；车辆行为特征信号包括车辆前方车道标志线信号、方向盘转动信号和车辆车速信号。

[0144] A3)根据面部行为特征信号计算出眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3；根据车辆行为特征信号计算出车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3。

[0145] A4)利用EEG检测装置同步采集受试驾驶员脑电信号，记录当前时刻受试驾驶员是否疲劳的指标rα,θ,β，

[0146] rα,θ,β＝(Pα+Pθ)/Pβ

[0147] 其中，Pα，Pθ和Pβ分别为脑电波在α，θ和β三个波段的功率谱，在本这里α，θ和β三个波段的频域范围分别为(8-13Hz)、(4-8Hz)和(0.5-4Hz)，利用傅里叶变换可以将EEG脑电信号分成上述三个波段。

[0148] A5)根据rα,θ,β的大小对受试驾驶员的驾驶状态进行分类；

[0149] 当rα,θ,β＜s1时，受试驾驶员的驾驶状态为“清醒”；

[0150] 当s1≤rα,θ,β＜s2时，受试驾驶员的驾驶状态为“轻度疲劳”；

[0151] 当rα,θ,β≥s2时，受试驾驶员的驾驶状态为“重度疲劳”；

[0152] s1＜s2，s1和s2均为设定的阈值。

[0153] A6)将受试驾驶员的自我评价和步骤A5中获得的分类情况进行比较，当两者相同时，则将该受试驾驶员的疲劳特征参数作为有效样本数据存入样本数据集中，否则，作为无效数据剔除。

[0154] 步骤二，构建人工神经网络，利用样本数据确定人工神经网络参数。

[0155] 构建的人工神经网络有两个，第一个人工神经网络用ANN-1表示，第二个人工神经网络用ANN-2表示。

[0156] ANN-1结构为：将眨眼频率x1,1、打哈欠频率x1,2和眼睛持续闭合时间均值x1,3作为ANN-1输入层三个神经元的输入向量，ANN-1输出层神经元用y1,1、y1,2和y1,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-1隐含层神经元个数此处n1＝7，其中，a1为ANN-1输入层的神经元个数，b1为ANN-1输出层神经元个数，c1为一个常数，此处c1＝5。

[0157] ANN-2结构为：将车辆横向偏离频率x2,1、方向盘零速转动百分比x2,2和车辆纵向车速方差x2,3作为ANN-2输入层三个神经元的输入向量，ANN-2输出层神经元用y2,1、y2,2和y2,3表示，分别对应“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态的概率值，ANN-2隐含层神经元个数 此处n2＝7，其中，a2为ANN-2输入层的神经元个数，b2为ANN-2输出层神经元个数，c2为一个常数，此处c2＝5。

[0158] ANN-1和ANN-2的网络参数利用样本参数，通过BP算法训练确定。

[0159] ANN-1的网络参数通过BP算法训练确定的过程如图2所示：

[0160] B1)ANN-1网络参数初始化；

[0161] 定义w1i,j为ANN-1输入层与隐含层之间的连接权值，θ1j为ANN-1输入层与隐含层之间的连接阈值，v1j,t为ANN-1隐含层与输出层之间的连接权值，γ1t为ANN-1隐含层与输出层之间的连接阈值，ε1为ANN-1训练的误差精度，此处为0.001，nM为最大迭代次数，此处为10000；

[0162] 其中，i、t、j均为整数，i∈[1,3]，t∈[1,3]，j∈[1,n1]；

[0163] B2)从样本数据集I中选取受试驾驶员面部行为特征样本数据I1k；

[0164] 样本数据集I的第k个数据样本k表示数据样本的索引，k为自然数，k∈[1,CT]，CT为数据样本的总数，当第k个数据样本被分类为“清醒”时，那么令 和 都等于Fe， 和 均等于Fe′，如果最终的驾
驶状态被判定为“轻度疲劳”，那么令 和 都等于Fe， 和 均等于Fe′，
如果最终的驾驶状态被判定为“重度疲劳”，那么令 和 都等于Fe，
和 均等于Fe′，其中，Fe为设定的一个阈值，Fe′＝0.5×(1-Fe)，并且满足(Fe-Fe′)≥0.5。

[0165]

[0166] 其中， xk1,1为第k个受试驾驶员的面部行为特征中的眨眼频率，xk1,2为第k个受试驾驶员的面部行为特征中的打哈欠频率，xk1,3为第k个受试驾驶员的面部行为特征中的眼睛持续闭合时间均值；

[0167] Y1k＝[yk1,1,yk1,2,yk1,3]，yk1,1、yk1,2和yk1,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

[0168] B3)将 作为ANN-1的输入向量，将Y1k作为ANN-1的期望输出向量输到ANN-1中；

[0169] B4)定义N＝1，w1i,j(1)为第一次迭代ANN-1输入层与隐含层之间的连接权值，θ1j(1)为第一次迭代ANN-1输入层与隐含层之间的连接阈值，v1j,t(1)为第一次迭代ANN-1隐含层与输出层之间的连接权值，γ1t(1)为第一次迭代ANN-1隐含层与输出层之间的连接阈值；

[0170] B5)执行输入模式的正向传播过程；

[0171] 正向传播过程如下：

[0172] a1)计算ANN-1隐含层各个神经元的输出

[0173]

[0174] a2)计算ANN-1输出层各个神经元的实际输出

[0175]

[0176] a3)计算ANN-1期望输出跟实际输出的误差

[0177]

[0178] B6)执行误差的逆向传播过程；

[0179] 逆向传播过程如下：

[0180] b1)计算ANN-1输出层各个单元的校正误差

[0181]

[0182] b2)计算ANN-1隐含层各个单元的校正误差

[0183]

[0184] B7)计算下一次迭代时ANN-1输入层与隐含层之间的新连接权值w1i,j(N+1)和新阈值θ1j(N+1)；

[0185]

[0186]

[0187] 其中，β1为ANN-1的学习系数，此处β1＝0.15；

[0188] B8)计算下一次迭代时ANN-1隐含层与输出层之间的新连接权值v1j,t(N+1)和新阈值γ1t(N+1)；

[0189]

[0190]

[0191] 其中，α1为ANN-1的学习系数，此处α1＝0.15；

[0192] B9)判断 是否小于等于ε1，或者N+1是否等于nM，若满足，则训练结束，转至步骤B10，否则，N＝N+1，转至步骤B5；

[0193] B10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-1的最优网络参数；

[0194] 其中，作为ANN-1的最优网络参数的连接权值分别记作 和 作为ANN-1的最优网络参数的连接阈值分别记作 和

[0195] ANN-2的网络参数通过BP算法训练确定的过程如图3所示：

[0196] C1)ANN-2网络参数初始化；

[0197] 定义w2i,j′为ANN-2输入层与隐含层之间的连接权值，θ2j′为ANN-2输入层与隐含层之间的连接阈值，v2j′,t为ANN-2隐含层与输出层之间的连接权值，γ2t为ANN-2隐含层与输出层之间的连接阈值，ε2为ANN-2训练的误差精度，此处为0001；

[0198] 其中，j′为整数，j′∈[1,n2]；

[0199] C2)从样本数据集I中选取受试驾驶员车辆行为特征样本数据I2k；

[0200] 用I2k表示第k个受试驾驶员的车辆行为特征的样本数据，

[0201]

[0202] 其中， xk2,1为第k个受试驾驶员的车辆行为特征中的车辆横向偏离频率，xk2,2为第k个受试驾驶员的车辆行为特征中的方向盘零速转动百分比，xk2,3为第k个受试驾驶员的车辆行为特征中的车辆纵向车速方差；

[0203] yk2,1，yk2,2和yk2,3分别表示第k个数据样本在“清醒”，“轻度疲劳”和“重度疲劳”三种驾驶状态下的3个概率值；

[0204] C3)将 作为ANN-2的输入向量，将 作为ANN-2的期望输出向量输到ANN-2中；

[0205] C4)定义N＝1，w2i,j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接权值，θ2j′(1)为第一次迭代ANN-2输入层与隐含层之间的连接阈值，v2j′,t(1)为第一次迭代ANN-2隐含层与输出层之间的连接权值，γ2t(1)为第一次迭代ANN-2隐含层与输出层之间的连接阈值；

[0206] C5)执行输入模式的正向传播过程；

[0207] 正向传播过程如下：

[0208] c1)计算ANN-2隐含层各个神经元的输出

[0209]

[0210] c2)计算ANN-2输出层各个神经元的实际输出

[0211]

[0212] c3)计算ANN-2期望输出跟实际输出的误差

[0213]

[0214] C6)执行误差的逆向传播过程；

[0215] 逆向传播过程如下：

[0216] d1)计算ANN-2输出层各个单元的校正误差

[0217]

[0218] d2)计算ANN-2隐含层各个单元的校正误差

[0219]

[0220] C7)计算下一次迭代时ANN-2输入层与隐含层之间的新连接权值连接权值w2i,j′(N+1)和新阈值θ2j′(N+1)；

[0221]

[0222]

[0223] 其中，β2为ANN-2的学习系数，此处β2＝0.15；

[0224] C8)计算下一次迭代时ANN-2隐含层与输出层之间的新连接权值v2j′,t(N+1)和新阈2
值γt(N+1)；

[0225]

[0226]

[0227] 其中，α2为ANN-2的学习系数，此处α2＝0.15；

[0228] C9)判断 是否小于等于ε2，或者N+1是否等于nM，若满足，则训练结束，转至步骤C10，否则，N＝N+1，转至步骤C5；

[0229] C10)将满足步骤B9条件时，训练获得的连接权值和阈值作为ANN-2的最优网络参数；

[0230] 其中，作为ANN-2的最优网络参数的连接权值分别记作 和 作为ANN-2的最优网络参数的连接阈值分别记作 和

[0231] 步骤三，实时计算疲劳特征参数。

[0232] 实时计算疲劳特征参数的过程为：

[0233] D1)实时采集驾驶员的面部行为特征信号和车辆行为特征信号，分别记作 和[0234] D2)根据 计算出实时的眨眼频率 打哈欠频率 和眼睛持续闭合时间均值

[0235] 根据 计算出实时的车辆横向偏离频率 方向盘零速转动百分比 和车辆纵向车速方差

[0236] 步骤四，基于人工神经网络的特征级融合。

[0237] 基于人工神经网络的特征级融合包括基于ANN-1的特征级融合辨识和基于ANN-2的特征级融合辨识。

[0238] ANN-1的特征级融合辨识：

[0239] 将 和 作为ANN-1的输入，根据BP人工神经网络模型对面部行为特征参数进行特征级融合，ANN-1的实际输出为

[0240]

[0241] 其中，

[0242] ANN-2的特征级融合辨识：

[0243] 将 和 作为ANN-2的输入，根据BP人工神经网络模型对车辆行为特征参数进行特征级融合，ANN-2的实际输出为

[0244]

[0245] 其中，

[0246] 步骤五，基于D-S证据理论的决策级融合。

[0247] 基于D-S证据理论的决策级融合的过程为，

[0248] E1)对人工神经网络输出归一化处理；

[0249] 将ANN-1的输出 进行归一化处理，得到归一化后的结果

[0250] 将ANN-2的输出 进行归一化处理，得到归一化后的结果

[0251] E2)证据理论识别框架基本概率分配；

[0252] 令证据理论的识别框架Θ＝{A1,A2,A3}，A1、A2和A3分别代表驾驶的三种状态“清醒”、“轻度疲劳”和“重度疲劳”，证据集e＝{e1,e2}，e1和e2分别表示基于面部行为特征的证据体和基于车辆行为特征的证据体，m1(A1)、m1(A2)和m1(A3)表示基于面部行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配，m2(A1)、m2(A2)和m2(A3)表示基于车辆行为特征的证据体分别在“清醒”、“轻度疲劳”和“重度疲劳”三种驾驶状态下的基本概率分配，将人工神经网络归一化后的结果作为识别框架Θ上的基本概率分配，即令

[0253] E3)基于D-S证据理论的决策级融合；

[0254] 基于D-S证据理论的决策级融合的规则为，

[0255]

[0256] m(Az)为决策级融合后的结果在识别框架ΘΘ上的基本概率分配，z、i″和j″均为A的下标值，等于1，2或3，

[0257] 步骤六，根据决策规则进行驾驶状态辨识。

[0258] 决策规则的表达式为，

[0259]

[0260] 其中，εT1和εT2为设定的阈值，m(Af)、m(As)分别表示m(A1)，m(A2)和m(A3)中的最大值和第二大值，Af表示最大值所对应的驾驶状态，As表示第二大值所对应的驾驶状态；；

[0261] 当Af代表的驾驶状态为A1时，那么决策级融合的辨识结果为“清醒”；当Af代表的驾驶状态为A2时，那么决策级融合的辨识结果为“轻度疲劳”；当Af代表的驾驶状态为A3时，那么决策级融合的辨识结果为“重度疲劳”。

[0262] 综上所述，上述评价方法克服了基于单一类别特征或单一信息源特征疲劳驾驶评价方法的局限性，降低其误检率和漏检率，提高疲劳驾驶评价的可靠性和准确率，适合于准确性高、鲁棒性强的驾驶疲劳实时评价场合。

[0263] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。