本发明涉及一种基于CNN的情绪特征分类方法。首先以Russell情绪维度模型为基准，探索了不同脑区受情绪极性与强度的影响，采用DEAP数据集作为情绪研究的样本，再进行特征通道的选择，然后通过特征归一化以及数据降维提取主要特征，我们的主要分类模型使用卷积神经网络来有效地对以2D阵列形式呈现的预处理EEG数据进行分类。本次研究提供了可观的分类精度，比以往的研究有了特征提取上的改进，更重要的是证明了神经网络可以作为强有力的脑电信号分类器，优于传统的学习技术。
1.一种基于CNN的情绪特征分类方法，其特征在于，该方法具体包括以下步骤：
步骤1.建立以Russell为代表的情绪维度模型，对评价指标按照要求的类别进行相应处理；具体为：在以Russell情绪维度模型为参考时，每个情绪状态放置在一个二维平面上，唤醒度和愉悦度构成坐标轴两维；唤醒的范围从不活跃到活跃，而愉悦度的范围从不愉快到愉快；两种评价维度数值范围为1-9，数值越大则表示愉悦度跟唤醒度越高；
在DEAP数据集中，Labels表示受试者按照Russell情绪维度模型对当前情绪状态的评定，评定的数值范围为1-9，当分为两类情绪状态时，则将数值范围为[1-5)转化为编码0，将数值范围为(5-9]的转化为编码1，来表示两种情绪类别，得到CNN所需样本格式；
步骤2.根据情绪维度与大脑皮层相应区域的联系，选取四个电极位置的EEG信号特征，即DEAP实验装置中对应的F3，F4，P3，P4四个通道的数据，并对数据进行归一化处理；
步骤3.对数据集中的data高维数据进行PCA降维处理，将数据降到40维，用降维后的特征样本作为卷积神经网络的输入样本；
步骤4.将处理后的data和labels按照训练样本和测试样本10：1的比例进行分配，使用卷积神经网络对处理的样本进行分类测试。
2.根据权利要求1所述的一种基于CNN的情绪特征分类方法，其特征在于：所述的情绪维度与大脑皮层相应区域的联系，选取四个电极位置的依据为：额区即F3，F4通道的脑电功率随着情绪极性和情绪强度变化而不同，正性情绪功率相对大于负性情绪功率，唤醒度强的情绪的脑电功率相对小于唤醒度弱的情绪；顶枕区即P3，P4通道的脑电波功率也会随着情绪强度和极性的变化而变化，负性情绪中，唤醒度强的脑电波功率小于唤醒度弱的，而在高唤醒度情绪里，正性情绪脑电波强度明显大于负性情绪。
3.根据权利要求1所述的一种基于CNN的情绪特征分类方法，其特征在于：所述的步骤2中，进对数据进行归一化处理，具体为：yi＝(xi-mean(x))/σ
其对原始数据的均值mean(x)和标准差(σ)进行数据的标准化，经过归一化处理后的数据符合标准正态分布，即均值为0，方差为1。
4.根据权利要求1所述的一种基于CNN的情绪特征分类方法，其特征在于：所述的步骤3中，对高维数据进行降维处理，选取主要特征，具体为:PCA的公式表示为：PX＝Y；Y是X在新空间上的表示形式；P是一组正交基，是对原数据的转换矩阵；
其中X是原有的二维数据矩阵，而数据集样本data的格式是三维数据：40×40×8064，为实验次数×通道数×数据点，这里需要提取出二维矩阵进行降维，即对二维矩阵X：8064×40进行降维；
利用PCA求出转换矩阵P，m行，8064列；并根据P求得到低维特征表示Y，m行40列；通过选择前m个主成分作为特征，达到降维的目的；
选前m个主成分使其贡献率之和达到90％以上，这里m取40；即实验数据从8064维降到
40维，最后得到Y’：40×40作为卷积神经网络的输入2D阵列图像；那么有22×40共880次实验作为卷积神经网络的输入数据，其中22为试验者数量，40为试验次数。
5.根据权利要求1所述的一种基于CNN的情绪特征分类方法，其特征在于：使用卷积神经网络对分配好的样本进行分类测试，具体步骤为：
4-1.参照MNIST数据集格式，将标签化的labels和降维后的data分别划分为训练样本跟测试样本，比例均为10：1，样本数据以40*40的2D阵列图像的形式作为卷积神经网络的输入；
4-2.C1层是一个卷积层，有100个滤波器，每个滤波器有5*5＝25个unit参数和一个bias参数，这样每个特征图大小为36*36；
4-3.S2层是一个下采样层，有100个18*18的特征图；特征图中的每个单元与C1中相对应特征图的2*2邻域相连接；S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置；每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4，其中行跟列各1/2；
4-4.C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有14x14个神经元，C3中每个特征图由S2中所有特征map组合而成；
4-5.S4层是一个下采样层，由5*5大小的特征图构成；特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样；
4-6.C5层是一个卷积层，每个单元与S4层的全部单元的5*5邻域相连；由于S4层特征图的大小也为5*5，这构成了S4和C5之间的全连接；
4-7.最后，最终连接的密集神经层的输出维数为2，每类一个单元，按照类别设置输出单元个数，即分类类别取决于输出神经元的数量。
一种基于CNN的情绪特征分类方法
技术领域
[0001] 本发明涉及情绪脑电特征分类方法，特别涉及一种将情绪脑电特征优化后使用CNN进行分类的方法。
背景技术
[0002] 本文着重利用神经网络模型，通过音乐短片刺激材料诱导受试者的情绪，从脑电图信号中对用户情绪进行分类研究，并特别探索卷积神经网络，使用先进的机器学习技术用于情绪分类。神经网络是一种用来模拟大脑执行特定任务的方式的机器，其中模拟了大脑作为复杂、非线性和并行计算机的一种理念，具有根据多种因素模拟和评估复杂功能的能力。此外，机器学习的最新发展表明，神经网络在各种不同的任务中提供了相当的准确性，如文本分析、图像识别、语音分析等，因此将其用于情绪分类识别不乏为一种新的尝试。
[0003] 卷积神经网络(CNN)是图像分类任务的非常有效的模型。对于这样的模型，本研究尝试将DEAP数据转换成2D图像格式，这样CNN模型就可以学习如何有效地对它们进行分类。
发明内容
[0004] 本发明以Russell情绪维度模型为基准，探索了不同脑区受情绪极性与强度的影响，采用DEAP数据集作为情绪研究的样本，再进行特征通道的选择，再通过特征归一化以及数据降维提取主要特征，我们的主要分类模型使用卷积神经网络来有效地对以2D阵列形式呈现的预处理EEG数据进行分类。本次研究提供了可观的分类精度，比以往的研究有了特征提取上的改进，更重要的是证明了神经网络可以作为强有力的脑电信号分类模型，优于传统的学习技术。
[0005] 本发明的目的可以通过以下技术方案实现：
[0006] 本发明将脑电特征优化后使用CNN进行分类，具体包括以下步骤：
[0007] 步骤1.建立以Russell为代表的情绪维度模型，对数据集中的评价指标labels按照要求的类别进行标签化处理。
[0008] 步骤2.根据情绪维度与大脑皮层相应区域的联系，选取四个电极位置的EEG信号特征，即DEAP实验装置中对应的F3，F4，P3，P4四个通道的数据，并对数据进行归一化处理。
[0009] 步骤3.对数据集中的data高维数据进行PCA降维处理，将数据降到40维，用降维后的特征样本作为卷积神经网络的输入样本；
[0010] 步骤4.将处理后的data和labels按照训练样本和测试样本10：1的比例进行分配，使用卷积神经网络对处理的样本进行分类测试。
[0011] 所述的步骤1中，在以Russell情绪维度模型为参考时，每个情绪状态放置在一个二维平面上，唤醒度和愉悦度构成坐标轴两维。唤醒的范围从不活跃到活跃，而愉悦度的范围从不愉快到愉快；两种评价维度数值范围为1-9，数值越大则表示愉悦度跟唤醒度越高。
[0012] 在DEAP数据集中，Labels表示受试者按照Russell情绪维度模型对当前情绪状态的评定，评定的数值范围为1-9，当分为两类情绪状态时，则将数值范围为[1-5)转化为编码0，将数值范围为(5-9]的转化为编码1，来表示两种情绪类别，得到CNN所需样本格式。
[0013] 所述的步骤2中，进行特征通道的选择和数据归一化处理，具体步骤为：
[0014] 2-1.额区F3，F4通道脑电功率随着情绪极性和情绪强度变化而不同，正性情绪功率相对大于负性情绪功率，唤醒度强的情绪的脑电功率相对小于唤醒度弱的情绪；顶枕区P3，P4通道的脑电波功率也会随着情绪强度和极性的变化而变化，负性情绪中，唤醒度强的脑电波功率小于唤醒度弱的，而在高唤醒度情绪里，正性情绪脑电波强度明显大于负性情绪。因此本次研究主要选取四个电极位置的EEG信号特征，即DEAP实验装置中对应的F3，F4，P3，P4四个通道的数据。
[0015] 2-2.在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，0均值标准化(Z-score standardization)表现更好。
[0016] 其数学表达为：yi＝(xi-mean(x))/σ
[0017] 这种方法给与原始数据的均值mean(x)和标准差(σ)进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1。
[0018] 所述的步骤3中，对高维数据进行降维处理，选取主要特征，具体步骤为:
[0019] PCA的公式表示为：PX＝Y。Y是X在新空间上的表示形式；P是一组正交基，是对原数据的转换矩阵。
[0020] 其中X是原有的二维数据矩阵，而数据集样本data的格式是三维数据：40×40×8064(实验次数×通道数×数据点)，这里需要提取出二维矩阵进行降维，即对二维矩阵X：
8064(数据)×40(通道)进行降维；
[0021] 利用PCA求出转换矩阵P(m行，8064列)，并根据P求得到低维特征表示Y(m行40列)，通过选择前几个主要的成分作为特征，达到降维的目的。
[0022] 选前m个主成分使其贡献率之和达到90％以上，这里m取40。即实验数据从8064维降到40维，最后得到Y’：40(通道)×40(数据)作为卷积神经网络的输入2D阵列图像，那么有22(试验者数量)×40(试验次数)共880次实验可作为卷积神经网络的输入数据。
[0023] 在所述的步骤4中，使用卷积神经网络对分配好的样本进行分类测试，并研究受试者对象与数量对于分类效果的影响，具体步骤为：
[0024] 4-1.参照MNIST数据集格式，将标签化的labels和降维后的data分别划分为训练样本跟测试样本，比例均为10：1，样本数据以40*40的2D阵列图像的形式作为卷积神经网络的输入。
[0025] 4-2.C1层是一个卷积层，有100个滤波器，每个滤波器有5*5＝25个unit参数和一个bias参数，这样每个特征图大小为36*36。
[0026] 4-3.S2层是一个下采样层，有100个18*18的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行跟列各1/2)。
[0027] 4-4.C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有14x14个神经元，C3中每个特征图由S2中所有特征map组合而成。
[0028] 4-5.S4层是一个下采样层，由5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。
[0029] 4-6.C5层是一个卷积层，每个单元与S4层的全部单元的5*5邻域相连。由于S4层特征图的大小也为5*5，这构成了S4和C5之间的全连接。
[0030] 4-7.最后，最终连接的密集神经层的输出维数为2，每类一个单元，按照类别设置输出单元个数，即分类类别取决于输出神经元的数量。
[0031] 本发明有益效果如下：
[0032] 将脑电特征优化后再使用CNN进行分类。首先以Russell情绪维度模型为基准，探索了不同脑区受情绪极性与强度的影响，采用DEAP数据集作为情绪研究的样本，再进行特征通道的选择，然后通过特征归一化以及数据降维提取主要特征，我们的主要分类模型使用卷积神经网络来有效地对以2D阵列形式呈现的预处理EEG数据进行分类。本次研究比以往的研究有了特征提取上的改进，并提供了可观的分类精度。
附图说明
[0033] 图1为Russell情绪维度模型；
[0034] 图2为DEAP数据集的数据类型；
[0035] 图3为脑电设备10-20系统的通道名称；
[0036] 图4为PCA降维主成分排列图；
[0037] 图5为CNN网络的基本结构图；
[0038] 图6为情绪脑电特征提取与分类的流程图；
具体实施方式
[0039] 下面结合具体实施例对本发明进一步说明。以下描述仅作为示范和解释，并不对本发明作任何形式上的限制。
[0040] 步骤1.建立以Russell为代表的情绪维度模型，对数据集中的评价指标labels按照要求的类别进行标签化处理。
[0041] 步骤2.根据情绪维度与大脑皮层相应区域的联系，选取四个电极位置的EEG信号特征，即DEAP实验装置中对应的F3，F4，P3，P4四个通道的数据，并对数据进行归一化处理。
[0042] 步骤3.对数据集中的data高维数据进行PCA降维处理，将数据降到40维，用降维后的特征样本作为卷积神经网络的输入样本；
[0043] 步骤4.将处理后的data和labels按照训练样本和测试样本10：1的比例进行分配，使用卷积神经网络对处理的样本进行分类测试。
[0044] 所述的步骤1中，在以Russell情绪维度模型为参考时，如图1所示，每个情绪状态放置在一个二维平面上，唤醒度和愉悦度构成坐标轴两维。唤醒的范围从不活跃到活跃，而愉悦度的范围从不愉快到愉快；两种评价维度数值范围为1-9，数值越大则表示愉悦度跟唤醒度越高。
[0045] 在DEAP数据集中，如图2所示，Labels表示受试者按照Russell情绪维度模型对当前情绪状态的评定，评定的数值范围为1-9，当分为两类情绪状态时，则将数值范围为[1-5)转化为编码0，将数值范围为(5-9]的转化为编码1，来表示两种情绪类别，得到CNN所需样本格式。
[0046] 所述的步骤2中，进行特征通道的选择和数据归一化处理，具体步骤为：
[0047] 2-1.额区F3，F4通道脑电功率随着情绪极性和情绪强度变化而不同，正性情绪功率相对大于负性情绪功率，唤醒度强的情绪的脑电功率相对小于唤醒度弱的情绪；顶枕区P3，P4通道的脑电波功率也会随着情绪强度和极性的变化而变化，负性情绪中，唤醒度强的脑电波功率小于唤醒度弱的，而在高唤醒度情绪里，正性情绪脑电波强度明显大于负性情绪。因此本次研究主要选取四个电极位置的EEG信号特征，如图3所示，参照脑电设备国际10-20系统，即DEAP实验装置中对应的F3，F4，P3，P4四个通道的数据。
[0048] 2-2.在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，0均值标准化(Z-score standardization)表现更好。
[0049] 其数学表达为：yi＝(xi-mean(x))/σ
[0050] 这种方法给与原始数据的均值mean(x)和标准差(σ)进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1。
[0051] 所述的步骤3中，对高维数据进行降维处理，选取主要特征，具体步骤为:
[0052] PCA的公式表示为：PX＝Y。Y是X在新空间上的表示形式；P是一组正交基，是对原数据的转换矩阵。
[0053] 其中X是原有的二维数据矩阵，而数据集样本data的格式是三维数据：40×40×8064(实验次数×通道数×数据点)，这里需要提取出二维矩阵进行降维，即对二维矩阵X：
8064(数据)×40(通道)进行降维；
[0054] 利用PCA求出转换矩阵P(m行，8064列)，并根据P求得到低维特征表示Y(m行40列)，通过选择前几个主要的成分作为特征，达到降维的目的。
[0055] 如图4所示，选前m个主成分使其贡献率之和达到90％以上，这里m取40。即实验数据从8064维降到40维，最后得到Y’：40(通道)×40(数据)作为卷积神经网络的输入2D阵列图像，那么有22(试验者数量)×40(试验次数)共880次实验可作为卷积神经网络的输入数据。
[0056] 在所述的步骤4中，使用卷积神经网络对分配好的样本进行分类测试，并研究受试者对象与数量对于分类效果的影响，具体步骤为：
[0057] 4-1.参照MNIST数据集格式，将标签化的labels和降维后的data分别划分为训练样本跟测试样本，比例均为10：1，样本数据以40*40的2D阵列图像的形式作为卷积神经网络的输入，卷积神经网络结构如图5所示。
[0058] 4-2.C1层是一个卷积层，有100个滤波器，每个滤波器有5*5＝25个unit参数和一个bias参数，这样每个特征图大小为36*36。
[0059] 4-3.S2层是一个下采样层，有100个18*18的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行跟列各1/2)。
[0060] 4-4.C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有14x14个神经元，C3中每个特征图由S2中所有特征map组合而成。
[0061] 4-5.S4层是一个下采样层，由5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。
[0062] 4-6.C5层是一个卷积层，每个单元与S4层的全部单元的5*5邻域相连。由于S4层特征图的大小也为5*5，这构成了S4和C5之间的全连接。
[0063] 4-7.最后，最终连接的密集神经层的输出维数为2，每类一个单元，按照类别设置输出单元个数，即分类类别取决于输出神经元的数量。
[0064] 全部工作的流程图如图6所示，这里以22个受试者为实验对象，每个受试者40次实验，每次实验记录40个通道，每个通道有8064个读数，因此每次实验有325060次读数可供使用，经过归一化处理和降维处理，得到作为CNN网络输入的特征样本，样本格式可参照MNIST数据集的格式。表1是基于DEAP数据集和Russell情绪维度模型，对比传统分类模型的二分类效果对比：
[0065] 表1各分类模型分类准确率对比
[0066]
[0067]
[0068] 通过选择单个受试者或几个受试者作为测试样本，将其他受试者数据作为训练样本，来测试CNN模型分别按愉悦度(Valence)和唤醒度(Arousal)两个标准进行二分类时的准确率，得到了可观的结果，平均准确率达到84.3％和81.2％，相比其他传统分类算法有了明显的提高，但对于单个受试者，也许是由于实验环境的影响，分类准确率仅有63％的平均水平，相比之下样本量大一些分类效果会更准确和稳定，可见CNN模型受样本量的影响比较明显，另外数据的分布特性也会对分类效果造成影响，因此特征提取的好坏也会影响分类效果。
