本发明涉及一种于脑电信号的情感识别方法及系统。该方法包括：获取多通道的脑电信号；对脑电信号进行初步特征提取，得到第一特征矩阵；获取基于域对抗网络的情感域对抗网络模型；情感域对抗网络模型包括特征提取器、标签分类器和域分类器；特征提取器包括卷积长短时网络和卷积网络；域分类器包括全局域分类器和局部域分类器；将第一特征矩阵输入情感域对抗网络模型，得到脑电信号对应的情感识别结果。本发明可以实现对听力受损者的情感进行识别。
1.一种基于脑电信号的情感识别方法，其特征在于，包括：
对所述脑电信号进行初步特征提取，得到第一特征矩阵；
获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果；
所述获取基于域对抗网络的情感域对抗网络模型，具体包括：
构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
构建全局域分类器和局部域分类器；所述全局域分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
其中，ω为动态权重， 表示情感类别c在第一局部域分类器的参数， 表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失， 为第一局部域分类器的损失， 为第二局部域分类器的损失；
源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器； nt表示目标域样本数量，di为域标签，Gd表示全局域分类器，Ld为域分类器的交叉熵损失；
器的交叉熵损失， 表示情感类别c对应的第一局部域分类器， 表示第一局部域分类器对样本的情绪类别c的预测概率；
表示情感类别c对应的第二局部域分类器， 表示xi样本在第二局部域分类器的标签，表示第c类情感的情感影片组域分类器的交叉熵损失。
2.根据权利要求1所述的基于脑电信号的情感识别方法，其特征在于，所述对所述脑电信号进行初步特征提取，得到第一特征矩阵，具体包括：将所述脑电信号划分为n个频段；n大于4；
对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
3.根据权利要求2所述的基于脑电信号的情感识别方法，其特征在于，所述空间过滤矩阵为：其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
4.一种基于脑电信号的情感识别系统，其特征在于，包括：
初步特征提取模块，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵；
情感域对抗网络模型获取模块，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
情感识别模块，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果；
特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局域分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
其中，ω为动态权重， 表示情感类别c在第一局部域分类器的参数， 表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失， 为第一局部域分类器的损失， 为第二局部域分类器的损失；一次循环计算得到的动态权重 其中，Ds表示原域空间，Dt表示目标域空间； ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器； nt表示目标域样本数量，di为域标签，Gd表示全局域分类器；Ld为域分类器的交叉熵损失；
表示情感类别c对应的第一局部域分类器的交叉熵损失， 表示情感类别c对应的第一局部域分类器， 表示第一局部域分类器对样本的情绪类别c的预测概率；
器， 表示xi样本在第二局部域分类器的标签， 表示第c类情感的情感影片组域分类器的交叉熵损失。
5.根据权利要求4所述的基于脑电信号的情感识别系统，其特征在于，所述初步特征提取模块，具体包括：频段划分单元，用于将所述脑电信号划分为n个频段；n大于4；
特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
6.根据权利要求5所述的基于脑电信号的情感识别系统，其特征在于，所述空间过滤矩阵为：其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
一种基于脑电信号的情感识别方法及系统
技术领域
[0001] 本发明涉及脑电信号分析领域，特别是涉及一种基于脑电信号的情感识别方法及系统。
背景技术
[0002] 基于脑电图(Electroencephalogram，EEG)的情感识别是目前人机交互领域研究的热点，目前基于EEG的情感识别研究多为正常人和认知障碍者，对听力受损者的研究较少。与正常人相比，听力受损者对于情感的认知可能存在偏差。因此，不能采用正常人的识别方式对听力受损者的情感进行识别。
发明内容
[0003] 本发明的目的是提供一种基于脑电信号的情感识别方法及系统，以实现对听力受损者的情感进行识别。
[0004] 为实现上述目的，本发明提供了如下方案：
[0005] 一种基于脑电信号的情感识别方法，包括：
[0006] 获取多通道的脑电信号；
[0007] 对所述脑电信号进行初步特征提取，得到第一特征矩阵；
[0008] 获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
[0009] 将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
[0010] 可选的，所述对所述脑电信号进行初步特征提取，得到第一特征矩阵，具体包括：
[0011] 将所述脑电信号划分为n个频段；n大于4；
[0012] 对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
[0013] 采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
[0014] 采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
[0015] 利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
[0016] 可选的，所述空间过滤矩阵为：
[0017]
[0018] 其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
[0019] 可选的，所述获取基于域对抗网络的情感域对抗网络模型，具体包括：
[0020] 构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
[0021] 构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
[0022] 构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
[0023] 构建基于动态权重的训练函数。
[0024] 可选的，所述基于动态权重的训练函数为：
[0025]
[0026] 其中，ω为动态权重， 表示情感类别c在第一局部域分类器的参数， 表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失， 为第一局部域分类器的损失， 为第二局部域分类器的损失；一次循环计算得到的动态权重 为 其中，Ds表示原域空间，Dt表示目标域空间； ns表示源域样本数量，
Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器； nt表示目标域样本数量，di为域
标签，Gd表示全局域分类器； 表示情感类别
c对应的第一局部域分类器的交叉熵损失， 表示情感类别c对应的第一局部域分类器，表示第一局部域分类器对样本的情绪类别c的预测概率；
表示情感类别c对应的第二局部域分类器，
表示xi样本在第二局部域分类器的标签。
[0027] 本发明还提供一种基于脑电信号的情感识别系统，包括：
[0028] 脑电信号获取模块，用于获取多通道的脑电信号；
[0029] 初步特征提取模块，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵；
[0030] 情感域对抗网络模型获取模块，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
[0031] 情感识别模块，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
[0032] 可选的，所述初步特征提取模块，具体包括：
[0033] 频段划分单元，用于将所述脑电信号划分为n个频段；n大于4；
[0034] 特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
[0035] 三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
[0036] 特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
[0037] 特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
[0038] 可选的，所述空间过滤矩阵为：
[0039]
[0040] 其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
[0041] 可选的，所述情感域对抗网络模型获取模块，具体包括：
[0042] 特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
[0043] 标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
[0044] 域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
[0045] 构建基于动态权重的训练函数。
[0046] 可选的，所述基于动态权重的训练函数为：
[0047]
[0048] 其中，ω为动态权重， 表示情感类别c在第一局部域分类器的参数， 表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失， 为第一局部域分类器的损失， 为第二局部域分类器的损失；一次循环计算得到的动态权重 为 其中，Ds表示原域空间，Dt表示目标域空间； ns表示源域样
本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器； nt表示目标域样
本数量，di为域标签，Gd表示全局域分类器；
表示情感类别c对应的第一局部域分类器的交叉熵损失， 表示情感类别c对应的第一局部域分类器， 表示第一局部域分类器对样本的情绪类别c的预测概率；
表示情感类别c对应的第二局部
域分类器， 表示xi样本在第二局部域分类器的标签。
[0049] 根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0050] 本发明采用情绪域对抗神经网络，通过学习源域和目标域之间的隐藏情绪信息来识别听力障碍被试的情绪，进而实现对听力受损者的情感进行识别。
附图说明
[0051] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0052] 图1为本发明基于脑电信号的情感识别方法的流程示意图；
[0053] 图2为本发明基于脑电信号的情感识别方法的整体示意图；
[0054] 图3为本发明特征提取器的结构示意图；
[0055] 图4为本发明标签分类器的结构示意图；
[0056] 图5为本发明基于域对抗网络的情感域对抗网络模型的架构图；
[0057] 图6为本发明基于脑电信号的情感识别系统的结构示意图。
具体实施方式
[0058] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0060] 图1为本发明基于脑电信号的情感识别方法的流程示意图，图2为本发明基于脑电信号的情感识别方法的整体示意图。如图1和图2所示，包括以下步骤：
[0061] 步骤100：获取多通道的脑电信号。例如，可以采用符合“10‑20”国际标准的64导脑电采集系统进行记录脑电信号(EEG)的采集，采集得到64通道脑电信号，其中2通道作为重参考，62通道作为数据分析使用。
[0062] 采集得到的原始EEG数据首先被降采样到200Hz，采用带通滤波(1‑75Hz)去除低频漂移和高频噪声。然后使用带通滤波(49‑51Hz)消除工频干扰。再独立成分分析(Independent component analysis，ICA)方法去除眨眼、眼动和肌肉运动的伪影，得到预处理的脑电信号。
[0063] 步骤200：对脑电信号进行初步特征提取，得到第一特征矩阵。特征提取是脑电情感识别的重要环节，通过提取特征向量可以简化情感分类。本发明首先将预处理的脑电信号划分为n个频段(n大于4，例如n＝5)，可以得到n频段×62通道的二维矩阵。然后采用微分熵(DE)对二维矩阵中每个频段的每个通道的脑电信息进行特征提取，DE特征在定义中认为2
EEG信号的时间序列符合高斯分布N(μ,δ)。对于第i个单频带脑电序列X，DE特征h(X)为：
[0064]
[0065] 其中，σ2为这段脑电序列X的方差。本发明中一个片段的DE特征被分别从62个通道中的n个频段提取，共提取了n×62个特征。为了能够更好的提取脑区空间信息，利用EEGLAB工具箱中基于通道定位的脑地形图插补函数，对每个样本的DE特征进行插补与采样，得到尺寸为n×28×28的三维特征矩阵。
[0066] 为了避免受试者间由于个体差异性造成的特征基线变化，首先需要对受试者插值后的三维特征矩阵Fi进行归一化：
[0067]
[0068] Xi(j,nf)表示第i个受试者第j个样本中的第nf个特征Fi(j,nf)归一化后数值，max[Fi(:,nf)]表示第i个受试的所有样本中第nf个特征的最大值，min[Fi(:,nf)]表示第i个受试的所有样本中第nf个特征的最小值。
[0069] 将每名受试者归一化后的特征进行整合，获得新的特征矩阵X以及相应的标签矩阵Y。采用基于线性SVM的嵌入法对特征矩阵X进行特征选择，获得最具情感判别性的特征组合Fselect。对Fselect进行统计，获得不同频段上的通道选择情况，利用EEGLAB工具箱中基于通道定位的脑地形图插补函数，获取空间过滤矩阵FFilter。通过对FFilter设置上下阈值范围，来优化过滤矩阵性能：
[0070]
[0071] 其中n1,n2∈[1,28]。基于嵌入法得到的判别性特征并非适用于所有分类任务，因此没有将过滤权重直接置0来清除特征，而是使其等于0.1将被过滤特征信息进行低权重保留。使用n个频带的空间过滤矩阵对特征矩阵进行过滤：
[0072] FFiltered(n1,n2)＝FDE(n1,n2)×FFilter(n1,n2)
[0073] FFiltered为经过过滤的新特征矩阵，定义为第一特征矩阵。
[0074] 步骤300：获取基于域对抗网络的情感域对抗网络模型。本发明的情感域对抗网络(Emotional Domain Adversarial Neural Network,EDANN)是基于域对抗网络(Domain Adversarial Neural Network,DANN)构建而成的模型，主要包括三部分:特征提取器、标签分类器与域分类器。通过对原始框架的优化，使得模型能够获取跨受试稳定的深层特征，更充分挖掘EEG的时序信息与空间信息，并且不易发生过拟合。
[0075] 具体的，包括以下过程：
[0076] Step1：构建特征提取器。脑电信号在初步特征提取后，输入到特征提取器进行深度信息挖掘。本发明的特征提取器由卷积长短时网络(ConvLSTM)与卷积网络(Convnet)结合而成，如图3所示，每个单元的未来状态由其自身以及临近单元的过去状态和当前状态共同求得，这种特性是由于特征提取器将传统LSTM的序列运算转变为三维的卷积运算。特征提取器的输入采用了连续EEG中9个第一特征矩阵(9×n×28×28)。特征经过四层ConvLSTM进行时间、频率、空间的综合情感特征提取，每层卷积核为7×7且经过ConvLSTM后特征的尺寸不发生变化，每层输出的通道数分别为8，8，8，8。ConvLSTM的输出采用最后一层ConvLSTM的最后一个状态(8×28×28)作为后层Convnet网络的输入。卷积核的参数共享具有防止过拟合的功能，这对于跨受试情感识别任务尤为重要。本发明特征提取器的卷积网络中包含了2层标准卷积层。其中，标准卷积层由卷积核为5×5的卷积层(Conv)、批标准化(Batch Normalization)、尺寸为2×2的最大池化层(MaxPool)与激活层共同构成。两层卷积层输出的通道数分别为64与50，第二层标准卷积后加入随机失活层(Dropout)来防止过拟合。
[0077] Step2：构建标签分类器。在深度信息提取完成后，将其矩阵输入至标签分类器进行分类操作，其主要作用是将已经提取好的信息进行标签分类。标签分类器采用了3层全连接层进行设计，包含2个标准全连接层和一个输出层，如图4所示，标准全连接层由全连接层(输出维度为100)、批标准化层和激活函数(Relu)共同构成。输出层由全连接层(输出维度为3)、激活函数(LogSoftmax)构成。其中第一层标准全连接层后加入随机失活层，防止过拟合。
[0078] Step3：构建域分类器。本发明采用域分类器来拉近源域和目标域的分布，如图5所示，在标签分类器完成分类后，便可得到不同特征所在域的范围，将标签分类结果输入至域分类之中进行最终对抗模型生成。情感域对抗网络模型(Emotional Domain Adversarial Neural Network,EDANN)将梯度反转层设置在标签分类器结构的中间(第一层标准全连接层后)，从分类的中间模态层进行域适应来缓解标签分类器易过拟合的问题。EDANN除了与DANN相同的全局域分类器外，还加入了多个个局部域分类器，多个局部域分类器分成两组：情感域分类器和情感影片组域分类器。局部域分类器的思想源自于动态对抗适应网络(Dynamic Adversarial Adaptation Network，DAAN)。
[0079] 本发明还设计了随训练进行而动态更新的权重ω，来控制与平衡训练过程中各模块损失的反向传播。为避免由于结构造成反向传播过程中的多Loss对抗问题，全局域分类器与局部域分类均由一个标准全连接(输出维度100)和一个输出层构成(全局域分类器、情感域分类器的输出维度为2，情感影片组域分类器输出维度为5)。域分类器中存在梯度反转层(Gradient Reversal Layer,GRL)，该层在Loss反向传播时将使梯度发生反转，拉近域分类器分类对象的分布。在DAAN的局部域分类器结构中，特征需要与标签分类器的预测概率x做乘积，因此EDANN结构中将激活函数LogSoftmax的输出先输入e 后变为不同情感的概率值，再根据域分类器种类与特征对应相乘。标签分类器中Ly的计算方式与DANN基本相同，不同点在于反向传播层被放置于标签分类器之内，因此标签分类器Gy被分为了两部分：第一标签分类器(情感域分类器)Gy1和第二标签分类器(情感影片组域分类器)Gy2。训练的目标为最小化交叉熵损失，标签分类器的损失具体可表示为：
[0080]
[0081] 其中ns表示源域样本数量，C表示三种情感类型，Pxi→c表示样本xi属于C类情感的概率。全局域分类器的Lg的计算方式与DANN的域分类器相同，表示为：
[0082]
[0083] 其中nt表示目标域样本数量，Ld为域分类器的交叉熵损失，di为域标签。在情感局部域适应中，通过使情感域分类器判断域标签di(源域：0，目标域：1)，从而拉近源域与目标域的距离，减小差异性。例如，情感类别有三种时，C＝3，局部域分类器的总个数为6个，情感域分类器和情感影片组域分类器均包括3个局部域分类器，通过三个局部域分类器计算，因此情感域分类器的损失可以表示为：
[0084]
[0085] 其中 表示情感域分类器的交叉熵损失， 表示第c类情感的情感域分类器的交叉熵损失， 表示第c类情感的情感域分类器的传递函数， 表示情感标签分类器对样本xi为c情感的预测概率。情感影片组局部域适应将源域所有受试者的不同片段组设置标签dm(不同片段标签分别为：0，1，2，3，4)，使用局部域分类器进行域适应，这将有助于模型降低对影片差异、时间跨度的敏感程度，提升跨受试识别性能。域分类器的损失可以被表示为：
[0086]
[0087] 其中 表示情感影片组域分类器的交叉熵损失， 表示第c类情感的情感影片组域分类器的交叉熵损失， 表示第c类情感的情感影片组域分类器的传递函数， 表示样本xi的影片组标签。
[0088] 由于对抗网络的不同损失权重将会剧烈影响模型的训练效率和目标域识别准确度，因此基于DAAN与听力受损者情感数据集，动态权重ω被设计为：
[0089]
[0090] 其中 表示根据一次样本循环计算得到的动态权重ω。在本实验的训练中，权重ω每5次迭代周期(Epoch)更新一次。与动态对抗因子ω相应的训练的目标为：
[0091]
[0092] 其中 表示情感c的情感域分类器参数， 表示情感c的情感影片组域分类器的参数。模型设计时，存在超参数λ需要被调试，以保证较高的训练速度与目标域准确度。在EDANN中，参数ω可以由计算得到并动态调整，使得模型在同样的样本上比其他固定权重的对抗方法具有更好的动态性能。在训练过程中，参数ω接近于0时模型退化为DANN，此时源域与目标域具有较大的差异性，全局域分类器的损失分得更多权重。参数ω接近于1时模型退化为多对抗域适应算法(Multi‑Adversarial Domain Adaptation,MADA)，此时源域与目标域差异性较小。在实际训练过程中，源域与目标域分布未知，因此采用动态对抗因子ω可以更有效的提升模型动态性能。
[0093] 步骤400：将第一特征矩阵输入情感域对抗网络模型，得到脑电信号对应的情感识别结果。
[0094] 本发明采用综合实验对提出的EDANN*(不带鉴别通道选择)和EDANN方法在听力受损者情绪数据集上进行情感识别。此外，为了对比不同结构的EDANN在识别听力受损者情绪方面的表现，本发明还设计了两种EDANN消融版本，分别表示为EDANN‑R1和EDANN‑R2。在EDANN‑R1中，只使用CNN特征提取器来捕获源域与目标域的空间情感信息。在EDANN‑R2模型中，只使用全局域鉴别器来缩小源域与目标域之间的分布距离，而不考虑局部分布距离，同时对比支持向量机(SVM)，分层卷积神经网络(HCNN)，多对抗域适应网络(MADA)采用1名受试者的所有样本作为测试集(目标域)，其余14名受试者的样本用于训练集(源域)。进行对比实验，实验结果如表1所示：
[0095] 表1基于独立跨受试的听力受损者情感识别结果
[0096]
[0097]
[0098] 从表1可以看出，EDANN的性能优于其他方法。EDANN的准确率较高，可能是因为EDANN的情感电影群局部域鉴别器和情感局部域鉴别器能够有效减少电影群与相似情感之间的差异，学习到更多有区别的深层特征，提高了被试独立实验的准确性。EDANN比EDANN‑R1有更好的识别效果，证明了在脑电信号中考虑时间信息的重要性。此外，EDANN的分类性能也优于EDANN‑R2，这意味着局部鉴别器有助于提高主题无关的分类精度。另外，具有甄别性通道选择的EDANN获得了比EDANN*更好的平均正确率，说明该甄别通道具有提高独立跨受试情绪识别性能的效果。
[0099] 基于上述方法，本发明还提供一种基于脑电信号的情感识别系统，图6为本发明基于脑电信号的情感识别系统的结构示意图。如图6所示，包括：
[0100] 脑电信号获取模块601，用于获取多通道的脑电信号。
[0101] 初步特征提取模块602，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵。
[0102] 情感域对抗网络模型获取模块603，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器。
[0103] 情感识别模块604，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
[0104] 作为另一实施例，本发明基于脑电信号的情感识别系统中，所述初步特征提取模块602，具体包括：
[0105] 频段划分单元，用于将所述脑电信号划分为n个频段；n大于4。
[0106] 特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取。
[0107] 三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵。
[0108] 特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择。
[0109] 特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
[0110] 作为另一实施例，本发明基于脑电信号的情感识别系统中，所述空间过滤矩阵为：
[0111]
[0112] 其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
[0113] 作为另一实施例，本发明基于脑电信号的情感识别系统中，所述情感域对抗网络模型获取模块603，具体包括：
[0114] 特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层。
[0115] 标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数。
[0116] 域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率。
[0117] 构建基于动态权重的训练函数。
[0118] 作为另一实施例，本发明基于脑电信号的情感识别系统中，所述基于动态权重的训练函数为：
[0119]
[0120] 其中，ω为动态权重， 表示情感类别c在第一局部域分类器的参数， 表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示域鉴别器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失， 为第一局部域分类器的损失， 为第二局部域分类器；一次循环计算得到的动态权重 为 其中，Ds表示原域空间，Dt表示目标域空间； ns表示源域样本数量，Pxi→c
表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器； nt表示目标域样本数量，di为域
标签，Gd表示域鉴别器； 表示第c
种情绪的情绪域鉴别器的交叉熵损失， 表示第c种情感， 表示情绪标签分类器对样本的情绪为c的预测概率； 表
示第c级情感电影群域鉴别器， 表示xi样本的电影组标签。
[0121] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0122] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
