一种基于空洞卷积神经网络的P300信号检测方法转让专利
申请号 : CN202110207669.8
文献号 : CN113017645B
文献日 : 2022-03-29
发明人 : 童俊 , 顾正晖 , 俞祝良
申请人 : 华南理工大学
摘要 :
权利要求 :
1.一种基于空洞卷积神经网络的P300信号检测方法,其特征在于,包括以下步骤:
1)脑电数据采集阶段
采用P300字符拼写器进行实验,提取受试者脑电信号EEG作为训练集和测试集;
2)数据预处理阶段
所采集到的脑电数据经过预处理操作,得到EEG数据集,然后作为空洞卷积神经网络的输入数据集;
3)搭建空洞卷积神经网络检测P300信号阶段先使用一层标准卷积作为EEG数据集的空域滤波器,再设计一个基于空洞卷积的特征提取器获取多尺度时域特征,再通过一层标准卷积提取更高层级的时域特征后,经过下采样,最后添加全连接层作为空洞卷积神经网络输出,然后训练空洞卷积神经网络确定模型参数;其包括以下步骤过程:
3.1)将预处理后的EEG数据集作为空域滤波器的输入,设定空域滤波器的卷积参数;
3.2)在空域滤波器后面搭建一个多尺度特征提取器,提取多尺度时域特征;其中,将空域滤波层的输出同时连接到4个空洞卷积,每个空洞卷积的通道数都为Nch,即有Nch个卷积核,每个空洞卷积的卷积核尺寸相同,卷积核尺寸大小为1×Kn,其中Kn为空洞卷积的卷积核在时域特征上的宽度,卷积步长取1,激活函数选择tanh函数,但是每个空洞卷积的扩张率不同,对于不同空洞卷积,扩张率Dk分别取1、2、4、8,对应的感受野大小为1×(Dk×Kn‑Dk+
1),则能够提取P300信号时域上不同尺度的信息;然后将4个空洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1×1的卷积,通道数是Nch,其目的是为了降维,使得多尺度滤波器的输出信号与空域滤波层输入的信号的大小相同,但已经是融合了不同尺度的时域特征的新信号,故命名为多尺度特征提取器;
3.3)将多尺度时域特征送入时域滤波器,设定时域滤波器的卷积参数;
3.4)将时域滤波器提取的特征进行下采样,在整平成一维向量之后连接全连接层和Softmax层,并设定损失函数;
3.5)使用反向传播算法作为空洞卷积神经网络的训练方法,训练出空洞卷积神经网络的参数;
4)计算空洞卷积神经网络的字符识别率和信息转化率阶段空洞卷积神经网络的输出结果即为输入信号中含有P300波的概率,进一步能够计算字符识别率和信息转化率来验证模型的性能。
2.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于,所述步骤1)包括以下步骤过程:
1.1)首先,使用BCI2000平台的P3拼写器作为P300字符拼写器,该P300字符拼写器为一个6×6的字符矩阵,受试者注视一个给定的字符,P300字符拼写器以频率f连续随机地闪烁某一行或某一列,其中包含受试者注视字符的行和列闪烁时,会刺激大脑皮层产生P300信号,所有行和所有列全都闪烁一次为一个周期,每个字符连续进行C次重复的周期为一个字符实验组,所以一个字符实验组提取12×C个EEG信号;其中,电极通道选用国际10‑20电极规范的64个电极,每次闪烁持续时间为tfms,两次闪烁之间的间隔时间为tims;
1.2)采集的数据经过0.1‑60Hz的带通滤波,并且以fs Hz的频率进行数字化,即1s内采样fs个点,然后将每个字符实验组提取出来的脑电信号进行采样得到n个点作为样本特征,训练集设置为m个字符,即m个字符实验组,故包含所有电极通道的训练集的数据格式为:m×n×64,测试数据集设置为k个字符,即k个字符实验组,故包含所有电极通道的测试集的数据格式为:k×n×64。
3.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于,所述步骤2)包括以下步骤过程:
2.1)选择每次闪烁后的时间窗为前600ms或650ms,即1秒时间内总共fs个点中的前
0.6fs或0.65fs个点,然后经过2倍下采样来减少维度得到时域特征值,选择10阶0.5~20Hz的FIR带通滤波,将训练集和测试集进行去噪滤波;
2.2)训练集中正样本为含有P300波的样本,负样本为不含P300波的样本;二者比例为
1:5,所以将正样本复制5遍使训练集中正样本和负样本数量相等,从而解决正负样本不平衡问题,得到预处理后的训练集和测试集,即EEG数据集;将EEG数据集进行min‑max标准化,使结果落到[0,1]区间。
4.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于:在步骤3.1)中,空域滤波层的输入表示为: 其中,Nelec为脑电信号采集阶段中选定的电极通道数目,Nt为采用的时间窗序列的脑电数据点数,所以每一个样本为一个尺寸为Nelec×Nt的矩阵,把每一个输入样本送入空域滤波器中,空域滤波器为标准卷积,通道数为Nch,卷积核尺寸为Nelec×1,卷积步长取1,激活函数选择tanh函数,其目的是实现最佳的通道组合功能,于是经过每个卷积核之后的输出都是一个Nt×1的张量。
5.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于:在步骤3.3)中,将多尺度特征提取器的输出连接到一个时域滤波器,在多尺度时域特征的基础上获取更高层次的特征,时域滤波器使用标准卷积,通道数为Nch,卷积核尺寸大小为
1×Kt,其中Kt为时域滤波器的卷积核在时域特征上的宽度,卷积步长取1,激活函数选择tanh函数。
6.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于:在步骤3.4)中,将时域滤波器提取的高层次特征进行2倍下采样,其目的是为了减少参数量,然后将Nch个通道整平变成一维向量,再将连接到全连接层作为网络的输出层,由于P300波的检测是一个二分类问题,所以该全连接层的神经元个数设置为2,激活函数使用Softmax函数,将输出转化成概率形式。
7.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于:在步骤3.5)中,使用反向传播算法作为网络的训练方法,优化器使用随机梯度下降算法SGD,损失函数使用均方误差。
8.根据权利要求1所述的一种基于空洞卷积神经网络的P300信号检测方法,其特征在于:在步骤4)中,空洞卷积神经网络的输出结果为输入信号中含有P300波的概率,由测试集的实验结果,计算12次闪烁即六行六列中每行/列闪烁产生P300的累计概率,累计概率是指前Ci个重复周期下,该行/列含有P300概率的和,由每个重复周期下累计概率最大的行和列来确定预测输出字符,并与测试集真实的字符比较来计算字符识别准确率;
然后计算信息转化率:
式中,ITR表示信息转换率,P代表识别一个字符的概率,N代表类别数目,T表示识别一个字符所需要的时间,表达式如下:
T=2.5+2.1×Ci,1≤Ci≤15式中,Ci表示周期数。
说明书 :
一种基于空洞卷积神经网络的P300信号检测方法
技术领域
背景技术
过40年了。20世纪90年代中期以来,面向运动的脑机接口经历了迅速的发展。目前,脑机接
口作为一种新型的人机交互方式正在逐渐成为脑科学研究的热门课题,在康复训练、高危
作业、心理认知等领域具有很大的应用前途。
术把脑电信号转换成输出控制信号使得特定的计算机系统执行相应操作。根据检测信号传
感器的安置方式,脑机接口分为有创植入电极的侵入式脑机接口和无创头皮电极的非侵入
式脑机接口。在非侵入式脑机接口中,EEG(electroencephalogram)脑电信号能够比较容易
被记录,并且使用设备相对便宜。因此基于EEG脑电信号的研究得到广泛关注。
般出现在刺激发生后300ms左右,故称为P300信号。基于P300波的字符拼写系统最早由
Farwell和Donchin提出,基于该拼写系统的实验范式和识别算法被相继提出。目前,已经有
很多优秀的传统机器学习算法能够进行P300检测分类,例如基于支持向量机(SVM)的分类
算法,基于独立成分分析(ICA)的分类算法,基于线性判别分析(LDA)的识别算法。也有很多
在图像领域非常流行的深度学习方法能够对P300信号进行很好的检测分类,例如卷积神经
网络(CNN)。然而传统的机器学习算法识别P300时需要手工提取特征,花费大量不必要的时
间,并且泛化能力差,信息转化率不高。而深度学习方法具有避免手动设计输入模式,提高
泛化能力和信息转化率等特点。但是,传统的卷积神经网络(CNN)想要提高识别准确率就需
要更多的参数,由于脑机接口数据集中可用的样本数量有限,因此很容易产生过拟合的问
题。
低了计算成本。插入零的个数称为扩张率(dilation rate),标准卷积也可以看做是扩张率
为0的空洞卷积,我们可以设置不同的扩张率来捕获多尺度上下文信息。EEG信号是一种主
观性的信号,即使在完全相同的环境下,每个受试者的EEG信号中的P300电位也不完全相
同,因此利用空洞卷积来提取EEG信号的多尺度信息有助于提升网络的适应能力,提高识别
准确率。并且空洞卷积可以任意扩大感受野,且不需要引入额外参数,结构简单,泛化能力
强,是一种可行的检测P300信号的方法。
发明内容
方法是使用不同扩张率的空洞卷积同时提取多尺度时域特征,结构简单易于理解。字符实
验准确率高,在短时间序列和长时间序列的脑电信号下,字符识别准确率更优于卷积神经
网络(CNN),这样也同时提高了信息转换率
下采样,最后添加全连接层作为空洞卷积神经网络输出,然后训练空洞卷积神经网络确定
模型参数;
闪烁某一行或某一列,其中包含受试者注视字符的行和列闪烁时,会刺激大脑皮层产生
P300信号,所有行和所有列全都闪烁一次为一个周期(epoch),每个字符连续进行C次重复
的周期(epoch)为一个字符实验组,所以一个字符实验组提取12x C个EEG信号;其中,电极
通道选用国际10‑20电极规范的64个电极,每次闪烁持续时间为tfms,两次闪烁之间的间隔
时间为tims。
特征,训练集设置为m个字符,即m个字符实验组,故包含所有电极通道的训练集的数据格式
为:m x n x64,测试数据集设置为k个字符,即k个字符实验组,故包含所有电极通道的测试
集的数据格式为:k x n x64。
20Hz的FIR带通滤波,将训练集和测试集进行去噪滤波;
不平衡问题,得到预处理后的训练集和测试集,即EEG数据集;将EEG数据集进行min‑max标
准化,使结果落到[0,1]区间。
个尺寸为 的矩阵,把每一个输入样本送入空域滤波器中,空域滤波器为标准卷积,
通道数为Nch,卷积核尺寸为Nelec×1,卷积步长取1,激活函数选择tanh函数,其目的是实现
最佳的通道组合功能,于是经过每个卷积核之后的输出都是一个1×Nt的张量。
其中Kn为空洞卷积的卷积核在时域特征上的宽度,卷积步长取1,激活函数选择tanh函数,
但是每个空洞卷积的扩张率不同,对于不同空洞卷积,扩张率Dk分别取1、2、4、8,对应的感
受野大小为1×(Dk×Kn‑Dk+1),则能够提取P300信号时域上不同尺度的信息;然后将4个空
洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1x 1的卷积,通道数是Nch,其
目的是为了降维,使得多尺度滤波器的输出信号与空域滤波层输入的信号的大小相同,但
已经是融合了不同尺度的时域特征的新信号,故命名为多尺度特征提取器。
大小为1×Kt,其中Kt为时域滤波器的卷积核在时域特征上的宽度,卷积步长取1,激活函数
选择tanh函数。
输出层,由于P300波的检测是一个二分类问题,所以该全连接层的神经元个数设置为2,激
活函数使用Softmax函数,将输出转化成概率形式。
率是指前Ci个重复周期(epoch)下,该行/列含有P300概率的和;由每个重复周期(epoch)下
累计概率最大的行和列来确定预测输出字符,并与测试集真实的字符比较来计算字符识别
准确率;
附图说明
具体实施方式
一次为一个周期(epoch)。每个字符连续进行15次重复的周期(epoch)为一个实验组,所以
一个字符实验组提取12x15个EEG信号。拼写器行/列每次闪烁持续时间为100ms,两次闪烁
之间的间隔时间为75ms。采集脑电信号所用到的电极通道选用国际10‑20电极规范的64个
电极(channels),电极分布图如图3所示。
采样240个点。总共两个受试者(Subject A和Subject B),两个受试者的数据格式完全一
样。训练数据集为85个字符,即85个字符实验组,测试数据集为100个字符,即100个字符实
验组。
为所有电极通道数64,故单个样本数据格式为72x64。然后选择10阶0.5~20Hz的FIR带通滤
波,将训练集和测试集进行去噪滤波。
85个字符实验组,15表示每个实验组有15个周期(epoch)。同理,测试集中含有P300波的样
本数为:100x2x15=3000,不含P300波的样本数为100x10x15=15000。这样正负样本会产生
数量不平衡的问题,于是把训练集中含有P300波的样本复制5份,这样含有P300波的样本数
和不含P300波的样本数都为12750,训练集的正负样本平衡。预处理后的训练集和测试集数
据格式为:25000x72x64,18000x72x64。最后将数据集进行min‑max标准化,使结果落到[0,
1]区间。
为一个尺寸为64×72的矩阵,把每一个输入样本送入空域滤波器中,空域滤波器为标准卷
积,通道数为20,卷积核尺寸为64×1,卷积步长取1,激活函数选择tanh函数,其目的是实现
最佳的通道组合功能,于是经过每个卷积核之后的输出都是一个1×72的张量。
tanh函数,但是每个空洞卷积的扩张率不同,对于不同空洞卷积,扩张率分别取1、2、4、8,对
应的感受野大小分别为1×9、1×17、1×17、1×33、1×65,则能够提取P300信号时域上不同
尺度的信息;然后将4个空洞卷积提取的局部和全局特征聚合拼接在一起后连接到一个1x
1的卷积,通道数是20,其目的是为了降维,使得多尺度滤波器的输出信号与空域滤波层输
入的信号的大小相同,但已经是融合了不同尺度的时域特征的新信号,故命名为多尺度特
征提取器。
长取1,激活函数选择tanh函数。
P300波的检测是一个二分类问题,所以该全连接层的神经元个数设置为2,激活函数使用
Softmax函数,将输出转化成概率形式。
重复周期(epoch)下,该行/列含有P300概率的和。由每个重复周期(epoch)下累计概率最大
的行和列来确定预测输出字符,并与测试集真实的字符比较来计算字符识别准确率。
准确率还是信息转化率都是要优于普通卷积神经网络的。
测的研究很有意义,具有实际推广价值,值得推广。
均应为等效的置换方式,都包含在本发明的保护范围之内。