一种基于卷积神经网络的手部运动意图分类方法，该方法将多元经验模态分解算法和卷积神经网络进行结合，通过动作执行的过程中同步采集到的肌电信号对动作发生的时刻进行判断，选择动作执行前的数据为主要对象，结合卷积神经网络，确定网络参数之后，采用序列前向搜索算法对经过多元经验模态分解之后的本征模态函数进行选择，得出可以使得识别准确率最高的本征模态函数的最优组合，能够有效地对基于运动执行前的脑电信号的手部动作进行多分类。
1.一种基于卷积神经网络的手部运动意图分类方法，其特征在于，包括以下步骤：步骤一：获取多通道、不同手部动作运动执行前的脑电信号并对其进行预处理，同时将脑电数据按比例随机划分为训练集、验证集和测试集；
步骤二：分别对训练集、验证集和测试集的脑电信号进行裁剪扩充，以便后续进行深度学习；
步骤三：分别对每组扩充后的脑电信号X(t)进行多元经验模态MEMD分解；脑电信号经过MEMD分解后产生m个频率由高到低排列的MIMF分量，每个MIMF都为一个时间长度为t的n通道信号，各通道信号都处于同一频段内；
步骤四：为m个MIMF分别构建相同的卷积神经网络CNN，并在全连接层中将所有CNN串联起来，用softmax进行分类输出；
步骤五：基于步骤三和步骤四的过程，采用序列前向搜索思想对MIMF进行挑选，得到分类准确率最高的MIMF组合和CNN模型，从而对多类任务的脑电信号进行分类识别。
2.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤一中具体为：获取n个导联、d种手部动作运动执行脑电信号，通过4导联肌电信号判断动作执行起点并提取动作执行前的脑电信号，其时长为s，每种动作不少于60个试次；对脑电信号进行预处理包括带通滤波处理和陷波处理，用于进行带通滤波步骤的带通滤波器的截止频率为
0.1‑100HZ；用于进行陷波处理的陷波滤波器的陷波频率为50HZ；将预处理后的每类数据按一定比例随机划分为：训练集、验证集和测试集。
3.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤二中脑电信号的裁剪扩充处理具体步骤如下：
(1)设每组单次脑电信号都表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数，s表示每组动作的时间长度；
(2)使用窗长为t的时间窗对数据进行裁剪，剪切的移动步进为q，通过剪切操作，将时间长度为s的原脑电数据剪切为(s‑t)/50+1个时间长度为t的脑电数据X(t)＝{x1(t)，x2(t)，...，xn(t)}。
4.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤三中采用MEMD分解将处理后的脑电信号分解为m个频率由高到低排列的MIMF分量的分解过程为：(1)设一个n维信号 信号的长度为T，
表示一组方向向量集，它们在(n‑1)维单位球对应的方向角为
(2)使用Hammersley序列采样方法，在(n‑1)维单位球面上选择K个均匀采样点，K为经验值，是维数的3倍以上，且k＝1，2，3，...，K，产生K个投影向量(3)计算信号X(t)沿每一个投影向量 的投影信号，将投影信号记为 对于所有K个投影向量，得到X(t)的投影集
(4)确定投影集 中每个投影信号的极值点对应的时刻 i表示极值点的位置，i∈[1，T]；
(5)以 为插值节点，使用多元样条插值函数方法得到K个n元包络(6)计算K个方向上n元信号的包络的均值为
(7)提取固有模态函数h(t)＝X(t)‑m(t)，如果h(t)满足MIMF的判断标准，则定义h(t)为第一阶MIMF分量，并将X(t)‑h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的MIMF分量，如果h(t)不满足MIMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件。
5.根据权利要求4所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤一中具体为：所述步骤(7)中所述的终止条件为：
其中，M(t)为信号均值， 为偏差函数，γ为阈值，根据
信号类型进行设定，当 的值小于某个阈值时，可以判定其为MIMF；
(8)经过一系列的MEMD分解，原n元信号 被分解
为一系列的多元模式函数 和余量r(t)的和形式，表达式如下：式中：q表示分解出的IMF个数，hi(t)为 r(t)为
分别对应于n元信号的n组多元模态函数和n个残余量，判定
余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束；
多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF；这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
6.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤四中的卷积神经网络，包括输入层、4个卷积层、3个池化层、Flatten层、三个全连接层和输出层，具体为：(1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
(2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
(3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
(5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
(6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按
50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
(7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
(8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类；
所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
7.根据权利要求1所述的一种基于卷积神经网络的手部运动意图分类方法，其特征在于，所述步骤五中的序列前向搜索思想具体步骤为：
(1)设当前特征集合为S，最开始无任何特征，为空集；
(2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
(3)将XN放入特征集合S中,接着从T‑S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T‑S)N)，如果J(S+X(T‑S)N)优于J(S)，则将X(T‑S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
(4)当J(S+X(T‑S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
一种基于卷积神经网络的手部运动意图分类方法
技术领域
[0001] 本发明属于脑电信号识别控制技术领域，特别涉及一种基于卷积神经网络(Convolutional Neural Networks,CNN)的手部运动意图分类方法。
背景技术
[0002] 脑机接口(brain computer interface,BCI)是一种在人脑和外部设备之间建立通信系统的技术，能够通过使用如脑电(EEG)、脑磁(MEG)等脑电信号来解码人类意图，并将其转换为控制信号输出到外部设备(电脑、假肢等)。BCI可以为患有严重神经功能障碍的人提供一种与外界进行信息交互的新方式，是实现手功能康复训练的主要方法之一。BCI系统可以解码脑卒中患者的手部运动意图，然后通过神经功能电刺激、康复机械手等康复训练设备，使手指进行康复训练。因此，开发一种能够对手部运动意图进行高精度分类的BCI算法是非常重要的。
[0003] 一种典型的手部动作模式识别算法主要包括两个阶段：特征提取和分类。在特征提取的过程中，如何将不同信号的隐含信息转化为特征明显、区分度高的信号，直接关系到分类识别的结果。使用不同的特征提取算法，可以得到不同的分类正确率。目前，用于脑电信号特征提取的算法主要包括时域、频域和时频分析方法，其中多元经验模态分解由于不需要特定的基函数，并可以根据信号自身的特点进行多尺度分解而广泛运用于脑电这种非平稳非线性信号中，但大部分算法只选择了特定频段的2‑3个MIMF再进行重构，因此对于动作意图解码来讲分类准确率并不高。卷积神经网络是近些年来机器学习领域的一个热点，其在计算机视觉任务中与传统机器学习的办法相比，识别准确率已经有了大幅度提升。如今已经有学者将其运用到脑信号解码方面，但是单手三种以上动作模式的识别准确率仍然较低，无法满足主动康复训练的需求。
发明内容
[0004] 针对现有的多类运动意图解码任务分类正确率较低等问题，本发明的目的是提供一种基于卷积神经网络(Convolutional Neural Networks,CNN)手部运动意图分类方法，基于多元经验模态分解MEMD和卷积神经网络CNN对运动执行前阶段的脑电进行分类，用于不同运动执行前的脑电信号模式识别研究；MEMD方法可以将非线性非平稳的脑电信号分解为多个平稳的本征模态函数，实现非平稳信号的平稳化处理，CNN可以提取信号中更多特征，并对不同任务进行分类，将两种方法结合起来，可以有效提高多任务脑电信号的识别率。
[0005] 为达到上述目的，本发明提供如下技术方案：
[0006] 一种基于卷积神经网络的手部运动意图分类方法，包括以下步骤：
[0007] 步骤一：获取多通道、不同手部动作运动执行前的脑电信号并对其进行预处理，同时将脑电数据按比例随机划分为训练集、验证集和测试集；
[0008] 步骤二：分别对训练集、验证集和测试集脑电信号进行裁剪扩充，以便后续进行深度学习；
[0009] 步骤三：分别对每组扩充后的脑电信号X(t)进行多元经验模态MEMD分解；脑电信号经过MEMD分解后产生m个频率由高到低排列的MIMF分量，每个MIMF都为一个时间长度为t的n通道信号，各通道信号都处于同一频段内；
[0010] 步骤四：为m个MIMF分别构建相同的卷积神经网络CNN，并在全连接层中将所有CNN串联起来，用softmax进行分类输出；
[0011] 步骤五：基于步骤三和步骤四的过程，采用序列前向搜索思想对MIMF进行挑选，得到分类准确率最高的MIMF组合和CNN模型，从而对多类任务的脑电信号进行分类识别。
[0012] 所述步骤一具体为：
[0013] 获取n个导联、d种手部动作运动执行脑电信号，通过4导联肌电信号判断动作执行起点并提取动作执行前的脑电信号，其时长为s，每种动作不少于60个试次；对脑电信号进行预处理包括带通滤波处理和陷波处理，用于进行带通滤波步骤的带通滤波器的截止频率为0.1‑100HZ；用于进行陷波处理的陷波滤波器的陷波频率为50HZ；将预处理后的每类数据按一定比例随机划分为：训练集、验证集和测试集。
[0014] 所述步骤二中脑电信号的裁剪扩充处理具体步骤如下：
[0015] (1)设每组单次脑电信号都表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数，s表示每组动作的时间长度；
[0016] (2)使用窗长为t的时间窗对数据进行裁剪，剪切的移动步进为q，通过剪切操作，将时间长度为s的原脑电数据剪切为(s‑t)/50+1个时间长度为t的脑电数据X(t)＝{x1(t)，x2(t)，...，xn(t)}。
[0017] 所述步骤三中采用MEMD分解将处理后的脑电信号分解为m个频率由高到低排列的MIMF分量的分解过程为：
[0018] (1)设一个n维信号 信号的长度为T，表示一组方向向量集，它们在(n‑1)维单位球对应的方向角为
[0019] (2)使用Hammersley序列采样方法，在(n‑1)维单位球面上选择K个均匀采样点，K为经验值，是维数的3倍以上，且k＝1，2，3，...，K，产生K个投影向量
[0020] (3)计算信号X(t)沿每一个投影向量 的投影信号，将投影信号记为 对于所有K个投影向量，得到X(t)的投影集
[0021] (4)确定投影集 中每个投影信号的极值点对应的时刻 i表示极值点的位置，i∈[1，T]；
[0022] (5)以 为插值节点，使用多元样条插值函数方法得到K个n元包络
[0023] (6)计算K个方向上n元信号的包络的均值为
[0024] (7)提取固有模态函数h(t)＝X(t)‑m(t)，如果h(t)满足MIMF的判断标准，则定义h(t)为第一阶MIMF分量，并将X(t)‑h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的MIMF分量，如果h(t)不满足MIMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件；
[0025] 所述步骤(7)中所述的终止条件为：
[0026]
[0027] 其中，M(t)为信号均值， 为偏差函数，γ为阈值，根据信号类型进行设定，当 的值小于某个阈值时，可以判定其为MIMF；
[0028] (8)经过一系列的MEMD分解，原n元信号 被分解为一系列的多元模式函数 和余量r(t)的和形式，表达式如下：
[0029]
[0030] 式中：q表示分解出的IMF个数，hi(t)为 r(t)为分别对应于n元信号的n组多元模态函数和n个残余量，判定
余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束。
[0031] 多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF；这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
[0032] 所述步骤四中的卷积神经网络，包括输入层、4个卷积层、3个池化层、Flatten层、三个全连接层和输出层，具体为：
[0033] (1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：
[0034]
[0035] ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
[0036] (2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
[0037] (3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
[0038] (4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
[0039] (5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
[0040] (6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
[0041] (7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
[0042] (8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类。
[0043] 所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
[0044] 所述步骤五中的序列前向搜索思想具体步骤为：
[0045] (1)设当前特征集合为S，最开始无任何特征，为空集；
[0046] (2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
[0047] (3)将XN放入特征集合S中,接着从T‑S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T‑S)N)，如果J(S+X(T‑S)N)优于J(S)，则将X(T‑S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
[0048] (4)当J(S+X(T‑S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
[0049] 与已有技术相比，本发明的有益效果体现在：
[0050] 本发明提供一种基于多元经验模态分解和卷积神经网络的手部动作意图分类方法。该方法通过算法，自动选择全频段中合适频段的MIMF输入CNN中进行特征提取和分类，4层的卷积层从时间域和空间域上分别提取了脑电特征，可以有效提高多任务脑电信号的识别率。
附图说明
[0051] 图1为MEMD‑CNN算法流程图。
[0052] 图2为通过Neuroscan采集到的30导联脑电信号和4导联肌电信号。
[0053] 图3为通过肌电阈值得到的运动执行脑电信号起始点。
[0054] 图4为动作前2s的脑电信号按1s时间窗进行剪切的示意图。
[0055] 图5是单次运动执行脑电经过多元经验模态分解后的前7个MIMF分量图，此处只取脑电前3导联的MIMF分量，其中MIMF1指的是对原信号进行第一次MEMD分解获得的MIMF分量；MIMF2指的是对第一次MEMD分解后的信号进行第二次MEMD分解获得的MIMF分量；MIMF3指的是对第二次MEMD分解后的信号进行第三次MEMD分解获得的MIMF分量；MIMF4指的是对第三次MEMD分解后的信号进行第四次MEMD分解获得的MIMF分量；MIMF5指的是对第四次MEMD分解后的信号进行第五次MEMD分解获得的MIMF分量；MIMF6指的是对第五次MEMD分解后的信号进行第六次MEMD分解获得的MIMF分量；MIMF7指的是对第六次MEMD分解后的信号进行第七次MEMD分解获得的MIMF分量。
[0056] 图6为算法中所用到的CNN结构。
[0057] 图7为序列前向搜索算法流程图，用于最优MIMF组合的选择。
[0058] 图8为相同样本在MEMD‑CNN、CNN和FBCSP‑SVM算法下的分类正确率对比表。
具体实施方式
[0059] 下面将结合附图，对本发明的流程以及优势进行详述。
[0060] 本方法中，在采集到运动执行脑电信号和肌电信号之后，先对脑电信号进行预处理，将原始脑电信号分割成单次运动执行前的脑电信号。而后通过多元经验模态将脑电信号分解成若干个MIMF分量，再将其输入CNN中通过序列前向搜索策略得到分类准确率最高的MIMF分量组合，保存最优MIMF组合和CNN模型即可对单次运动执行的脑电信号进行分类。
[0061] 图1是提出的算法的流程。整个算法一共分为5个模块，运动执行前后脑电信号的采集和提取，多元经验模态分解，通过验证集数据使用序列前向搜索策略寻找最优MIMF组合，输入CNN进行分类。
[0062] 具体步骤如下：
[0063] 步骤一：获取多通道运动执行前脑电信号
[0064] 使用Neuroscan采集系统采集30导联的运动执行前后脑电信号和4导联的肌电信号。
[0065] 实验于一个安静、封闭、防电磁干扰的房间内进行，被试坐在舒适的椅子上，右臂放在前面的桌子上，离屏幕约0.5米。佩戴好电极帽后，根据电脑屏幕上的指示，依次执行四种手部动作：握拳、展拳、二指对捏、三指对捏。每种动作分别做60次，分为固定组数3组完成。其中每组的间隔中预留一定的休息时间用于消除肌肉的疲劳。
[0066] 获得原始的运动执行脑电信号和肌电之后，对信号进行预处理。信号的预处理分为，0.1‑100HZ的带通滤波，50HZ的陷波滤波以及对运动执行前脑电信号的单次分割。1‑100HZ带通滤波和50HZ陷波滤波可以通过EEGLAB实现。
[0067] 图2是通过Neuroscan采集到的二指对捏动作下30导联脑电信号和4导联肌电信号的原始信号。
[0068] 运动执行脑电信号属于自发脑电信号，没有明显的动作开始的起始点，在数据采集过程中使用trigger信号将电脑的动作指示和数据采集进行同步，但是由于不同被试反应时间不同，故trigger信号作为辅助判断动作起点，同脑电信号相比，肌电信号在起始处具有明显的电位变化，故最终通过对肌电进行分析，判断出动作执行起点，以其对单次脑电信号进行分割。
[0069] 具体算法为：在trigger信号前800ms，先取21个点作为一个窗口计算信号能量，然后连续取25个窗口计算其信号能量，取这25个窗口信号的能量的平均值作为判断动作起点的阈值Q。然后从最后计算的点开始，以21个点为一个窗口，连续计算信号能量值，有连续20个窗口的能量值均大于Q的话，则以最后一个窗口的中点作为动作信号的有效起始点，找出与肌电信号起始点对应的脑电信号位置，以此为结束点截取一段动作执行前的脑电信号。
[0070] 利用肌电信号的能量阈值分割出单次动作意图对应的脑电信号，共可以得到4*60组的数据。
[0071] 图3是通过对于肌电信号的阈值检测，得到了肌电信号的起始位置，从而确定了与之对应的运动执行脑电信号的起始位置。参见图3，由肌电信号确定的脑电起始点大致为真实的脑电信号起始位置，证明采取这种肌电阈值分割脑电信号方案所获得脑电信号的真实性和完整性。
[0072] 之后对分割出的动作执行前的脑电信号进行划分，每类数据按3:2:1的比例随机划分为训练集(30*2000*30)、验证集(30*2000*20)和测试集(30*2000*10)；
[0073] 步骤二：对脑电信号进行裁剪扩充
[0074] (1)设每组单次脑电信号都可以表示为X(s)＝{x1(s)，x2(s)，...，xn(s)}，其中n表示脑电信号的通道数(n＝30)，s表示每组动作的时间长度(s＝2000ms)。
[0075] (2)使用窗长为t(t＝1000ms)的时间窗对数据进行裁剪，剪切的移动步进为q(q＝50ms)，通过剪切操作，我们可以将时间长度为2000ms的原脑电数据剪切为21个时间长度为
1000ms的脑电数据。
[0076] 由于在剪切之前已经划分训练集、验证集和测试集，因此存在重叠信息的剪切数据不会对分类结果产生影响。
[0077] 图4为将动作前2s的脑电信号按1s时间窗进行剪切的示意图，其中虚线框表示剪切出的一个信号段，每一个2s的脑电数据可以切割为21个1s的脑电数据。
[0078] 步骤三：对扩充后的脑电信号进行MEMD分解
[0079] (1)设一个n维信号 信号的长度为T，表示一组方向向量集，它们在(n‑1)维单位球对应的方向角为
[0080] (2)使用Hammersley序列采样方法，在(n‑1)维单位球面上选择K个均匀采样点(K为经验值，是维数的3倍以上，且k＝1，2，3，...，K)，产生K个投影向量
[0081] (3)计算信号X(t)沿每一个投影向量 的投影信号，将投影信号记为 对于所有K个投影向量，得到X(t)的投影集
[0082] (4)确定投影集 中每个投影信号的极值点对应的时刻 i表示极值点的位置，i∈[1，T]。
[0083] (5)以 为插值节点，使用多元样条插值函数方法得到K个n元包络
[0084] (6)计算K个方向上n元信号的包络的均值为
[0085] (7)提取固有模态函数h(t)＝X(t)‑m(t)，如果h(t)满足IMF的判断标准，则定义h(t)为第一阶IMF分量，并将X(t)‑h(t)作为步骤(3)的输入信号，继续迭代步骤(3)～(7)，直到分离出新的IMF分量。如果h(t)不满足IMF的条件，把h(t)作为步骤(3)的输入信号，重复上述的步骤(3)～(7)，直至满足终止条件。
[0086] 所述步骤(7)中所述的判定条件为：
[0087]
[0088] 其中，M(t)为信号均值， 为偏差函数，γ为阈值，可以根据信号类型进行设定，当 的值小于某个阈值时，可以判定其为MIMF。
[0089] (8)经过一系列的MEMD分解，原n元信号 被分解为一系列的多元模式函数 和余量r(t)的和形式，表达式如下：
[0090]
[0091] 式中：q表示分解出的IMF个数，hi(t)为 r(t)为分别对应于n元信号的n组多元模态函数和n个残余量。判定
余量r(t)的方法为：当各个投影信号的极值点个数为2或3时，信号接近单调，可以认为信号不再含有MIMF分量，分解结束。
[0092] 多元信号每个通道分解出来的MIMF个数是相同的，最先分解出来的MIMF频率高，而后分解出来的MIMF频率低，分解的余量频率最低，也可当作最后一个MIMF。这样MEMD分解出来的MIMF按照频率从高到低排序，由于每个动作数据使用MEMD分解得到的MIMF数并不一致，所以通过计算每组数据分解得到的MIMF个数最小值，确定统一使用前7个MIMF进行计算，其中MIMF1包含最高频信息，MIMF2次之，MIMF7最小。
[0093] 图5是单次运动执行前的脑电经过多元经验模态分解后的各MIMF分量图，此处只取脑电前3导联的前7个MIMF分量。
[0094] MIMF1指的是对原信号进行第一次MEMD分解获得的MIMF分量。
[0095] MIMF2指的是对第一次MEMD分解后的信号进行第二次MEMD分解获得的MIMF分量。
[0096] MIMF3指的是对第二次MEMD分解后的信号进行第三次MEMD分解获得的MIMF分量。
[0097] MIMF4指的是对第三次MEMD分解后的信号进行第四次MEMD分解获得的MIMF分量。
[0098] MIMF5指的是对第四次MEMD分解后的信号进行第五次MEMD分解获得的MIMF分量。
[0099] MIMF6指的是对第五次MEMD分解后的信号进行第六次MEMD分解获得的MIMF分量。
[0100] MIMF7指的是对第六次MEMD分解后的信号进行第七次MEMD分解获得的MIMF分量。
[0101] 步骤四：CNN构建
[0102] (1)Layer1：卷积层，25个大小为1*10的卷积核，步长为1，在时间维度上进行特征提取，激活函数为指数线性单元函数ELU，用于拟合非线性问题，其表达式为：
[0103]
[0104] ELU函数是ReLU函数的改进，相比于ReLU函数，使用ELU，不仅有ReLU输入为正数时不存在梯度饱和的问题以及计算速度较快等优点，且相比于ReLU，ELU函数中即使输入为负数函数也能被激活，且其输出还具有一定的抗干扰能力；
[0105] (2)Layer2：卷积层，25个大小为n*1的卷积核，n为脑电数据导联数，步长为1，对空间信息进行卷积提取，激活函数同样设为ELU；在两层之间没有激活函数，通过这种方式可以将整个卷积强制分离线性变换为时间卷积和空间滤波器的组合实现隐式正则化，降低计算量；该卷积层后加入了BN层和池化层，BN层用于防止过拟合，池化层使用最大池化的方式，池化的大小是1*3，步进为1*3；
[0106] (3)Layer3:卷积层，50个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
[0107] (4)Layer4：卷积层，100个大小为1*10的卷积核，步长为1，后接与Layer2一致的BN层和池化层；
[0108] (5)Layer5：Flatten层，对高维特征进行扁平化处理，将其转换为一维数据，同时，对不同MIMF得到的据进行拼接从而共同输入到后面的全连接层中去；
[0109] (6)Layer6：全连接层，神经元数为1024个，激活函数为ELU，设置dropout＝0.5，即按50％的概率暂时随机丢弃部分神经元，以防止CNN过拟合；
[0110] (7)Layer7：全连接层，神经元数为512个，激活函数为ELU，设置dropout＝0.5；
[0111] (8)Layer8：全连接层，神经元数为4个，激活函数为ELU；后接softmax层对结果进行概率预测和分类。
[0112] 所有的损失函数都使用交叉熵损失函数，卷积神经网络使用自适应距估计优化器Adam，其中参数均为默认值，学习率为0.001，Beta1为0.9，Beta2为0.999。
[0113] 图6为算法中所用到的CNN结构，输入为u个n*t(通道数*时间长度，30*1000)的脑电信号，不同MIMF输入不同CNNi，依次经过卷积层1、卷积层2、池化层1、卷积层3、池化层2、卷积层4、池化层3、Flatten层后展平为一维数据进行拼接，之后再通过神经元数为1024、512和4的全连接层，通过softmax输出分类结果。
[0114] 步骤五：用序列前向搜索思想进行最优MIMF组合确认：
[0115] (1)设当前特征集合为S，最开始无任何特征，为空集；
[0116] (2)从所有MIMF集合T中选择一个MIMF(XN)使得目标结果J(XN)最优，即分类准确率最高；
[0117] (3)将XN放入特征集合S中,接着从T‑S集合(T集合中除去S集合的剩下部分)中选一个MIMF(X(T‑S)N)，如果J(S+X(T‑S)N)优于J(S)，则将X(T‑S)N加入特征集合S中，否则接着选择下一个MIMF进行计算；
[0118] (4)当J(S+X(T‑S)N)始终小于J(S)则停止搜索，并确定S集合里的MIMF为最优MIMF组合。
[0119] 得到最优MIMF组合后输入CNN，经过六折交叉验证得到平均分类准确率。
[0120] 图6是序列前向搜索流程图。
[0121] 图7是相同样本在MEMD‑CNN、CNN与传统机器学习算法FBCSP‑SVM下的分类正确率的对比图。可以看出，除被试9以外，其余每一个被试，MEMD‑CNN方法得到的平均分类正确率都高于CNN的结果，且所有被试MEMD‑CNN方法得到的平均分类正确率都显著高于FBCSP‑SVM的结果。将MEMD‑CNN分别与另两种方法的结果做显著性分析，得到的p值小于0.05，说明MEMD‑CNN方法和其余两种方法的分类效果有显著性差异。因此，MEMD与CNN结合的算法可以有效提高脑电信号的分类性能，这是因为MEMD处理在一定程度上可以减轻信号野值点对投影产生的干扰，并利用导联之间的互信息来提高对噪声和记录伪影的鲁棒性，CNN可以在时间域和空间域提取更多信号特征，使其更适用于脑电信号的分类识别问题。
