孪生级联柔性最大网络的多主体运动想象识别模型及方法

摘要

本发明公开的孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型及第二部分：复制生成的CSCNN网络模型组成；CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。该模型可以提高卷积神经网络模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。

权利要求

1.孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，具体按照以下步骤实施：步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号段，再使用0‑38hz的带通滤波器对其进行滤波；

步骤二、对滤波后的脑电数据的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；

步骤三、对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电信号通道构造孪生脑电信号，并将左右手运动想象对应的标签互换；

p c p c

步骤四、利用Adam优化方法基于损失函数L(O，O，Y，Y)训练CSCNN模型；

步骤五、预测阶段

首先，基于步骤四中已训练CSCNN模型构建TCSCNN模型；其次，基于测试集脑电信号构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(1)的模型输出预测概率决定预测类别，其中公式(1)表达式如下；

式(1)中，Pl，Pr分别表示左/右手运动想象的最终预测概率； 分别表示TCSCNN模型第一部分中左/右手运动想象预测概率； 分别表示TCSCNN模型第二部分中左/右手运动想象预测概率；

其中，TCSCNN模型由第一部分：已训练的CSCNN网络模型及第二部分：复制第一部分的已训练CSCNN网络模型组成；

所述CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。

2.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，步骤一中，重采样时长范围为2秒到5秒。

3.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，步骤二中，标准化脑电信号的具体过程如下：首先，计算指数移动均值mt：

mt＝f·mean(xt)+(1‑f)·mt‑1       (2)式(2)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子，mean(xt)是脑电信号xt在多通道上求平均；

再计算指数移动方差vt：

2

vt＝f·(mt‑xt) +(1‑f)·vt‑1     (3)最后，求指数加权移动平均标准化后的脑电信号x′t：‑6

式(4)中， 为最大值函数，取两个参数最大值，ε＝10 。

4.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征p c p c在于，CSCNN网络模型训练阶段的损失函数L(O，O，Y，Y)如式(5)所示：p c p c p p c c c

L(O，O，Y，Y)＝CE(O，Y)+W·CE(O，Y)    (5)p c p c

式(1)中，O ，O分别为运动想象分类层与主体分类层的柔性最大网络输出；Y ，Y分别是c运动想象任务类别标签和主体类别标签的one‑hot编码；W 是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(6)所示:式(6)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。

说明书

孪生级联柔性最大网络的多主体运动想象识别模型及方法

技术领域

[0001] 本发明属于脑机接口技术领域，具体涉及一种孪生级联柔性最大网络的多主体运动想象识别模型，还涉及一种孪生级联柔性最大网络的多主体运动想象识别方法。

背景技术

[0002] 脑机接口(BCI)是一种测量中枢神经系统活动并将其转换为指令信号输出的系统。这种输出可以替代、恢复、增强、补充或改善中枢神经系统的自然输出。脑电信号(EEG)是一种简单、灵活、无创的大脑监测方法，且对实验环境要求低。基于脑电信号的运动想象(MI)识别是BCI中一个重要且广泛应用的分支。运动想象BCI要求主体在执行特定运动想象任务时采集脑电信号，根据脑电信号对运动想象内容进行识别，然后将识别结果转换为控制外围设备的命令。如何从低信噪比、低空间分辨率的脑电信号中提取有效特征是运动想象识别系统成功的关键。

[0003] 目前，现有技术主要关注在单主体(主体依赖)系统上，针对特定主体建立模型。然而，单主体BCI系统需要对每个特定主体进行特征提取、参数选择和模型训练。因此，单主体BCI仅适用于目标主体。由于主体间的泛化能力较弱，应用于其他主体会产生不可接受的结果。此外，脑电信号样本量小，极大地限制了单主体BCI的性能。

发明内容

[0004] 本发明的目的是提供一种孪生级联柔性最大网络的多主体运动想象识别模型，可以提高CNN模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。

[0005] 本发明的另一个目的是提供一种孪生级联柔性最大网络的多主体运动想象识别方法。

[0006] 本发明所采用的技术方案是，孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型及第二部分：复制第一部分的已训练CSCNN网络模型组成；

[0007] CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。

[0008] 本发明的特征还在于，

[0009] CSCNN网络模型训练阶段的损失函数L(Op,Oc,Yp,Yc)如式(1)所示：

[0010] L(Op,Oc,Yp,Yc)＝CE(Op,Yp)+Wc·CE(Oc，Yc)   (1)

[0011] 式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)p c c的柔性最大网络输出；Y ，Y分别是父类和子类类别标签的one‑hot编码；W是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(2)所示:

[0012]

[0013] 式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。

[0014] 本发明所采用的另一个技术方案是，孪生级联柔性最大网络的多主体运动想象识别方法，具体按照以下步骤实施：

[0015] 步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号段，再使用0‑38hz的带通滤波器对其进行滤波；

[0016] 步骤二、对滤波后的脑电数据的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；

[0017] 步骤三、对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电信号通道构造孪生脑电信号，并将左右手运动想象对应的标签互换；

[0018] 步骤四、利用Adam优化方法基于损失函数L(Op，Oc，Yp，Yc)训练上述CSCNN模型；

[0019] 步骤五、预测阶段

[0020] 首先，基于步骤四中已训练CSCNN模型依据图2构建上述TCSCNN模型；其次，基于测试集脑电信号构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(3)的模型输出预测概率决定预测类别，其中公式(3)表达式如下；

[0021]

[0022] 式(3)中，Pl，Pr分别表示左/右手运动想象的最终预测概率； 分别表示TCSCNN模型第一部分中左/右手运动想象预测概率； 分别表示TCSCNN模型第二部分中左/右手运动想象预测概率。

[0023] 本发明的特征还在于，

[0024] 步骤一中，重采样时长范围为2秒到5秒。

[0025] 步骤二中，标准化脑电信号的具体过程如下：

[0026] 首先，计算指数移动均值mt：

[0027] mt＝f·mean(xt)+(1‑f)·mt‑1   (4)

[0028] 式(4)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子(本专利中使用经验值0.001)，mean(xt)是脑电信号xt在多通道上求平均；

[0029] 再计算指数移动方差vt：

[0030] vt＝f·(mt‑xt)2+(1‑f)·vt‑1   (5)

[0031] 最后，求指数加权移动平均标准化后的脑电信号x′t：

[0032]

[0033] 式(6)中， 为最大值函数，取两个参数最大值，ε＝10‑6。

[0034] 本发明的有益效果是：本发明孪生级联柔性最大网络的多主体运动想象识别模型，可以提高CNN模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。

附图说明

[0035] 图1是本发明中级联柔性最大结构改造方法示意图；

[0036] 图2是本发明孪生级联柔性最大网络的多主体运动想象识别模型TCSCNN示意图；

[0037] 图3是本发明方法中构造孪生脑电信号的示意图。

具体实施方式

[0038] 下面结合附图和具体实施方式对本发明进行详细说明。

[0039] 本发明提供一种孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型(Cascaded Softmax CNN,CSCNN，级联柔性最大卷积神经网络模型)及第二部分：复制第一部分的已训练CSCNN网络模型组成；

[0040] CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层(主体分类层由一个全连接层与softmax函数组成，输出节点个数为主体类别个数)；主体分类层输出结果输入运动想象分类层(运动想象分类层由一个全连接层与softmax函数组成，输出节点个数为运动想象类别个数)，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。

[0041] CSCNN网络模型训练阶段的损失函数中考虑了两个柔性最大函数的输出，因此其p c p c损失函数L(O，O，Y，Y)如式(1)所示：

[0042] L(Op，Oc，Yp，Yc)＝CE(Op，Yp)+Wc·CE(Oc，Yc)   (1)

[0043] 式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)p c c的柔性最大网络输出；Y ，Y分别是父类和子类类别标签的one‑hot编码；W是子类损失函数的权重(在实验中使用经验值0.1，0.2，0.5或者1，参数变化对模型最终性能影响较小)；CE(O,Y)是交叉熵函数，如式(2)所示:

[0044]

[0045] 式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。

[0046] 孪生级联柔性最大网络模型可以将单主体运动想象脑电识别模型改造成为多主体脑电识别模型，可以基于不同单主体模型构建。

[0047] (1)级联柔性最大网络结构

[0048] 级联柔性最大网络结构由两层柔性最大(Softmax)分类层组成，第一层用于对主体进行分类(子类)，第二层用于对运动想象内容进行分类(父类)。由于个体差异是导致运动想象模型个体间泛化能力低，单主体模型应用于其他主体识别效果差的主要原因，所以对主体的正确分类使多主体脑电识别问题变成单主体脑电识别问题，可以有效降低多主体脑电信号识别难度。传统运动想象脑电识别模型直接对运动想象内容进行分类，而级联柔性最大网络结构在运动想象内容分类层前加入主体分类层，进而增强模型主体间泛化能力，提高多主体运动想象脑电信号识别精度。

[0049] 具体的，以脑电识别CNN模型为例，对单主体CNN模型进行改造，在其基础上构造级联柔性最大网络结构。单主体CNN模型中位于柔性最大分类层(包含全连接网络与Softmax函数的网络模型最后一层)前的特征提取层保留(可以包含卷积层，池化层，激活函数处理，Drop out层，批归一化层等)，用级联柔性最大网络结构替换模型中原单层柔性最大分类层，替换后的模型称为级联柔性最大卷积神经网络模型(Cascaded Softmax CNN,CSCNN)。级联柔性最大结构包含了两个级联的柔性最大分类层，分别为主体分类层和运动想象内容分类层，每个柔性最大分类层又由一个全连接层和softmax函数组成。级联柔性最大结构可以将主体分类层识别结果输入运动想象分类层，以帮助提高运动想象内容的识别准确率。
该结构的具体改造方法如图1所示。

[0050] (a)运动想象任务被视为父类，在运动想象分类层实现，不同主体的运动想象被视为子类，在主体分类层实现。例如，对于包含三个主体的左、右手运动想象数据集，父类和子类的划分由表1给出。同一运动想象内容的脑电数据属于同一父类，而不同主体的脑电数据属于不同子类。

[0051] 表1 子类与父类的划分

[0052]

[0053] (2)孪生级联柔性最大卷积神经网络模型

[0054] 基于CSCNN构建孪生级联柔性最大卷积神经网络模型(Twin Cascaded Softmax CNN,TCSCNN)，如图2所示。具体的，将CSCNN复制，将TCSCNN第一部分(已训练CSCNN网络)和第二部分(复制生成的已训练CSCNN网络)中父类的输出概率，交换并求平均，其结果为最终预测概率，如公式3所示：

[0055]

[0056] 式(3)中，Pl，Pr分别表示左/右手运动想象两类最终预测概率； 分别表示TCSCNN模型第一部分中左/右手运动想象预测概率； 分别表示TCSCNN模型第二部分中左/右手运动想象预测概率；

[0057] 由于CSCNN模型输出被视为每个运动想象类的概率，所以这个平均操作就是一个概率集成过程，而集成概率较大的类就是最终的预测标签。

[0058] 本发明还提供孪生级联柔性最大网络的多主体运动想象识别方法，具体按照以下步骤实施：

[0059] 步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号端，重采样时长范围为2秒到5秒；再使用0‑38hz的带通滤波器对其进行滤波；

[0060] 步骤二、对滤波后的脑电数据(训练数据与测试数据采用同样的预处理方法)的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；

[0061] 步骤二中，标准化脑电信号的具体过程如下：

[0062] 首先，计算指数移动均值mt：

[0063] mt＝f·mean(xt)+(1‑f)·mt‑1   (4)

[0064] 式(4)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子(本专利中使用经验值0.001)，mean(xt)是脑电信号xt在多通道上求平均；

[0065] 再计算指数移动方差vt：

[0066] vt＝f·(mt‑xt)2+(1‑f)·vt‑1   (5)

[0067] 最后，求指数加权移动平均标准化后的脑电信号x′t：

[0068]‑6

[0069] 式(6)中， 为最大值函数，取两个参数最大值，ε＝10 。

[0070] 步骤三、通过制造孪生脑电实现数据集的扩充，用于在训练阶段提高模型训练效率，并在预测阶段实现概率集成提高预测准确率。具体的，对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电通道构造孪生脑电信号，并将左右手运动想象对应的标签互换，构造方法如图3所示。

[0071] 步骤四、基于训练集脑电信号构造孪生脑电信号扩充训练集，并利用由原始脑电p c p信号与孪生脑电信号组成的扩充训练集训练；利用Adam优化方法基于损失函数L(O ，O ，Y ，c
Y)(代价函数)训练CSCNN模型；

[0072] 步骤四中，CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层(主体分类层由一个全连接层与softmax函数组成，输出节点个数为主体类别个数)；主体分类层输出结果输入运动想象分类层(运动想象分类层由一个全连接层与softmax函数组成，输出节点个数为运动想象类别个数)，而且提取的特征也通过跨层连接输入运动想象分类层，整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成；

[0073] 步骤四中，损失函数L(Op，Oc，Yp，Yc)如式(1)所示：

[0074] L(Op，Oc，Yp，Yc)＝CE(Op，Yp)+Wc·CE(Oc，Yc)   (1)

[0075] 式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)p c c的柔性最大网络输出；Y ，Y分别是父类和子类类别标签的one‑hot编码；W是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(2)所示：

[0076]

[0077] 式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。

[0078] 步骤五、预测阶段

[0079] 首先，基于步骤四中已训练CSCNN模型依据图2构建上述的TCSCNN模型；其次，基于测试集脑电信号(测试集中数据用于对模型效果进行验证，测试时仅有数据没有标签，最后对比预测标签与实际标签，计算准确率)构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(3)的模型输出预测概论决定预测类别，其中公式(3)表达式如下；

[0080]

[0081] 式(3)中，Pl，Pr分别表示左/右手运动想象两类最终预测概率； 分别表示TCSCNN模型第一部分中左/右手运动想象预测概率； 分别表示TCSCNN模型第二部分中左/右手运动想象预测概率。

[0082] 本发明提出的TCSCNN模型可以基于任何单主体运动想象脑电信号分类CNN模型构建。为了验证发明的有效性和通用性，分别在实验验证中使用了三种成功应用于单主体运动想象分类的CNN模型构建TCSCNN模型，分别是EEGNet(表2)，Shallow ConvNet(表3)和Deep ConvNet(表4)。EEGNet模型由三个带有批归一化和、最大池化和Dropout的卷积层组成。由FBCSP启发的Shallow ConvNet有2个卷积层和1个全连接层。采用平方函数作为Shallow ConvNet的激活函数。Deep ConvNet是一个更深层次的CNN，有5个卷积层和1个全连接层，使用ELU激活函数。Shallow ConvNet和Deep ConvNet模型均应用了MaxPooling、Drop out和批标准化。具体网络结构见表2，表3和表4。

[0083] 表2 基于EEGNet的TCSCNN网络结构

[0084]

[0085] 表3 基于Shallow ConvNet的TCSCNN网络结构

[0086]

[0087] 表4 基于Deep ConvNet的TCSCNN网络结构

[0088]

[0089] 验证数据集介绍：

[0090] 第四届国际脑机接口大赛数据集2a涉及四类基于脑电信号的运动想象识别任务。该数据集包含来自9个主体的运动想象脑电信号。对于每个主体，训练阶段和测试阶段的数据采集自不同的日期，各记录了288条脑电信号(每个类别72条脑电信号)。根据屏幕显示的提示，主体执行四种不同类型的运动想象任务(左手、右手、舌头和脚)，采集22个通道的脑电信号。脑电信号的采样率为250hz，放大器的分辨率为100μV，即放大器测量的最小间隔。
在每次试验中，屏幕会在2秒出现提示，运动想象任务的执行时间从3秒至6秒。0.5‑100Hz带通滤波器和50Hz陷波滤波器对采集的脑电信号进行预处理。

[0091] 第四届国际脑机接口大赛数据集2b包含来自9个主体的两类运动想象任务(左手和右手)的脑电信号。对于每个主体，脑电信号采集自不同日期的5个阶段，其中前3个阶段用作训练集，后2阶段用作测试集。前2个阶段会在屏幕上显示提示，采集脑电信号而没有反馈，而后3个阶段基于笑脸反馈采集脑电信号。每次试验的次数为120至160次。每个阶段从三个通道(通道C3，通道Cz和通道C4)采集120到160条脑电信号，采样频率为250Hz。采用0.5‑100Hz带通滤波器和50Hz陷波滤波器对采集的脑电信号进行预处理。

[0092] 实验结果

[0093] 为了验证TCSCNN结构是否可以改善不同CNN模型的多主体运动想象脑电分类准确率，对比TCSCNN与原始CNN模型任务，结果在表5中给出。训练通常收敛于200次迭代内，训练的迭代次数设置为500，以确保模型的收敛。因为测试精度受到随机性的极大影响，为了反映模型的整体性能，用以下指标评估实验结果：(1)500次迭代中最高的测试准确率，(2)201到300次迭代的平均测试准确率，以及(3)201到500次迭代的平均测试准确率。第一栏表示原始CNN模型名称，数据集，以“模型‑数据集”的形式编码。例如，“EEGNet‑2a”表示TCSCNN是基于EEGNet模型构建，在第四届国际脑机接口大赛数据集2a上测试的实验结果。子类权重Wc分别设置为1、0.5、0.2和0.1，实验结果由这4次实验的平均准确率评价。每个数据集的最高准确率以粗体标记。

[0094] 表5 基于本发明改进的CNN模型与原始CNN模型在多主体运动想象识别任务中的性能比较

[0095]

[0096] 从实例结果来看：(1)与原始CNN模型相比，本发明对多主体运动想象识别的精度平均提高了1.91％、3.42％和3.34％；(2)基于本发明改进的ShallowConvNet在多主体运动想象识别任务中表现最好，但基于本发明改进的DeepConvNet在数据集2b上表现最好；(3)本发明的性能改进具有通用性，不依赖于原始CNN模型和数据集。