基于新型迁移学习模型的脑-肌电智能全肢体康复方法

摘要

一种基于新型迁移学习模型的脑‑肌电智能全肢体康复方法：通过将已有被试者的脑‑肌电信号数据作为源域样本来提升对新被试者的脑‑肌电信号数据的分类准确率。通过将脑‑肌电信号数据计算出的协方差矩阵映射到其流形的切空间，并在该空间中通过构建迁移学习模型进行源域和目标域的数据迁移。同时在实际应用中，可以通过脑‑肌电智能全肢体康复设备采集被试者的脑电数据输入训练完毕的迁移学习模型，当识别出脑电类别所对应的被试者运动意图后，通过脑‑肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，实现自主康复训练。本发明有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题。

权利要求

1.一种基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，包括如下步骤：

1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑‑肌电信号数据作为迁移学习模型的源域样本，新被试者的脑‑肌电信号数据作为迁移学习模型的目标域样本；

2)根据目标域样本和源域样本构建脑‑肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；

3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；

4)构建用于对脑‑肌电信号进行特征提取和分类的迁移学习模型，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络作为迁移学习模型的分类器和构建迁移学习模型的域判别器；其中，所述的：(1)构建卷积块，构建一个4层的卷积块，其中：第一层为1×N卷积层，卷积核大小为1×N，步长为1，卷积通道为M；

第二层为N×1卷积层，卷积核大小为N×1，步长为s，卷积通道为M；

第三层为ReLU激活函数,使经过激活后的输出为非负值，ReLU激活函数为：r(f)＝max(0,f)

其中，f为输入的特征图；

第四层为批量归一化层，用于对上一层网络的输出进行归一化，使上一层网络输出的数据分布接近正态分布，能够提高模型的泛化性能，加速模型收敛；

该卷积块包含三个参数：卷积核大小N，卷积通道M，步长s；

(2)构建卷积神经网络作为迁移学习模型的特征提取器，所述的卷积神经网络包括5层：

第一层为第一卷积块，设置卷积块中的卷积核大小N＝1,步长s＝1,卷积通道M＝16；

第二层为第二卷积块，设置卷积块中的卷积核大小N＝3,步长s＝2,卷积通道M＝64；

第三层为第三卷积块，设置卷积块中的卷积核大小N＝5,步长s＝2,卷积通道M＝128；

第四层为平整层，将输入的特征图拉成一维，形成一个一维向量；

第五层为丢弃层，能够有效减低过拟合风险，在训练网络时，暂时丢弃一部分神经元；

设定神经元被丢弃的概率为0.5，且丢弃的神经元不参与前向传播计算与参数更新；

(3)构建全连接神经网络作为迁移学习模型的分类器：经过特征提取器后，得到脑‑肌电信号的关键特征，以该特征作为全连接神经网络的输入后，经过第一全连接层和第二全连接层完成最终的决策分类，其中：第一层为第一全连接层，设置隐藏节点数为512；

第二层为第二全连接层，设置隐藏节点数为c,其中c为分类任务的类别数；

(4)构建迁移学习模型的域判别器：域判别器以特征提取器所提取的脑‑肌电特征作为输入，经过一层梯度反转层、第三全连接层和第四全连接层完成区分源域脑电特征和目标域脑电特征的分类任务；各层参数如下：

第一层为梯度反转层，在迁移学习模型前向传播过程中对输入进行恒等变换，在迁移学习模型反向传播过程中梯度方向自动取反，梯度反转层表达式如下：R(x)＝x

其中，x表示输入到梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；

第二层为第三全连接层，设置隐藏节点数为100；

第三层为第四全连接层，设置隐藏节点数为2,其中c为分类任务的类别数；

5)构建迁移学习模型的损失函数；

6)输入源域样本和目标域样本对迁移学习模型进行训练；

7)通过脑‑肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当识别出脑电类别所对应的被试者运动意图后，通过脑‑肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。

2.根据权利要求1所述的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，步骤2)包括：

(2.1)对于任一数据长度为L的N通道脑‑肌电信号数据样本Xp进行预处理，包括去除眼电信号、4～500Hz带通滤波，得到预处理后的脑‑肌电信号；

(2.2)针对每一预处理后的脑‑肌电信号，计算脑‑肌电协方差矩阵C，计算公式如下：T

其中，Xp代表脑‑肌电信号数据样本，Xp代表Xp的转置，L代表脑‑肌电信号数据样本的数据长度。

3.根据权利要求2所述的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，当对源域样本中的每一个脑‑肌电信号均计算出脑‑肌电协方差矩阵后，将所有的脑‑肌电协方差矩阵记为源域矩阵空间；当对目标域样本中的每一个脑‑肌电信号均计算出脑‑肌电协方差矩阵后，将所有的脑‑肌电协方差矩阵记为目标域矩阵空间，其中，目标域矩阵空间和源域矩阵空间属于不同的可微黎曼流形。

4.根据权利要求1所述的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，步骤3)包括：

设由矩阵空间所构成的黎曼流形空间为M，则M的切空间T中的每一个矩阵计算如下：其中，C代表黎曼流形空间的一个矩阵，代表切空间的一个矩阵；

根据上述公式，将源域矩阵空间映射到源域切空间，则源域切空间中的数据为源域数据，将目标域矩阵空间映射到目标域切空间，则目标域切空间中的数据为目标域数据。

5.根据权利要求1所述的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，步骤5)中，设迁移学习模型的损失函数为L，包含分类损失函数Lce、域判别损失函数Ld和正则化项，表达式如下：

L＝Lce‑αLd+β||Θ||1其中，α为用于平衡分类损失和域判别损失的系数，β为正则化项系数，||Θ||1为迁移学习模型参数的1‑范数，c为分类任务的类别数，yi为源域样本的真实标签，为分类器对源域脑‑肌电特征的预测标签，pi为脑‑肌电特征对应的真实域标签， 为域判别器对源域脑‑肌电特征和目标域脑‑肌电特征预测的域标签；当pi＝0时，则表示输入的脑‑肌电特征属于源域，当pi＝1时，则表示输入的脑‑肌电特征属于目标域。

6.根据权利要求1所述的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，其特征在于，步骤6)包括：

将源域样本和目标域样本输入迁移学习模型进行训练优化，并通过反向传播和步骤5)中所述的迁移学习模型的损失函数来优化迁移学习模型参数；输入源域样本进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用分类损失函数计算公式计算出分类损失；同时，输入目标域样本进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别损失函数计算公式计算出域判别损失；最后利用迁移学习模型的损失函数计算公式计算出整个模型的分类误差，并通过反向传播算法与小批量梯度下降法对迁移学习模型进行误差传播及参数更新；在该过程中，分类损失只在源域样本上进行计算；不断重复该过程对迁移学习模型的参数进行迭代更新，直至满足模型的收敛条件。

说明书

基于新型迁移学习模型的脑‑肌电智能全肢体康复方法

技术领域

[0001] 本发明涉及一种脑‑肌电智能全肢体康复方法。特别是涉及一种基于新型迁移学习模型的脑‑肌电智能全肢体康复方法。

背景技术

[0002] 脑卒中是一种由于大脑里面的血管突然发生破裂出血或因血管堵塞造成大脑缺血、缺氧而引起的急性脑血管疾病。根据世界中风组织的数据，全球平均每6秒就有1人死于
脑卒中。在我国，脑卒中现已成为第一大致残和致死疾病。在传统康复方法中，患者通常通
过人工物理疗法来逐步恢复肌肉的收缩能力，但在花费大量的时间和精力的同时，结果往
往收效甚微，且不能充分调动患者的自主运动意识。脑机接口(brain‑computer 
interface,BCI)是一种通过采集人体大脑皮层电信号，实现大脑与外部设备直接交互的新
型方式，其中，基于运动想象的脑机接口通过被试者自发性地想象肢体运动来控制外接设
备的运动，是一种被广泛用于人体交互与康复医疗的脑机接口范式。同时，使用者在康复过
程中，通过辅助设备完成肢体运动的同时，会在肢体产生肌电信号，反映肢体运动时周围肌
肉的运动状态。因此，结合脑电信号和肌电信号对使用者的运动意图的辨识是一种新型的
康复方式。而在对基于脑电信号和肌电信号的运动意图辨识问题中，由于新被试者训练数
据少，且获取有标签数据需要耗费大量的时间和精力，导致难以训练出一个识别性能满足
要求的分类模型。因此，如何通过已有的被试者脑电信号来提升新被试这脑电信号的识别
准确率已成为该领域的关注重点及研究热点。

[0003] 本发明将提出一种基于新型迁移学习模型的脑‑肌电智能全肢体康复设备，有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解
码困难问题。

发明内容

[0004] 本发明所要解决的技术问题是，提供一种有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题的基于新型迁移学习模
型的脑‑肌电智能全肢体康复方法。

[0005] 本发明所采用的技术方案是：一种基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，包括如下步骤：

[0006] 1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑‑肌电信号数据作为迁移学习模型的源域样本，新被试者的脑‑肌电信号数据作为迁移学习模型的目标域样
本；

[0007] 2)根据目标域样本和源域样本构建脑‑肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；

[0008] 3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；

[0009] 4)构建用于对脑‑肌电信号进行特征提取和分类的迁移学习模型，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络作为迁移学
习模型的分类器和构建迁移学习模型的域判别器；

[0010] 5)构建迁移学习模型的损失函数；

[0011] 6)输入源域样本和目标域样本对迁移学习模型进行训练；

[0012] 7)通过脑‑肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当识别出脑电
类别所对应的被试者运动意图后，通过脑‑肌电智能全肢体康复设备的外骨骼康复器械协
助被试者执行相应的肢体动作，完成康复训练。

[0013] 本发明的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，有望与康复医疗相结合，用于对脑卒中使用者的脑电和肌电信号进行识别，辨识使用者运动意图，并通过
脑‑肌电智能全肢体康复设备的外骨骼康复器械协助被试者完成康复训练。本发明有助于
解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码
困难问题。

附图说明

[0014] 图1是本发明中卷积块结构示意图；

[0015] 图2是本发明的迁移学习模型结构示意图；

[0016] 图3是基于本发明的新型迁移学习模型的脑‑肌电智能全肢体康复流程图。

具体实施方式

[0017] 下面结合实施例和附图对本发明的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法做出详细说明。

[0018] 本发明的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，建立新型迁移学习模型用于从脑电图和肌电图中提取具有跨域不变性和可分性的脑电特征，提升分类模
型泛化性能，解决脑电分类问题；脑‑肌电智能全肢体康复设备用于实时采集被试者的脑电
信号和肌电信号，并通过新型迁移学习模型进行运动意图辨识，同时通过脑‑肌电智能全肢
体康复设备中的外骨骼康复器械协助被试者肢体完成对应的动作。

[0019] 本发明的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，包括如下步骤：

[0020] 1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑‑肌电信号数据作为迁移学习模型的源域样本，新被试者的脑‑肌电信号数据作为迁移学习模型的目标域样
本；

[0021] 2)根据目标域样本和源域样本构建脑‑肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；包括：

[0022] (2.1)对于任一数据长度为L的N通道脑‑肌电信号数据样本Xp进行预处理，包括去除眼电信号、4～500Hz带通滤波，得到预处理后的脑‑肌电信号；

[0023] (2.2)针对每一预处理后的脑‑肌电信号，计算脑‑肌电协方差矩阵C，计算公式如下：

[0024]

[0025] 其中，Xp代表脑‑肌电信号数据样本，XpT代表Xp的转置，L代表脑‑肌电信号数据样本的数据长度。

[0026] 当对源域样本中的每一个脑‑肌电信号均计算出脑‑肌电协方差矩阵后，将所有的脑‑肌电协方差矩阵记为源域矩阵空间；当对目标域样本中的每一个脑‑肌电信号均计算出
脑‑肌电协方差矩阵后，将所有的脑‑肌电协方差矩阵记为目标域矩阵空间，其中，目标域矩
阵空间和源域矩阵空间属于不同的可微黎曼流形。

[0027] 3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；包括：

[0028] 设由矩阵空间所构成的黎曼流形空间为M，则M的切空间T中的每一个矩阵计算如下：

[0029]

[0030] 其中，C代表黎曼流形空间的一个矩阵，代表切空间的一个矩阵；

[0031] 根据上述公式，将源域矩阵空间映射到源域切空间，则源域切空间中的数据为源域数据，将目标域矩阵空间映射到目标域切空间，则目标域切空间中的数据为目标域数据。

[0032] 4)构建用于对脑‑肌电信号进行特征提取和分类的迁移学习模型，如图2所示，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络
作为迁移学习模型的分类器和构建迁移学习模型的域判别器；其中所述的：

[0033] (1)构建卷积块，如图1所示，构建一个4层的卷积块，其中：

[0034] 第一层为1×N卷积层，卷积核大小为1×N，步长为1，卷积通道为M；

[0035] 第二层为N×1卷积层，卷积核大小为N×1，步长为s，卷积通道为M；

[0036] 第三层为ReLU激活函数,使经过激活后的输出为非负值，ReLU激活函数为：

[0037] r(f)＝max(0,f)

[0038] 其中，f输入的特征图；

[0039] 第四层为批量归一化层，用于对上一层网络的输出进行归一化，使上一层网络输出的数据分布接近正态分布，能够提高模型的泛化性能，加速模型收敛；

[0040] 该卷积块包含三个参数：卷积核大小N，卷积通道M，步长s；

[0041] (2)构建卷积神经网络作为迁移学习模型的特征提取器，所述的卷积神经网络包括5层：

[0042] 第一层为第一卷积块，设置卷积块中的卷积核大小N＝1,步长s＝1,卷积通道M＝16；

[0043] 第二层为第二卷积块，设置卷积块中的卷积核大小N＝3,步长s＝2,卷积通道M＝64；

[0044] 第三层为第三卷积块，设置卷积块中的卷积核大小N＝5,步长s＝2,卷积通道M＝128；

[0045] 第四层为平整层，将输入的特征图拉成一维，形成一个一维向量；

[0046] 第五层为丢弃层，能够有效减低过拟合风险，在训练网络时，暂时丢弃一部分神经元；设定神经元被丢弃的概率为0.5，且丢弃的神经元不参与前向传播计算与参数更新；

[0047] (3)构建全连接神经网络作为迁移学习模型的分类器

[0048] 经过特征提取器后，得到脑‑肌电信号的关键特征，以该特征作为全连接神经网络的输入后，经过第一全连接层和第二全连接层完成最终的决策分类，其中：

[0049] 第一层为第一全连接层，设置隐藏节点数为512；

[0050] 第二层为第二全连接层，设置隐藏节点数为c,其中c为分类任务的类别数；

[0051] (4)构建迁移学习模型的域判别器

[0052] 为了促使特征提取器能够提取出具有域不变性的脑‑肌电特征，通过构建域判别器对特征提取器所提取的特征进行约束，缩小新被试者的脑‑肌电信号特征和已有被试者
的脑‑肌电信号特征在数据分布上的距离。域判别器以特征提取器所提取的脑‑肌电特征作
为输入，经过一层梯度反转层、第三全连接层和第四全连接层完成区分源域脑电特征和目
标域脑电特征的分类任务；各层参数如下：

[0053] 第一层为梯度反转层，在迁移学习模型前向传播过程中对输入进行恒等变换，在迁移学习模型反向传播过程中梯度方向自动取反，梯度反转层表达式如下：

[0054] R(x)＝x

[0055]

[0056]

[0057] 其中，x表示输入到梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；

[0058] 第二层为第三全连接层，设置隐藏节点数为100；

[0059] 第三层为第四全连接层，设置隐藏节点数为2,其中c为分类任务的类别数。

[0060] 5)构建迁移学习模型的损失函数；包括：

[0061] 设迁移学习模型的损失函数为L，包含分类损失函数Lce、域判别损失函数Ld和正则化项，表达式如下：

[0062] L＝Lce‑αLd+β‖Θ‖1

[0063]

[0064]

[0065] 其中，α为用于平衡分类损失和域判别损失的系数，β为正则化项系数，‖Θ‖1为迁移学习模型参数的1‑范数，c为分类任务的类别数，yi为源域样本的真实标签， 为分类器
对源域脑‑肌电特征的预测标签，pi为脑‑肌电特征对应的真实域标签， 为域判别器对源
域脑‑肌电特征和目标域脑‑肌电特征预测的域标签；当pi＝0时，则表示输入的脑‑肌电特
征属于源域，当pi＝1时，则表示输入的脑‑肌电特征属于目标域。

[0066] 6)输入源域样本和目标域样本对迁移学习模型进行训练；包括：

[0067] 将源域样本和目标域样本输入迁移学习模型进行训练优化，并通过反向传播和步骤3)中所述的迁移学习模型的损失函数来优化迁移学习模型参数；输入源域样本进入特征
提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用分
类损失函数计算公式计算出分类损失；同时，输入目标域样本进入特征提取器进行特征提
取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判
别损失函数计算公式计算出域判别损失。最后利用迁移学习模型的损失函数计算公式计算
出整个模型的分类误差，并通过反向传播算法与小批量梯度下降法对迁移学习模型进行误
差传播及参数更新；在该过程中，分类损失只在源域样本上进行计算；不断重复该过程对迁
移学习模型的参数进行迭代更新，直至满足模型的收敛条件。

[0068] 7)如图3所示，通过脑‑肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当
识别出脑电类别所对应的被试者运动意图后，通过脑‑肌电智能全肢体康复设备的外骨骼
康复器械协助被试者执行相应的肢体动作，完成康复训练。

[0069] 本发明所述的脑‑肌电智能全肢体康复设备，可采用目前已有的产品：无线脑电肌电系统eegomylab，或无线脑电肌电系统Eegosports88，或eCon无线脑电采集设备+
eConHand手功能康复设备，或四肢联动智能反馈训练系统AL450。

[0070] 本发明的基于新型迁移学习模型的脑‑肌电智能全肢体康复方法，基于脑‑肌电智能全肢体康复设备获取的被试者脑电数据，可实时辨识被试者运动意图，并通过于脑‑肌电
智能全肢体康复设备的外骨骼康复器械协助被试者完成自主式康复训练。

[0071] 以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案
类似的结构或实施例，均属本发明的保护范围。