一种神经网络的运动想象脑电信号分类方法转让专利

申请号 : CN202311533871.5

文献号 : CN117251807B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李婷李国瑞蒲江波徐圣普

申请人 : 中国医学科学院生物医学工程研究所

摘要 :

本发明提供了一种神经网络的运动想象脑电信号分类方法,包括以下步骤:S1、采集多个信道的脑电信号;S2、选择基准通道;S3、使用标准化互信息构建包含N阶近邻连接关系的邻接矩阵A;S4、使用S3得到的邻接矩阵A训练神经网络模型生成运动想象脑电信号识别模型;S5、采集患者多个信道的实时运动想象脑电信号;S6、识别出运动想象脑电信号。本发明有益效果:通过使用运动想象过程中的脑功能连接网络的特征进行连接通道选择,具有神经生理学意义,同时使用的通道连接数量少,可以有效减少网络模型训练中的计算量,在GCN网络训练过程中引入了自适应矩阵,可以对调节邻接矩阵进行训练,将无向图转为有权有向图,可以有效调整通道间的影响关系。

权利要求 :

1.一种神经网络的运动想象脑电信号分类方法,其特征在于,包括以下步骤:S1、采集多个信道的脑电信号;

S2、通过脑连接网络的互信息特征和网络中心性选择运动想象过程中重要的脑电通道作为基准通道;

S3、使用标准化互信息构建包含N阶近邻连接关系的邻接矩阵A;

S4、使用S3得到的邻接矩阵A训练神经网络模型生成运动想象脑电信号识别模型;

S5、采集患者多个信道的实时运动想象脑电信号;

S6、将采集到的实时运动想象脑电信号输入至运动想象脑电信号识别模型,识别出运动想象脑电信号;

所述S3包括以下步骤:

S31、初始化邻接矩阵A,记录各通道之间的连接关系;

S32、统计基准通道在各试次标准化互信息网络中的1阶近邻通道;

S33、将选定1阶近邻通道在各试次网络中的互信息值置0;

S34、使用S32至S33的方法选择1阶近邻通道的1阶近邻通道作为基准通道的2阶近邻通道,并在邻接矩阵A上增加对应的连接;

S35、重复S34直到构建出N阶近邻关系,得到记录了各通道之间N阶近邻连接关系的邻接矩阵A;

所述S32包括以下步骤:

S321、选择与基准通道互信息值最大的k个通道,作为候选1阶近邻通道;

S322、统计所有试次的候选1阶近邻通道中每个通道出现的次数;

S323、根据S322的统计结果,从所有候选1阶近邻通道中,选择每个基准通道出现次数最多的k个通道作为该基准通道的真实1阶近邻通道;

S324、将邻接矩阵A中对应连接值置1,即基准通道与1阶近邻通道连接;

所述S4包括以下步骤:

S41、将S1得到的训练集数据和S35得到的邻接矩阵A输入至神经网络模型;

S42、通过计算将S35得到的邻接矩阵A转化为拉普拉斯标准化矩阵;

S43、对S1得到的训练集数据进行2d卷积、标准化、激活以及dropout处理;

S44、对S43中经过处理训练集数据进行图卷积计算;

S45、对S44中经过图卷积计算训练集数据进行2d卷积、标准化、激活以及dropout处理;

S46、对S45得到的数据利用全连接层缩放,并使用softmax激活函数给出不同试次运动想象动作数据的属于哪一类别的概率;

S47、将S43、S44、S45、S46的网络模块叠加,组成GCN神经网络;

S48、神经网络模型训练,使用CrossEntropy作为损失函数,训练过程使用自适应时间估计方法来用于执行梯度下降,数据传递过程为一次训练迭代,经过多次迭代得到运动想象脑电信号识别模型;

S49、将在S46中获得的运动想象动作预测结果与训练集数据真实标签进行对比,计算运动想象脑电信号识别模型的准确率,选择准确率最高的运动想象脑电信号识别模型作为最终的运动想象脑电信号识别模型;

S410、将S1中得到的测试集数据输入至S49得到的最终的运动想象脑电信号识别模型,对比输出结果与测试集数据标签,判断最终的运动想象脑电信号识别模型的准确度。

2.根据权利要求1所述的一种神经网络的运动想象脑电信号分类方法,其特征在于,所述S1包括以下步骤:S11、使用脑电采集设备采集64导联的多类运动想象脑电信号;

S12、将采集运动想象脑电信号进行8‑30Hz滤波处理;

S13、将步骤S12中得到的数据进行250Hz降采样处理;

S14、以试验前200ms的脑电信号均值作为基线,将S13获得的每个电极脑电信号减去每个电极的基线,得到基线矫正后的脑电信号;

S15、将步骤S14中得到数据进行按照时间行进数据分段处理;

S16、将S14得到的数据按照7:1的比例分为训练集数据和测试集数据。

3.根据权利要求1所述的一种神经网络的运动想象脑电信号分类方法,其特征在于:所述S1中脑电信号采集系统采样率为1000Hz。

4.根据权利要求1所述的一种神经网络的运动想象脑电信号分类方法,其特征在于:所述S2包括以下步骤:S21、将每个EEG导联对应的电极覆盖区域定义为一个节点;

S22、计算运动想象期间脑电信号的熵值;

利用两个信号的熵值可以计算两个导联信号间的互信息;

将两个导联信号间的互信息进行标准化;

S23、计算每个试次中两个信道间的标准化互信息,得到运动想象脑电信号标准化互信息网络;

S24、计算脑电信号标准化互信息网络的所有节点的中介中心性;

S25、统计所有试次中中介中心性值大于0的通道,并对通道进行降序排列生成通道重要性排序;

S26、选通道重要性排序中前Ns个通道作为重要的脑电通道,将重要的脑电通道作为基准通道。

5.一种电子设备,包括处理器以及与处理器通信连接,且用于存储所述处理器可执行指令的存储器,其特征在于:所述处理器用于执行上述权利要求1‑4任一所述的神经网络的运动想象脑电信号分类方法。

6.一种服务器,其特征在于:包括至少一个处理器,以及与所述处理器通信连接的存储器,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,以使所述至少一个处理器执行如权利要求1‑4任一所述的神经网络的运动想象脑电信号分类方法。

7.一种计算机可读取存储介质,存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1‑4任一项所述的神经网络的运动想象脑电信号分类方法。

说明书 :

一种神经网络的运动想象脑电信号分类方法

技术领域

[0001] 本发明属于脑电信号技术领域,尤其是涉及一种神经网络的运动想象脑电信号分类方法。

背景技术

[0002] 运动想象技术是通过研究事件相关去同步化和事件相关同步化现象而发展起来的,这项技术的核心是研究大脑在想象运动而不是实际运动时的电位活动,运动想象脑电信号可以反映大脑在想象运动时的活动情况,不同的运动想象任务会引发不同的大脑皮层区域的响应,运动想象脑电信号分类后,计算机可以产生用于脑机接口系统的控制信号。
[0003] 运动想象技术已经被广泛应用于康复治疗等医疗领域,通过运动想象脑机接口系统,可以将运动想象信号转化为控制信号,从而实现对外部设备的控制,例如,用于康复治疗中的肢体运动恢复,通过训练患者在想象运动时产生运动想象信号,然后将信号转化为肢体运动控制信号,从而帮助患者恢复肢体运动能力,运动想象技术还可以应用于疼痛管理等领域,通过想象疼痛减轻疼痛感觉。
[0004] 脑连接网络是指大脑中不同区域之间的连接关系,可以用图论和网络科学的方法进行分析和研究,脑连接网络的构建和分析通常基于脑成像技术,例如功能磁共振成像(fMRI)、脑电图(EEG)和脑磁图(MEG)等,通过对脑连接网络的分析,可以深入了解大脑的结构和功能,并探索不同疾病和认知状态下脑连接网络的变化和影响。
[0005] 随着MI技术的不断发展和完善,其在医疗领域的应用前景将更加广阔。但是目前在线识别患者的运动想象任务以及多类运动想象脑电信号的识别和分类已经成为康复机器人设计中亟待解决的问题,需要进一步研究和方法上的拓展。

发明内容

[0006] 有鉴于此,本发明旨在提出一种神经网络的运动想象脑电信号分类方法,以期解决上述部分技术问题中的至少之一。
[0007] 为达到上述目的,本发明的技术方案是这样实现的:
[0008] 本发明第一方面提供了一种神经网络的运动想象脑电信号分类方法,包括以下步骤:
[0009] S1、采集多个信道的脑电信号;
[0010] S2、通过脑连接网络的互信息特征和网络中心性选择运动想象过程中重要的脑电通道作为基准通道;
[0011] S3、使用标准化互信息构建包含N阶近邻连接关系的邻接矩阵A;
[0012] S4、使用S3得到的邻接矩阵A训练神经网络模型生成运动想象脑电信号识别模型;
[0013] S5、采集患者多个信道的实时运动想象脑电信号;
[0014] S6、将采集到的实时运动想象脑电信号输入至运动想象脑电信号识别模型,识别出运动想象脑电信号。
[0015] 进一步的,所述S3包括以下步骤:
[0016] S31、初始化邻接矩阵A,记录各通道之间的连接关系;
[0017] S32、统计基准通道在各试次标准化互信息网络中的1阶近邻通道;
[0018] S33、将选定1阶近邻通道在各试次网络中的互信息值置0;
[0019] S34、使用S32至S33的方法选择1阶近邻通道的1阶近邻通道作为基准通道的2阶近邻通道,并在邻接矩阵A上增加对应的连接;
[0020] S35、重复S34直到构建出N阶近邻关系,得到记录了各通道之间N阶近邻连接关系的邻接矩阵A。
[0021] 进一步的,所述S32包括以下步骤:
[0022] S321、选择与基准通道互信息值最大的k个通道,作为候选1阶近邻通道;
[0023] S322、统计所有试次的候选1阶近邻通道中,每个通道出现的次数;
[0024] S323、根据S322的统计结果,从所有候选1阶近邻通道中,选择每个基准通道出现次数最多的k个通道作为该基准通道的真实1阶近邻通道;
[0025] S324、将邻接矩阵A中对应连接值置1,即基准通道与1阶近邻通道连接。
[0026] 进一步的,所述S1包括以下步骤:
[0027] S11、使用脑电采集设备采集64导联的多类运动想象脑电信号;
[0028] S12、将采集运动想象脑电信号进行8‑30Hz滤波处理;
[0029] S13、将步骤S12中得到的数据进行250Hz降采样处理;
[0030] S14、以试验前200ms的脑电信号均值作为基线,将S13获得的每个电极脑电信号减去每个电极的基线,得到基线矫正后的脑电信号;
[0031] S15、将步骤S14中得到数据进行按照时间行进数据分段处理;
[0032] S16、将S14得到的数据按照7:1的比例分为训练集数据和测试集数据。
[0033] 进一步的,所述S4包括以下步骤:
[0034] S41、将S1得到的训练集数据和S35得到的邻接矩阵A输入至神经网络模型;
[0035] S42、通过计算将S35得到的邻接矩阵A转化为拉普拉斯标准化矩阵;
[0036] S43、对S1得到的训练集数据进行2d卷积、标准化、激活以及dropout处理;
[0037] S44、对S43中经过处理训练集数据进行图卷积计算;
[0038] S45、对S44中经过图卷积计算训练集数据进行2d卷积、标准化、激活以及dropout处理;
[0039] S46、对S45得到的数据利用全连接层缩放,并使用softmax激活函数给出不同试次运动想象动作数据的属于哪一类别的概率;
[0040] S47、将S43、S44、S45、S46的网络模块叠加,组成GCN神经网络;
[0041] S48、神经网络模型训练,使用CrossEntropy作为损失函数,训练过程使用自适应时间估计方法来用于执行梯度下降,数据传递过程为一次训练迭代,经过多次迭代得到运动想象脑电信号识别模型;
[0042] S49、将在S46中获得的运动想象动作预测结果与训练集数据真实标签进行对比,计算运动想象脑电信号识别模型的准确率,选择准确率最高的运动想象脑电信号识别模型作为最终的运动想象脑电信号识别模型;
[0043] S410、将S1中得到的测试集数据输入至S49得到的最终的运动想象脑电信号识别模型,对比输出结果与测试集数据标签,判断最终的运动想象脑电信号识别模型的准确度。
[0044] 进一步的,所述S1中脑电信号采集系统采样率为1000Hz。
[0045] 进一步的,所述S2包括以下步骤:
[0046] S21、将每个EEG导联对应的电极覆盖区域定义为一个节点;
[0047] S22、计算运动想象期间脑电信号的熵值;
[0048] 利用两个信号的熵值可以计算两个导联信号间的互信息;
[0049] 将两个导联信号间的互信息进行标准化;
[0050] S23、计算每个试次中两个信道间的标准化互信息,得到运动想象脑电信号标准化互信息网络;
[0051] S24、计算脑电信号标准化互信息网络的所有节点的中介中心性;
[0052] S25、统计所有试次中中介中心性值大于0的通道,并对通道进行降序排列生成通道重要性排序;
[0053] S26、选通道重要性排序中前 个通道作为重要的脑电通道,将重要的脑电通道作为基准通道。
[0054] 本发明第二方面提供了一种电子设备,包括处理器以及与处理器通信连接,且用于存储所述处理器可执行指令的存储器,所述处理器用于执行上述第一方面所述的神经网络的运动想象脑电信号分类方法。
[0055] 本发明第三方面提供了一种服务器,包括至少一个处理器,以及与所述处理器通信连接的存储器,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,以使所述至少一个处理器执行如第一方面所述的神经网络的运动想象脑电信号分类方法。
[0056] 本发明第四方面提供了一种计算机可读取存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的神经网络的运动想象脑电信号分类方法。
[0057] 相对于现有技术,本发明所述的一种神经网络的运动想象脑电信号分类方法具有以下有益效果:
[0058] 本发明所述的一种神经网络的运动想象脑电信号分类方法,通过使用运动想象过程中的脑功能连接网络的特征进行连接通道选择,具有神经生理学意义,同时使用的通道连接数量少,可以有效减少网络模型训练中的计算量,在GCN网络训练过程中引入了自适应矩阵,可以对调节邻接矩阵进行训练,将无向图转为有权有向图,可以有效调整通道间的影响关系。

附图说明

[0059] 构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0060] 图1为本发明实施例所述的分类方法流程示意图。

具体实施方式

[0061] 需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
[0062] 下面将参考附图并结合实施例来详细说明本发明。
[0063] 实施例一:
[0064] 如图1所示,一种神经网络的运动想象脑电信号分类方法,包括以下步骤:
[0065] S1、采集多个信道的脑电信号;
[0066] S2、通过脑连接网络的互信息特征和网络中心性选择运动想象过程中重要的脑电通道作为基准通道;
[0067] S3、使用标准化互信息构建包含N阶近邻连接关系的邻接矩阵A;
[0068] S4、使用S3得到的邻接矩阵A训练神经网络模型生成运动想象脑电信号识别模型;
[0069] S5、采集患者多个信道的实时运动想象脑电信号;
[0070] S6、将采集到的实时运动想象脑电信号输入至运动想象脑电信号识别模型,识别出运动想象脑电信号。
[0071] S3包括以下步骤:
[0072] S31、初始化邻接矩阵A,记录各通道之间的连接关系;
[0073] S32、统计基准通道在各试次标准化互信息网络中的1阶近邻通道;
[0074] S33、将选定1阶近邻通道在各试次网络中的互信息值置0;
[0075] S34、使用S32至S33的方法选择1阶近邻通道的1阶近邻通道作为基准通道的2阶近邻通道,并在邻接矩阵A上增加对应的连接;
[0076] S35、重复S34直到构建出N阶近邻关系,得到记录了各通道之间N阶近邻连接关系的邻接矩阵A。
[0077] 进一步的,S32包括以下步骤:
[0078] S321、选择与基准通道互信息值最大的k个通道,作为候选1阶近邻通道;
[0079] S322、统计所有试次的候选1阶近邻通道中,每个通道出现的次数;
[0080] S323、根据S322的统计结果,从所有候选1阶近邻通道中,选择每个基准通道出现次数最多的k个通道作为该基准通道的真实1阶近邻通道;
[0081] S324、将邻接矩阵A中对应连接值置1,即基准通道与1阶近邻通道连接。
[0082] S1包括以下步骤:
[0083] S11、使用脑电采集设备采集64导联的多类运动想象脑电信号;
[0084] S12、将采集运动想象脑电信号进行8‑30Hz滤波处理;
[0085] S13、将步骤S12中得到的数据进行250Hz降采样处理;
[0086] S14、以试验前200ms的脑电信号均值作为基线,将S13获得的每个电极脑电信号减去每个电极的基线,得到基线矫正后的脑电信号;
[0087] S15、将步骤S14中得到数据进行按照时间行进数据分段处理;
[0088] S16、将S14得到的数据按照7:1的比例分为训练集数据和测试集数据。
[0089] 通过对训练集数据的有效特征提取和处理,为后续神经网络训练打下基础。
[0090] S4包括以下步骤:
[0091] S41、将S1得到的训练集数据和S35得到的邻接矩阵A输入至神经网络模型;
[0092] S42、通过计算将S35得到的邻接矩阵A转化为拉普拉斯标准化矩阵,计算公式如下:
[0093] ;
[0094] 其中,为邻接矩阵A与单位矩阵I的和;
[0095] S43、对S1得到的训练集数据进行2d卷积、标准化、激活以及dropout处理,公式为:
[0096] ;
[0097] 其中 为训练集数据 在卷积层1的输出;
[0098] S44、对S43中经过处理训练集数据进行图卷积计算,计算公式如下:
[0099] ;
[0100] 其中, 为数据 在图卷积层的输出,为达玛积, 均为训练参数;
[0101] S45、对S44中经过图卷积计算训练集数据进行2d卷积、标准化、激活以及dropout处理,计算公式如下:
[0102] ;
[0103] 为数据 在图卷积层的输出;
[0104] S46、对S45得到的数据利用全连接层缩放,并使用softmax激活函数给出不同试次运动想象动作数据的属于哪一类别的概率,计算公式如下:
[0105] ;
[0106] 其中, 为预测结果;
[0107] S47、将S43、S44、S45、S46的网络模块叠加,组成GCN神经网络;
[0108] S48、神经网络模型训练,使用CrossEntropy作为损失函数,训练过程使用自适应时间估计方法来用于执行梯度下降,数据传递过程为一次训练迭代,经过多次迭代得到运动想象脑电信号识别模型;
[0109] S49、将在S46中获得的运动想象动作预测结果与训练集数据真实标签进行对比,计算运动想象脑电信号识别模型的准确率,计算公式如下:
[0110] ;
[0111] 其中,acc为模型的准确率,TP为被模型预测为正类的正类样本,TN为被模型预测为负类的负类样本,FP为被模型预测为正类的负类样本,FN为被模型预测为负类的正类样本;
[0112] 选择准确率最高的运动想象脑电信号识别模型作为最终的运动想象脑电信号识别模型;
[0113] S410、将S1中得到的测试集数据输入至S49得到的最终的运动想象脑电信号识别模型,对比输出结果与测试集数据标签,判断最终的运动想象脑电信号识别模型的准确度。
[0114] S1中脑电信号采集系统采样率为1000Hz。
[0115] S2包括以下步骤:
[0116] S21、将每个EEG导联对应的电极覆盖区域定义为一个节点;
[0117] S22、计算运动想象期间脑电信号的熵值,计算公式如下:
[0118] ;
[0119] X,Y为运动想象期间两个不同导联脑电信号,p(x)为信号取值为x的概率,即信号X的边缘分布概率,H(X)为信号的熵;
[0120] 利用两个信号的熵值可以计算两个导联信号间的互信息,计算公式如下:
[0121] ;
[0122] 其中,I(X,Y)为两个导联信号间的互信息,H(X,Y)为信号X和Y的联合熵;
[0123] 将两个导联信号间的互信息进行标准化,计算公式如下:
[0124] ;
[0125] S23、计算每个试次中两个信道间的标准化互信息,得到运动想象脑电信号标准化互信息网络;
[0126] S24、计算脑电信号标准化互信息网络的所有节点的中介中心性;
[0127] S24中计算中介中心性的公式如下:
[0128] ;
[0129] s,t,i代表网络中的节点, 代表从节点s到节点t的所有最短路径的数量, 代表从节点s到节点t的所有最短路径中通过节点i的路径数量,BCi表示节点i在网络中作为桥梁的程度,BCi值越大表示节点i在网络中的重要性越高;
[0130] S25、统计所有试次中中介中心性值大于0的通道,并对通道进行降序排列生成通道重要性排序;
[0131] S26、选通道重要性排序中前 个通道作为重要的脑电通道,将重要的脑电通道作为基准通道。
[0132] 本发明的有益效果:
[0133] 第一,通过使用运动想象过程中的脑功能连接网络的特征进行连接通道选择,具有神经生理学意义,同时使用的通道连接数量少,可以有效减少网络模型训练中的计算量;
[0134] 第二,在GCN网络训练过程中引入了自适应矩阵,可以对调节邻接矩阵进行训练,将无向图转为有权有向图,可以有效调整通道间的影响关系。
[0135] 第三,引入可训练参数θ,可以自适应的对于数据进行时空寻优,得到更佳的分类性能。
[0136] 本发明在运动想象动作分类方面具有较好的性能,考虑到通道和频段在不同的EEG识别任务中都会起到很大的作用,本发明提出的模型在不同的数据集、不同的EEG分类任务取得更好的效果,以期在实际的脑机交互中有着广泛的应用前景。
[0137] 实施例二:
[0138] 一种电子设备,包括处理器以及与处理器通信连接,且用于存储处理器可执行指令的存储器,处理器用于执行上述实施例一的神经网络的运动想象脑电信号分类方法。
[0139] 实施例三:
[0140] 一种服务器,包括至少一个处理器,以及与处理器通信连接的存储器,存储器存储有可被至少一个处理器执行的指令,指令被处理器执行,以使至少一个处理器执行如实施例一的神经网络的运动想象脑电信号分类方法。
[0141] 实施例四:
[0142] 一种计算机可读取存储介质,存储有计算机程序,计算机程序被处理器执行时实现实施例一的神经网络的运动想象脑电信号分类方法。
[0143] 本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0144] 在本申请所提供的几个实施例中,应该理解到,所揭露的方法和系统,可以通过其它的方式实现。例如,以上所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。上述单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0145] 最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
[0146] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。