会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 生物工程 / 脑机接口 / 一种用于恒河猴眼动决策解码的多视图学习方法和系统

一种用于恒河猴眼动决策解码的多视图学习方法和系统

阅读:939发布:2021-02-18

IPRDB可以提供一种用于恒河猴眼动决策解码的多视图学习方法和系统专利检索,专利查询,专利分析的服务。并且本发明公开了一种用于恒河猴眼动决策解码的多视图学习方法和系统,属于侵入式脑机接口中的多视图解码领域,所述方法包括:构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。本发明的方法和系统使用限制少且计算复杂度低,适合用于侵入式脑机接口中动作电位与局部场电位信号的解码以及其他各种多视图学习场景。,下面是一种用于恒河猴眼动决策解码的多视图学习方法和系统专利的具体信息内容。

1.一种用于恒河猴眼动决策解码的多视图学习方法,其特征在于,包括:

(1)构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;

所述特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;

所述增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;

所述预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;

(2)将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;

(3)将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。

2.根据权利要求1所述的一种用于恒河猴眼动决策解码的多视图学习方法,其特征在于,所述特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络、特征节点构建子网络;

所述数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;

所述伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;

所述权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;

所述特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。

3.根据权利要求2所述的一种用于恒河猴眼动决策解码的多视图学习方法,其特征在于,所述对各视图数据加入偏置,得到增强数据矩阵,具体为,对各视图数据拼接一个全1向量,得到增强数据矩阵。

4.根据权利要求2所述的一种用于恒河猴眼动决策解码的多视图学习方法,其特征在于,采用区间(0,1)内均匀分布的随机数矩阵W′r∈R(nm+1)×k的正交基矩阵,对各视图特征节点数据进行正交映射;其中,n为特征节点组数,m为每组特征节点个数,k为增强节点的数量。

5.根据权利要求4所述的一种用于恒河猴眼动决策解码的多视图学习方法,其特征在于,采用双曲正切激活函数 对正交映射后的各视图特征节点数据进行非线性激活。

6.一种用于恒河猴眼动决策解码的多视图学习系统,其特征在于,包括:眼动决策解码模型构建模块、眼动决策解码模型训练模块和眼动方向解码模块;

所述眼动决策解码模型构建模块,用于构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;所述特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;所述增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;所述预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;

所述眼动决策解码模型训练模块,用于将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;

所述眼动方向解码模块,用于将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。

7.根据权利要求6所述的一种用于恒河猴眼动决策解码的多视图学习系统,其特征在于,所述特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络、特征节点构建子网络;

所述数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;

所述伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;

所述权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;

所述特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。

8.根据权利要求7所述的一种用于恒河猴眼动决策解码的多视图学习系统,其特征在于,所述对各视图数据加入偏置,得到增强数据矩阵,具体为,对各视图数据拼接一个全1向量,得到增强数据矩阵。

9.根据权利要求6所述的一种用于恒河猴眼动决策解码的多视图学习系统,其特征在于,采用区间(0,1)内均匀分布的随机数矩阵W′r∈R(nm+1)×k的正交基矩阵,对各视图特征节点数据进行正交映射;其中,n为特征节点组数,m为每组特征节点个数,k为增强节点的数量。

10.根据权利要求9所述的一种用于恒河猴眼动决策解码的多视图学习系统,其特征在于,采用双曲正切激活函数 对正交映射后的各视图特征节点数据进行非线性激活。

说明书全文

一种用于恒河猴眼动决策解码的多视图学习方法和系统

技术领域

[0001] 本发明属于侵入式脑机接口中的多视图解码领域,更具体地,涉及一种用于恒河猴眼动决策解码的多视图学习方法和系统。

背景技术

[0002] 脑机接口是一种为大脑和外部设备提供直接交互通道的系统,侵入式脑机接口通常直接将电极阵列植入到大脑灰质中,以获取质量较高的信号进行解码。如文献[1]X.Chen and V.Stuphorn,“Sequential selection of economic good and action in medial frontal cortex of macaques during value-based decisions,”Elife,vol.4,p.e09418,2015.将侵入式脑机接口应用于恒河猴上,其训练两只母性恒河猴通过眼动选择四个特定方向的视觉提示中的一个,并根据选择的视觉提示不同,获得相应不同单位的饮水奖励,整个训练过程中,通过侧额叶皮层辅助眼区植入的1至4通道的电极测量得到低频局部场电位与高频动作电位。综合利用局部场电位与动作电位,解码出眼动决策方向,有助于理解侧额叶皮层辅助眼区在大脑基于价值的视觉决策中起到的作用,也有益于高质量脑机接口系统的研究发展。
[0003] 目前已经有一些基于局部场电位与动作电位进行解码的研究。如文献[2]H.S.Bokil,B.Pesaran,R.A.Andersen,and P.P.Mitra,“A method for detection and classification of events in neural activity,”IEEE Trans.on Biomedical Engineering,vol.53,no.8,pp.1678–1687,2006.使用两只恒河猴在记忆扫描任务中侧壁内区采集的局部场电位与动作电位,通过二维傅里叶变换提取局部场电位与动作电位的时-频谱特征,并基于对数似然进行解码分类;文献[3]A.K.Bansal,W.Truccolo,C.E.Vargas-Irwin,and J.P.Donoghue“, Decoding 3D reach and grasp from hybrid signals in motor and premotor cortices:spikes,multiunit activity,and local field potentials,”Journal ofNeurophysiology,vol.107,no.5,pp.1337–1355,2011.训练两只雄性恒河猴截取、抓住和拿着各种物体,并同时通过猴子初级运动皮层与腹侧运动前皮质植入的96通道电极阵列记录局部场电位与动作电位信号,用于解码猴子的三维运动状态,并对局部场电位与动作电位信号各选择了最多50个通道进行拼接,以综合利用二者包含的信息;文献[4]H.-L.Hsieh,Y.T.Wong,B.Pesaran,and M.M.Shanechi“,Multiscale modeling and decoding algorithms for spike-field activity,”Journal of Neural Engineering,vol.16,no.1,2019.使用一只成年恒河猴在物体抓取任务中初级运动皮层、腹侧运动前皮质与背侧运动前皮质植入的共137通道电极采集局部场电位与动作电位,通过短时傅里叶变换提取局部场电位的功率谱特征,并基于运动状态分别对局部场电位与动作电位进行建模,最终使用递归贝叶斯滤波器基于贝叶斯自适应方法综合利用两种电位进行预测与更新。
[0004] 文献[2]中的特征提取过程需要专业知识以针对问题调节参数,其方法更偏向事件检测而非分类,在偏好方向与非偏好方向的二分类任务中表现尚可,但在四方向分类任务中分类效果显著下降;文献[3]中的特征选择要求有大量通道的特征可供选择,不适合1至4通道信号的解码;文献[4]中的建模与预测需要大量的与电位变化实时同步的运动状态数据,不适合用于对决策方向的分类解码目标。

发明内容

[0005] 针对现有技术的缺陷,本发明提供了一种用于恒河猴眼动决策解码的多视图宽度学习方法和系统,其目是在恒河猴侵入式脑机接口系统中,利用侧额叶皮层辅助眼区1至4通道的局部场电位与动作电位,解码出眼动决策方向。
[0006] 为实现上述目的,本发明一方面提供了一种用于恒河猴眼动决策解码的多视图学习方法,包括:
[0007] (1)构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;
[0008] 所述特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;
[0009] 所述增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;
[0010] 所述预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;
[0011] (2)将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;
[0012] (3)将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。
[0013] 进一步地,所述特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络、特征节点构建子网络;
[0014] 所述数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;
[0015] 所述伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;
[0016] 所述权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;
[0017] 所述特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。
[0018] 进一步地,所述对各视图数据加入偏置,得到增强数据矩阵,具体为,对各视图数据,拼接一个全1向量,得到增强数据矩阵。
[0019] 进一步地,采用区间(0,1)内均匀分布的随机数矩阵W′r∈R(nm+1)×k的正交基矩阵,对各视图特征节点数据进行正交映射;其中,n为特征节点组数,m为每组特征节点个数,k为增强节点的数量。
[0020] 进一步地,采用双曲正切激活函数 对正交映射后的各视图特征节点数据进行非线性激活。
[0021] 本发明另一方面提供了一种用于恒河猴眼动决策解码的多视图学习系统,包括:眼动决策解码模型构建模块、眼动决策解码模型训练模块和眼动方向解码模块;
[0022] 所述眼动决策解码模型构建模块,用于构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;所述特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;所述增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;所述预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;
[0023] 所述眼动决策解码模型训练模块,用于将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;
[0024] 所述眼动方向解码模块,用于将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。
[0025] 进一步地,所述特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络、特征节点构建子网络;
[0026] 所述数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;
[0027] 所述伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;
[0028] 所述权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;
[0029] 所述特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。
[0030] 进一步地,所述对各视图数据加入偏置,得到增强数据矩阵,具体为,对各视图数据拼接一个全1向量,得到增强数据矩阵。
[0031] 进一步地,采用区间(0,1)内均匀分布的随机数矩阵W′r∈R(nm+1)×k的正交基矩阵,对各视图特征节点数据进行正交映射;其中,n为特征节点组数,m为每组特征节点个数,k为增强节点的数量。
[0032] 进一步地,采用双曲正切激活函数 对正交映射后的各视图特征节点数据进行非线性激活。
[0033] 通过本发明所构思的以上技术方案,与现有技术相比,能够取得以下有益效果:
[0034] (1)本发明针对各个视图分别提取特征并综合利用,由于使用了浅层的神经网络结构,不需要太多数据就能获得较高的泛化性能,对于数据采集与标注困难的脑电研究而言,使用限制少;本发明采用带L2正则项的最小二乘估计方法进行模型训练与预测,计算复杂度较低,消耗时间少,计算效率高,因此,本发明适合用于恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位与动作电位的眼动决策解码,以及其他各种广泛存在的现实多视图学习场景,例如网页中包含的图片视图与文字视图,同一个物体的仰角视图与俯角视图,同一段信息的中文视图与英文视图等。
[0035] (2)本发明构建的眼动决策解码模型,自带特征提取功能,只需要根据问题规模适当调节参数,就能获得抗噪鲁棒性强的特征,不需要太多专业知识来进行特征提取,简单易实现。

附图说明

[0036] 图1为本发明的眼动决策解码模型结构示意图;
[0037] 图2为本发明的眼动决策解码模型训练流程图。

具体实施方式

[0038] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0039] 本发明一方面提供了一种用于恒河猴眼动决策解码的多视图学习方法,包括:
[0040] (1)构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;
[0041] 具体地,特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络和特征节点构建子网络;数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。
[0042] 增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;
[0043] 如图1所示,本发明实施例中,数据增强子网络对每个视图的训练数据X∈RN×M,拼接一个全1向量1∈RN×1,得到增强数据矩阵X′=[X1]∈RN×(M+1);
[0044] 伪特征映射子网络利用随机初始化的权重矩阵Wr∈R(M+1)×m(m为每组特征节点个数)将增强数据矩阵X′映射到伪特征节点
[0045] 权重矩阵提取子网络利用增强数据矩阵X′与伪特征节点 计算特征节点权重矩阵 即 其中λ1为L1正则化系数,Wi为优化过程中的优化变量;
[0046] 特征节点构建子网络构建出特征节点Z=[Z1,...Zi,...,Zn],其中 对于视图A的数据XA与视图B的数据XB,构建的特征节点为Z=[ZA,ZB],其中,[0047] 增强节点提取网络对各视图特征节点数据进行正交映射,即H′=[Z,1]Wh其中,Wh∈R(nm+1)×k为区间(0,1)内均匀分布的随机数矩阵Wr′∈R(nm+1)×k的正交基矩阵,n为特征节点组数,k为增强节点的数量;然后对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点H,即
[0048]
[0049] 其中,s是标量归一化因子,max(abs(H′))是H′中所有元素中的最大绝对值,目的是将激活函数ξ的输入限制在[-s,s],即它执行规范化操作,ξ为双曲正切激活函数
[0050] 预测网络将特征节点Z与增强节点H进行拼接,得到预测节点,并根据预测节点对独热编码的标签数据Y∈RN×C进行带L2正则项的最小二乘估计,即
[0051]
[0052] 其中,λ2为L2正则化参数,I为单位矩阵,W为优化过程中的优化变量。
[0053] (2)将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;
[0054] 具体地,对于采集得到的局部场电位、动作电位与独热编码后的眼动决策方向标签数据,随机划分80%作为训练数据( Y∈RN×C,其中N为训练集大小,M1为视图A局部场电位特征维度,M2为视图B动作电位特征维度,C为类别数目),其余
20%作为测试数据( 其中,Nt为测试集大小)以验
证模型性能,模型训练流程如图2所示,其中与iv与i初始值均为1,nV为视图个数。
[0055] (3)将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。
[0056] 本发明另一方面提供了一种用于恒河猴眼动决策解码的多视图学习系统,包括:眼动决策解码模型构建模块、眼动决策解码模型训练模块和眼动方向解码模块;
[0057] 所述眼动决策解码模型构建模块,用于构建包括特征节点提取网络、增强节点提取网络和预测网络的眼动决策解码模型;所述特征节点提取网络,用于对各视图的输入进行特征提取,得到各视图对应的特征节点;所述增强节点提取网络,用于对各视图特征节点数据进行正交映射,并对正交映射后的各视图特征节点数据进行非线性激活,得到增强节点;所述预测网络:用于将所述特征节点与增强节点进行拼接,得到预测节点;
[0058] 所述眼动决策解码模型训练模块,用于将恒河猴侵入式脑机接口中侧额叶皮层辅助眼区局部场电位、动作电位与独热编码后的眼动决策方向数据,输入所述眼动决策解码模型进行训练,得到训练好的眼动决策解码模型;
[0059] 所述眼动方向解码模块,用于将待解码的局部场电位与动作电位输入训练好的解码模型中,得到眼动方向的解码结果。
[0060] 进一步地,所述特征节点提取网络,包括数据增强子网络、伪特征映射子网络、权重矩阵提取子网络、特征节点构建子网络;
[0061] 所述数据增强子网络,用于对各视图数据加入偏置,得到增强数据矩阵;
[0062] 所述伪特征映射子网络,用于利用随机初始化的权重矩阵将所述增强数据矩阵映射到伪特征节点;
[0063] 所述权重矩阵提取子网络,用于根据所述增强数据矩阵和所述伪特征节点,计算特征节点权重矩阵;
[0064] 所述特征节点构建子网络,根据所述增强数据矩阵和所述特征节点权重矩阵,构建各视图对应的特征节点。
[0065] 进一步地,所述对各视图数据加入偏置,得到增强数据矩阵,具体为,对各视图数据,拼接一个全1向量,得到增强数据矩阵。
[0066] 进一步地,采用区间(0,1)内均匀分布的随机数矩阵W′r∈R(nm+1)×k的正交基矩阵,对各视图特征节点数据进行正交映射;其中,n为特征节点组数,m为每组特征节点个数,k为增强节点的数量。
[0067] 进一步地,采用双曲正切激活函数 对正交映射后的各视图特征节点数据进行非线性激活。
[0068] 为了验证本发明方法对于眼动决策解码的有效性,我们与现有的一些主流方法在相同的恒河猴眼动决策共45个数据集上,使用测试准确率,整体运行时间作为评价指标进行对比分析。在每个数据集上随机划分训练集、验证集、测试集,使得其大小比例为3:1:1,不同方法在同一个数据集上采用的训练集、验证集、测试集完全一致,首先使用不同的参数在训练集上训练模型,并在验证集上测试,取验证集上表现最好的模型在测试集进行测试,记录测试集上的准确率与方法整体运行的时间,重复此过程30次,得到45个数据集上方法测试集准确率与整体运行时间的30次均值与标准差如表1所示;
[0069]方法 测试集准确率(%) 整体运行时间(s)
ECOCSVM 45.80±0.66 25.25±3.16
Ridge 46.47±0.53 1029.27±85.40
BLS 45.70±0.47 104.12±7.01
MvDA 38.74±0.67 746.10±62.56
MvMDA 35.94±0.53 740.54±61.57
Ours 47.61±0.52 132.54±7.65
[0070] 表1
[0071] 从上面对比结果可以看出,与传统的宽度学习系统BLS方法相比,本发明方法稳定地提升准确率,且不带来太多的时间消耗;与准确率表现次好的Ridge方法相比,本发明方法准确率表现更优,且大幅减少时间消耗。
[0072] 本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用