一种基于触听觉诱发电位的脑控轮椅系统转让专利
申请号 : CN201510708749.6
文献号 : CN105411580B
文献日 : 2018-05-11
发明人 : 印二威 , 陈善广 , 肖毅 , 蔡刿 , 周宗潭
申请人 : 中国航天员科研训练中心
摘要 :
权利要求 :
1.一种基于触听觉诱发电位的脑控轮椅系统,其特征在于,包括:信号采集模块、初始化模块、参数离线训练模块、信号处理模块、触听觉刺激模块和控制模块,其中,所述信号采集模块用于采集用户的脑电信号,并对所述脑电信号进行预处理,并将预处理后的脑电信号发送至所述信号处理模块;
所述初始化模块用于对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置,其中,所述参数离线训练模块包括:最优电极通道选择模块,用于根据Jumpwise回归方法和所述用户的脑电数据库离线训练得到最优电极通道;
P300分类器训练模块,用于采用贝叶斯线性判别分析方法或步进线性判别分析方法或支持向量机对P300分类器进行训练;
最优Round选择模块,用于采用留一法交叉检验的方法绘制信息传输率曲线,并将所述信息传输率的最大值所对应的Round数选择为最优Round数;
所述参数离线训练模块用于获取最优电极通道和最优Round数,并对P300分类器进行训练;
所述信号处理模块用于对所述预处理后的脑电信号的P300特征进行提取和识别;
所述触听觉刺激模块用于生成触听觉随机刺激信号,并向用户施加触听觉双模态随机刺激,以诱发所述用户的脑电信号中的P300特征电位;
所述控制模块用于根据所述P300特征电位生成相应的控制指令,并将所述控制指令转换为对应的电压信号,并根据所述电压信号控制轮椅执行相应操作。
2.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述采集信号采集模块包括:脑电采集器,用于采集所述用户的脑电信号,所述脑电采集器包括可拆卸的干电极和标准32导国际10/20系统的电极帽;
所述脑电放大器,用于对所述脑电信号进行放大;
A/D转换器,用于对放大后的脑电信号进行模数转换。
3.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述信号处理模块用于对所述预处理后的脑电信号进行带通滤波后,根据P300成分在时域上的特征,通过截取每个随机刺激事件发生后预设时间的脑电信号的方式进行特征提取,并计算所述每个随机刺激事件对应的特征向量,并计算所述特征向量对应的特征值,并计算所述特征值的平均值,并根据所述平均值得到相应指令对应的特征值。
4.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触听觉刺激模块用于在同一方向上同时向所述用户施加触听觉双模态随机刺激。
5.根据权利要求4所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触听觉刺激模块包括:随机编码生成模块、触觉刺激模块和听觉刺激模块,其中,所述随机编码生成模块用于随机生成第一至第四随机刺激编码之一,并将所述第一至第四随机刺激编码之一同时发送至所述触觉刺激模块和听觉刺激模块;
所述触觉刺激模块和听觉刺激模块用于根据所述第一至第四随机刺激编码在四个预设方向向用户发送相应的刺激信号,其中,所述四个预设方向分别为所述用户的左侧、所述用户的前方、所述用户的右侧及所述用户的后方。
6.根据权利要求5所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述听觉刺激模块为耳机或耳麦,用于播放特定声音文件以在四个预设方向向所述用户发送相应的声音刺激信号,其中,所述声音文件采用声音的头外定位技术实现,所述声音文件包括男声声音文件和女声声音文件。
7.根据权利要求5所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述触觉刺激模块包括纽扣电机和电机控制器,其中,所述纽扣电机用于产生振动刺激信号,并在四个预设方向向所述用户发送振动刺激信号;
所述电机控制器用于调控所述纽扣电机振动的脉冲宽度。
8.根据权利要求1所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述控制模块用于接收一组平均P300特征值,并将所述平均P300特征值的最大值所对应的方向代表的指令设定为当前轮椅的控制指令,其中,所述当前轮椅的控制指令所对应的当前速度或当前角度采用对侧P300特征值相减的方法计算求得,其中,所述控制模块还用于判断所述当前角度的取值是否在预设范围之内,并在所述当前角度的取值不在预设范围之内时将当前的角度作为角度最大值,并判断所述当前速度是否大于速度最大值,并在所述当前速度大于速度最大值时将所述当前速度作为速度最大值,以及在所述当前速度小于速度最大值时发送停止指令。
9.根据权利要求8所述的所述的基于触听觉诱发电位的脑控轮椅系统,其特征在于,所述控制指令包括:左转、加速、右转和减速。
说明书 :
一种基于触听觉诱发电位的脑控轮椅系统
技术领域
背景技术
们无法与外界进行交流,处于一种“自锁”状态。此类疾病包括肌萎缩性侧索硬化、脊髓损
伤、脑干中风和脑瘫,以及在病情晚期所产生的闭锁综合症等。患有类似疾病的患者不但其
自身处于一种极度痛苦的状态,同样也给其家庭和社会增添了沉重的负担。目前,改善残疾
人的生活状况和自理能力,提高其生活质量等问题已经得到社会各界的普遍关注。而利用
智能轮椅等辅助运动器械提升患者的运动能力,帮助其实现一定程度上的自理,将会大大
缓解社会医护资源不足的现状,市场潜力十分巨大。传统的智能轮椅的运动控制主要是通
过控制杆或者按钮来实现的,这种方法虽然有效,但是对于运动功能衰退的人来说,操控十
分困难。
现出来的模式来识别人的意图,并可将其转换成计算机可以执行的控制指令,从而实现人
脑与外界交流和环境控制。对于无法通过医疗手段完全康复的、有严重运动功能障碍疾病
的患者来说,BCI技术是其当前实现与外部世界进行交流与控制的唯一途径。随着人们对大
脑工 作机理 不断 深入的 研究 及 信号处 理技 术的 快速发 展 ,基于 EE G
(Electroencephalogram,脑电图)的无创BCI技术研究已经达到一定水平,并在准确率、可
靠性以及实用化方面有了很大的提高,这为智能轮椅的脑控系统研发及其相关产品进入实
际生活应用提供了重要的理论基础与技术支撑。
(Sensory Motor Rhythm,SMR)和基于视觉刺激诱发的P300特征电位信号的利用上。其中,
虽然SMR-BCI方法不需要依赖外界刺激就可以实现对智能轮椅的控制,但是通常需要对使
用者进行大量的训练,而且“BCI盲”的比例较大(20%-30%),很多人即使经过长时间的训
练仍不能提供可以实现稳定、有效控制的脑电特征信号。此外,由于EEG信号的空间分辨率
较低,通过增加运动想象任务种类来增加控制命令数是非常困难的,较为成熟有效的应用
仍是只能提供左转/右转两类控制指令的智能轮椅控制方法,大大制约了系统的实用性。相
比之下,基于视觉刺激的P300-BCI方法几乎不用对用户进行特殊训练便可以实现稳定快速
的多目标控制,但是由于这种BCI方法通常需要用户对眼部肌肉的自主控制,这恰恰可能使
其难以应用于患有严重运动功能障碍疾病,处于自锁状态的患者。另外,在智能轮椅的操控
过程中,用户的视线已经被占用,很难同时注视屏幕上视觉刺激。
的提升,其中,Kaufmann等人更是验证了基于触觉的P300-BCI用于智能轮椅的控制的可能
性,但是当前基于听觉和触觉单模态刺激的P300-BCI的准确率和速度仍难以满足智能轮椅
的实际控制需要。我们人类拥有多种感知通道,用于感知和处理外部世界的信息。多模态的
刺激可以诱发大脑相应感知区域的神经活动,这种现象被称之为多模态感知整合现象。由
此可以推测,多模态的刺激可以同时诱发大脑相应感知区域的神经活动,进而诱发更强的
P300特征电位,提升解码速度和准确率,提高系统性能。然而,至今还未发现基于听觉和触
觉双模态刺激的脑控轮椅方法的相关报道。
发明内容
觉刺激模块和控制模块,其中,所述信号采集模块用于采集用户的脑电信号,并对所述脑电
信号进行预处理,并将预处理后的脑电信号发送至所述信号处理模块;所述初始化模块用
于对电极的电阻值进行检测,并对电极位置、最优Round数、P300分类器的参数进行设置;所
述参数离线训练模块用于获取最优电极通道和最优Round数,并对P300分类器进行训练;所
述信号处理模块用于对所述预处理后的脑电信号的P300特征进行提取和识别;所述触听觉
刺激模块用于生成触听觉随机刺激信号,并向用户施加触听觉双模态随机刺激,以诱发所
述用户的脑电信号中的P300特征电位;所述控制模块用于根据所述P300特征电位生成相应
的控制指令,并将所述控制指令转换为对应的电压信号,并根据所述电压信号控制轮椅执
行相应操作。
电放大器,用于对所述脑电信号进行放大;A/D转换器,用于对放大后的脑电信号进行模数
转换。
模块,用于采用贝叶斯线性判别分析方法或步进线性判别分析方法或支持向量机对P300分
类器进行训练;最优Round选择模块,用于采用留一法交叉检验的方法绘制信息传输率曲
线,并将所述信息传输率的最大值所对应的Round数选择为最优Round数。
号的方式进行特征提取,并计算所述每个随机刺激事件对应的特征向量,并计算所述特征
向量对应的特征值,并计算所述特征值的平均值,并根据所述平均值得到相应指令对应的
特征值。
将所述第一至第四随机刺激编码之一同时发送至所述触觉刺激模块和听觉刺激模块;所述
触觉刺激模块和听觉刺激模块用于根据所述第一至第四随机刺激编码在四个预设方向向
用户发送相应的刺激信号,其中,所述四个预设方向分别为所述用户的左侧、所述用户的前
方、所述用户的右侧及所述用户的后方。
位技术实现,所述声音文件包括男声声音文件和女声声音文件。
制器用于调控所述电机振动的脉冲宽度。
的控制指令所对应的当前速度或当前角度采用对侧P300特征值相减的方法计算求得,其
中,所述控制模块还用于判断所述当前角度的取值是否在预设范围之内,并在所述当前角
度的取值不在预设范围之内时将当前的角度作为角度最大值,并判断所述当前速度是否大
于速度最大值,并在所述当前速度大于速度最大值时将所述当前速度作为速度最大值,以
及在所述当前速度小于速度最大值时发送停止指令。
察。
附图说明
具体实施方式
图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
数离线训练模块130、信号处理模块140、触听觉刺激模块150和控制模块160。
脑电采集器111包括可拆卸的干电极和标准32导国际10/20系统的电极帽。电放大器112用
于对脑电信号进行放大。A/D转换器113用于对放大后的脑电信号进行模数转换。需要说明
的是,在系统参数离线训练阶段,所述电极帽上安装全部32导干电极;在轮椅的正式操控过
程中,只需保留经过离线训练得到的最优8导电极即可。在一些示例中,干电极、脑电放大器
112和A/D转换器123例如可一起集成在电极帽上,并采用无线传输方式将采集的EEG信号传
入信号处理模块140,以进行信号处理。
位置、最优Round数、P300分类器等参数的设置。更为具体地,阻抗检测模块121例如通过检
测电极阻抗来检验各电极与用户头部是否接触良好。参数配置模块122主要用于导入由离
线训练得到的最优电极位置、P300分类器、最优Round数等参数。其中,上述的参数采用载入
配置文件的方式自动导入。初始化后,系统退出所述初始化模块120的执行程序。
的通道选择过程起始于空通道子集,并在每次程序循环过程中添加或者移除一个通道,直
至获得所需通道个数。通道的添加和删除通过F检验计算得到的P值判定。
小值需满足其所对应的目标识别准确率高于70%,最大值需不大于Kmax次,以保证系统的可
控性和实时性。
说,信号处理模块140例如用于对预处理后的脑电信号进行带通滤波后,根据P300成分在时
域上的特征,通过截取每个随机刺激事件发生后预设时间的脑电信号的方式进行特征提
取,并计算每个随机刺激事件对应的特征向量,并通过参数设置模块导入的分类器模板计
算特征向量对应的特征值,然后按码字分别计算特征值的平均值,并根据平均值得到相应
指令对应的特征值。
的EEG数据,提取P300的特征信息;由于P300特征信息处于低频段,为了提供信号处理的实
时性,将所得到的数据进行降采样处理(如由250Hz降采样至25Hz);最后,利用离线训练得
到的P300分类器计算P300特征响应得分,具体计算公式如下:
相同刺激编码得分的平均值,可得到每个刺激编码所对应的P300响应值:
于在同一方向上同时向用户施加触听觉双模态随机刺激。
块152和听觉刺激模块153用于根据第一至第四随机刺激编码在四个预设方向向用户发送
相应的刺激信号,其中,四个预设方向分别为用户的左侧、用户的前方、用户的右侧及用户
的后方。进一步地,听觉刺激模块152例如为耳机或耳麦,用于播放特定声音文件以在四个
预设方向向所述用户发送相应的声音刺激信号,其中,声音文件例如采用声音的头外定位
技术实现,声音文件包括男声声音文件和女声声音文件。触觉刺激模块153例如包括纽扣电
机和电机控制器,其中,纽扣电机用于产生振动刺激信号,并在四个预设方向向用户发送振
动刺激信号;电机控制器用于调控纽扣电机振动的脉冲宽度。
151用于随机生成第一至第四随机刺激编码其中之一(分别代表“左转”、“加速”、“右转”和
“减速”4个控制指令),并同时发送到触觉刺激模块152和听觉刺激模块153,进而保证听觉
和触觉随机刺激的时间同步性。如图3所示,本发明实施例的触听觉刺激模块150通过在同
一方向上同时施加听觉和触觉随机刺激的方式,是一种方向一致的双模态刺激范式。其中,
听觉刺激模块151例如采用耳机或耳麦播放特定的声音文件实现。该声音文件采用声音的
头外定位技术实现,分别模拟源自用户左、前、右、后四个方位的声音;各个方向的声音内容
与方向对应,依次为“左”、“前”、“右”、“后”。每个方向分别对应男声和女声两个声音文件,并采用随机编排的方式播放。在系统操控过程中,用户需要心里默念来自目标方向的声音
性别(即男/女)。研究表明用户在执行这种主动认知任务过程中,P300特征电位的晚期成分
将会明显增强,进而达到提高准确率的目的。本发明实施例的触觉刺激模块153例如由纽扣
电机和电机控制器两部分组成。该纽扣电机的结构和强度例如与手机中实现振动功能电机
的相似(如Parallex Inc.公司生产的Model 28821-ND)。在之前大量的试验性研究中均发
现,采用两个纽扣电机成对组成一个触觉刺激模块153,并用于表示单个目标的方式可以有
效提高用户对触觉刺激的敏感度。因此,在本发明实施例的触觉刺激模块153中,8个电机两
两组合,分别用医用胶带黏贴在用户腰部与听觉刺激相对应的4个方向上,每个方向上的两
个电机之间距离例如为1cm。电机控制器用于调控纽扣电机振动的脉冲宽度。其中,高档代
表刺激状态“ON”,振动能量为100%;低档代表非刺激状态“OFF”,振动能量为15%。这种能
量高低档的设置还可以大大效缩短由于电机机械原因所引起的时间延迟(即触觉刺激由
“OFF”状态到达用户体感阈值,可以被感知到的时间)。
接收一组平均P300特征值,并将平均P300特征值的最大值所对应的方向代表的指令设定为
当前轮椅的控制指令,其中,当前轮椅的控制指令所对应的当前速度或当前角度采用对侧
P300特征值相减的方法计算求得,其中,控制模块160还用于判断当前角度的取值是否在预
设范围之内,并在当前角度的取值不在预设范围之内时将当前的角度作为角度最大值,并
判断当前速度是否大于速度最大值,并在当前速度大于速度最大值时将当前速度作为速度
最大值,以及在当前速度小于速度最大值时发送停止指令。其中,控制指令例如包括:左转、
加速、右转和减速。
统100的应用过程主要分为初始化、离线训练和在线控制三部分。具体工作流程如下:
染,如果有电极阻抗大于5kΩ,将对相应的电极重新进行调整,直至所有电极阻抗满足要
求;退出阻抗检测模块121,启动参数配置模块122,载入系统预置参数。初始化后,退出参数
配置模块122。
方向上的双模态刺激同时触发。在此过程中,用户感受提示方向上的触觉刺激,并默念提示
方向上的随机听觉刺激的性别。
念该方向上的随机听觉刺激的性别。
组成,n的大小通过离线训练得到。为了提高系统控制的连续性,本发明的实施例采用了离
散滑动窗口的方法对用户的控制意图解码,每个控制指令通过对用户前n个Round的EEG信
号处理识别得到,连续的两个控制指令之间相差一个Round。
察。
隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三
个等,除非另有明确具体的限定。
部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员
而言,可以根据具体情况理解上述术语在本发明中的具体含义。
第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示
第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第
一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
实施例进行变化、修改、替换和变型。