基于隐性注意的视听联合刺激脑-机接口方法

摘要

本发明属于人机交互技术领域。为得到更高的准确率和信息传输速率和方便操作，为达上述目的，本发明采取的技术方案是，基于隐性注意的视听联合刺激脑-机接口方法：(1)系统初始化：使用者通过头皮处的电极与计算机脑-机接口设备相连；(2)脑电特征信号的产生；(3)脑电信号的采集；(4)脑电信号处理；(5)Fisher可分性分析；(6)支持向量机进行模式识别。本发明主要应用于帮助残障人士操作计算机等外部设备。

权利要求

1.一种基于隐性注意的视听联合刺激脑机接口方法，其特征是，包括以下步骤：

(1)系统初始化：使用者通过头皮处的电极与计算机脑机接口设备相连，使用者需要戴上耳机，打开刺激界面，刺激界面按照oddball序列进行闪烁，对于闪烁刺激，有两种属性，一种是靶刺激，即使用者隐性注意的目标，另一种是非靶刺激，对于每一次视觉刺激，均伴随有相应的声音刺激，使用者需要默数靶刺激出现的次数；

(2)脑电特征信号的产生：当靶刺激产生时，伴随特定的声音刺激，使用者的脑部会产生P300脑电特征信号，非靶刺激不会产生P300特征信号；

(3)脑电信号的采集：使用者头皮处的64导联电极将脑电信号采集并传送至计算机；

(4)脑电信号处理：对于采集到的脑电信号，首先进行工频滤波，利用独立成分分析ICA去除眼电，然后利用相干平均的方法提取P300特征信号；

(5)Fisher可分性分析：将数据降采样后进行Fisher可分性分析，Fisher主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异，一般来说差异度越大的参数越适于作为样本的分类的特征值，Fisher可分性分析是借用一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别，其公式如下：其中m1与m2分别为两类特征的均值，σ1与σ2为两类特征的方差，两类特征表示为靶刺激和非靶刺激，Fisher评价函数实际上是特征值的类间离散度与类内离散度的比值，J越大则可分性越高；

(6)支持向量机进行模式识别：在经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的数据进行分类，得到控制外部设备的控制命令。

2.如权利要求1所述方法，其特征是，刺激界面是八个填充有不同颜色的圆圈以顺时针的方向，按照1～8的标号，位于中心十字的周围，相邻两圆间隔45度；声音刺激采用二维方式，空间信息按照列分布从左到右依次为左耳，双耳，右耳，频率特征按照行分布从上到下依次为1000Hz，500Hz，100Hz；对于八个圆中的任意一个圆，仅有一种颜色、声音刺激与之对应，八个圆圈按照oddball序列随机闪烁，每次闪烁时间为200ms，相邻两次闪烁间隔100ms。

3.如权利要求1所述方法，其特征是，使用者在使用系统过程中，双眼需要始终注视刺激界面中间十字，根据操作人员的提示，利用隐性注意，潜意识“关注”目标，在一系列的闪烁刺激与声音刺激进行时，使用者双眼始终注视刺激界面中间十字，利用隐性注意去“关注”圆圈，每当刺激界面中的圆圈闪烁时，会伴随有相应的声音刺激，使用者需要在心中默数隐性注意所关注的圆圈所闪烁的次数，直到此轮刺激结束，每轮刺激有10个oddball序列，即每轮刺激中，使用者需要默数10次。

4.如权利要求1所述方法，其特征是，利用独立成分分析ICA去除眼电的数学模型为：

X＝A*S

其中A为信号传递矩阵，X是N维观测向量，S是M维彼此独立的原始信号，独立成分分析就是设计寻找一个矩阵W，从而求得Y＝WX，求解出各自独立的成分Y，并认为Y为S的近似表达，根据一定的特征，消除Y的一个或几个分量得到Y′，用Y′＝P*Y表示，其中，P为剩余分量与所有分量的比例系数；再还原X′＝AY′，X′就是消除干扰后留下的有用信号；独立成分分析ICA从N维观测向量X＝(X1，X2…Xn)里估计出源成分Si，也估算了信号传递矩阵A，每次处理都必须认为观测到的眼电是独立成分。

5.如权利要求1所述方法，其特征是，利用相干平均的方法提取P300特征信号具体为：

用下面的公式表示时域内的事件相关电位及噪声的模型：

Yn(i，t)＝pn(i，t)+en(i，t)，n＝1，2，...，N；i＝1，2，...，64

其中n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间；Yn(i，t)为采集到的信号，Pn(i，t)为第n次刺激时理想的P300信号，en(i，t)为总的噪声信号，通过相干平均，将噪声信号从脑电信号中去除，进而得到较为明显的P300特征信号。

说明书

基于隐性注意的视听联合刺激脑-机接口方法

技术领域

[0001] 本发明属于人机交互技术领域，可帮助残障人士操作计算机等外部设备，具体是涉及基于隐性注意的视听联合刺激脑-机接口系统。

背景技术

[0002] 脑-机接口(Brain-Computer Interface)的定义是：“BCI(脑机接口)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本语言，肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI(脑-机接口)技术也越来越受到重视。 [0003] 到目前为止，常用的脑-机接口大都是基于采集脑电信息并提取其特定相关成分为基础，在众多的脑电特征信号中，基于P300脑电特征信号的系统使用最为广泛。其技术原理如图1所示。

[0004] 含有操作控制意图的脑电信息通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信息特征，并将之转化为控制外部设备的操作命令。BCI(脑-机接口)研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

[0005] P300是事件相关电位(Event Related Potential，ERP)的一种，最早由Sutton等人使用oddball实验的方法记录到。P300大约出现在新奇事件刺激后的300毫秒内，相关事件发生的概率越小，所引起的P300越显著，由此可以利用目标刺激所产生的P300信号作为思维活动对刺激事件有效应答标志。

[0006] 隐性注意(covert attention)是目前脑-机接口领域较为前沿的一种刺激模式，区别于传统的视觉刺激模式-显性注意(overt attention)，隐性注意不需要眼球的移动，通过注视特定刺激界面的固定点，利用潜意识“关注”目标的闪烁情况，当所关注的目标闪烁时，便可以诱发P300脑电特征信号。

[0007] 基于听觉刺激模式的脑-机接口是当前人机交互领域研究的热点，对于特殊残障人士，听觉刺激诱发模式提供了一种与外界交流的通道，声音中的频率特征和空间方位信息已经被广泛认为是最能够区别不同声音的有效成分。

[0008] 目前尚未见相关主题的成熟技术报道。

发明内容

[0009] 为克服现有技术的不足，提供基于隐性注意的视听联合刺激脑-机接口系统，以得到更高的准确率和信息传输速率和方便操作，为达上述目的，本发明采取的技术方案是，基于隐性 注意的视听联合刺激脑-机接口方法，包括下列步骤：

[0010] (1)系统初始化：使用者通过头皮处的电极与计算机脑-机接口设备相连，使用者需要戴上耳机，打开刺激界面，刺激界面按照oddball序列进行闪烁，对于闪烁刺激，有两种属性，一种是靶刺激，即使用者隐性注意的目标，另一种是非靶刺激，对于每一次视觉刺激，均伴随有相应的声音刺激，使用者需要默数靶刺激出现的次数；

[0011] (2)脑电特征信号的产生：当靶刺激产生时，伴随特定的声音刺激，使用者的脑部会产生P300脑电特征信号，非靶刺激不会产生P300特征信号；

[0012] (3)脑电信号的采集：使用者头皮处的64导联电极将脑电信号采集并传送至计算机；

[0013] (4)脑电信号处理：对于采集到的脑电信号，首先进行工频滤波，利用独立成分分析ICA去除眼电，然后利用相干平均的方法提取P300特征信号；

[0014] (5)Fisher可分性分析：将数据降采样后进行Fisher可分性分析，Fisher主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异，一般来说差异度越大的参数越适于作为样本的分类的特征值；

[0015] (6)支持向量机进行模式识别：在经过了特征提取阶段之后，我们将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个模型，然后再利用这个模型来对未知模式类型的数据进行分类，得到控制外部设备的控制命令。

[0016] 刺激界面是八个填充有不同颜色的圆圈以顺时针的方向，按照1～8的标号，位于中心十字的周围，相邻两圆间隔45度；声音刺激采用二维方式，空间信息按照列分布从左到右依次为左耳，双耳，右耳，频率特征按照行分布从上到下依次为1000Hz，500Hz，100Hz；对于八个圆中的任意一个圆，仅有一种颜色、声音刺激与之对应，八个圆圈按照oddball序列随机闪烁，每次闪烁时间为200ms，相邻两次闪烁间隔100ms。

[0017] 使用者在使用系统过程中，双眼需要始终注视刺激界面中间十字，根据操作人员的提示，利用隐性注意，潜意识“关注”目标，在一系列的闪烁刺激与声音刺激进行时，使用者双眼始终注视刺激界面中间十字，利用隐性注意去“关注”圆圈，每当刺激界面中的圆圈闪烁时，会伴随有相应的声音刺激，使用者需要在心中默数隐性注意所关注的圆圈所闪烁的次数，直到此轮刺激结束，每轮刺激有10个oddball序列，即每轮刺激中，使用者需要默数10次。

[0018] 利用独立成分分析ICA去除眼电的数学模型为：

[0019] X＝A*S

[0020] 其中A为信号传递矩阵，X是N维观测向量，S是M维彼此独立的原始信号，独立成分分析就是设计寻找一个矩阵W，从而求得Y＝WX，求解出各自独立的成分Y，并认为Y为S的近似表达，根据一定的特征，消除Y的一个或几个分量得到Y′，Y′＝P*Y表示，再还原X′＝AY′，X′就是消除干扰后留下的有用信号；独立成分分析ICA从混合信号X＝(X1，X2…Xn)里估计出源成分Si，也估算了混合矩阵A，每次处理都必须认为观测到的眼电是独立成分。

[0021] 利用相干平均的方法提取P300特征信号具体为：用下面的公式表示时域内的事件相关电位及噪声的模型：

[0022] Yn(i，t)＝pn(i，t)+en(i，t)，n＝1，2，...，N；i＝1，2，...，64 [0023] 其中n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间。Yn(i，t)为采集到的信号，Pn(i，t)为第n次刺激时理想的P300信号，En(i，t)为总的噪声信号，通过相干平均，将噪声信号从脑电信号中去除，进而得到较为明显的P300特征信号。 [0024] Fisher可分性分析是借用一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别，其公式如下：

[0025]

[0026] 其中m1与m2分别为两类特征的均值，σ1与σ2为两类特征的方差，两类特征表示为靶刺激和非靶刺激，Fisher评价函数实际上是特征值的类间离散度与类内离散度的比值，J越大则可分性越高。

[0027] 本发明具有以下技术效果：

[0028] 本发明将隐性注意和听觉刺激这两种诱发模式有效的进行结合并应用于脑-机接口领域，在隐性注意和听觉刺激单独使用时，隐性注意的准确率不如显性注意(即直接注视)，听觉刺激的准确率虽然较高，但是信息传输速率较低，使用者使用系统时的时间较长，本发明针对其各自的优缺点，采用他们的特征组合具有明显的优势：一方面可以提高检测准确率，同时另一方面可以提高信息传输速率，从而实现一个基于隐性注意和听觉刺激的快速BCI(脑-机接口)系统；

[0029] 由于本发明采用将隐性注意与听觉刺激相结合的方式完成脑-机接口，因而使用过程中不需要被试进行眼球的运动，方便操作的同时，也避免了由于某些疾病所引起的不能利用传统视觉，听觉BCI(脑-机接口)系统进行信息交流和设备控制的弊端，通过使用本发明，可以使身体瘫痪但头脑功能正常的残疾人实现与外部的交流和控制。进一步研究可以得到较为完善的脑-机接口，有望获得可观的社会效益和经济效益。

附图说明

[0030] 图1BCI(脑-机接口)系统及其控制。

[0031] 图2系统结构示意图。

[0032] 图3刺激界面示意图。

[0033] 图4ICA(独立成分分析)数学模型示意图。

具体实施方式

[0034] 本发明在经典的视觉与听觉刺激模式的基础上提出了一种新的目标呈现方法，本发明系统的结构示意图如图2所示，包含以下步骤

[0035] (1)系统初始化：使用者通过头皮处的电极与计算机脑-机接口设备相连，使用者需要戴上耳机，打开刺激界面，刺激界面按照oddball序列进行闪烁，对于闪烁刺激，有两种属性，一种是靶刺激，即使用者隐性注意的目标，另一种是非靶刺激，对于每一次视觉刺激，均伴随有相应的声音刺激，使用者需要默数靶刺激出现的次数。

[0036] (2)脑电特征信号的产生：当靶刺激产生时，伴随特定的声音刺激，使用者的脑部会产生 P300脑电特征信号，非靶刺激不会产生P300特征信号。

[0037] (3)脑电信号的采集：使用者头皮处的64导联电极将脑电信号采集并传送至计算机。

[0038] (4)脑电信号处理：对于采集到的脑电信号，首先进行工频滤波，利用ICA(独立成分分析)去除眼电，然后利用相干平均的方法提取P300特征信号。

[0039] (5)Fisher可分性分析：将数据降采样后进行Fisher可分性分析，Fisher主要用来评价特征参数在不同类别样本中的分布是否具有明显的差异，一般来说差异度越大的参数越适于作为样本的分类的特征值。

[0040] (6)支持向量机进行模式识别：在经过了特征提取阶段之后，我们将这些从样本中提取到的特征用来训练SVM(支持向量机)分类器，训练后得到一个model(模型)，然后再利用这个model(模型)来对未知模式类型的数据进行分类，得到控制外部设备的控制命令。

[0041] 1.1刺激界面与使用方法

[0042] 本系统的创新点之一在于刺激界面的设计，目前普遍采用基于视觉诱发的刺激界面的系统均需要被试采用显性注意(即注视目标)，对于不同的目标，被试需要通过眼球的移动来进行目标的转换，这种系统对于某些由疾病所引起的眼球运动功能出现障碍的病人来说是十分不利的。

[0043] 本系统所采用的刺激界面将隐性注意与声音中的频率差异与空间信息相结合，如图3所示。八个填充有不同颜色的圆圈以顺时针的方向，按照1～8的标号，位于中心十字的周围，相邻两圆间隔45度。听觉刺激采用二维方式，空间信息按照列分布从左到右依次为左耳，双耳，右耳。频率特征按照行分布从上到下依次为1000Hz，500Hz，100Hz。因此，对于八个圆中的任意一个圆，仅有一种颜色，声音(特定频率与特定空间信息)与之对应。八个圆圈按照oddball序列随机闪烁，每次闪烁时间为200ms，相邻两次闪烁间隔100ms。 [0044] 使用者在使用系统过程中，双眼需要始终注视刺激界面中间十字，根据操作人员的提示，利用隐性注意，潜意识“关注”目标，例如，根据操作人员的提示，使用者需要注意圆圈6，则在一系列的闪烁刺激与声音刺激进行时，使用者双眼始终注视刺激界面中间十字，利用隐性注意去“关注”圆圈6，每当圆圈6闪烁时，会伴随有100Hz左耳道的声音刺激，使用者需要在心中默数圆圈6闪烁的次数，直到此轮刺激结束，每轮刺激有10个oddball序列，即每轮刺激中，使用者需要默数10次。

[0045] 1.2联合刺激诱发模式

[0046] 本系统创新地将声音信号中的频率和空间信息与隐性注意相结合，共同刺激并诱发P300特征信号。在联合刺激诱发模式中，视-听联合刺激是最常见的，也是比较有效的刺激方式。在P300特征信号的诱发过程中，不同的刺激方式相互之间的结合会起到辅助的作用，本系统正是利用听觉刺激来辅助增强隐性注意所产生的P300信号，相对于单一的隐性注意刺激模式，所诱发的P300信号更为明显。

[0047] 1.3数据预处理

[0048] 本系统的预处理部分采用50Hz工频陷波滤波器，由于使用过程中对于眼睛运动情况有较为严格的要求(注视一固定点不动)，所以在整个使用过程中需要记录眼电，在后续的处理过 程之前，首先采用ICA(独立成分分析)来去除眼电。

[0049] 独立成分分析(ICA)去除眼电的基本思想是：假设脑电信号与眼电信号彼此独立，将原始数据投影到多个彼此独立的特征空间，从而实现原始信号的特征分离，识别并去除眼电后，逆向投影恢复原始数据。ICA消除伪迹的无噪声模型可以用图4表示，相应的数学模型为：

[0050] X＝A*S

[0051] 其中A为信号传递矩阵，X是N维观测向量，S是M维彼此独立的原始信号。独立成分分析就是设计寻找一个矩阵W，从而求得Y＝WX，求解出各自独立的成分Y，并认为Y为S的近似表达。根据一定的特征，消除Y的一个或几个分量得到Y′，图中用Y′＝P*Y表示，再还原X′＝AY′。X′就是消除干扰后留下的有用信号。从模型可以看出，ICA从混合信号X＝(X1，X2…Xn)里估计出源成分Si，也估算了混合矩阵A。它是基于不同的信号源产生的信号是统计独立的假设。独立成分分析方法分解出的独立成分的次序没有可重复性，每次处理都必须认为观测到的眼电是独立成分。

[0052] 1.4脑电数据的特征提取与模式识别

[0053] 1.4.1脑电数据的特征提取

[0054] 相干平均技术是处理脑电信号时常用的处理方法之一，旨在提取强噪声背景下的微弱电信号。系统使用中所采集到的脑电信号通常伴随着很强的噪声或伪迹。而相干平均的作用就是将噪声信号从脑电信号中去除。这里所说的噪声信号，包括自发脑电信号，外部背景噪声以及其他与导联相关的噪声。对于每次的刺激，这些噪声信号都是不相关的。而事件相关电位中的P300信号可以看做是个确定性的信号，并且独立于自发脑电信号和其他噪声信号。

[0055] 本系统用下面的公式表示时域内的事件相关电位及噪声的模型： [0056] Yn(i，t)＝pn(i，t)+en(i，t)，n＝1，2，...，N；i＝1，2，...，64[0057] 其中n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间。Yn(i，t)为采集到的信号，Pn(i，t)为第n次刺激时理想的P300信号，En(i，t)为总的噪声信号。由于背景噪声的存在，单次的Yn(i，t)，并不能体现脑电信号中的P300成分，并且往往淹没在强的背景噪声下。通过相干平均，可以将噪声信号从脑电信号中去除，进而得到较为明显的P300特征信号。

[0058] 1.4.2Fisher判别法

[0059] Fisher判别的基本思路就是投影，针对P维空间中的某点x＝(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。

[0060] 其公式如下：

[0061]

[0062] 其中m1与m2分别为两类特征的均值，σ1与σ2为两类特征的方差，本系统中的两类特征可以表示为靶刺激和非靶刺激，Fisher评价函数实际上是特征值的类间离散度与类内离散度的比值，J越大则可分性越高。

[0063] 1.4.3模式识别-支持向量机

[0064] 模式识别是通过对脑电信号特征的提取和分类来辨识出其中所携带的自主性动作信息。支持向量机(SVM)是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。

[0065] 模式识别的过程如下：在经过了特征提取阶段之后，我们将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model(模型)，然后再利用这个model(模型)来对未知模式类型的数据进行分类，得到的结果即为未知数据的模式识别结果以及识别正确率。

[0066] 本发明设计了基于隐性注意的一种新型视听联合刺激脑-机接口系统，该系统的实施过程中不需要使用者进行眼球的运动，方便操作的同时，也避免了由于某些疾病所引起的不能利用传统视觉，听觉BCI(脑-机接口)系统进行信息交流和设备控制的弊端，通过使用该系统，可以使身体瘫痪但头脑功能正常的残疾人实现与外部的交流和控制。进而可以得到较为完善的脑-机接口商品，有望在康复工程领域获得可观的社会效益和经济效益。