提高脑力负荷状态下P300拼写器使用效果的方法

摘要

本发明属于神经工程与人机交互领域，为提出提高一定脑力负荷水平下P300‑Speller使用效果的新方法，本发明提高脑力负荷状态下P300拼写器使用效果的方法，首先在模型建立阶段，分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据，对脑电数据进行预处理并提取特征，将多种负荷条件下的特征数据混合，选择合适的分类器建立训练模型；在实际应用阶段，采集各种负荷状态下的脑电数据作为测试数据，将上一阶段建好的训练模型和测试数据放入分类器中进行模式识别得到字符识别率，和纯拼写任务下的脑电数据建模进行字符识别的结果进行对比，分析P300拼写器性能的提升。本发明主要应用于人机交互场合。

权利要求

1.一种提高脑力负荷状态下P300拼写器使用效果的方法，其特征是，提高脑力负荷状态下P300拼写器使用效果的方法，首先在模型建立阶段，分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据，对脑电数据进行预处理并提取特征，将多种负荷条件下的特征数据混合，选择合适的分类器建立训练模型；在实际应用阶段，采集各种负荷状态下的脑电数据作为测试数据，将上一阶段建好的训练模型和测试数据放入分类器中进行模式识别得到字符识别率，和纯拼写任务下的脑电数据建模进行字符识别的结果进行对比，分析P300拼写器性能的提升。

2.如权利要求1所述的提高脑力负荷状态下P300拼写器使用效果的方法，其特征是，分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据具体步骤是，采用的是6×6行列字符闪烁，在该范式中，要求受试者注视目标字符，6行6列依次闪烁10轮，当包含目标字符的行或者列闪烁时，受试者大脑中会诱发相应的事件相关电位，除此之外，还要求受试者在完成拼写任务的同时分别完成其它几种负荷任务，包括工作记忆任务、心算任务、推理任务以及探测任务，采集以上各种实验条件下的脑电信号并记录储存起来。

3.如权利要求1所述的提高脑力负荷状态下P300拼写器使用效果的方法，其特征是，对脑电数据进行预处理并提取特征具体步骤是，首先要对采集到的数据进行预处理，包括变参考、去眼电滤波以及降采样步骤，然后对数据进行特征提取的操作，这里的特征采用的是P300电位，选取八个典型导联Fz、Cz、T5、P3、Pz、P4、T6、Oz的数据进行分析，对于每一导联的数据，截取刺激开始后700ms内的信号作为特征，然后将八个导联的特征首尾相接构成用于分类的特征向量，其维数与采样率有关，每次刺激对应一个样本，因此得到样本数*特征维数的特征矩阵；得到特征矩阵后，在样本维度上将它们连接起来，然后统一进行归一化处理，到建立训练模型所需的特征矩阵；与特征矩阵相对应的是标签向量，每一个样本对应标签值1或者-1，其中1代表目标刺激，-1代表非目标刺激，同时提取纯拼写任务条件下的样本量相同的特征矩阵和标签向量作为对照。

4.如权利要求3所述的提高脑力负荷状态下P300拼写器使用效果的方法，其特征是，选择支持向量机SVM(Support Vector Machine)分类器建立训练模型，将得到的特征矩阵和与其对应的已知的标签向量放入分类器中进行机器学习，得到跨负荷任务通用训练模型；

然后采用分类器进行分类识别，将通用模型和测试数据特征送入分类器中进行目标刺激和非目标刺激的分类，对每个样本得到一个分类决策值，将每行或每列十次重复的决策值叠加，得到最大决策值对应的行和列即可确定目标字符，完成字符识别。

5.如权利要求3所述的提高脑力负荷状态下P300拼写器使用效果的方法，其特征是，选择线性判别分析LDA(Linear Discriminant Analysis)分类器建立训练模型，将得到的特征矩阵和与其对应的已知的标签向量放入分类器中进行机器学习，得到跨负荷任务通用训练模型；然后采用分类器进行分类识别，将通用模型和测试数据特征送入分类器中进行目标刺激和非目标刺激的分类，对每个样本得到一个分类决策值，将每行或每列十次重复的决策值叠加，得到最大决策值对应的行和列即可确定目标字符，完成字符识别。

说明书

提高脑力负荷状态下P300拼写器使用效果的方法

技术领域

[0001] 本发明属于神经工程与人机交互领域，具体讲,涉及提高脑力负荷状态下P300-Speller使用效果的方法。

背景技术

[0002] 脑机接口(BCI)是一种不依赖于大脑外部神经和肌肉等正常输出通路的通讯系统，用于为神经肌肉损伤病人提供帮助。在脑电信号中提取出的事件相关电位(ERP，Event-Related Potential)经常被用作BCI系统的控制信号，而P300电位是ERP最主要的成分。作为一种典型的脑机接口，P300-Speller由于具有识别率高，稳定性好以及无需训练等优点，成为了脑机接口领域的研究热点并获得了广泛应用。目前最常见的P300-Speller范式是由Farwell和Dochin于1988年设计并实现的传统6×6行列字符闪烁模式的P300-Speller。

[0003] 脑力负荷,也称心理负荷、精神负荷、脑力负担，指人在单位时间内的脑活动量、大脑资源占用率等；脑力负荷是一个多维概念，受到任务难度、操作者能力和操作者努力程度等多种因素的影响。负荷任务的类型有很多种，包括工作记忆、心算以及探测任务等。在理想的实验环境下，P300拼写器可以取得较好的识别效果，但当其应用在实际环境中时，字符识别率出现明显的下降。其中一个重要的原因是在实际应用中，受试者除了要完成基本的拼写任务外，还要不可避免地进行计算、判断等认知活动，导致其脑力负荷升高，进而影响P300拼写器的使用效果，而且不同类型任务造成的脑力负荷产生的影响也不尽相同。

[0004] 在先前的应用中，研究人员普遍采用只有P300拼写任务、没有外加负荷条件下的脑电特征数据作为训练数据建立模型，在各种负荷水平条件下进行测试，结果表明当受试者脑力负荷水平升高到一定程度时，P300拼写器的字符识别率正确出现下降。原因在于P300拼写器主要依靠ERP的目标刺激和非目标刺激的P300电位的差异进行分类识别，脑力负荷的升高会导致P300成分幅值降低，该差异变小，影响识别结果。而在训练数据中引入外加负荷任务下的脑电数据，使得训练样本空间和测试数据空间具有更好的一致性；引入多种不同典型负荷任务下的数据可以使样本空间具有更好的覆盖性，有利于字符识别。之前的研究表明，不同种类的负荷任务对P300成分的影响不完全相同，但对其幅值等方面的影响具有很强的一致性。因此，在实际应用的过程中，即使受试者所处的负荷任务类型并没有包括在建立通用训练模型的几种典型负荷任务中，和纯拼写任务条件下的训练数据相比，该训练数据与测试数据依然具有更好的一致性。因此该通用训练模型可以在受试者处于各种负荷状态下的实际应用中发挥作用，减轻脑力负荷带来的对识别率的负面影响，提高P300-Speller使用效果。

[0005] 目前仍缺少成熟技术的相关报道。

发明内容

[0006] 为克服现有技术的不足，本发明旨在提出一种能在一定程度上克服其影响、提高一定脑力负荷水平下P300-Speller使用效果的新方法。在只有拼写任务条件下的脑电数据中引入多种外加负荷任务下的数据作为训练数据建立通用训练模型，使得P300-Speller在应用于受试者进行各种认知活动、脑力负荷较高的实际场景中时也能取得较为理想的使用效果。该方法可以显著提高P300-Speller系统的稳定性和鲁棒性，为病人提供更可靠的与外界交流的途径，具有可观的社会效益和经济效益。本发明采用的技术方案是，提高脑力负荷状态下P300拼写器使用效果的方法，首先在模型建立阶段，分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据，对脑电数据进行预处理并提取特征，将多种负荷条件下的特征数据混合，选择合适的分类器建立训练模型；在实际应用阶段，采集各种负荷状态下的脑电数据作为测试数据，将上一阶段建好的训练模型和测试数据放入分类器中进行模式识别得到字符识别率，和纯拼写任务下的脑电数据建模进行字符识别的结果进行对比，分析P300拼写器性能的提升。

[0007] 分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据具体步骤是，采用的是6×6行列字符闪烁，在该范式中，要求受试者注视目标字符，6行6列依次闪烁10轮，当包含目标字符的行或者列闪烁时，受试者大脑中会诱发相应的事件相关电位，除此之外，还要求受试者在完成拼写任务的同时分别完成其它几种负荷任务，包括工作记忆任务、心算任务、推理任务以及探测任务，采集以上各种实验条件下的脑电信号并记录储存起来。

[0008] 对脑电数据进行预处理并提取特征具体步骤是，首先要对采集到的数据进行预处理，包括变参考、去眼电滤波以及降采样步骤。然后对数据进行特征提取的操作，这里的特征采用的是P300电位，选取八个典型导联Fz、Cz、T5、P3、Pz、P4、T6、Oz的数据进行分析，对于每一导联的数据，截取刺激开始后700ms内的信号作为特征，然后将八个导联的特征首尾相接构成用于分类的特征向量，其维数与采样率有关，每次刺激对应一个样本，因此得到样本数*特征维数的特征矩阵；得到特征矩阵后，在样本维度上将它们连接起来，然后统一进行归一化处理，到建立训练模型所需的特征矩阵；与特征矩阵相对应的是标签向量，每一个样本对应标签值1或者-1，其中1代表目标刺激，-1代表非目标刺激，同时提取纯拼写任务条件下的样本量相同的特征矩阵和标签向量作为对照。

[0009] 选择支持向量机SVM(Support Vector Machine)分类器建立训练模型，将得到的特征矩阵和与其对应的已知的标签向量放入分类器中进行机器学习，得到跨负荷任务通用训练模型；然后采用分类器进行分类识别，将通用模型和测试数据特征送入分类器中进行目标刺激和非目标刺激的分类，对每个样本得到一个分类决策值，将每行或每列十次重复的决策值叠加，得到最大决策值对应的行和列即可确定目标字符，完成字符识别。

[0010] 选择线性判别分析LDA(Linear Discriminant Analysis)分类器建立训练模型，将得到的特征矩阵和与其对应的已知的标签向量放入分类器中进行机器学习，得到跨负荷任务通用训练模型；然后采用分类器进行分类识别，将通用模型和测试数据特征送入分类器中进行目标刺激和非目标刺激的分类，对每个样本得到一个分类决策值，将每行或每列十次重复的决策值叠加，得到最大决策值对应的行和列即可确定目标字符，完成字符识别。

[0011] 本发明的特点及有益效果是：

[0012] 本发明提升了该系统在脑力负荷状态下的字符识别效果，在一定程度上克服了脑力负荷对P300-Speller系统带来的不利影响，提高了该系统的鲁棒性和稳定性，使脑机接口向着实用化的方向迈出了重要一步，可更好地造福于病人疾病的康复并给人类的实际生活带来便捷。附图说明：

[0013] 图1基于多种负荷数据建模提升P300-Speller性能流程图。

[0014] 图2 P300-Speller实验情景图。

具体实施方式

[0015] 提出了一种通过在P300-Speller分类器的训练数据中引入外加负荷条件下的数据建立训练模型，从而在一定程度上克服脑力负荷对P300-Speller的影响、提高其使用效果的方法。其技术流程是：搭建不同负荷任务条件下的P300-Speller刺激平台，采集受试者在不同脑力负荷状态下的脑电(EEG)信号，然后对脑电信号进行预处理以及特征提取等操作，进而在以纯拼写任务条件下的脑电特征作为分类器训练数据的基础上，引入多种负荷任务条件下的脑电数据建立通用训练模型。该模型可以应用于处于各种负荷状态下的受试者的字符拼写任务。以该模型为训练模型，不同负荷条件下的脑电特征作为测试数据，并采用分类器进行字符识别，可以提高脑力负荷状态下P300-Speller的使用效果，在一定程度上克服脑力负荷的影响，从而提高P300-Speller的稳定性和鲁棒性，使其更好地应用于实际生活中。该方法属于神经工程与人机交互领域提高脑机接口性能新方法。

[0016] 本发明针对脑力负荷的升高导致P300-Speller字符识别率下降的问题，提出一种能在一定程度上克服其影响、提高一定脑力负荷水平下P300-Speller使用效果的新方法。在只有拼写任务条件下的脑电数据中引入多种外加负荷任务下的数据作为训练数据建立通用训练模型，使得P300-Speller在应用于受试者进行各种认知活动、脑力负荷较高的实际场景中时也能取得较为理想的使用效果。该方法可以显著提高P300-Speller系统的稳定性和鲁棒性，为病人提供更可靠的与外界交流的途径，具有可观的社会效益和经济效益。

[0017] 基于在纯拼写任务下的脑电数据中引入多种外加负荷任务数据建立训练模型提升P300-Speller系统使用效果的流程图如图1所示。P300-Spller性能提升的整个流程为：首先在模型建立阶段，分别采集纯拼写任务以及多种外加典型负荷任务下的脑电数据，对脑电数据进行预处理并提取特征，将多种负荷条件下的特征数据混合，选择合适的分类器建立训练模型。在实际应用阶段，采集各种负荷状态下的脑电数据作为测试数据，将上一阶段建好的训练模型和测试数据放入分类器中进行模式识别得到字符识别率，和纯拼写任务下的脑电数据建模进行字符识别的结果进行对比，分析P300-Speller性能的提升。下面对各个模块做详细介绍。

[0018] 1建模阶段信号采集与实验设计

[0019] 本发明主要研究的生理信号是脑电信号。研究认为，脑电信号主要是由皮层内大量神经元突触后电位同步总和所形成的，是许多神经元共同活动的结果。作为一种生理信号，脑电具有信号微弱、非线性、随机性强、非平稳几个特点。脑电信号大致可以分为自发脑电和诱发脑电两种。自发脑电指的是无任何特定的外加刺激时，神经系统自发产生的大脑电位变化，据其频率的不同可以划分为：δ，θ，α，β，γ等节律。诱发脑电指的是对人施加某种感官刺激(如声、光、图像、体感等)时，在脑相应部位诱发的电位变化。事件相关电位是一种特殊的脑电诱发电位。它的产生是由被赋予一定心理意义的刺激所引起的，它反映了人脑认知过程中的神经电生理信号的变化。本发明中字符识别所依靠的特征信号即为事件相关电位最主要的成分——P300电位。

[0020] 训练阶段的数据采集首先需要采集只有P300-Sepller任务时受试者的脑电信号，该拼写任务的实验情境图如图2所示。这里采用的是经典的6×6行列字符闪烁，在该范式中，要求受试者注视目标字符，6行6列依次闪烁10轮。当包含目标字符的行或者列闪烁时，受试者大脑中会诱发相应的事件相关电位。除此之外，还要求受试者在完成拼写任务的同时分别完成其它几种负荷任务，主要包括工作记忆任务(如n-back)、心算任务、推理任务以及探测任务等几种典型任务，采集以上各种实验条件下的脑电信号并记录储存起来。

[0021] 实验过程中，一般要求受试者佩戴电极帽坐在呈现刺激界面的电脑前，电极帽采集到的脑电信号经过放大器处理后存入电脑磁盘中。实验的刺激界面采用由美国PST公司开发的E-Prime软件编写，E-Prime是一套针对心理与行为实验的计算机化的实验设计、生成和运行软件。电极帽通常使用的是40导联银/氯化银电极帽，电极的位置通常按照10-20国际标准导联系统安放。电极帽采集到的脑电信号送入到Neuroscan公司研制的电生理放大器NuAmp中，它可以将采集到的脑电信号进行滤波、放大等操作，以便后续数据的处理。

[0022] 2特征提取与训练模型建立

[0023] 训练数据特征提取与训练模型的建立是本方法中的关键技术。在进行特征提取和分类识别之前，首先要对采集到的数据进行预处理。预处理的好坏会直接影响到后续的处理结果。这里预处理主要包括变参考、去眼电滤波以及降采样等步骤。然后对数据进行特征提取的操作，这里的特征采用的是P300电位。为了减少数据量，通常选取八个典型导联(Fz、Cz、T5、P3、Pz、P4、T6、Oz)的数据进行分析。P300信号发生在刺激出现之后300ms前后，不同被试在潜伏期上会有所不同，对于每一导联的数据，截取刺激开始后700ms内的信号作为特征，以保证截取的信号中包含P300信号，同时数据量变少，方便计算。然后将八个导联的特征首尾相接构成用于分类的特征向量，其维数与采样率有关。每次刺激对应一个样本，因此得到样本数*特征维数的特征矩阵。

[0024] 按上述方法得到各种负荷条件下的特征矩阵后，在样本维度上将它们连接起来，然后统一进行归一化处理，即可得到建立训练模型所需的特征矩阵。与特征矩阵相对应的是标签向量，每一个样本对应标签值1或者-1，其中1代表目标刺激，-1代表非目标刺激。同时提取纯拼写任务条件下的样本量相同的特征矩阵和标签向量作为对照。

[0025] 得到特征矩阵以及标签向量之后，即可选择合适的分类器建立训练模型。在P300-Speller的研究与应用中，常用的分类器有线性判别分析(Linear Discriminant Analysis,LDA)和支持向量机(Support Vector Machine，SVM)算法。下面对这两种分类算法进行介绍。

[0026] 线性判别分析算法的基本思想是，将所有的数据样本沿着某方向投影，投影方向选择的原则是：样本沿该方向投影后，可以实现不同类别样本的类间距离最大，同类样本间的类内距离最小，即类间离散度最大，类内离散度最小，从而进行分类。这种方法可以降低原始数据的特征维数，实现更好的分类效果。

[0027] 支持向量机算法的概念是建立在统计学理论基础上的一种新的机器学习方法。该方法以结构风险最小原理和VC维理论为理论基础，目的是使真实风险也就是经验风险和置信风险之和最小，和传统机器学习法相比它具有更好的泛化能力，能有效地解决过学习问题，在非线性、小样本及高维模式识别问题中具有明显的优势。

[0028] 将得到的特征矩阵和与其对应的已知的标签向量放入分类器中进行机器学习，即可得到跨负荷任务通用训练模型。同时也需要将纯拼写任务下的特征矩阵和标签向量通过机器学习建立对照训练模型。由此得到的训练模型即可应用于应用阶段中在线测试的模式识别过程，从而得到两种训练模型下的字符识别结果。

[0029] 3测试数据采集与在线分类

[0030] 应用阶段同样需要采集脑电信号作为测试数据。测试阶段需要进行在线实验，要求受试者在存在其它负荷任务的情况下完成字符拼写任务，或者模拟邮件发送等实际场景。受试者自主选择要拼写的字符，在进行拼写任务的同时采集脑电数据并进行同步处理，在每个字符拼写完成后实时反馈数据处理的得到的目标字符。在在线实验中，脑电采集装置基本与训练数据采集装置相同，同样通过电极帽采集脑电信号并传送给NuAmp放大器。同时利用TCP/IP协议将Scan4.5采集软件与负责处理数据的计算机连接起来，计算机可直接同步获取原始脑电数据、导联信息、以及事件相关信息(潜伏期和标签)等，然后在计算机中运行matlab程序进行实时数据处理，进行后续的分类过程。

[0031] 采集到在线测试时的脑电数据后，即可在计算机中对其进行实时处理。对测试数据的处理方法和训练数据相同，即首先进行预处理等操作，然后进行特征提取。最后采用分类器进行分类识别，分类器的训练模型即为3中多种负荷条件下的脑电特征混合建立的通用模型。将该通用模型和测试数据特征送入分类器中进行目标刺激和非目标刺激的分类，即可对每个样本得到一个分类决策值，将每行或每列十次重复的决策值叠加，得到最大决策值对应的行和列即可确定目标字符，完成字符识别。同样，还需要采用作为对照的纯拼写任务条件下的数据建立的模型对测试数据进行分类识别。为了避免分类器对识别结果可能带来的影响，这里采用两种分类器LDA和SVM进行分类识别。将通用训练模型和对照模型的字符识别正确率结果进行对比，即可评估通用训练模型对P300-Speller使用效果的提升作用。

[0032] 本发明的主旨是提出一种提高脑力负荷状态下P300-Speller系统使用效果的方法，通过在纯拼写任务下的脑电数据中引入多种外加负荷任务的数据建立训练模型，继而在在线测试中应用该模型进行模式识别，使得该系统在使用者处于不同脑力负荷水平下都保持较高的字符识别率，提高P300-Speller系统的使用效果，具有可观的社会效益和经济效益。该发明具有简便快捷、实用性强、操作性强以及效果明显等优点，可以在P300-Sepller脑机接口的实际应用中直接实施，包括使用P3000-Speller控制轮椅、浏览网页以及与人沟通等多种场景。