一种面向虚拟现实应用的多通道自适应脑机交互方法专利检索-脑机接口生物工程专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种面向虚拟现实应用的多通道自适应脑机交互方法

阅读：1105发布：2021-02-02

IPRDB可以提供一种面向虚拟现实应用的多通道自适应脑机交互方法专利检索，专利查询，专利分析的服务。并且一种面向虚拟现实应用的多通道自适应脑机交互方法，该系统由脑机接口客户端、多通道通讯模块和虚拟现实显示模块三大部件组成，脑机接口客户端通过脑电采集设备与用户的大脑相连接，采集的脑电信号通过分类识别算法得到解码信息。同时，脑机接口客户端通过多通道通讯模块与虚拟现实显示模块相连。在多通道通讯模块中，通过多线程同步通讯技术，同时连接多台脑机接口客户端并实现客户端与显示模块之间的双向通讯。脑机接口客户端可以接受由虚拟现实场景反馈的状态信息，并将状态信息与脑电解码信息进行联合编码得到脑机接口的控制命令输出，从而使控制命令能够自适应地根据虚拟场景状态的变化而变化。解决了目前基于虚拟现实的脑机交互方法中存在的单用户、单一功能的局限性。，下面是一种面向虚拟现实应用的多通道自适应脑机交互方法专利的具体信息内容。

权利要求

1.一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：采用以下步骤，

步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；

步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生与使用者数量相对应的SSVEP开关按钮；

步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；

步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号；

步骤5：判断使用者是否启动对应的SSVEP开关按钮，若该SSVEP开关按钮启动，则进入步骤6；

否则，使用者脑机接口客户端继续保持待机状态；

步骤6：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对SSVEP脑电信号检测；

步骤7：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端开启对使用者的P300脑电波进行检测；

在每个目标选择信息上对应有一个P300按钮，使用者通过选择P300按钮来确定需要的目标；

步骤8：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作状态通过多通道通讯模块发送到对应的脑机接口客户端；

步骤9：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端开启对使用者的运动想象脑电信息进行检测，虚拟现实场景上的所述目标动作状态根据使用者的运动想象脑电信息不同，产生不同的动作；

步骤10：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；

否则，则保持该使用者当前脑开关的状态不变，交互继续；

步骤11：保持待机状态。

2.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤5包括以下步骤：步骤51：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；

步骤52：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；

步骤53：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；

步骤54：通过频域特征计算SSVEP开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；

步骤55：判断比率α是否大于预设的阈值，

若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤6；

否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互。

3.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤7包括以下步骤：步骤71：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；

步骤72：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；

步骤73：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时对应的特征向量；

步骤74：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；

步骤75：将每个P300按钮对应的m个特征向量分别通过分类系统进行分类，确定使用者选择的目标。

4.根据权利要求1所述一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：所述步骤9包括以下步骤：步骤91：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；

步骤92：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；

步骤93：将提取出Mu节律频率送至信息特征提取模块进行特征提取；

步骤94：将提取出的特征通过分类算法模块进行分类；

步骤95：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作。

说明书全文

一种面向虚拟现实应用的多通道自适应脑机交互方法

技术领域

[0001] 本发明属于虚拟现实领域，具体涉及一种面向虚拟现实应用的多通道自适应脑机交互方法。

背景技术

[0002] 为帮助严重身体有缺陷的人群解决交流互动问题，在1991年Wolpaw等人发表了通过改变脑电信号中的μ节律幅度来控制光标移动的成果，提出了一种全新的自动控制概念-大脑驱动控制技术BAC，简称脑电控制，与手动控制、语音控制相比，脑电控制为利用大脑脉冲信号去控制计算机、发动机或者其它装置。只需要提取相关脑电信号，经过预处理后，经过计算机模式识别分类后，就能通过不同的分类的信号，驱动计算机完成不同功能。自从BAC技术问世以来，由于该项技术巨大的应用前景，可以应用于病人康复、军事演练、场景模拟等，各国大量的研究人员投入了巨大的精力对相关技术进行了研究，目前该项技术也存在不少相关的专利，例如申请为201610749276.9和201710067795.1的发明旨在使用脑机接口方法提取用户大脑的运动想象信号，去控制虚拟现实场景中的手或上肢的运动，对患者进行康复训练；

[0003] 申请号为201410140712.3和201510286802.8的发明是将虚拟现实眼镜或头盔作为显示设备，利用脑电信号去控制虚拟现实场景的变化。

[0004] 但是在上述已有的面向虚拟现实应用的脑机交互技术专利文件中，实现的功能仅仅是将脑机接口与虚拟现实系统进行单向、单通道的连接，因此只能完成单用户脑电信号对虚拟场景的单一控制功能，对于多用户脑电协同控制以及多功能复合控制的实现无能为力，因此针对上述存在的缺陷，提供一种面向虚拟现实应用的多通道自适应脑机交互方法。

发明内容

[0005] 本发明针对现有技术的不足，提出一种面向虚拟现实应用的多通道自适应脑机交互方法，具体技术方案如下：

[0006] 一种面向虚拟现实应用的多通道自适应脑机交互方法，其特征在于：

[0007] 采用以下步骤，

[0008] 步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；

[0009] 步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生对应与脑机接口客户端对应的SSVEP开关按钮；

[0010] 步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；

[0011] 步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号，

[0012] 步骤5：判断使用者是否启动对应的SSVEP开关按钮，

[0013] 若该SSVEP开关按钮启动，则进入步骤6；

[0014] 否则，使用者脑机接口客户端继续保持待机状态；

[0015] 步骤6：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对SSVEP脑电信号检测；

[0016] 步骤7：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端开启对使用者的P300脑电波进行检测；

[0017] 在每个目标选择信息上对应有一个P300按钮，使用者通过选择P300按钮来确定需要的目标；

[0018] 步骤8：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作状态通过多通道通讯模块发送到对应的脑机接口客户端；

[0019] 步骤9：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端开启对使用者的运动想象脑电信息进行检测，虚拟现实场景上的所述目标动作状态根据使用者的运动想象脑电信息不同，产生不同的动作；

[0020] 步骤10：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；

[0021] 否则，则保持该使用者当前脑开关的状态不变，交互继续；

[0022] 步骤11：保持待机状态。

[0023] 为更好的实现本发明，可进一步为：所述步骤5包括以下步骤：

[0024] 步骤51：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；

[0025] 步骤52：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；

[0026] 步骤53：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；

[0027] 步骤54：通过频域特征计算SSVEP开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；

[0028] 步骤55：判断比率α是否大于预设的阈值，

[0029] 若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤6；

[0030] 否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互。

[0031] 进一步地：所述步骤7包括以下步骤：

[0032] 步骤71：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；

[0033] 步骤72：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；

[0034] 步骤73：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时对应的特征向量；

[0035] 步骤74：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；

[0036] 步骤75：将每个P300按钮对应的m个特征向量分别通过分类系统进行分类，确定使用者选择的目标。

[0037] 进一步地：所述步骤9包括以下步骤：

[0038] 步骤91：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；

[0039] 步骤92：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；

[0040] 步骤93：将提取出Mu节律频率送至信息特征提取模块进行特征提取；

[0041] 步骤94：将提取出的特征通过分类算法模块进行分类；

[0042] 步骤95：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作。

[0043] 本发明的有益效果为：解决了目前基于虚拟现实的脑机交互方法中存在的单用户、单一功能的局限性，通过将脑机接口方法与多通道通讯模块相结合，利用反馈机制将虚拟现实场景的状态信息回传到脑机接口客户端，同时，脑机接口客户端对脑电信号进行分类识别得到解码信息，然后将上述状态信息与解码信息进行联合编码，使脑机接口输出的控制命令能够自适应地根据虚拟场景状态的变化而变化，从而实现多用户脑电协同控制与多功能复合控制，用虚拟现实反馈的状态信息作为多路开关选择信号，对混合脑电信号进行筛选。

附图说明

[0044] 图1为本发明的流程图；

[0045] 图2为本发明的连接框图；

[0046] 图3为进入界面SSVEP开关示意图；

[0047] 图4为目标选择界面示意图。

具体实施方式

[0048] 下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

[0049] 一种面向虚拟现实应用的多通道自适应脑机交互方法，

[0050] 采用以下步骤，

[0051] 步骤1：设置有n组脑机接口客户端，脑机接口客户端的输入端口与脑电采集帽相连，使用者戴上脑电采集帽，脑机接口客户端的通讯端口分别通过多通道通讯模块与虚拟现实显示模块的通讯端口相连；

[0052] 步骤2：将虚拟现实显示模块中的程序进行参数设置，设置相应的使用者数，在虚拟现实场景上产生对应与脑机接口客户端对应的SSVEP开关按钮，如图3所示，该SSVEP开关按钮由位于中央的一个大圆和围绕该大圆的八个小圆组成；

[0053] 步骤3：虚拟现实显示模块参数设置完成后，进入待机状态，虚拟现实显示模块通过多通道通讯模块将待机状态信息发送给每组脑机接口客户端；

[0054] 步骤4：待机状态信息与使用者脑电信息进行联合编码，使得脑机接口客户端只保留对使用者的SSVEP脑电信号的检测，屏蔽无关信号；

[0055] 步骤5：将虚拟现实场景上的四个SSVEP开关按钮分别以不同的频率进行闪烁；

[0056] 步骤6：使用者注视对应于自己脑机接口客户端的那个SSVEP开关按钮；

[0057] 步骤7：脑机接口客户端获得使用者大脑产生的稳态视觉诱发SSVEP电位，然后提取出其频域特征；

[0058] 步骤8：通过频域特征计算开关按钮闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α；

[0059] 步骤9：判断比率α是否大于预设的阈值，

[0060] 若是则表示检测到SSVEP开关按钮闪烁频率，改变该使用者当前脑开关的状态，启动交互，进入步骤10；

[0061] 否则表示未检测到SSVEP开关按钮闪烁频率，保持该使用者当前脑开关的状态不变，不启动交互；

[0062] 步骤10：虚拟现实显示模块生成目标选择信息，并将该目标选择信息通过多通道通讯模块发送到对应的脑机接口客户端，脑机接口客户端始终保持对SSVEP脑电信号检测；

[0063] 步骤11：目标选择信息与使用者脑电信息联合编码，使得脑机接口客户端对使用者的P300脑电波进行检测；

[0064] 步骤12：在每个目标选择信息上对应生成有一个P300按钮，使用者注视着要选取目标信息上对应的P300按钮；

[0065] 步骤13：每个P300按钮随机闪烁一次，在P300按钮闪烁的同时，脑机接口客户端同步对头皮脑电信号进行采集，将头皮脑电信号进行带通滤波，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，脑机接口客户端存储每个P300按钮闪烁时对应的特征向量；

[0066] 步骤14：将上述步骤73重复m遍，脑机接口客户端对于所有的P300按钮均生成有对应的m个特征向量；

[0067] 步骤15：将每个P300按钮对应的m个特征向量分别通过分类系统进行分类，确定使用者选择的目标。

[0068] 步骤16：目标选择完成后，虚拟现实显示模块将状态信息改变为目标动作状态，并将该目标动作状态通过多通道通讯模块发送到对应的脑机接口客户端；

[0069] 步骤17：目标运动信息与使用者脑电信息联合编码，使得脑机接口客户端关闭对使用者的P300脑电波进行检测，脑机接口客户端启动对使用者的运动想象脑电波信息进行监测；

[0070] 步骤18：脑机接口客户端对于接收到脑电波信号进行预处理，然后进行降采样和CAR滤波，提取出Mu节律频率；

[0071] 步骤19：将提取出Mu节律频率送至信息特征提取模块进行特征提取；

[0072] 步骤20：将提取出的特征通过分类算法模块进行分类；

[0073] 步骤21：根据分类算法模块输出的结果不同，虚拟现实场景上的所述目标动作状态产生不同的动作，该分类算法模块将脑电信息分为四类：当用户进行左手运动想象时，控制对应的目标向左转；当用户进行右手运动想象时，控制对应的目标向右转；当用户进行双脚运动想象时，控制对应的目标向前进；当用户不做任何运动想象时，则让目标处于静止状态；

[0074] 步骤22：当使用者要停止交互时，判断SSVEP开关按钮是否关闭，若该SSVEP开关按钮关闭，脑机接口客户端屏蔽与SSVEP脑电信号无关的脑电波信号，只保持对SSVEP脑电信号的检测，进入下一步骤；

[0075] 否则，则保持该使用者当前脑开关的状态不变，交互继续；

[0076] 步骤23：保持待机状态。

[0077] 上述步骤4、步骤11和步骤17的联合编码是指将状态信息作为多路开关的控制信号，对多种脑电信号进行有选择性的检测，具体为将待机状态、目标选择信息状态和目标运动信息状态分别编码为二进制001、010、101，其中每一位对应于多路开关中的一路，从低位到高位分别对应为SSVEP、P300、运动想象。在每一位上，若编码为0，则开关关闭，若编码为1，则开关打开。虚拟现实显示模块每进入一个状态就向脑机接口客户端反馈一个状态信息，控制多路开关的开闭。

[0078] 具体为：步骤4，在待机状态时，虚拟现实显示模块向脑机接口客户端反馈一个待机信号，使得脑机客户端的状态信息编码为001，其结果为多路开关接通SSVEP信号，关闭P300脑电信号与运动想象信号。在目标选择信息状态时，状态信息编码为010，多路开关开启P300脑电信号，关闭SSVEP脑电信号和运动想象脑电信号。在步骤17中进行目标运动信息状态检测时，状态信息编码为101，关闭P300脑电信号，开启SSVEP和运动想象信号检测，运动想象信号控制目标动作状态产生不同的动作，SSVEP脑电信号，方便使用者可以随时停止交互。

[0079] 步骤19具体采用方法流程为：特征提取是基于共空域模式(Common Spatial Patterns，CSP)算法，该算法是提取空间投影后的信号方差作为特征，具体包括以下步骤：

[0080] (1)分别计算两类信号平均的协方差矩阵：

[0081]

[0082] 其中Ra(i)和Rb(i)表示分别对应于a类和b类，第i次实验的协方差矩阵，n1表示a类样本的数量，n2表示b类样本的数量；

[0083] (2)联合协方差矩阵R＝Ra+Rb，对其进行奇异值分解：

[0084]

[0085] 其中U0和Ac分别表示对R进行特征值分解后的特征向量矩阵与特征值对角矩阵，为U0的转置矩阵；

[0086] (3)获取R的白化变换矩阵P为：

[0087]

[0088] (4)分别对Ra和Rb进行白化变换，得到：

[0089] Sa＝PRaPT，Sb＝PRbPT

[0090] (5)对Sa或Sb进行特征值分解，得到它们共同的特征向量矩阵U，并计算得到投影矩阵W：

[0091] W＝UTP

[0092] (6)对于每次实验的EEG数据矩阵X(i)经过投影后得到：

[0093] Z(i)＝WX(i)

[0094] 对每个投影后的矩阵Z(i)取其方差作为特征进行分类。

[0095] 由于CSP算法针对的是两个类别的信号分类，而本系统运动想象信号包含左手、右手、脚三个类别，因此本系统在上述CSP算法基础上做了扩展，采用了一对多CSP方法，即把三类问题分解为三个两类问题进行处理。在每个两类问题中，把一个类别当作一类，其余的两类当作一类，进行CSP处理，然后对三组CSP处理得到的三组特征基于方差的大小进行分类。

[0096] 一对多CSP方法可参考相关文献：康莎莎，多类运动想象脑电信号的识别及其在BCI中的应用[D]，安徽大学，2016。

标题	发布/更新时间	阅读量
一种脑机接口系统-专利编号CN106843509B	2020-05-13	561
一种脑机接口方法-专利编号CN108319367A	2020-05-14	567
一种多态脑机接口系统-专利编号CN106909226A	2020-05-15	696
一种脑机接口系统-专利编号CN106843509A	2020-05-15	358
脑机接口系统及方法-专利编号CN102985002B	2020-05-11	377
一种机器人及脑机接口-专利编号CN103529938A	2020-05-11	514
脑机接口家电遥控装置-专利编号CN100353390C	2020-05-12	422
脑机接口家电遥控装置-专利编号CN1710621A	2020-05-12	578
用于脑机接口的系统-专利编号CN106062669B	2020-05-13	1088
一种脑机接口通信装置-专利编号CN108498093A	2020-05-14	285

一种面向虚拟现实应用的多通道自适应脑机交互方法

一种面向虚拟现实应用的多通道自适应脑机交互方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式