基于多维信号处理和自适应学习的混合脑机接口系统专利检索-脑机接口生物工程专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

基于多维信号处理和自适应学习的混合脑机接口系统

阅读：1118发布：2020-12-10

IPRDB可以提供基于多维信号处理和自适应学习的混合脑机接口系统专利检索，专利查询，专利分析的服务。并且本发明提出了一种基于多维信号处理和自适应学习的混合脑机接口系统，包括多维信号采集模块、解码单元、执行单元、自适应学习模块；其中，所述多维信号采集模块采集多个维度的生理信号，并进行放大和模数转换处理；所述解码单元从多维信号中分别提取有用的信息，即多维信号特征提取，然后对特征进行融合计算，最后根据特征融合结果进行任务决策；所述执行单元根据所述解码单元给出的任务执行相应的功能；所述自适应学习模块用于用户在第一次使用系统前进行学习，根据操作指南执行设定的行为任务，采集执行任务过程中的生理活动信号，计算获得最佳的特征提取和任务分类的参数。系统的具有自适应学习功能，可以根据环境、时间及使用个体的不同，进行参数调整，最大程度保证了系统控制的准确性。，下面是基于多维信号处理和自适应学习的混合脑机接口系统专利的具体信息内容。

权利要求

1.基于多维信号处理和自适应学习的混合脑机接口系统，其特征在于：所述系统包括多维信号采集模块、解码单元、执行单元、自适应学习模块；其中，所述多维信号采集模块采集多个维度的生理信号，并进行放大和模数转换处理；所述解码单元从多维信号中分别提取有用的信息，即多维信号特征提取，然后对特征进行融合计算，最后根据特征融合结果进行任务决策；所述执行单元根据所述解码单元给出的任务执行相应的功能；所述自适应学习模块用于用户在第一次使用系统前进行学习，根据操作指南执行设定的行为任务，采集执行任务过程中的生理活动信号，计算获得最佳的特征提取和任务分类的参数。

2.根据权利要求1所述的混合脑机接口系统，其特征在于：所述多维信号包括以下生理信号中的至少两个：脑电、眼电、肌电、心电和脉搏。

3.根据权利要求1所述的混合脑机接口系统，其特征在于：想象或执行左手、右手、脚的运动所产生脑电信号的特征提取方法如下：(a)选定的脑电信号采样通道数据x(t)进行希尔伯特变换得到xH(t)；

(b)构造复解析信号xa(t)：

(c)得到x(t)任意时刻的相位：θx(t)＝Arg(xa(t))；

(d)计算通道之间的相位差IPD：

φxy(t)＝[θx-θy+π]mod 2π-π

任意时刻满足-π≤φxy(t)≤π，φxy(t)可用于检测脑电信号的变化。

4.根据权利要求1所述的混合脑机接口系统，其特征在于：所述特征融合模型如下：其中，d是系统的解码维度，fd×1为输出，即多生理信号特征融合的结果，M为系统信号数量，表示第i种信号的特征向量，其特征数目为Ni，是的权重，为一个d×Ni的矩阵，bd×1是d×1的向量，为偏置系数。

5.根据权利要求3所述的混合脑机接口系统，其特征在于：使用softmax实现任务决策：其中，fk，1为向量fd×1下标为(k，1)的值。

6.根据权利要求3所述的混合脑机接口系统，其特征在于：所述自适应学习过程为：用户根据操作指南以及执行单元的反馈提示，进行设定的动作或者行为，以达到某种控制效果；该过程中，各生理信号被记录，系统根据测量到的信号以及控制目标，以成本损失最小准则，调整各信号提取特征参数和任务决策模型的权重

7.根据权利要求5所述的混合脑机接口系统，其特征在于：系统第一次使用或者改变使用人时，当前用户必须根据操作指南，进行自适应学习。

8.根据权利要求1所述的混合脑机接口系统，其特征在于：所述系统依托于手机、计算机或者定制的嵌入式操作系统平台。

说明书全文

基于多维信号处理和自适应学习的混合脑机接口系统

技术领域

[0001] 本发明涉及脑机接口技术领域，尤其涉及一种混合脑机接口系统。

背景技术

[0002] 大脑产生某种特征的信号实现与电子设备(如，计算机)的交流和控制，称为脑机接口(Brain Computer Interface，BCI)，脑机接口的关键是识别的大脑信号特征，才能将其转为控制设备的正确命令。大脑生理活动可以用脑电信号(EEG)、磁共振成像(fMRI)、近红外光学成像(fNIR)或者电极侵入头皮等方式测量，由于具有实现成本、对人体无害等特点，脑电信号是机接口控制最常用的信号，基于脑电信号的脑机接口系统主要有基于P300事件、基于稳态视觉诱发电位(SSVEP)以及基于想象运动三种类型。

[0003] 目前，脑机接口最大应用是严重运动障碍人群(如中风、残疾)的神经康复，而在通信控制、军事、娱乐电子等应用领域，对于一般人(具有正常语言交流和运动能力)而言，脑机接口尚未成为一种有效的工具，从技术角度分析，主要有以下几个原因：(1)脑电信号非平稳性强，本身非常微弱，信噪比很低，容易受环境及外界信号的影响，因此，脑机接口在运作时，使用人不能是移动的，否则会导致外界、身体其它生理信号的干扰明显增强，系统性能下降明显。(2)脑机接口对不同的使用人表现出不同的效果。由于个体的脑电信号特征差异，25％以上的人群无法正常使用上述3种类型的脑机接口系统。(3)脑机接口实用化还需增强。P300事件和稳态视觉诱发电位(SSVEP)的脑机接口系统，控制信号的产生依赖于外部刺激装置，长时间操作容易产生操作疲劳，有研究表明，稳态视觉诱发电位系统长期使用有诱发癫痫的潜在危害。而基于运动想象的脑机接口的系统实现效果严重依赖于信号预处理过程，如果不能有效滤除噪声信号，系统控制的准确性将会受到影响。

[0004] 多任务类型识别是脑机接口实用化的一个重要衡量。多任务类型是复杂控制(例如一个机械手臂方面移动控制，需要给出3个维度方向的控制信号)的前提条件，基于脑电信号的脑机接口在这一方面有待改善。

发明内容

[0005] 针对现有技术中存在的不足，本发明针对基于脑电信号的脑机接口应用性方面的不足(抗干扰能力弱、控制指令简单、个体适应性差等)，提供一种基于多维信号处理和自适应学习的混合脑机接口系统，主要具有两个重要特点：(1)不只是基于脑电信号，而是基于维度生理信号实现控制；(2)系统可以不断进行学习和调整，适应不同的使用个体。

[0006] 为了实现上述目的，本发明采取以下技术方案：

[0007] 一种基于多维信号处理和自适应学习的混合脑机接口系统，包括多维信号采集模块、解码单元、执行单元、自适应学习模块；其中，所述多维信号采集模块采集多个维度的生理信号，并进行放大和模数转换处理；所述解码单元从多维信号中分别提取有用的信息，即多维信号特征提取，然后对特征进行融合计算，最后根据特征融合结果进行任务决策；所述执行单元根据所述解码单元给出的任务执行相应的功能；所述自适应学习模块用于用户在第一次使用系统前进行学习，根据操作指南执行设定的行为任务，采集执行任务过程中的生理活动信号，计算获得最佳的特征提取和任务分类的参数。

[0008] 本发明的实现关键如下：

[0009] (1)根据脑机接口系统的功能需要决定解码维度，即系统可识别任务的种类。可识别的任务越多，系统能够实现的控制越复杂，比如一个机械臂，至少需要3个控制维度的。本发明的基于多维度生理信号作为特征提取，跟传统的单维度脑电信号相比，有更多的控制维度(即能实现更多、更复杂的控制)。作为本发明的进一步改进，所述多维信号包括以下生理信号中的至少两个：脑电、眼电、肌电、心电和脉搏。

[0010] (2)操作指南设计：即设计任务，任务是用户操作系统的方式(或行为)。任务设计的准则是，通过其的实施，涉及的生理信号(脑电、眼电、肌电、心电和脉搏等)能够表现出明显的时、空、频、相的特性改变，一种任务代表了各生理信号间的特定变化，解码单元通过检测这些“变化”的特征，计算出脑机接口执行的任务或者命令。例如可以分别设计左手、右手握紧、双脚的执行(或者想象)动作，眼睛凝视、快速眨眼等行为。

[0011] (3)多种生理信号采集：脑电、眼电、肌电、心电和脉搏等生理信号是被同步采样的，需特别指出的是，EMG感应电极可置于四肢，感应四肢肌肉收缩的变化；光电容积脉搏波描记法(PPG)是可感应脉搏的变化。

[0012] (4)基于多信号特征提取：各生理信号被同步采集后，解码单元按照1秒时间的数据长度，分别对各信号进行处理，提取特征。各信号特征的提取或定义如下。

[0013] (4.1)脑电信号：想象(或执行)左手、右手、脚的运动，产生控制信号，信号被采样后，先进行预处理，包括消除眼电、肌电、心电和工频等的干扰。选用基于相位参数为特征提取算法。算法如下：

[0014] (a)选定的脑电信号采样通道数据x(t)进行希尔伯特变换得到xH(t)；

[0015] (b)构造复解析信号xa(t)：

[0016] (c)可以得到x(t)任意时刻的相位：θx(t)＝Arg(xa(t))；

[0017] (d)计算通道之间的相位差IPD：

[0018] φxy(t)＝[θx-θy+π]mod 2π-π (1)

[0019] 任意时刻满足-π≤φxy(t)≤π，φxy(t)可用于检测脑电信号的变化，可作为信号变化的特征。

[0020] (4.2)眼电信号：眼睛凝视、有意识的眨眼在信号持续时间、幅度方面均有明显特性，取4～7个单位时间窗数据，均可以检测出凝视、快速眨眼(2秒以内)和长时间眨眼(3秒至6秒)，定义特征向量 E1表示凝视，等于1表示有凝视，等于0表示无凝视，E2表示快速眨眼，E3表示长时间眨眼，同样，值为1时表示事件存在，值为0时表示事件不存在。

[0021] (4.3)肌电信号：单位时间窗内的肌肉尖峰信号数定义为kM，为肌电信号的特征。特征提取流程：

[0022] (a)肌电信号xM(t)信号LPF滤波，滤除高频的噪声，得到xM1(t)；

[0023] (b)设定阈值PM，对xM1(t)信号阈值检测，得到xM2(t)：

[0024]

[0025] 参数PM可以通过系统的自适应学习功能调整；

[0026] (c)求xM2(t)导数，计算尖峰数kM。

[0027] (4.4)心电信号：与脑电信号相似，其幅度或者相位IPD作为特征，表征心电信号的变化。

[0028] (4.5)脉搏信号：多个单位时间窗内脉搏数kP为特征。

[0029] (5)特征融合和任务决策。

[0030] (5.1)作为本发明的进一步改进，特征融合模型如下：

[0031]

[0032] d是系统的解码维度，fd×1为输出，即多生理信号特征融合的结果。M为系统信号数量，如果系统只使用脑电、眼电、肌电三种信号，那么M＝3；表示第i种信号的特征向量，其特征数目为Ni，是的权重，是一个d×Ni的矩阵。bd×1是d×1的向量，为偏置系数。

[0033] 根据公式(2)，维度为3的系统解码输出如下：

[0034]

[0035] N1为脑电信号特征的向量长度，N2为心电信号特征的向量长度。

[0036] (5.2)作为本发明的进一步改进，使用softmax实现任务决策(或任务分类)：

[0037]

[0038] fk，1为向量fd×1下标为(k，1)的值。

[0039] (6)自适应学习过程：用户根据操作指南以及执行单元的反馈提示，进行设定的动作或者行为，以达到某种控制效果，例如，通过左手或者右手想象运动，控制屏幕光标向目标位置移动。该过程中，各生理信号被记录，系统根据测量到的信号以及控制目标，以成本损失最小准则，调整各信号提取特征参数(比如EMG特征提取相关参数PM)和任务决策模型的权重这种通过不断的训练，得到最优控制参数的过程，可称之为自适应学习。系统第一次使用或者改变使用人时，当前用户必须根据操作指南，进行训练(即系统进行自适应学习)。

[0040] 定义学习成本函数：

[0041]

[0042] 为任务的标签值，yd×1是softmax决策结果。自适应学习过程，以H最小为准则(此时yk，1最大)调整权重

[0043] 作为本发明的进一步改进，所述系统依托于手机、计算机或者定制的嵌入式操作系统平台。

[0044] 本发明的有益效果是：在实用性方面，相对单模脑电信号的脑机接口，本发明具有如下优势：(1)系统的稳定性和可靠性具有明显的改善；(2)多维信号的特征提取和融合，可提供多种相互独立的控制命令(即实现复杂多样的控制任务)；(3)系统的具有自适应学习功能，可以根据环境、时间及使用个体的不同，进行参数调整，最大程度保证了系统控制的准确性。上述实用性方面的优势，促进了系统在复杂环境下的使用。本发明技术，除了应用于肢体瘫痪病人的康复训练系统外，还适用于军事领域的中单兵的通讯或装备控制，以及电子消费娱乐领域的游戏开发。

附图说明

[0045] 图1是本发明的基于多维信号处理和自适应学习的混合脑机接口系统技术方案框图；

[0046] 图2是基于softmax回归的自适应学习结构框图；

[0047] 图3是本发明的基于混合脑机接口的军事头盔的结构框图；

[0048] 图4是本发明的基于混合脑机接口的军事头盔的功能框图；

[0049] 图5是一个自适应学习实例示意图。

具体实施方式

[0050] 下面结合附图说明及具体实施方式对本发明进一步说明。

[0051] 本发明提供了一种多维度生理信号(脑电、眼电、肌电、心电和脉搏等)特征提取和融合以实现设备控制的脑机接口系统，该系统自带自适应学习功能。

[0052] 本发明的系统的技术方案如图1所示，需要使用时，用户根据操作指南的说明和要求，进行任务(想象或者肢体进行某种动作)，任务执行会引起各生理信号变化。各生理信号被数据采集硬件放大、进行模数转换，转换后的数字信号被传输到解码单元进行信号处理。解码单元是一个带有高速信号处理器的软硬件平台，它可以是计算机、智能手机或者定制嵌入式系统。解码的第一步是从设置时间长度的多维信号中分别提取有用的信息，即多维信号特征提取，第二步是对特征进行融合计算，最后根据特征融合结果进行任务决策(任务分类)，即计算出系统需要执行的任务。执行单元是系统的执行部件，它根据解码单元给出的任务执行相应的功能，比如一个机械臂，则执行的功能是移动和抓握动作，如果是通信系统，其功能则是根据不同的任务(命令)发送不同的数据。如前所述，传统的脑机接口系统，不同的环境、时间或者使用个体，系统准确性会有非常大的差异，针对该问题，本发明的解码单元增加了自适应学习功能，用户在第一次使用系统前先进行学习，所谓的学习，就是根据操作指南执行设定的行为任务，执行任务过程中的生理活动信号被采集，用于系统学习，计算最佳的特征提取和任务分类的参数。自适应学习是人工智能学习的过程，通过反复的学习，提高了用户与系统的紧密度，改善了系统执行的准确性。

[0053] 基于上述分析，本发明给出一个系统实例——基于混合脑机接口的军事头盔，如图3所示，解码单元和执行单元均包含在DSP中，而执行单元则有远程通信模块、卫星定位模块以及显示装置等部件。执行任务的士兵不需使用手或者语音(这是某些特定环境条件的要求)，仅通过脑电、眼电、肌电、心电和脉搏等信号就可以与指挥中心、战友实现交流或操控装备。

[0054] 头盔设定的功能，如图4所示，对于多生理信号的混合脑机接口而言，主要是设计足够的数量行为，每一种行为产生的信号特征，通过解码得出操作指令，选定功能，最后由设定完成功能。本实例的重点不是强调系统实现的具体功能，而是通过示范某一具体功能，阐述基于多生理信号融合的脑机接口系统的实现过程，特别是系统的自适应学习及特征融合部分。图2展示了一个简化的softmax回归的学习模型。

[0055] 下面以“地理位置发送”为示范，具体描述士兵通过多生理信号操控头盔的过程。

[0056] (1)操作指南设计：设定五种任务(行为)，眨眼睛E2(闭眼时间大于1秒)、右手想象运动(或者右臂移动)R1、左手想象运动(或者左臂移动)L1、想象脚动(或者脚移动)F1、想象舌头运动T1，该五种任务即可完成图4所涉及功能。实际操作中，E2用于“确认”操作，T1、F1、L1、R1分别对应于“上、下、左、右”的操作。

[0057] (2)士兵佩戴头盔，利用自适应学习调整脑机接口的参数。图5示范了一种自适应学习的方法：以8方向的任意一个位置为目标位置，用户尝试将中间的蓝色球移动到目标位置。

[0058] 一次自适应学习训练(系统内部根据学习准则调整一次参数)主要分为2个阶段，第一阶段，选择目标位置，用户根据提示尝试E2行为，选择一个目标位置，用户在该阶段反复E2行为的训练，系统通过多次提取该行为的多种生理信号特征、不断的优化调整参数，使模型决策结果与行为的标签一致；第二阶段，用户控制M球移动到目标位置，M球的移动方法设定为：R1行为：M球往右移动，L1行为：M球往左移动，F1行为：M球往下移动，T1行为：M球往上移动。图5中，目标位置位于中间M球的右方的3号球位置，因此系统会提示用户控制M球往右运动，即用户要尝试R1行为，初始学习阶段时，由于解码输出模型中的参数不是最优的，可能会导致M球会以黑色曲线轨迹移动，但是由于目标位置和当前M球的位置是确定的(即目标偏差是明确的)，通过式(5)准则，参数会往使目标偏差不断变小的方向调整，如果蓝色球到达3号球位置或者非常接近3号球位置，则系统完整一次参数调整。用户多次训练后，系统学习使各参数最优。

[0059] (3)士兵产生按照操作指南的行为操作，各生理信号被采集后，提取信号的特征，解码单元会得出“上、下、左、右”命令控制拍光标到“信息发送”，然后进行决策结果为E1行为，“确认”进入菜单功能，然后重复类似操作，确认“地理位置信息发送”，至此，人机交互完毕，剩下行为，DSP的执行部件，通过卫星定位模块读取地理位置信息，然后使用移动通信模块将信息发送出去。

[0060] 本发明涉及基于多维度的生理信号融合，属于改进的混合脑机接口系统，相对传统单模脑电信号的方法，在不增加控制状态的情况下，可大幅度增加了任务种类。与传统的基于P300、稳态视觉诱发电位的脑机接口相比，本发明不需要外界刺激，不容易引起操作疲劳，与基于运动想象的脑机接口系统相比，本发明实现的控制维度更多，识别的准确性更高。本发明可提取多种相互独立的操作特征，实现了多维度信号的特征融合、任务决策，提高了系统识别的准确性、可靠性以及稳定性，更利于实现复杂的控制。本发明通过有监督的自适应深度学习模型，对不同的使用个体调整参数，保证实现决策的最优，从而提高了系统的准确性、可靠性，这也就是系统的实用性改善的表现。

[0061] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

标题	发布/更新时间	阅读量
一种脑机接口系统-专利编号CN106843509B	2020-05-13	561
一种脑机接口方法-专利编号CN108319367A	2020-05-14	567
一种多态脑机接口系统-专利编号CN106909226A	2020-05-15	696
一种脑机接口系统-专利编号CN106843509A	2020-05-15	358
脑机接口系统及方法-专利编号CN102985002B	2020-05-11	377
一种机器人及脑机接口-专利编号CN103529938A	2020-05-11	514
脑机接口家电遥控装置-专利编号CN100353390C	2020-05-12	422
脑机接口家电遥控装置-专利编号CN1710621A	2020-05-12	578
用于脑机接口的系统-专利编号CN106062669B	2020-05-13	1088
一种脑机接口通信装置-专利编号CN108498093A	2020-05-14	285

基于多维信号处理和自适应学习的混合脑机接口系统

基于多维信号处理和自适应学习的混合脑机接口系统

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式