面向多机器人控制的脑电数据元学习和人本智能交互系统

摘要

本发明公开了面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块。通过神经网络对低成本设备采集的信号进行处理，产生出符合用户想象的高精度的控制；通过读取用户脑电信号，实现多机器人协同控制，且只需要少量的某个用户数据集进行训练，就可以产生一个高精度的、针对用户个人的脑电意图分类预测结果。

权利要求

1.面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块；

所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；

所述EGG信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；所述EGG信号分类模块包括元学习模型，所述元学习模型用于对不可知跨主体的快速适应；所述元学习模型中还包含BiLSTM网络，所述BiLSTM网络用于脑电图特征学习；

所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作；

所述元学习模型包括若干个多任务数据集p(j)和与多任务数据集p(j)相对应的BiLSTM模型，所述多任务数据集p(j)中的每个任务都是对大脑信号的分类；从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p(J)输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数的更新；所述元学习模型如下式所示：其中，θ为原始参数，θ'i为梯度更新后的参数，α为BiLSTM模型的学习率，L是损失函数，LTi(f(θ'i))为该Ti任务的数据集的损失函数；

所述将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：

S1：根据EEG信号值的阶段的变化将本地数据集的标签划分为四类：relaxed、focused to focused、relaxed to focused和focused to relax；

S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据向量

1 2 i n T i

[st ,st ,...,st ,...,st] ，其中st是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；

S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj＝[S1,S2,...,S180]，j代表第j个样本；

S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt＝[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X＝[X1,X2,X3,...,X180]。

2.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述BiLSTM网络包含一个输入层、两个隐藏层和一个输出层；所述输入层用于将输入特征向量X输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习，得到输出向量ot；所述输出层用于将输出向量ot输出。

3.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块包括EEG采集系统，脑‑机器人交互框架，蓝牙通信模块和机器人，所述脑‑机器人交互框架将分类结果编码为控制指令和操作指令，所述控制指令为3位编码机制，用于实现多机器人的控制指令；所述操作指令为2位编码机制，用于机器人的操作指导。

4.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块利用位填充算法来实现EGG信号的编码机制，所述EGG信号的编码机制用于控制单个机器人或多个机器人的特定行为。

5.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。

说明书

面向多机器人控制的脑电数据元学习和人本智能交互系统

技术领域

[0001] 本发明涉及脑电数据技术领域，特别涉及面向多机器人控制的脑电数据元学习和人本智能交互系统。

背景技术

[0002] 利用信息技术实现意图识别是实现高级人机交互的关键手段，脑机接口(BCI)的发展具有重要意义，它在人脑与外部设备之间建立了一座桥梁，有潜力提高人机交互的响应速度。但现有的脑机接口技术仍集中在利用脑电图对某一特定机器人进行控制或交互，无法解决大脑与多机器人之间的交互，此外，低成本的设备采集的脑电信号精度很差，而高昂的硬件成本也导致BCI无法在日常使用场景中被广泛采用。

[0003] 本发明中所提到的名词缩写解释有：EEG‑脑电图；BiLSTM‑双向长短期记忆；BPTT‑时间反向传播。

发明内容

[0004] 为解决以上技术问题，本发明公开面向多机器人控制的脑电数据元学习和人本智能交互系统，通过神经网络对低成本设备采集的信号进行处理，产生出符合用户想象的高精度的控制；通过读取用户脑电信号，实现多机器人协同控制，且只需要少量的某个用户数据集进行训练，就可以产生一个高精度的、针对用户个人的脑电意图分类预测结果。

[0005] 本发明公开面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块；

[0006] 所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；

[0007] 所述EGG信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；

[0008] 所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作。

[0009] 进一步地，所述将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：

[0010] S1：根据EEG信号值的阶段的变化将本地数据集的标签划分为四类：relaxed、focused to focused、relaxed to focused和focused to relax；

[0011] S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据1 2 i n T i
向量[st , st , ...,st ,...  , st] ，其中st是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；

[0012] S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj=[S1, S2, ... , S180]，j代表第j个样本；

[0013] S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt=[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X=[X1,X2,X3,...,X180] （4*180维矩阵）。

[0014] 进一步地，所述EGG信号分类模块包括元学习模型，所述元学习模型用于对不可知跨主体的快速适应；所述元学习模型中还包含BiLSTM网络，所述BiLSTM网络用于脑电图特征学习。

[0015] 进一步地，所述BiLSTM网络包含一个输入层、两个隐藏层和一个输出层；所述输入层用于将四维向量Xt输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习，得到输出向量ot；所述输出层用于将输出向量ot输出。

[0016] 进一步地，所述元学习模型包括若干个多任务数据集p(j)和与多任务数据集p(j)相对应的BiLSTM模型，所述多任务数据集p(j)中的每个任务都是对大脑信号的分类；从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p（J）输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数的更新；所述元学习模型如下式所示：

[0017]

[0018] 其中， 为原始参数， 为梯度更新后的参数， 为BiLSTM模型的学习率，L是损失函数， 为该Ti任务的数据集的损失函数。

[0019] 进一步地，所述大脑到多机器人协作模块包括EEG采集系统，脑‑机器人交互框架，蓝牙通信模块和机器人，所述脑‑机器人交互框架将分类结果编码为控制指令和操作指令，所述控制指令为3位编码机制，用于实现多机器人的控制指令；所述操作指令为2位编码机制，用于机器人的操作指导。

[0020] 进一步地，所述大脑到多机器人协作模块利用位填充算法来实现EGG信号的编码机制，所述EGG信号的编码机制用于控制单个机器人或多个机器人的特定行为。

[0021] 进一步地，所述大脑到多机器人协作模块采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。

[0022] 进一步地，面向多机器人控制的脑电数据元学习和人本智能交互系统的使用方法包括以下步骤：

[0023] S1：通过脑信号采集设备采集原始EEG信号，并将原始EEG信号输入面向多机器人控制的脑电数据元学习和人本智能交互系统中；

[0024] S2：EGG信号分类模块将分类结果编码成特定的指令；

[0025] S3：通过通讯设备将特定的指令发送给多个机器人；

[0026] S4：多个机器人对特定的指令进行解码，获得各自的交互指令并进行相应的操作。

[0027] 进一步地，所述EGG信号分类模块通过以下方法得到：

[0028] S1：将原始EEG信号转换为高维特征向量；

[0029] S2：结合元学习模型和BiLSTM对输入特征进行处理；通过学习在BiLSTM中添加一个初始化的隐藏层参数，以提高神经网络的学习收敛速度和最终训练效果；

[0030] S3：利用时间反向传播算法在BiLSTM对新的少样本数据任务进行学习，训练设计的模型进行最终的预测结果。

[0031] 本发明有益效果为：

[0032] 1、相比起现有技术，本发明将原始EEG信号转换为高维特征向量，具有更快的训练迭代速度和更好的训练效果。

[0033] 2、本发明结合元学习和双向长短期记忆网络(BiLSTM)对输入特征进行处理，提高了泛化性能。

[0034] 3、本发明提出了一种用于多机器人交互的脑电信号编解码机制，能够在小型脑电图数据集的情况下实现个性化大脑与多机器人交互的工作。

附图说明

[0035] 附图1为本发明实施例中面向多机器人控制的脑电数据元学习和人本智能交互系统示意图；

[0036] 附图2为本发明实施例中EEG分类编码方案示意图；

[0037] 附图3为本发明实施例中向量维度影响训练效果示意图。

[0038] 附图4为本发明实施例中的一段指令符示例。

具体实施方式

[0039] 下面结合附图和实施例对本发明的实施方式作进一步描述。需要说明的是，实施例并不对本发明要求保护的范围构成限制。

[0040] 实施例1

[0041] 面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、脑电图信号分类模块以及大脑到多机器人协作模块；

[0042] 所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；

[0043] 所述脑电图信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；

[0044] 所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作。

[0045] 将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：

[0046] S1：使用低成本的EEG设备可以很容易地区分两种静态状态：集中状态和放松状态，在命令的设计中增加两种动态切换状态识别，即从放松到集中和集中到放松，因此，根据EEG信号值的阶段的变化将将本地数据集的标签划分为四类：relaxed、focused to focused、relaxed to focused和focused to relax；如图1所示，将放松状态编码为“00”，聚焦状态编码为“11”，从放松到专注被编码为“01”，从专注到放松被编码为“10；将设备默认的两个命令扩展为四个命令，以满足移动困难人群的多命令需求。

[0047] S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据1 2 i n T i
向量[st , st , ...,st ,...  , st] ，其中st是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；

[0048] S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj=[S1, S2, ... , S180]；

[0049] S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt=[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X=[X1,X2,X3,...,X180] （4*180维矩阵），以更好地获得特征之间的相关性，扩展了数据的维数。

[0050] 如图3所示，四维向量Xt形成的输入特征向量X比其他维向量具有更快的训练迭代速度和更好的训练效果。

[0051] 脑电图信号分类模块分为BiLSTM网络和元学习模型；所述BiLSTM网络用于脑电图特征学习，所述元学习模型用于对不可知跨主体的快速适应。

[0052] 所述BiLSTM网络结构包含一个输入层、两个隐藏层和一个输出层。将180s的输入特征向量X输入到BiLSTM网络中进行时间特征学习，得到学习后的隐藏层时间状态ht。

[0053] 输入层用于将输入特征向量X的每时刻四维向量Xt输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习；所述输出层用于将输出向量ot输出。

[0054] 所述两个隐藏层计算公式如下：

[0055]

[0056] 其中，将脑电图信号输入特征作为模型的输入特征，假设一批输入脑电图数据包含n（BatchSize）脑电图样本，输入特征xt的形状为[n, 4, 180]。ht‑1为上一个时间序列时刻隐藏层计算得到的值，ht+1为下一个序列步骤的值。 表示正向LSTM单元的输出， 表示反向LSTM单元的输出，g（）函数为将双向信号输出的处理函数，将 和 与预设初始化权值w（i i=1‑6中任一自然数）相乘而后相加，得到输出向量ot。

[0057] 对ot进行sofmax函数的处理，选取输出向量ot中最大值对应的列，作为分类预测结果。

[0058] 为了能够从少量的新数据中快速学习新任务，将BiLSTM网络与元学习模型相结合作为系统的分类算法。

[0059] 考虑到用户脑电图的特殊性，利用元学习模型将独立用户划分为一个新的学习任务，以少量的新用户数据实现对用户脑电图意图的准确识别。

[0060] 建立一个多任务数据集p(j)和一个BiLSTM模型。多任务数据集p(j)中的每个任务都是对大脑信号的分类。

[0061] 然后从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p（J）输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数 的更新。元学习模型如下式所示：

[0062]

[0063] 其中， 为原始参数， 为梯度更新后的参数， 为BiLSTM模型的学习率，L是损失函数， 为该Ti任务的数据集的损失函数。

[0064] 大脑到多机器人协作模块包括EEG采集系统，脑‑机器人交互框架，蓝牙通信模块和机器人，脑‑机器人交互框架将分类结果编码为控制指令和操作指令。在三个机器人的协同控制任务中，可以利用位填充算法来实现脑电图信号的编码机制，它可以控制单个机器人或多个机器人的特定行为。

[0065] 在准确识别脑电图信号后，利用无线蓝牙串口直接采集所需的脑电图数据，然后通过外部蓝牙通信模块实现信号传输到多个机器人。例如，在一个家庭环境中，通过大脑信号控制一个车轮机器人，将货物运送到附近的一个机械臂机器人的位置。同时，可以控制机器人的机械臂，通过大脑信号抓住物体，并将货物放在四足动物机器人身上，送到楼下的地下室。在边缘边缘系统的帮助下，可以通过机器人协作控制和协调不同类型的机器人完成各种任务。

[0066] 在脑‑机器人交互框架中，将分类结果编码为控制指令和操作指令。一种包括000,001,010,011,100,101,110,111编码的3位编码机制，以实现多机器人的控制指令。并将2位编码机制用于机器人的操作指导。然后，就可以发送这些个性化的指令来与各种机器人进行交互。在三个机器人的协同控制任务中，可以利用位填充算法来实现脑电图信号的编码机制，它可以控制单个机器人或多个机器人的特定行为。

[0067] 将编码分为三个主要部分：操作指令字符、控制指令字符、空白填充字符。

[0068] 所述操作指令字符为通过多标签分类分类的三位代码，用于自动跳转进入操作指令符的识别；所述控制指令字符为按二进制分类分类的二位代码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间。将机器人索引和机器人动作定义为两位代码。第一个两位代码表示要被激活的机器人的索引，第二个两位代码表示机器人输出的动作。在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节0，以给用户少量的休息时间。控制更多的机器人也采用了这种方法，通过发送更多相似的脑电图信号来编码成更多的两字节。

[0069] 如图4所示，首尾的000和111是控制指令符，系统一直读取用户脑电信号（为到开始），并不断进行分类，当用户进行了两次持续放松（00 00），就会形成一个000的编码进入程序，启示程序可以开始记录后续的编码，将其用于机器人控制。当程序识别到一个000的控制指令符时，会自动跳转进入操作指令符的识别。具有下划线的都是操作指令符，程序读取的时候会将其进行计数（变量为count），count为1的时候，编码代表的是activation mode（选择要控制的机器人或选择退出控制读取）；count为2时，编码代表的是各自对应机器人的动作；count为2时，下一次count变为1。较为特殊的是count为1时的00指令，代表着用户已经将期望运动的机器人和机器人的动作都输入完毕了，希望程序从控制指令符的识别跳转为对操作指令符的识别；接下来，用户产生两个连续专注的信号11 11，程序会自动识别到111作为结束的控制指令符，至此，完成一条由服务器发送到各机器人的控制指令。空白填充字符是用于防止数据丢包产生的机器人操控指令误读的现象出现，插入一个空白位0，来提高鲁棒性。

[0070] 其中，指令符的全分类及含义如下表所示：

[0071] 表1 指令符分类及含义表

[0072]

[0073] 该面向多机器人控制的脑电数据元学习和人本智能交互系统采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。

[0074] 进一步地，面向多机器人控制的脑电数据元学习和人本智能交互系统的使用方法包括以下步骤：

[0075] S1：通过脑信号采集设备采集原始EEG信号，并将原始EEG信号输入面向多机器人控制的脑电数据元学习和人本智能交互系统中；

[0076] S2：EGG信号分类模块将分类结果编码成特定的指令；

[0077] S3：通过通讯设备将特定的指令发送给多个机器人；

[0078] S4：多个机器人对特定的指令进行解码，获得各自的交互指令并进行相应的操作。

[0079] 上述EGG信号分类模块通过以下方法得到：

[0080] S1：将原始EEG信号转换为高维特征向量；

[0081] S2：结合元学习和双向长短期记忆网络(BiLSTM)对输入特征进行处理；通过学习在BiLSTM中添加一个初始化的隐藏层参数，以提高神经网络的学习收敛速度和最终训练效果；

[0082] S3：利用时间反向传播算法在BiLSTM对新的少样本数据任务进行学习，训练设计的模型进行最终的预测结果。

[0083] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。