一种下肢康复全训练过程的动态虚拟诱导方法及系统

摘要

本发明公开了一种下肢康复全训练过程的动态虚拟诱导方法及系统，将虚拟现实与下肢康复训练结合，借助虚拟现实技术沉浸式体验特点改善传统下肢康复训练中的枯燥乏味，训练疼痛等问题，增强患者进行康复训练的意愿，采集患者自身产生的脑电信号和肌电信号来判断患者运动意愿与运动能力，并根据人体的运动意愿和运动能力强弱实时动态调整虚拟现实中的场景参数与事件，可以诱导患者一直以比较积极的状态投入到下肢康复训练中；以患者的实时状态信息为指导，改善了传统虚拟诱导一成不变的方式，更好地激发患者的康复训练积极性，增强患者的运动意图，极大地改善了下肢康复训练与虚拟现实结合的不足，有效弥补下肢康复训练体系的不足。

权利要求

1.一种下肢康复全训练过程的动态虚拟诱导方法，其特征在于，包括以下步骤：设定康复训练的时间和虚拟现实诱导界面；

在训练中采集患者的脑电信号和肌电信号；

将采集的数据进行预处理；

通过计算得到脑电信号波段的频谱能量和肌电信号的平均功率频率；

将脑电信号波段实时产生频谱能量和脑电信号的频谱能量阈值进行比较，判断患者的运动意愿；将肌电信号的平均功率频率与肌电信号平均功率频率的阈值进行比较，判断患者的运动能力；基于运动意愿和运动能力，得出运动状态结果；

脑电信号波段包括枕骨和顶骨部位的α波和额叶部位的θ波；所述肌电信号包括与下肢行走动作相关的股外侧肌、股直肌、股二头肌和腓肠肌部位的肌电信号；

所述α波段和θ波段产生的频谱能量的计算方法为：

所述α波段和θ波段的脑电信号频谱能量阈值分别用Tα和Tθ表示，所述脑电信号频谱能量阈值表示患者进入精神疲劳的临界值，脑电信号频谱能量阈值的建立方法如下：将患者的频普能量Ex作为神经网络的输入，将患者的状态作为神经网络的输出来训练神经网络，得到患者脑电信号频谱能量Ex和患者状态之间的映射关系，表现为α波和θ波的阈值Tα和Tθ；

在运动过程中，当α波频谱能量Eα大于Tα或者θ波频谱能量Eθ大于Tθ时，判定患者出现了精神疲劳；

所述肌电信号的平均功率频率的计算方法为：

所述肌电信号平均功率频率的阈值用TEMG表示，所述肌电信号平均功率频率阈值表示患者进入肌肉疲劳状态的临界值，肌电信号平均功率频率阈值的建立方法如下：将患者肌电信号的平均功率频率作为神经网络的输入，将患者的状态作为神经网络的输出来训练神经网络，得到患者肌电信号平均功率频率和患者状态之间的映射关系，具体表现为阈值TEMG；

在运动过程中，当肌电信号的平均功率频率小于TEMG时，即MPF

所述神经网络为RBF神经网络，所述RBF神经网络是由输入层、隐藏层和输出层组成的一种三层神经网络，通过确定RBF神经网络的隐含层空间能够将输入矢量直接映射到隐空间，确定RBF神经网络的中心点从而确定输入输出的映射关系，RBF神经网络的激活函数表示为：其中：损失函数

所述动态调整的具体方法为：

当肌电信号的平均功率频率小于TEMG时，对虚拟场景中的环境参数进行调整；

当α波频谱能量Eα大于Tα或者θ波频谱能量Eθ大于Tθ时，对虚拟场景中的事件参数进行调整；

基于患者运动状态结果，对虚拟诱导场景动态进行实时调整，直至康复训练时间达到预先设定的时间。

2.根据权利要求1所述方法的一种下肢康复全训练过程的动态虚拟诱导系统，其特征在于，包括虚拟现实诱导模块、信号采集模块、预处理模块、人体运动状态识别模块、神经网络模块和动态调整模块；

所述虚拟现实诱导模块用于设定康复训练的时间和虚拟现实诱导界面；

所述信号采集模块用于采集患者在康复训练中的脑电信号和肌电信号；

所述预处理模块用于对采集的数据进行预处理；

所述人体运动状态识别模块能够得到脑电信号波段的频谱能量和肌电信号的平均功率频率；

所述神经网络模块用于将脑电信号波段实时产生频谱能量和脑电信号的频谱能量阈值进行比较，判断患者的运动意愿；将肌电信号的平均功率频率与肌电信号平均功率频率的阈值进行比较，判断患者的运动能力；基于运动意愿和运动能力，得出运动状态结果；

所述动态调整模块能够基于患者运动状态结果，对虚拟诱导场景动态进行实时调整，直至康复训练时间达到预先设定的时间。

3.根据权利要求2所述方法的一种下肢康复全训练过程的动态虚拟诱导系统，其特征在于，所述信号采集模块包括脑电信号采集单元、肌电信号采集单元和无线传输单元。

说明书

一种下肢康复全训练过程的动态虚拟诱导方法及系统

技术领域

[0001] 本发明属于人体下肢康复技术领域，涉及一种下肢康复全训练过程的动态虚拟诱导方法及系统。

背景技术

[0002] 随着社会人口老龄化的加剧，以及近年来由于交通事故，运动伤害以及自然灾难等引起的肢体损伤的人数不断上升，导致出现了大量的下肢运动功能障碍患者。传统的下肢康复训练需要多名康复医疗师的参与，成本较高且训练效果由于过于依赖医疗师的经验而难以保证。同时，传统的下肢康复治疗大多是重复性的康复训练，患者容易产生训练疲劳导致训练效果不佳。此外，对于老年人来说，在下肢功能障碍的同时可能还会伴有其他老年疾病，在康复训练过程中还会出现下肢疼痛等问题。

[0003] 下肢康复训练机器人作为一款康复医疗设备，既可以提高训练效率又可以保证训练质量，现已成为下肢康复领域极受重视的一种替代传统康复训练方式的治疗手段。针对下肢功能训练过程中存在的训练乏味，训练疼痛的问题，部分科研团队已将虚拟现实应用到下肢康复训练机器人，用来诱导患者进行康复训练，使患者产生较强烈的康复训练的意愿。但是对于下肢功能障碍患者而言，在训练过程中极有可能会因为疼痛、乏味等各种负面因素导致训练意愿很低，进而导致训练效果不佳。而现有的康复训练系统无法实时地获取到患者自身的状态反馈，不能够及时根据患者的运动状态调整虚拟场景来更好地诱导患者进行康复训练，使得康复训练效果欠佳。

发明内容

[0004] 本发明的目的在于解决现有技术中的问题，提供一种下肢康复全训练过程的动态虚拟诱导方法及系统。

[0005] 为达到上述目的，本发明采用以下技术方案予以实现：

[0006] 一种下肢康复全训练过程的动态虚拟诱导方法，包括以下步骤：

[0007] 设定康复训练的时间和虚拟现实诱导界面；

[0008] 在训练中采集患者的脑电信号和肌电信号；

[0009] 将采集的数据进行预处理；

[0010] 通过计算得到脑电信号波段的频谱能量和肌电信号的平均功率频率；

[0011] 将脑电信号波段实时产生频谱能量和脑电信号的频谱能量阈值进行比较，判断患者的运动意愿；将肌电信号的平均功率频率与肌电信号平均功率频率的阈值进行比较，判断患者的运动能力；基于运动意愿和运动能力，得出运动状态结果；

[0012] 基于患者运动状态结果，对虚拟诱导场景动态进行实时调整，直至康复训练时间达到预先设定的时间。

[0013] 本发明的进一步改进在于：

[0014] 脑电信号波段包括枕骨和顶骨部位的α波和额叶部位的θ波；所述肌电信号包括与下肢行走动作相关的股外侧肌、股直肌、股二头肌和腓肠肌部位的肌电信号。

[0015] 所述α波段和θ波段产生的频谱能量的计算方法为：

[0016]

[0017] 所述α波段和θ波段的脑电信号频谱能量阈值分别用Tα和Tθ表示，所述脑电信号频谱能量阈值表示患者进入精神疲劳的临界值，脑电信号频谱能量阈值的建立方法如下：

[0018] 将患者的频普能量Ex作为神经网络的输入，将患者的状态作为神经网络的输出来训练神经网络，得到患者脑电信号频谱能量Ex和患者状态之间的映射关系，表现为α波和θ波的阈值Tα和Tθ；

[0019] 在运动过程中，当α波频谱能量Eα大于Tα或者θ波频谱能量Eθ大于Tθ时，判定患者出现了精神疲劳。

[0020] 所述肌电信号的平均功率频率的计算方法为：

[0021]

[0022] 所述肌电信号平均功率频率的阈值用TEMG表示，所述肌电信号平均功率频率阈值表示患者进入肌肉疲劳状态的临界值，肌电信号平均功率频率阈值的建立方法如下：

[0023] 将患者肌电信号的平均功率频率作为神经网络的输入，将患者的状态作为神经网络的输出来训练神经网络，得到患者肌电信号平均功率频率和患者状态之间的映射关系，具体表现为阈值TEMG；

[0024] 在运动过程中，当肌电信号的平均功率频率小于TEMG时，即MPF

[0025] 所述神经网络为RBF神经网络，所述RBF神经网络是由输入层、隐藏层和输出层组成的一种三层神经网络，通过确定RBF神经网络的隐含层空间能够将输入矢量直接映射到隐空间，确定RBF神经网络的中心点从而确定输入输出的映射关系，RBF神经网络的激活函数表示为：

[0026]

[0027] 其中：损失函数

[0028] 所述动态调整的具体方法为：

[0029] 当肌电信号的平均功率频率小于TEMG时，对虚拟场景中的环境参数进行调整；

[0030] 当α波频谱能量Eα大于Tα或者θ波频谱能量Eθ大于Tθ时，对虚拟场景中的事件参数进行调整。

[0031] 一种下肢康复全训练过程的动态虚拟诱导系统，包括虚拟现实诱导模块、信号采集模块、预处理模块、人体运动状态识别模块、神经网络模块和动态调整模块；

[0032] 所述虚拟现实诱导模块用于设定康复训练的时间和虚拟现实诱导界面；

[0033] 所述信号采集模块用于采集患者在康复训练中的脑电信号和肌电信号；

[0034] 所述预处理模块用于对采集的数据进行预处理；

[0035] 所述人体运动状态识别模块能够得到脑电信号波段的频谱能量和肌电信号的平均功率频率；

[0036] 所述神经网络模块用于将脑电信号波段实时产生频谱能量和脑电信号的频谱能量阈值进行比较，判断患者的运动意愿；将肌电信号的平均功率频率与肌电信号平均功率频率的阈值进行比较，判断患者的运动能力；基于运动意愿和运动能力，得出运动状态结果；

[0037] 所述动态调整模块能够基于患者运动状态结果，对虚拟诱导场景动态进行实时调整，直至康复训练时间达到预先设定的时间。

[0038] 进一步的，所述信号采集模块包括脑电信号采集单元、肌电信号采集单元和无线传输单元。

[0039] 与现有技术相比，本发明具有以下有益效果：

[0040] 本发明公开了一种下肢康复全训练过程的动态虚拟诱导方法及系统，将虚拟现实与下肢康复训练结合，借助虚拟现实技术沉浸式体验特点改善传统下肢康复训练中的枯燥乏味，训练疼痛等问题，增强患者进行康复训练的意愿，采集患者自身产生的脑电信号和肌电信号来判断患者运动意愿与运动能力，并根据人体的运动意愿和运动能力强弱实时动态调整虚拟现实中的场景参数与事件，可以诱导患者一直以比较积极的状态投入到下肢康复训练中；以患者的实时状态信息为指导，改善了传统虚拟诱导一成不变的方式，更好地激发患者的康复训练积极性，增强患者的运动意图，极大地改善了下肢康复训练与虚拟现实结合的不足，本发明能够有效弥补下肢康复训练体系的不足，推广价值高。

附图说明

[0041] 为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0042] 图1是本发明的总体框架图；

[0043] 图2是本发明的患者脑肌电信号与运动状态之间映射关系的建立方法图；

[0044] 图3是本发明的虚拟场景参数调整方法图；

[0045] 图4是本发明的患者训练流程图。

具体实施方式

[0046] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0047] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0048] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

[0049] 在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0050] 此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

[0051] 在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0052] 下面结合附图对本发明做进一步详细描述：

[0053] 参见图1，本发明实施例公开了一种下肢康复全训练过程的动态虚拟诱导方法，包括以下步骤：

[0054] 步骤1：根据患者所处的康复阶段，选择相应康复阶段的虚拟诱导场景，确定康复训练时长T，将人体表面肌电电极片帖至与患者下肢运动相关肌肉的表面，具体位置为股外侧肌、股直肌、股二头肌和腓肠肌处，将脑电帽按照10/20系统佩戴至患者头部，患者穿戴下肢康复外骨骼机器人，开启虚拟诱导系统，患者在虚拟环境的诱导下开始训练任务。

[0055] 步骤2：患者在虚拟现实诱导界面的视觉刺激和听觉刺激下进行康复训练，训练过程中持续采集患者脑肌电信号，并对采集到的脑肌电信号进行预处理，去除信号中的噪声和伪迹。

[0056] 步骤3：处理后通过人体运动状态识别模型计算患者训练过程中α波和θ波频谱能量Eα，Eθ和肌电信号的平均功率频率MPF，计算公式如下：

[0057]

[0058]

[0059] 其中，脑电信号包括枕骨和顶骨部位的α波以及额叶部位的θ波，它们都是跟人体精神疲劳密切相关的脑电波；当一个人疲劳时，枕骨和顶骨部位的α波以及额叶部位的θ波的活性会增加，频谱能量增加；所述肌电信号包括与下肢行走动作相关的股外侧肌、股直肌、股二头肌和腓肠肌部位的肌电信号；而且在患者产生肌肉疲劳期间，肌电信号的平均功率频率(MPF)会下降。

[0060] 步骤4：将第步骤4种计算得到的患者实时脑电信号频谱能量特征Eα，Eθ与阈值Tα，Tθ分别进行比较，若Eα>Tα或Eθ>Tθ，则判定患者出现了精神疲劳，否则，判定患者没有出现精神疲劳；

[0061] 将第步骤4种计算得到的患者实时肌电信号平均功率频率特征MPF与阈值TEMG分别进行比较，若MPF

[0062] 步骤5：系统依照当前患者的运动意愿和运动能力的强弱实时动态地调整虚拟诱导场景的相关参数，在更新后的虚拟诱导场景下继续诱导患者进行下肢康复训练运动。

[0063] 步骤6：循环步骤2‑6，直至患者的康复训练时间达到预先设定的时间长度T，完成康复训练任务。

[0064] 参见图2，脑肌电信号与患者运动意愿和运动能力映射关系建立方法如下：

[0065] 分别采集患者在正常状态下、精神疲劳状态下和肌肉疲劳状态下的脑电数据和下肢表面肌电数据；对采集到的脑肌电信号进行预处理，去除信号中的噪声和伪迹。

[0066] 将患者不同状态下的脑电信号频谱能量作为神经网络的输入，将患者的正常状态记为0，精神疲劳状态记为1，以患者的状态作为神经网络的输出来训练神经网络，得到患者不同状态下脑电信号频谱能量和患者状态之间的映射关系，具体表现为α波和θ波的阈值Tα、Tθ，该阈值表示患者进入精神疲劳状态的临界值。

[0067] 类似的，将患者不同状态下的肌电信号的平均功率频率作为神经网络的输入，将患者的正常状态记为0，肌肉疲劳状态记为1，以患者的状态作为神经网络的输出来训练神经网络，得到患者不同状态下肌电信号平均功率频率和患者状态之间的映射关系，具体表现为阈值TEMG，该阈值表示患者进入肌肉疲劳状态的临界值。

[0068] 进一步地，所述神经网络为RBF神经网络，该网络是由输入层、隐藏层和输出层组成的一种三层神经网络，通过确定RBF的隐含层空间就可以将输入矢量直接映射到隐空间，确定RBF的中心点从而确定输入输出的映射关系。该网络的激活函数可表示为：

[0069]

[0070] 其中损失函数

[0071] 进一步地，

[0072] 当患者在运动过程中的α波频频谱能量Eα大于Tα或者θ波频谱能量Eθ大于Tθ，则判定为患者已经出现了精神疲劳。

[0073] 当患者在运动过程中的肌电信号的平均功率频率小于TEMG，则判定为患者已经出现了肌肉疲劳。

[0074] 所述运动意愿指患者愿不愿意继续进行下肢康复训练，具体衡量的指标是患者是否出现了精神疲劳；所述运动能力指患者能不能继续进行下肢康复训练，具体衡量的指标是患者是否出现了肌肉疲劳。

[0075] 参见图3，动态虚拟诱导是通过实时采集患者的脑肌电信号，根据上一步骤确定的患者是否出现了肌肉疲劳和精神疲劳来判断患者的运动能力和运动意愿的强弱。规定患者处于正常状态时运动意愿强且运动能力强，若患者出现了肌肉疲劳规定患者运动能力弱，若患者出现了精神疲劳规定患者运动意愿弱。

[0076] 通过检测患者运动意愿强弱来决定是否调整以及如何调整事件参数，通过检测患者运动能力强弱来决定是否调整以及如何调整环境参数；当患者运动意愿强时，对事件参数不进行任何调整，当检测到患者运动意愿弱时，采取相关措施对虚拟场景的事件参数进行调整；当检测到患者运动能力强时，对环境参数不进行任何调整，当检测到患者的运动能力弱时，采取相关措施对虚拟场景的环境参数进行调整，其具体调整方式如下：

[0077] 1)训练过程中，当判断出患者运动能力弱时，患者出现了肌肉疲劳，这时采取措施一，对虚拟场景中的环境参数进行调整，具体措施包括场景中增加鼓励的声音与文字，播放一些舒缓的音乐，减缓虚拟诱导人物的运动速度以鼓励患者跟上虚拟人物的脚步继续康复训练等。

[0078] 2)训练过程中，当判断出患者运动意愿较弱时，患者出现了精神疲劳，这时采取措施二，对虚拟场景中的事件参数进行调整，具体是通过吸引患者注意力，提高患者兴趣的事件如发布寻宝任务来完成的。

[0079] 参见图4，医生根据患者的康复情况，设定训练时长T，选择对应不同的虚拟诱导场景和训练任务，对应的虚拟现实场景显示在显示界面上，并在康复训练过程中以图像、声音等形式诱导患者主动参与康复训练，康复训练场景根据人自身的运动意愿与运动能力强弱进行实时动态调整，使患者始终以积极的状态进行康复训练。

[0080] 虚拟诱导训练模块，基于计算机，具有虚拟现实显示界面，根据患者所处康复的不同阶段，会有不同阶段的虚拟诱导环境显示于虚拟现实显示界面上，并在康复训练过程中以图像、声音等形式诱导患者主动参与康复训练，康复训练场景根据人自身的运动意愿与运动能力实时动态调整，使患者始终以积极的状态进行康复训练。

[0081] 患者的康复阶段包括康复中期和康复后期。其中：康复中期指患者刚结束卧床期，能够独自站立，能独立行走但仅仅限于能够独立小幅度挪动行走；康复后期指患者具有稍强的行走能力，能够较大幅度行走，但肌肉耐力，对运动的控制能力以及运动模态等距离恢复还有一定距离。

[0082] 在康复中期，训练开始前根据患者的康复情况设置一个训练时长，在虚拟现实场景中预设一个虚拟人物，此虚拟人物的运动按照预先设定好的直线路线向前行走，进而诱导患者跟随虚拟人物向前行走；虚拟场景通过语音、图像等视听觉刺激诱导患者向前缓慢行走，期间会有金币奖励获取分数；同时，在患者运动过程中会对其运动意愿和运动能力进行实时的判断，并根据判断结果采取措施一或措施二对虚拟场景的参数进行实时动态调整，达到较好的诱导效果；当患者的运动时长达到预先设定的时长时将训练数据发送给康复治疗师，此次训练结束；

[0083] 在康复后期，患者可以自由地在虚拟场景中进行直线行走以及转弯等康复训练，患者在虚拟场景中在规定时间内尽可能收集多的金币，时间结束后训练结束。

[0084] 本发明实施例还公开了一种下肢康复全训练过程的动态虚拟诱导系统，包括虚拟现实诱导模块、信号采集模块、预处理模块、人体运动状态识别模块、神经网络模块和动态调整模块；

[0085] 虚拟现实诱导模块用于在视觉刺激和听觉刺激下诱导患者进行训练，为患者康复提供沉浸式的康复训练环境；

[0086] 所述信号采集模块包括脑电信号采集单元，肌电信号采集单元以及无线传输单元，用于患者在康复过程中的脑电信号和肌电信号采集；

[0087] 预处理模块用于对虚拟现实诱导模块采集的数据进行去除噪声和伪迹；

[0088] 人体运动状态识别模块用于识别患者训练过程中脑电信号波段的频谱能量特征和肌电信号的平均功率频率；

[0089] 神经网络模块用于判断患者不同状态下脑电信号频谱能量和患者状态之间的映射关系，以及肌电信号平均功率频率和患者状态之间的映射关系。

[0090] 动态调整模块根据患者的运动状态，能够对虚拟诱导场景进行实时调整。

[0091] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。