基于状态分类模型的大鼠机器人的远程控制方法及系统转让专利
申请号 : CN202010782703.X
文献号 : CN112247982B
文献日 : 2021-10-08
发明人 : 杨灿军 , 陈誉欣 , 杨巍 , 许科帝 , 徐浩泽 , 刘斯悦
申请人 : 浙江大学
摘要 :
权利要求 :
1.一种基于状态分类模型的大鼠机器人的远程控制方法,其特征在于,所述远程控制方法包括以下步骤:
数据接收步骤,通过无线通信线路接收布设在所述大鼠机器人身上的摄像头所采集的当前周边环境信息,及惯性传感器所采集的当前运动状态信息;
数据显示步骤,控制显示模块显示所述大鼠机器人的当前周边环境图像,及显示基于所述当前运动状态信息所模拟出的大鼠姿态三维模型;
状态识别步骤,基于所述当前运动状态信息,利用已完成训练的状态分类模型识别出所述大鼠机器人的当前运动状态;
异常处理步骤,若所述当前运动状态为异常运动状态时,则通过所述显示模块显示状态异常提示的同时,切断控制指令的发送,至检测到针对所述状态异常提示的操作事件;
所述状态异常提示包括手动操控选项与自动引导选项;
若所述操作事件为针对所述手动操控选项的选择,则恢复向所述大鼠机器人发送控制指令;
若所述操作事件为针对所述自动引导选项的选择,则计算出与当前异常运动状态相适配的新刺激参数,并控制所述显示模块显示所述新刺激参数,及显示新刺激参数操作界面以接收针对所述新刺激参数的修改或确认;并在检测到针对所述新刺激参数的修改事件或确认事件后,以当前新刺激参数生成干预控制指令并发送给所述大鼠机器人;刺激参数包括刺激脉冲幅值与脉冲个数。
2.根据权利要求1所述的远程控制方法,其特征在于,所述当前运动状态信息包括加速度数据与角速度数据;所述状态识别步骤包括以下步骤:数据预处理步骤,将所述当前运动状态信息转换成与时间相关的数据流,根据设定的时间窗截取所述数据流的部分数据作为当前运动状态数据,计算所述当前运动状态数据的统计学特征,组成特征向量;
识别步骤,将所述特征向量输入所述状态分类模型,预测所述大鼠机器人的当前运动状态。
3.根据权利要求2所述的远程控制方法,其特征在于:所述显示基于所述当前运动状态信息所模拟出的大鼠姿态三维模型的步骤包括基于所述当前运动状态信息计算出所述惯性传感器的当前姿态角,作为所述大鼠姿态三维模型的当前姿态角;
判断所述当前运动状态是否为异常运动状态的步骤包括判断所述当前运动状态是否与预设目标状态是否相同,若不同则为异常运动状态。
4.根据权利要求1所述的远程控制方法,其特征在于:所述显示基于所述当前运动状态信息所模拟出的大鼠姿态三维模型的步骤包括基于所述当前运动状态信息计算出所述惯性传感器的当前姿态角,作为所述大鼠姿态三维模型的当前姿态角;
判断所述当前运动状态是否为异常运动状态的步骤包括判断所述当前运动状态是否与预设目标状态是否相同,若不同则为异常运动状态。
5.根据权利要求1至4任一项权利要求所述的远程控制方法,其特征在于:在所述大鼠机器人上穿戴有电子背包系统;所述电子背包系统包括安装支架,用于将所述安装支架固定至所述大鼠机器人身上的柔性穿戴背心,及布设在所述安装支架上的所述摄像头、所述惯性传感器、无线通信模块、扁平状的电池、第二控制模块及刺激模块;
所述柔性穿戴背心包括设有供所述大鼠机器人的两前腿穿过的通孔的横向柔性片体,在所述横向柔性片体的两端部布设有用于调节二者间距以调节穿戴松紧度的扎带结构;所述刺激模块包括用于对刺激脉冲进行放大处理的运算放大模块及通过导线与所述运算放大模块电连接的多个刺激电极;
所述安装支架包括由间隔件支撑地固连成架空层结构的上PCB板与下PCB板,所述摄像头通过柔性支撑管而位置可调地固设在所述上PCB板的上板面上,所述运算放大模块固设在所述上PCB板的上板面的前端侧上;所述惯性传感器与所述第二控制模块布设在所述上PCB板的下板面上;所述无线通信模块布设在所述下PCB板的上板面上,所述电池固设在所述下PCB板的下板面上;
在所述下PCB板上捆扎有环绕于其前后两端部上的纵向环套,在所述纵向环套的两侧各布设所述间隔件,且所述纵向环套的两侧端面与所述间隔件相抵靠接触或在所述前后两端部上设有卡合于所述两侧端面上的卡口;在所述纵向环套位于所述下PCB板下方侧的片部上固连有横向固连片;所述横向固连片的两端部与所述横向柔性片之间通过魔术贴而可拆卸地固连。
6.一种基于状态分类模型的大鼠机器人的远程控制系统,包括上位机及与所述上位机无线通信连接且穿戴于所述大鼠机器人身上的电子背包系统;所述上位机包括第一控制模块及与所述第一控制模块电连接的显示模块,所述第一控制模块包括处理器与存储器,所述存储器存储有计算机程序;所述电子背包系统包括第二控制模块,刺激模块,用于采集所述大鼠机器人的当前周边环境信息的摄像头,及用于采集所述大鼠机器人的当前运动状态信息的惯性传感器;所述第二控制模块依据所述上位机所发送的控制指令控制所述刺激模块向所述大鼠机器人所发送的刺激脉冲幅值与个数;其特征在于,所述计算机程序被所述处理器执行时能实现以下步骤:
数据接收步骤,接收所述前周边环境信息与所述当前运动状态信息;
数据显示步骤,控制所述显示模块显示所述大鼠机器人的当前周边环境图像,及显示基于所述当前运动状态信息所模拟出的大鼠姿态三维模型;
状态识别步骤,基于所述当前运动状态信息,利用已完成训练的状态分类模型识别出所述大鼠机器人的当前运动状态;
异常处理步骤,若所述当前运动状态为异常运动状态时,则通过所述显示模块显示状态异常提示的同时,切断控制指令的发送,至检测到针对所述状态异常提示的操作事件;
所述状态异常提示包括手动操控选项与自动引导选项;
若所述操作事件为针对所述手动操控选项的选择,则恢复向所述大鼠机器人发送控制指令;
若所述操作事件为针对所述自动引导选项的选择,则计算出与当前异常运动状态相适配的新刺激参数,并控制所述显示模块显示所述新刺激参数,及显示新刺激参数操作界面以接收针对所述新刺激参数的修改或确认;并在检测到针对所述新刺激参数的修改事件或确认事件后,以当前新刺激参数生成干预控制指令并发送给所述大鼠机器人。
7.根据权利要求6所述的远程控制系统,其特征在于:所述电子背包系统包括安装支架,用于将所述安装支架固定至所述大鼠机器人身上的柔性穿戴背心,及布设在所述安装支架上的所述摄像头、所述惯性传感器、无线通信模块、扁平状的电池、所述第二控制模块及所述刺激模块;
所述柔性穿戴背心包括设有供所述大鼠机器人的前两腿穿过的通孔的横向柔性片体,在所述横向柔性片体的两端部布设有用于调节二者间距以调节穿戴松紧度的扎带结构;所述刺激模块包括用于对刺激脉冲进行放大处理的运算放大模块及通过导线与所述运算放大模块电连接的多个刺激电极;
所述安装支架包括由间隔件支撑地固连成架空层结构的上PCB板与下PCB板,所述摄像头通过柔性支撑管而位置可调地固设在所述上PCB板的上板面上,所述运算放大模块固设在所述上PCB板的上板面的前端侧上;所述惯性传感器与所述第二控制模块布设在所述上PCB板的下板面上;所述无线通信模块布设在所述下PCB板的上板面上,所述电池固设在所述下PCB板的下板面上;
在所述下PCB板上捆扎有环绕于其前后两端部上的纵向环套,在所述纵向环套的两侧各布设所述间隔件,且所述纵向环套的两侧端面与所述间隔件相抵靠接触或在所述前后两端部上设有卡合于所述两侧端面上的卡口;在所述纵向环套位于所述下PCB板下方侧的片部上固连有横向固连片;所述横向固连片的两端部与所述横向柔性片之间通过魔术贴而可拆卸地固连。
8.根据权利要求7所述的远程控制系统,其特征在于,所述当前运动状态信息包括加速度数据与角速度数据;所述状态识别步骤包括以下步骤:数据预处理步骤,将所述当前运动状态信息转换成与时间相关的数据流,根据设定的时间窗截取所述数据流的部分数据作为当前运动状态数据,计算所述当前运动状态数据的统计学特征,组成特征向量;
识别步骤,将所述特征向量输入所述状态分类模型,预测所述大鼠机器人的当前运动状态。
9.根据权利要求6所述的远程控制系统,其特征在于,所述当前运动状态信息包括加速度数据与角速度数据;所述状态识别步骤包括以下步骤:数据预处理步骤,将所述当前运动状态信息转换成与时间相关的数据流,根据设定的时间窗截取所述数据流的部分数据作为当前运动状态数据,计算所述当前运动状态数据的统计学特征,组成特征向量;
识别步骤,将所述特征向量输入所述状态分类模型,预测所述大鼠机器人的当前运动状态。
10.根据权利要求6至9任一项权利要求所述的远程控制系统,其特征在于:所述显示基于所述当前运动状态信息所模拟出的大鼠姿态三维模型的步骤包括基于所述当前运动状态信息计算出所述惯性传感器的当前姿态角,作为所述大鼠姿态三维模型的当前姿态角;
判断所述当前运动状态是否为异常运动状态的步骤包括判断所述当前运动状态是否与预设目标状态是否相同,若不同则为异常运动状态。
说明书 :
基于状态分类模型的大鼠机器人的远程控制方法及系统
技术领域
背景技术
应动作。与传统机器人相比,动物机器人能有效地解决传统机器人所存在的能源供给与运
动稳定性等关键技术难题,大大降低了系统成本。
值。
诱发大鼠的虚拟感觉,引导大鼠完成左转、右转和前进动作,进而实现大鼠机器人在复杂外
部环境下的导航,例如,公开号为CN109394208A的专利文献所公开的一种生物机器人系统,
包括植入式神经刺激电路系统和脑电信号采集系统。
情况,给出新的电刺激指令。这种控制方法限制了大鼠机器人的应用场景,一旦距离稍远或
者大鼠机器人被障碍物遮挡,操作员不能观察到大鼠的运动状态,就无法进行有效控制。
令。这种方法可以实现大鼠机器人的远程控制,但是回传图像通常只能显示大鼠机器人周
围的环境情况,而难以获知大鼠机器人自身的运动状态。操作员需要根据视频中图像的变
化间接判断大鼠对控制指令的响应情况,很难做出准确判断,导致目前的远程控制效果并
不理想。另一方面,大鼠机器人在运动过程中可能因为刺激参数设置不当而出现抽搐、挠头
等异常运动状态,由于操作人员难以通过视频而判断出大鼠的异常状态,以能进行有效的
干预,如果在异常状态下仍保持当前刺激参数设置对大鼠进行电刺激,会造成不可逆转的
脑部伤害。
发明内容
类,并在出现异常状态时,能有效且及时地对刺激参数做出修改,以避免因继续发送当前控
制指令而对大鼠机器人的大脑造成损害;
类,并在出现异常状态时,能有效且及时地对刺激参数做出修改,以避免因继续发送当前控
制指令而对大鼠机器人的大脑造成损害。
前运动状态,并基于预设基准判断当前运动状态是否为异常运动状态,若为异常运动状态,
则表明可能出现了因刺激参数设置不当而出现抽搐、挠头等异常运动状态,此时通过切断
控制指令的发送,有效地避免不当刺激参数的控制指令的发送而导致大鼠机器人大脑造成
损伤。此外,还可以基于运动状态信息而模拟出大鼠姿态三维模型,相比仅仅观察周边环境
视频而言,更便于操作人员更形象观察其运动状态,从而更好地对大鼠机器人进行远程控
制。
选项的选择,则计算出与当前异常运动状态相适配的新刺激参数,并控制显示模块显示新
刺激参数,及显示新刺激参数操作界面以接收针对新刺激参数的修改或确认;并在检测到
针对新刺激参数的修改事件或确认事件后,以当前新刺激参数生成干预控制指令并发送给
大鼠机器人;刺激参数包括刺激脉冲幅值与脉冲个数。基于经验而总结出导致大鼠机器人
出现常见异常状态的刺激参数设置及应对的刺激参数设置,从而能够更好地辅助操作人员
对出现异常运动状态的处理。
组成特征向量;
角;判断当前运动状态是否为异常运动状态的步骤包括判断当前运动状态是否与预设目标
状态是否相同,若不同则为异常运动状态。
头、惯性传感器、无线通信模块、扁平状的电池、第二控制模块及刺激模块;柔性穿戴背心包
括设有供大鼠机器人的两前腿穿过的通孔的横向柔性片体,在横向柔性片体的两端部布设
有用于调节二者间距以调节穿戴松紧度的扎带结构;刺激模块包括用于对刺激脉冲进行放
大处理的运算放大模块及通过导线与运算放大模块电连接的多个刺激电极;安装支架包括
由间隔件支撑地固连成架空层结构的上PCB板与下PCB板,摄像头通过柔性支撑管而位置可
调地固设在上PCB板的上板面上,运算放大模块固设在上PCB板的上板面的前端侧上;惯性
传感器与第二控制模块布设在上PCB板的下板面上;无线通信模块布设在下PCB板的上板面
上,电池固设在下PCB板的下板面上;在下PCB板上捆扎有环绕于其前后两端部上的纵向环
套,在纵向环套的两侧各布设间隔件,且纵向环套的两侧端面与间隔件相抵靠接触或在前
后两端部上设有卡合于两侧端面上的卡口;在纵向环套位于下PCB板下方侧的片部上固连
有横向固连片;横向固连片的两端部与横向柔性片之间通过魔术贴而可拆卸地固连。该技
术方案不仅能够穿戴牢固,且在整体上重量分布较为合理,进一步地提高其穿戴牢固度的
同时,减少对大鼠机器人运动过程中的干涉。
位机包括第一控制模块及与第一控制模块电连接的显示模块,第一控制模块包括处理器与
存储器,存储器存储有计算机程序;电子背包系统包括第二控制模块,刺激模块,用于采集
大鼠机器人的当前周边环境信息的摄像头,及用于采集大鼠机器人的当前运动状态信息的
惯性传感器;第二控制模块依据上位机所发送的控制指令控制刺激模块向大鼠机器人所发
送的刺激脉冲幅值与个数;计算机程序被处理器执行时能实现以下步骤:
电池、第二控制模块及刺激模块;柔性穿戴背心包括设有供大鼠机器人的前两腿穿过的通
孔的横向柔性片体,在横向柔性片体的两端部布设有用于调节二者间距以调节穿戴松紧度
的扎带结构;刺激模块包括用于对刺激脉冲进行放大处理的运算放大模块及通过导线与运
算放大模块电连接的多个刺激电极;安装支架包括由间隔件支撑地固连成架空层结构的上
PCB板与下PCB板,摄像头通过柔性支撑管而位置可调地固设在上PCB板的上板面上,运算放
大模块固设在上PCB板的上板面的前端侧上;惯性传感器与第二控制模块布设在上PCB板的
下板面上;无线通信模块布设在下PCB板的上板面上,电池固设在下PCB板的下板面上;在下
PCB板上捆扎有环绕于其前后两端部上的纵向环套,在纵向环套的两侧各布设间隔件,且纵
向环套的两侧端面与间隔件相抵靠接触或在前后两端部上设有卡合于两侧端面上的卡口;
在纵向环套位于下PCB板下方侧的片部上固连有横向固连片;横向固连片的两端部与横向
柔性片之间通过魔术贴而可拆卸地固连。
选项的选择,则计算出与当前异常运动状态相适配的新刺激参数,并控制显示模块显示新
刺激参数,及显示新刺激参数操作界面以接收针对新刺激参数的修改或确认;并在检测到
针对新刺激参数的修改事件或确认事件后,以当前新刺激参数生成干预控制指令并发送给
大鼠机器人。
组成特征向量;
角;判断当前运动状态是否为异常运动状态的步骤包括判断当前运动状态是否与预设目标
状态是否相同,若不同则为异常运动状态。
附图说明
具体实施方式
穿戴于大鼠机器01人身上的电子背包系统3,其中无线通信可以根据控制距离而采用不同
的无线通信模式,例如短距离可以采用蓝牙、WIFI等通信方式进行无线通信,而远距离可以
采用2G、3G、4G、5G等移动通信方式进行无线通信。
器201内存储有计算机程序,该计算机程序被处理器200执行时,内依据所接收的数据而通
过无线通信模块22向电子背包系统3发送控制指令,该控制指令用于控制大鼠机器人01的
动作。其中,显示模块23采用显示屏或投影模块进行构建,优选采用触摸屏进行构建,以便
于显示的同时,也能进行数据或指令输入等操作,此时触摸屏也构成指令接收模块的一部
分;指令接收模块21可以采用键盘、鼠标等外设进行构建。如图13所示,在本实施例中,显示
模块23的显示界面被划分成五大区域,分别为无线通信参数显示区域、环境信息显示区域、
控制参数显示及输入区域、运动状态检测与异常处理区域、及大鼠姿态三维模型显示区域,
用于在对应区域显示响应信息,以供操作人员进行观看、选择或操作。无线通信模块22可以
选用蓝牙模块、WIFI模块或2G、3G、4G、5G等移动通信模块。
31,及用于采集大鼠机器人01的当前运动状态信息的惯性传感器32。其中,惯性传感器32用
于获取大鼠机器人01的实时加速度数据与角速度数据;电池35为可充电的锂电池,用于对
其他功能模块的正常工作供电;无线通信模块33可选用蓝牙模块、WIFI模块或2G、3G、4G、5G
等移动通信模块;第二控制模块30包括处理器300及存储器301,在存储器301内存储有计算
机程序,该计算机程序被处理器300执行时,能依据上位机2所发送的控制指令,控制刺激模
块34向大鼠机器人01所发送的预定幅值与个数的刺激脉冲,以控制大鼠机器人01的动作。
激模块34包括用于对刺激脉冲进行放大处理的运算放大模块及通过柔性导线341与运算放
大模块电连接的多个刺激电极342,具体为六个刺激电极342组成,用于输出电刺激脉冲串。
柔性片体50上设有供大鼠机器人01的前两腿穿过的通孔500,在横向柔性片体50的两端部
布设有用于调节二者间距以调节穿戴松紧度的扎带结构53。
PCB板插接头进行构建,从而可在上下两PCB板之间传输电能与信号;摄像头31通过柔性支
撑管38而位置可调地固设在上PCB板41的上板面上,其中,柔性支撑管38采用蛇皮管进行构
建;运算放大模块固设在上PCB板41的上板面的前端侧上;惯性传感器32与第二控制模块30
布设在上PCB板41的下板面上;无线通信模块33布设在下PCB板42的上板面上,电池35固设
在下PCB板42的下板面上。
向环套51的两侧端面与间隔件40相抵靠接触或在下PCB板42的前后两端部上设有卡合于纵
向环套51两侧端面上的卡口420与卡口421;横向固连片52固设在纵向环套位51于下PCB板
42下方侧的片部上;横向固连片52的两端部与横向柔性片50之间通过魔术贴而可拆卸地固
连,便于连接位置的调节与固连。在本实施例中,纵向环套51的下侧片部通过粘接剂与下
PBC板42的下表面固连,且与横向固连片52的中间段部通过粘接剂固连。
计算机程序被处理器200执行时,能实现该四个步骤,具体过程如下:
摄像头31与惯性传感器32所采集的数据后,通过无线通信模块33与无线通信模块22之间的
无线传输线路而发送给控制模块20。
从而便于操作人员随时掌握大鼠机器人01的当前姿态。
统计学特征,组成特征向量。
据作为当前时刻的运动数据,计算均值、方差等统计学特征,组成特征向量。
最小值,加速度三个轴间的相关性,角速度三个轴间的相关性,加速度、角速度的峰度,对于
统计学特征可以选用上述特征中的一者或几个的组合,优选为全部。
常运动状态。
等异常状态的特征向量数据进行训练。
的分类模型。
够获取该大鼠机器人在运动感过程中的所有动作的全局摄像头所记录的大鼠机器人的动
作视频;(2)利用程序使运动数据与动作视频在时间上耦合成同步数据;(3)通过观察动作
视频,找到各个目标动作的时间点,并从运动数据中获取该时间点的惯性传感器所获取的
数据;(4)使用这些惯性传感器数据计算特征向量,与动作标签一起作为输入,以对状态分
类模型进行训练。在训练过程中,不同动作是平等的,对于动作标签,在本实施例中为采用1
代表行走,2代表停止,3代表直立,4代表挠头,5代表抽搐,其中4与5标识异常状态的标签;
经前述样本训练之后的状态分类模型,在输入当前运动数据的计算特征向量时,会输出用
于表征各个状态的数字标签,若输出的数值为4或5,则标识当前大鼠机器人的状态为异常
状态。
激,大鼠会继续挠头;如果停止刺激,大鼠会逐渐恢复到正常状态;此时,可以降低刺激幅
值,使大鼠不那么容易进入挠头状态;(2)抽搐发生在刺激强度较强且刺激频率过大时,是
一种应该尽量避免的状态;在抽搐发生时,应该立刻停止刺激,等大鼠逐渐恢复正常后,及
时降低刺激的强度和刺激的频率;当判断大鼠已经恢复后,需要首先使用低频,小幅值的刺
激来测试大鼠是否真的恢复到了正常状态;之后,再使用修改后的刺激参数控制大鼠的运
动。
光;其中,状态异常提示包括手动操控选项、自动引导选项、解除异常警报选项与确认参数
修改选项。操作人员在看到警示灯光或状态异常提示或听到警报声响后,会触发相应状态
异常提示选项,从而选择相应的操作。
以接收针对新刺激参数的修改或确认;并在检测到针对新刺激参数的修改事件或确认事件
后,以当前新刺激参数生成干预控制指令并发送给大鼠机器人;刺激参数包括刺激脉冲幅
值与脉冲个数。在本实施例中,若选择自动引导选项的话,则会在暂停控制信号发送的同
时,不断地采集大鼠机器人的运动状态,并在判断其逐渐恢复正常之后,根据预设参数而采
用预设低频且幅值较小的刺激信号测试该大鼠机器人是否恢复正常,即发送测试控制信号
而监控其是否从正常状态返回至异常状态,若没有恢复,则持续暂停发送控制信号并再监
控其状态至经测试仍为正常状态;并在恢复正常运动状态之后,在显示模块上显示刺激参
数设置的提示,该提示要求其会按照低于出现异常状态时的刺激参数值或者按照低于预设
比例进行设置,若高于该参考值,则暂停该刺激参数的控制信号发送,同时进行报错;此时
还可以根据需要设置切换至手动操作的选项。
该步骤会基于当前的刺激参数,使用内置算法计算新的刺激脉冲幅值和脉冲个数,操作员
可以使用计算得到的新刺激参数,也可以在此基础上进行手动修改。这个步骤完成后,进入
引导恢复步骤,通过控制指令引导大鼠机器人恢复到正常运动状态。引导方法包括手动方
式和自动方式,操作员可以自行选择。手动方式,操作员通过观察大鼠机器人的实时运动状
态预测结果与回传视频信息,根据自己的操作经验发送控制指令引导大鼠机器人。自动方
式,算法会根据实时运动状态预测结果,使用内置引导指令模型发送控制指令引导大鼠机
器人。
于操作员在远程操控大鼠机器人时可以据此调整控制指令,提高远程控制的效果。
常运动状态进行干预,引导大鼠机器人进入正常运动状态。
包系统进行集成。异常状态处理方法包括自动模式和手动模式,方便操作员根据实际情况
进行选择。
电路系统的长度和宽度,使大鼠机器人背负的时候更加舒适。
器可以可靠地获取大鼠的运动数据。
包只需要剪断扎带,非常方便。这种穿戴方法只涉及大鼠的前肢部分,不会影响大鼠身体和
后肢的运动,对大鼠机器人运动的整体影响较小。