一种融合sEMG和AUS的手势识别方法，包括：S1：sEMG和AUS的数据同步采集；令受试者进行sEMG和AUS的同步采集；采集过程将包含m种实际手势动作；S2：sEMG和AUS的数据维度匹配；S3：sEMG和AUS的特征提取；S4：sEMG和AUS的特征融合；S5：sEMG和AUS的模型构建。本发明的多模态融合信号在手腕动作、手指动作及放松态下都能获得较高的手势识别效果，在一定程度上推进了生物信号在实际生活中的手势识别应用能力。
1.一种融合sEMG和AUS的手势识别方法，包括如下步骤：S1：sEMG和AUS的数据同步采集；令受试者进行sEMG和AUS的同步采集；采集过程将包含m种实际手势动作；
数据同步采集时，首先受试者右臂需要佩戴校准后的采集设备，该采集设备包含nc个采集通道；其次受试者需舒适地静坐，将其右臂的肘关节放置于桌面，准备数据同步采集；接着受试者按提示依次进行手势动作，每个手势动作持续nt秒，每轮采集结束后受试者休息
5nt秒；然后受试者共进行8轮采集；最后记录每个手势动作的sEMG、AUS以及动作标签；
因为不同受试者对于所给提示的反应效果不一致，所以将每一个手势动作的持续时间进行划分，分为：提前时间1秒、稳态时间nt‑2秒和滞后时间1秒，后续手势识别过程中将主要采用稳态时间内所采集的数据；
S2：sEMG和AUS的数据维度匹配；因为sEMG和AUS分别属于连续信号和离散信号，所以两者的采集方式不一致，采集频率不一致，因此需要对sEMG和AUS进行数据分窗操作，以匹配两者维度，便于后续的信号融合；
sEMG的分窗数量为 窗口交叠长度为 窗口长度为 如式(1)计算；
式中，tstable为稳态时间；Fps为AUS的帧率；a为窗口交叠长度系数，b为窗口长度系数；
经过数据分窗操作后，每个手势动作内，sEMG的分窗数量与AUS的帧数相同，同为tstableFps(即， )，将实现两者在维度上的匹配；
S3：sEMG和AUS的特征提取；对于所采集的sEMG和AUS信号进行各自相关特征的提取；
sEMG进行的是TD‑AR6特征组合提取，即对每一个窗口中的sEMG数据选取4个时域特征：绝对平均值、波形长度、过零点数与斜率变化率以及6个模型参数：自回归模型的6阶AR系数；
sEMG的4个时域特征，如下式计算：式中，MAN为绝对平均值；WL为波形长度；ZC为过零点数；SSC为斜率变化率；sgn(ε)为符号函数；n为sEMG信号的长度， εt为t时刻所采集的sEMG的信号值；
sEMG的6个模型参数，如下式计算：式中，P(k)为sEMG序列；m为自回归模型AR的阶数；aj为第j个自回归系数；e(k)为高斯白噪声；
AUS表征的是信号回波能量与执行肌肉深度之间的映射关系；因为超声信号的特性使得信号会随着时间衰退，因此在AUS的预处理过程中需要进行额外的时间增益补偿；AUS进行的是KB特征提取；对于每一帧的AUS数据进行N段线性拟合，如下式计算：y＝kx+h (4)式中，k为拟合直线的斜率，h为拟合直线的在y轴上的截距；N段线性拟合直线组合成的形状可以近似表达所采集的AUS信号；
S4：sEMG和AUS的特征融合；在上述sEMG和AUS的特征提取后进行特征融合，从而形成一种具有sEMG和AUS各自优势的多模态生物信号；为保留特征的有效信息以及降低所需计算消耗，在特征融合后进行特征降维；为避免个别特征对最终效果的影响，在特征降维后进行特征归一化；
S41：sEMG和AUS的特征融合；特征提取后，每一帧的sEMG特征维度是10nc,每一帧的AUS特征维度是2Nnc；经过上述sEMG和AUS的特征提取，将形成sEMG的TD‑AR6特征空间VsEMG和AUS的KB特征空间VAUS，并将两者的特征空间进行组合，实现sEMG和AUS的特征融合，形成多模态生物信号空间V，空间V的每一帧特征维度为(10+2N)nc；
S42：sEMG和AUS的融合特征降维；为避免sEMG和AUS的融合特征维度过高，使用主成分分析法(PCA)进行降维操作；将空间V的每一帧特征维度降至Ndim，之后需要验证信号在Ndim维的主成分所占的信息量的比例η是否在95％以上；
S43：sEMG和AUS的特征归一化；在完成sEMG和AUS的融合特征降维后，在保证数据的数值排序的前提下，为避免个别特征因为其数值过大带来的局部影响，使用Min‑Max归一化进行处理，如下式计算：
式中，Xmin为集合中的最小值；Xmax为集合中的最大值，xi为集合中的第i个数值；xi'集合中的第i个数值在Min‑Max归一化处理后的数值；
S5：sEMG和AUS的模型构建；使用非线性映射算法将低维的样本转化为高维特征空间，后采用线性算法对其分类；非线性映射算法，包括线性核函数、多项式核函数、高斯核函数以及Sigmoid核函数，如下式；
k(x,xi)＝((x·xi)+1) (7)k(x,xi)＝tanh(η+θ) (9)式(6)为线性核函数，式(7)为多项式核函数，式(8)为高斯核函数，式(9)为Sigmoid核函数；式中，d，δ，η，θ是需优化的参数，可根据经验确定；
确定合适的核函数后，构建SVM分离器，将完成归一化的融合信号的特征组合作为输入，经过所构建的SVM分离器，将得到手势识别的准确率。
2.如权利要求1所述的一种融合sEMG和AUS的手势识别方法，其特征在于：步骤S2中，sEMG的采集频率为1kHz；AUS的帧率为10Hz，每帧的采样点数为1000；式(1)中a的默认值为
一种融合sEMG和AUS的手势识别方法
技术领域
[0001] 本发明涉及人体生物工程技术领域，涉及一种手势识别方法。
背景技术
[0002] 目前用于手势识别的人体生物信号中，表面肌电信号(sEMG)和A型超声信号(AUS)等为主流信号。其中，sEMG主要检测浅层的肌肉电信号，对于粗大的手腕动作具有较强的识
别能力，但对于精细的手指动作的识别能力并不理想。而AUS主要检测深层的肌肉形态信
息，对于精细的手指动作具有较强的识别能力，但对于粗大的手腕动作的识别能力并不理
想。因此需要提出一种融合sEMG和AUS的手势识别方法，充分发挥两者的优势，以提高日常
生活中的多种实际手势动作的识别能力，进而促进智能辅助设备的研发。
发明内容
[0003] 本发明要克服单模态生物信号在识别多种实际手势动作的过程中所出现的低识别率问题，提供一种多模态信号融合的方法，即一种融合sEMG和AUS的手势识别方法。该方
法能够发挥多模态信号的各自优势以弥补其各自的固有局限性，可实现更好的手势识别效
果。
[0004] 本发明解决其技术问题所采用的技术方案是：
[0005] 一种融合sEMG和AUS的手势识别方法，包括如下步骤：
[0006] S1：sEMG和AUS的数据同步采集。令受试者进行sEMG和AUS的同步采集，以便于后续的信号维度匹配，极大地减少了不必要的外界干扰。采集过程将包含m种实际手势动作。
[0007] 数据同步采集时，首先受试者右臂需要佩戴校准后的采集设备，该设备包含nc个采集通道。其次受试者需舒适地静坐，将其右臂的肘关节放置于桌面，准备数据同步采集。
接着受试者按提示依次进行手势动作，每个手势动作持续nt秒，每轮采集结束后受试者休
息5nt秒。然后受试者共进行8轮采集。最后记录每个手势动作的sEMG、AUS以及动作标签。
[0008] 因为不同受试者对于所给提示的反应效果不一致，所以将每一个手势动作的持续时间进行划分，分为：提前时间1秒、稳态时间nt‑2秒和滞后时间1秒，后续手势识别过程中
将主要采用稳态时间内所采集的数据。
[0009] S2：sEMG和AUS的数据维度匹配。因为sEMG和AUS分别属于连续信号和离散信号，所以两者的采集方式并不一致，采集频率并不一致。因此需要对sEMG进行数据分窗操作，以匹
配两者维度，便于后续的信号融合。
[0010] sEMG的分窗数量为 窗口交叠长度为 窗口长度为 如式(1)计算。
[0011]
[0012] 式中，tstable为稳态时间；Fps为AUS的帧率；a为窗口交叠长度系数，b为窗口长度系数。
[0013] 经过数据分窗操作后，每个手势动作内，sEMG的分窗数量与AUS的帧数相同，同为tstableFps(即， )，将实现两者在维度上的匹配。
[0014] S3：sEMG和AUS的特征提取。对于所采集的sEMG和AUS信号进行各自相关特征的提取。本发明中，sEMG进行的是TD‑AR6特征组合提取，即对每一个窗口中的sEMG数据选取4个
时域特征：平均绝对值、波形长度、过零点数与斜率变化率以及6个模型参数：自回归模型的
6阶AR系数。
[0015] sEMG的4个时域特征，如下式计算：
[0016]
[0017] 式中，MAN为绝对平均值；WL为波形长度；ZC为过零点数；SSC为斜率变化率；sgn(ε)为符号函数；n为sEMG信号的长度， εt为t时刻所采集的sEMG的信号值。
[0018] sEMG的6个模型参数，如下式计算：
[0019]
[0020] 式中，P(k)为sEMG序列；m为自回归模型AR的阶数；aj为第j个自回归系数；e(k)为高斯白噪声。
[0021] AUS波形对于表示肌肉的形态学信息至关重要，因为AUS表征的是信号回波能量与执行肌肉深度之间的映射关系。因为超声信号的特性使得信号会随着时间衰退，因此在AUS
的预处理过程中需要进行额外的时间增益补偿。本发明中，AUS进行的是KB特征提取。对于
每一帧的AUS数据进行N段线性拟合，如下式计算：
[0022] y＝kx+h (4)
[0023] 式中，k为拟合直线的斜率，h为拟合直线的在y轴上的截距。N段线性拟合直线组合成的形状可以近似表达所采集的AUS信号。
[0024] S4：sEMG和AUS的特征融合。为充分发挥两种单一模态信号sEMG和AUS的各自优势，在上述sEMG和AUS的特征提取后进行特征融合，从而形成一种具有sEMG和AUS各自优势的多
模态生物信号；为保留特征的有效信息以及降低所需计算消耗，在特征融合后进行特征降
维；为避免个别特征对最终效果的影响，在特征降维后进行特征归一化。
[0025] S41：sEMG和AUS的特征融合。特征提取后，每一帧的sEMG特征维度是10nc,每一帧的AUS特征维度是2Nnc。经过上述sEMG和AUS的特征提取，将形成sEMG的TD‑AR6特征空间VsEMG
和AUS的KB特征空间VAUS，并将两者的特征空间进行组合，实现sEMG和AUS的特征融合，形成
多模态生物信号空间V，空间V的每一帧特征维度为(10+2N)nc。
[0026] S42：sEMG和AUS的融合特征降维。为避免sEMG和AUS的融合特征维度过高，使用主成分分析法(PCA)进行降维操作。本发明将空间V的每一帧特征维度降至Ndim，之后需要验证
信号在Ndim维的主成分所占的信息量的比例η是否在95％以上。
[0027] S43：sEMG和AUS的特征归一化。在完成sEMG和AUS的融合特征降维后，在保证数据的数值排序的前提下，为避免个别特征因为其数值过大带来的局部影响，使用Min‑Max归一
化进行处理，如下式计算：
[0028]
[0029] 式中，Xmin为集合中的最小值；Xmax为集合中的最大值，xi为集合中的第i个数值；xi'集合中的第i个数值在Min‑Max归一化处理后的数值。
[0030] S5：sEMG和AUS的模型构建。本发明所涉及的sEMG和AUS融合信号的手势动作分类具有非线性可分的性质，所以SVM基本型对此并不适合。应使用非线性映射算法将低维的样
本转化为高维特征空间，后采用线性算法对其分类。它是在基于结构风险最小化理论之上
在特征空间中构建最优超平面，从而获得到全局最优。非线性映射算法，主要是应用核函数
的展开定理和计算理论来解决，主要有线性核函数、多项式核函数、高斯核函数以及
Sigmoid核函数，如下式。
[0031] k(x,xi)＝x·xi (6)
[0032] k(x,xi)＝((x·xi)+1)d (7)
[0033]
[0034] k(x,xi)＝tanh(η+θ) (9)
[0035] 式6为线性核函数，式7为多项式核函数，式8为高斯核函数，式9为Sigmoid核函数；式中，d，δ，η，θ是需优化的参数，可根据经验确定。
[0036] 确定合适的核函数后，构建SVM分离器，将完成归一化的融合信号的特征组合作为输入，经过所构建的SVM分类器，将得到手势识别的准确率。
[0037] 优选地，步骤S2中，sEMG的采集频率为1kHz；AUS的帧率为10Hz，每帧的采样点数为1000；式(1)中a的默认值为0.5；b的默认为3。
[0038] 本发明的优点是：设计了sEMG和AUS数据同步采集的实验方案；给出了sEMG和AUS的维度匹配方法，避免了sEMG和AUS不同性质和不同采集频率所带来的问题；提出了sEMG和
AUS在特征空间层次进行融合获得多模态融合信号的方法，该方法使得sEMG和AUS优势互
补，避免了各自劣势，实现手势识别准确率的提高。结合上述方案和方法，多模态融合信号
在手腕动作、手指动作及放松态下都能获得较高的手势识别效果，在一定程度上推进了生
物信号在实际生活中的手势识别应用能力。
附图说明
[0039] 图1是本发明方法的总体流程图；
[0040] 图2是本发明方法的数据同步采集中的20个手势动作图示；
[0041] 图3是本发明的数据同步采集中的每个手势动作的时间划分图示；
[0042] 图4是本发明的数据同步采集中的实验流程图；
[0043] 图5是本发明的数据匹配中的数据分窗操作图示；
[0044] 图6是本发明的多段AUS的KB特征提取图示；
[0045] 图7是本发明的为sEMG和AUS的特征融合、降维和归一化图示；
[0046] 图8是本发明的sEMG、AUS和融合信号的手势识别准确率图示。
具体实施方式
[0047] 下面结合附图和实例对本发明作进一步说明。
[0048] 一种融合sEMG和AUS的手势识别方法，包括如下步骤：
[0049] S1：sEMG和AUS的数据同步采集。首先，招募8名无神经肌肉和关节疾病史的健康成年男性为受试者，编号为s1～s8。对他们进行培训，使其熟悉采集过程中所涉及的手势动
作。
[0050] 然后，设定20个手势动作，分别为6个手腕动作、13个手指动作和1个放松态。手势动作的执行见数据同步采集中的20个手势动作图示，手势动作的分类如表1所示。
[0051] 表1数据同步采集中的20个手势动作的分类表
[0052]
[0053] 最后，设定每个手势动作持续5秒，其中最先的1秒为提前时间，最后的1秒为滞后时间，中间的3秒为稳态时间。
[0054] 受试者按照数据同步采集中的实验流程图进行试验，记录sEMG、AUS和动作标签数据。
[0055] S2：sEMG和AUS的数据维度匹配。根据所使用设备的sEMG和AUS的采集频率，计算可得，sEMG的分窗数量为30个，窗口交叠为50ms，窗口长度为150ms。将sEMG数据分窗后，同一
个手势动作内的sEMG分窗数量将等于AUS的帧数，基本实现了sEMG和AUS在数据维度上的匹
配，有利于sEMG和AUS的融合，进而形成一种具有sEMG和AUS各自优势的多模态的生物信号。
[0056] S3：sEMG和AUS的信号特征提取。sEMG在每一个数据分窗之中进行了是TD‑AR6特征组合提取。AUS因为超声的衰减特性，进行额外的时间增益补偿后，提取其KB特征。对于每一
帧的AUS数据进行了50段线性拟合，以多线性近似表示AUS的实际信号。
[0057] S4：sEMG和AUS的特征融合。其中，依据sEMG和AUS的特征融合、降维和归一化图示，对两者信号进行特征融合、降维以及归一化处理。
[0058] S41：sEMG和AUS的特征融合。特征提取后，每一帧的sEMG特征维度为10×4，即(4+6)×4；每一帧的AUS特征维度为100×4，即2×50×4。经过上述sEMG和AUS的特征提取，将形
成sEMG的TD‑AR6特征空间VsEMG和AUS的KB特征空间VAUS。一个受试者所获得的VsEMG的维度为
48000×4，即8×20×30×10×4；VAUS的维度为480000×4，即8×20×30×100×4。后将两者
的特征空间进行组合，实现sEMG和AUS的特征融合，形成多模态生物信号空间V，空间V的每
一帧特征维度为110×4，即(10+100)×4，而一个受试者所获得的V的维度维528000×4，即8
×20×30×(10+100)×4。
[0059] 表2各特征空间的表
[0060]
[0061] S42：sEMG和AUS的特征降维。为避免sEMG和AUS的融合特征维度过高，使用主成分分析法(PCA)进行降维操作。本发明将空间V的每一帧特征维度降至100，之后验证信号了在
100维度的主成分所占的信息量的比例η是超过95％的，证明在100维度上，实现了融合信号
维度的降低以及较多有效信息的保留。
[0062] S43：sEMG和AUS的归一化。在完成sEMG和AUS的融合特征降维后，对融合特征组合使用Min‑Max归一化进行处理，从而避免了个别特征因为其数值过大所带来的局部影响。
[0063] S5：sEMG和AUS的模型构建。本发明根据实际数据集中的样本数量选择确定高斯核函数为SVM核函数。通过SVM将单模态sEMG、单模态AUS以及多模态融合信号分别进行手势动
作分类，实验结果如图8sEMG、AUS和融合信号的手势识别准确率图示所示。
[0064] 单模态sEMG的平均识别率为68.56％；单模态AUS的平均识别率为84.62％；而多模态融合信号的识别率为89.21％，比单模态AUS高4.59％，比单模态sEMG高20.65％(主要是
因为20个手势动作中多数包含有手指动作，sEMG所代表的浅层肌肉信息并不能较好地反映
出此类手势动作)。此外，采用方差分析法分析了三种信号对20个手势动作的识别性能差
异，设置显著性水平为p<＝0.05。结果表明，融合信号的识别性能明显高于AUS(p＝0.0095)
和sEMG(p<0.0001)。
[0065] 所有受试者的实验结果证明sEMG和AUS的融合能够有效地提高手势动作的识别准确率，同时证明本发明，即一种融合sEMG和AUS的手势识别方法，是有效的。
[0066] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术
人员根据本发明构思所能够想到的等同技术手段。
