一种步态信息的处理方法、装置及电子设备转让专利

申请号 : CN202210195362.5

文献号 : CN114267088B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 朱文成佟良远刘佳玉冯振刘岸风张昊彭斌武睿

申请人 : 北京中科睿医信息科技有限公司

摘要 :

本发明公开了一种步态信息处理方法、装置及电子设备,包括:获取目标对象的骨骼数据;基于骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;将特征向量输入至目标步态识别模型,获得特征向量对应的每一帧图像相匹配的运动状态信息;基于运动状态信息进行步态周期划分,得到步态周期;基于骨骼数据对应的骨骼点坐标信息,计算与步态周期对应的步态参数。本发明通过对运动状态识别并进行步态周期划分,基于步态的时序信息使得划分更加准确,提升了步态参数计算的准确性,并且无需特殊设备的采集操作更具有便捷性。

权利要求 :

1.一种步态信息处理方法,其特征在于,所述方法包括:获取目标对象的骨骼数据,所述骨骼数据是指对所述目标对象的关节点进行采集的信息;

获取所述目标对象的骨骼数据中每一骨骼点坐标,对所述每一骨骼点坐标进行特征提取,得到特征数据,基于所述特征数据进行计算,得到特征值,基于每一时刻的骨骼点,对所述特征值进行组合,得到特征向量;

将所述特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息,所述目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型,其中,所述运动状态信息是对应运动类别下的状态信息;

基于所述运动状态信息进行步态周期划分,得到步态周期;

基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。

2.根据权利要求1所述的方法,其特征在于,所述获取目标对象的骨骼数据,包括:利用目标采集设备对目标对象运动时的骨骼关节点进行数据采集,得到关节点坐标序列;

将所述关节点坐标序列确定为目标对象的骨骼数据;

其中,关节点坐标为关节点的三维坐标,所述三维坐标对应的三维坐标方向包括所述目标采集设备的水平方向、目标采集设备的垂直方向和目标采集设备的深度方向。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取采集的骨骼数据集;

对所述骨骼数据集中每一帧图像进行步态状态标注,得到步态状态标签,所述步态状态包括静止状态、行走状态和转身状态,所述行走状态包括行走子状态;

将标注有步态状态标签的骨骼数据集确定为训练样本;

对所述训练样本进行神经网络模型训练,得到初始识别模型;

对所述初始识别模型进行验证,将验证通过的初始识别模型确定为目标步态识别模型。

4.根据权利要求1所述的方法,其特征在于,所述特征数据包括关节点的速度特征、腰部关节点角度特征、腰部关节点相对目标采集设备的相对位置特征、腰部关节点与脚尖的距离特征、腰部关节点与脚踝的距离特征、左右膝盖之间的距离特征以及当前帧数的相对时间特征。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:对每一帧图像相匹配的运动状态信息进行投票处理,得到投票结果;

基于所述投票结果,确定当前帧的运动状态标签;

对所述当前帧的运动状态标签进行规则匹配,并基于匹配后的结果确定所述每一帧图像对应的处理后的运动状态信息。

6.根据权利要求1所述的方法,其特征在于,所述基于所述运动状态信息进行步态周期划分,得到步态周期,包括:基于所述运动状态信息确定步态周期中的目标帧;

根据所述目标帧进行步态周期划分,得到步态周期。

7.根据权利要求1所述的方法,其特征在于,所述步态参数包括:步速、步幅、步长、步高、步频、步宽、跨步时长、摆动相时间、站立相时间、双支撑相时间或者摆动速度中的一种或多种。

8.一种步态信息处理装置,其特征在于,所述装置包括:数据获取单元,用于获取目标对象的骨骼数据,所述骨骼数据是指对所述目标对象的关节点进行采集的信息;

特征提取单元,用于获取所述目标对象的骨骼数据中每一骨骼点坐标,对所述每一骨骼点坐标进行特征提取,得到特征数据,基于所述特征数据进行计算,得到特征值,基于每一时刻的骨骼点,对所述特征值进行组合,得到特征向量;状态识别单元,用于将所述特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息,所述目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;

周期划分单元,用于基于所述运动状态信息进行步态周期划分,得到步态周期,其中,所述运动状态信息是对应运动类别下的状态信息;

参数计算单元,用于基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。

9.一种存储介质,其特征在于,所述存储介质存储有可执行指令,所述指令被处理器执行时实现如权利要求1‑7中任一项所述的步态信息处理方法。

10.一种电子设备,其特征在于,包括:

存储器,用于存储程序;

处理器,用于执行所述程序,所述程序具体用于实现如权利要求1‑7中任意一项所述的步态信息处理方法。

说明书 :

一种步态信息的处理方法、装置及电子设备

技术领域

[0001] 本发明涉及信息处理技术领域,特别是涉及一种步态信息的处理方法、装置及电子设备。

背景技术

[0002] 脑血管疾病、帕金森病和阿尔兹海默症等神经系统疾病是一种退行性疾病,无法痊愈。只能靠前期预防,早治疗早干预,延缓病情恶化,所以对于此类疾病的前期临床诊断尤为重要,通常可以通过步态分析的方法作为临床指导信息。
[0003] 现有的获取步态数据主要是基于视觉方法实现,视觉方法可以分为有标记点和无标记点的方法完成。有标记点的方法需要在被测人员身上标记有相对固定的标记点,并且为了得到下肢骨骼点的坐标,需要在身上贴20个左右的标记点,该方法应用不便,且设备十分昂贵。无标记点的方法通过外观轮廓和深度学习模型处理摄像机捕捉到的视频,通常采用可穿戴传感器的方法实现,该方法分可以为两类:基于惯性传感器的方法和基于压力传感器的方法。惯性传感器固定在被试身上(胸部、背部、腿部等),通过检测算法可以分割步态周期,计算出步速、步幅等参数。但是此类传感器对于干扰非常敏感,如在行走过程中由于传感器与鞋面的摩擦会产生高频的噪声,且在临床检测时使用可穿戴设备,病人心里会产生压力,导致步态异常。同样使用压力传感器也会对病人的步态产生一定的影响,在使用步态地毯时,需要病人尽可能的走在平台的正中间,这会使病人行走模型不同于正常情况。
[0004] 可见,现有基于深度传感器的设备存在数据不稳定、易受干扰等问题;在定量参数计算上使用基于阈值判断的启发式算法进行步态状态检测,这种算法使用特征单一,无前后时序信息,使得最终获得的相关步态信息并不准确。

发明内容

[0005] 针对于上述问题,本发明提供一种步态信息的处理方法、装置及电子设备,提升了步态信息处理的便捷性和准确性。
[0006] 为了实现上述目的,本发明提供了如下技术方案:
[0007] 一种步态信息处理方法,所述方法包括:
[0008] 获取目标对象的骨骼数据;
[0009] 基于所述骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;
[0010] 将所述特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息,所述目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;
[0011] 基于所述运动状态信息进行步态周期划分,得到步态周期;
[0012] 基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。
[0013] 可选地,所述获取目标对象的骨骼数据,包括:
[0014] 利用目标采集设备对目标对象运动时的骨骼关节点进行数据采集,得到关节点坐标序列;
[0015] 将所述关节点坐标序列确定为目标对象的骨骼数据;
[0016] 其中,关节点坐标为关节点的三维坐标,所述三维坐标对应的三维坐标方向包括所述目标采集设备的水平方向、目标采集设备的垂直方向和目标采集设备的深度方向。
[0017] 可选地,所述方法还包括:
[0018] 获取采集的骨骼数据集;
[0019] 对所述骨骼数据集中每一帧图像进行步态状态标注,得到步态状态标签,所述步态状态包括静止状态、行走状态和转身状态,所述行走状态包括行走子状态;
[0020] 将标注有步态状态标签的骨骼数据集确定为训练样本;
[0021] 对所述训练样本进行神经网络模型训练,得到初始识别模型;
[0022] 对所述初始识别模型进行验证,将验证通过的初始识别模型确定为目标步态识别模型。
[0023] 可选地,所述基于所述骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量,包括:
[0024] 获取所述目标对象的骨骼数据中每一骨骼点坐标;
[0025] 对所述每一骨骼点坐标进行特征提取,得到特征数据,所述特征数据包括关节点的速度特征、腰部关节点角度特征、腰部关节点相对目标采集设备的相对位置特征、腰部关节点与脚尖的距离特征、腰部关节点与脚踝的距离特征、左右膝盖之间的距离特征以及当前帧数的相对时间特征;
[0026] 基于所述特征数据进行计算,得到特征值;
[0027] 基于每一时刻的骨骼点,对所述特征值进行组合,得到特征向量。
[0028] 可选地,所述方法还包括:
[0029] 对每一帧图像相匹配的运动状态信息进行投票处理,得到投票结果;
[0030] 基于所述投票结果,确定当前帧的运动状态标签;
[0031] 对所述当前帧的运动状态标签进行规则匹配,并基于匹配后的结果确定所述每一帧图像对应的处理后的运动状态信息。
[0032] 可选地,所述基于所述运动状态信息进行步态周期划分,得到步态周期,包括:
[0033] 基于所述运动状态信息确定步态周期中的目标帧;
[0034] 根据所述目标帧进行步态周期划分,得到步态周期。
[0035] 可选地,所述步态参数包括:步速、步幅、步长、步高、步频、步宽、跨步时长、摆动相时间、站立相时间、双支撑相时间或者摆动速度中的一种或多种。
[0036] 一种步态信息处理装置,所述装置包括:
[0037] 数据获取单元,用于获取目标对象的骨骼数据;
[0038] 特征提取单元,用于基于所述骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;
[0039] 状态识别单元,用于将所述特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息,所述目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;
[0040] 周期划分单元,用于基于所述运动状态信息进行步态周期划分,得到步态周期;
[0041] 参数计算单元,用于基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。
[0042] 一种存储介质,所述存储介质存储有可执行指令,所述指令被处理器执行时实现如上述中任一项所述的步态信息处理方法。
[0043] 一种电子设备,包括:
[0044] 存储器,用于存储程序;
[0045] 处理器,用于执行所述程序,所述程序具体用于实现如上述中任意一项所述的步态信息处理方法。
[0046] 相较于现有技术,本发明提供了一种步态信息处理方法、装置及电子设备, 包括:获取目标对象的骨骼数据;基于骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;将特征向量输入至目标步态识别模型,获得特征向量对应的每一帧图像相匹配的运动状态信息,目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;基于运动状态信息进行步态周期划分,得到步态周期;基于骨骼数据对应的骨骼点坐标信息,计算与步态周期对应的步态参数。本发明通过对运动状态识别并进行步态周期划分,基于步态的时序信息使得划分更加准确,提升了步态参数计算的准确性,并且无需特殊设备的采集操作更具有便捷性。

附图说明

[0047] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0048] 图1为本发明实施例提供的一种步态信息处理方法的流程示意图;
[0049] 图2为本发明实施例提供的一种目标采集设备轴的三维方向的示意图;
[0050] 图3为本发明实施例提供的一种步态信息处理装置的结构示意图。

具体实施方式

[0051] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0052] 本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
[0053] 在本发明实施例中提供了一种步态信息处理方法,在该方法中实现了运动状态的识别以及步态参数的计算。参见图1,该方法可以包括以下步骤:
[0054] S101、获取目标对象的骨骼数据。
[0055] 目标对象是指被测人员,如需要对步态信息进行获取的患者。目标对象的骨骼数据主要是指对关节点进行采集的坐标信息等。可以是直接利用可以进行坐标信息采集的采集设备获取该骨骼数据,也可以是利用能够采集三维图像信息的采集设备进行相关图像的采集,并对图像进行坐标识别和标注后得到目标对象的骨骼数据。
[0056] 在一种可能的实施方式中,所述获取目标对象的骨骼数据,包括:利用目标采集设备对目标对象运动时的骨骼关节点进行数据采集,得到关节点坐标序列;将所述关节点坐标序列确定为目标对象的骨骼数据;
[0057] 其中,关节点坐标为关节点的三维坐标,所述三维坐标对应的三维坐标方向包括所述目标采集设备的水平方向、目标采集设备的垂直方向和目标采集设备的深度方向,如图2所示。针对的骨骼关节点主要包括:腰部关节点、左右大腿关节点、左右膝盖关节点、左右脚尖关节点、左右脚踝关节点。
[0058] S102、基于所述骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量。
[0059] 可以根据骨骼数据中标注的骨骼点(主要包括人体的关节点)进行相关信息的提取,如角度、相对距离以及速度特征等。具体的,该过程可以包括:获取所述目标对象的骨骼数据中每一骨骼点坐标;对所述每一骨骼点坐标进行特征提取,得到特征数据,所述特征数据包括关节点的速度特征、腰部关节点角度特征、腰部关节点相对目标采集设备的相对位置特征、腰部关节点与脚尖的距离特征、腰部关节点与脚踝的距离特征、左右膝盖之间的距离特征以及当前帧数的相对时间特征;基于所述特征数据进行计算,得到特征值;基于每一时刻的骨骼点,对所述特征值进行组合,得到特征向量。
[0060] 在该步骤中能够计算出用于各个特征分类对应的特征值,由于目标对象是运动的,对于每一时刻的骨骼点,可以组合一个运动特征值的向量。
[0061] S103、将特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息。
[0062] 其中,目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型。获得目标对象的骨骼数据是由多帧图像对应的图像序列,由于目标对象是运动的,为了能够更加准确地获取目标对象的运动状态等信息,需要采集连续多帧图像。
[0063] 目标步态识别模型是利用机器学习的分类模型,能够自动识别出每一帧个的运动状态信息,其中,运动状态信息是指对应运动类别下的状态信息,运动类别包括静止不动阶段、行走阶段和转身阶段,行走阶段可划分为左脚摆动、左脚站立、右脚摆动和右脚站立等状态,且这些状态在行走过程中是周期性出现的。
[0064] S104、基于运动状态信息进行步态周期划分,得到步态周期。
[0065] 当获得每一帧图像相匹配的运动状态信息,可以基于模板匹配的方式,获得步态周期中的关键帧,根据目标对象脚在每个序列的第一落地点和抬脚点进行步态周期划分,具体的,可以划分为左脚周期和右脚周期。其中,模板匹配是基于提取关键节点的公式生成的。
[0066] S105、基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。
[0067] 步态参数的计算可以由步态关键帧和原始坐标进行计算,在每个周期内,可以计算摆动相时间和步高、摆动相速度,在间隔的两个相同周期中,可以计算出步距和跨步速度、周期时间,在间隔的左右周期中,还可以计算出步长、支撑相时间、步频,同时使用周期时间,还可以计算摆动相时间、站立相时间和双支撑时间在周期中的占比。
[0068] 本发明实施例提供了一种步态信息处理方法, 包括:获取目标对象的骨骼数据;基于骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;将特征向量输入至目标步态识别模型,获得特征向量对应的每一帧图像相匹配的运动状态信息,目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;基于运动状态信息进行步态周期划分,得到步态周期;基于骨骼数据对应的骨骼点坐标信息,计算与步态周期对应的步态参数。本发明通过对运动状态识别并进行步态周期划分,基于步态的时序信息使得划分更加准确,提升了步态参数计算的准确性,并且无需特殊设备的采集操作更具有便捷性。
[0069] 本发明实施例中使用机器学习的分类模型,用于对所提出的分类方式进行步态周期的自动划分。针对目标步态识别模型预测的一系列的标签,还可以进行预测结果的后处理。对于经过后处理的数据,可以根据模板匹配方式,提取出步态关键节点,综合关键节点和骨骼点的空间坐标进行步态参数的计算。
[0070] 步态运动,分别为静止不动阶段,行走阶段和转身阶段,在一个具有医学意义的步态运动中,被检测人会沿一条直线来回运动,其中被检测人首先是静止阶段,然后进行行走阶段,在行走的过程中可能会进行转身,然后继续进行行走阶段;其中行走阶段具有周期性的划分。行走阶段可划分为左脚摆动、左脚站立、右脚摆动和右脚站立等状态,且这些状态在行走过程中是周期性出现的。
[0071] 具体的,在本发明实施例中还提供了一种生成目标步态识别模型的方法,包括:获取采集的骨骼数据集;对所述骨骼数据集中每一帧图像进行步态状态标注,得到步态状态标签,所述步态状态包括静止状态、行走状态和转身状态,所述行走状态包括行走子状态;将标注有步态状态标签的骨骼数据集确定为训练样本;对所述训练样本进行神经网络模型训练,得到初始识别模型;对所述初始识别模型进行验证,将验证通过的初始识别模型确定为目标步态识别模型。
[0072] 在本发明实施例中,进行神经网络模型训练时可以采用机器学习的分类模型。其中,分类模型包括但不限于支持向量机(SVM)、随机森林(RF)、长短时记忆模型(LSTM);使用这些模型可以将特征提取后的人体关节坐标点进行步态状态分类,得到步态状态检测的分类结果即获得运动状态信息;其中长短时记忆模型和序列模型为时序模型,可以自动结合前后时刻特征的关系,得到更好的分类结果即获得运动状态信息。
[0073] 具体的,支持向量机作为是一类按监督学习方式对数据进行分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面,支持向量机由于具有核方法,因此它能够对高维数据进行非线性的分类,使用带有rbf核方法的分类器进行步态周期的分类。随机森林是一个少数服从多数的分类器,使用随机抽样特征和随机抽样样本训练基分类器然后组合分类器。长短时记忆模型是一种其时序模型分类器,它通过门控机制实现对于长短时间记忆的处理,能够自动选择输入和遗忘,有效减弱了梯度消失,因此对于长时间序列具有很强的处理能力。
[0074] 在基于目标步态识别模型获得运动状态信息之后,为了进一步提升识别到的运动状态信息的准确性,还可以进行后处理,后处理的方式包括两个阶段:分别为投票策略和规则匹配策略。具体的,对每一帧图像相匹配的运动状态信息进行投票处理,得到投票结果;基于所述投票结果,确定当前帧的运动状态标签;对所述当前帧的运动状态标签进行规则匹配,并基于匹配后的结果确定所述每一帧图像对应的处理后的运动状态信息。
[0075] 投票处理是投票表决的方式,即使用当前帧前后两帧加上该帧共五帧的预测结果进行投票表决,遵循少数服从多数的原则,可以解决某帧出现异常值的情况。对经过投票平滑后的预测结果进行规则匹配,大大消除错误预测点。
[0076] 例如,通常使用标签对步态周期进行划分,机器学习算法中的标签可以用数字表示,如下:静止不动状态(0=standstill)、行走阶段中的左脚摆动状态(1=leftswing)、行走阶段中的双脚支撑状态(3=doublesupport)、行走阶段中的右脚摆动状态(2=rightswing)、转身状态(4=turnaround)。
[0077] 具体的规则匹配的策略为:
[0078] (1)Standstill(静止不动状态标签)后不接double support(双脚支撑状态标签)和turnaround(转身状态标签);
[0079] (2)Leftswing(左脚摆动状态标签)后不接standstill(静止不动状态标签)和rightswing(右脚摆动状态标签);
[0080] (3)Rightswing(右脚摆动状态标签)后不接standstill(静止不动状态标签)和leftswing(左脚摆动状态标签);
[0081] (4)Turnaround(转身状态标签)后不接standstill(静止不动状态标签)和doublesupport(双脚支撑状态标签)。
[0082] 通过投票处理和规则匹配处理,可以结合前后帧对识别出的运动状态进行验证,需要说明的是,该后处理过程也可以应用在目标步态识别模型的创建过程,即对初步识别模型进行验证,通过验证结果得到最终的目标步态识别模型。
[0083] 在本发明实施例中还提供了一种步态周期的划分方法,即所述基于所述运动状态信息进行步态周期划分,得到步态周期,包括:基于所述运动状态信息确定步态周期中的目标帧;根据所述目标帧进行步态周期划分,得到步态周期。
[0084] 其中,可以通过模板匹配模型提取目标帧,该模板匹配模型中记载了提取目标帧(也可以称为关键帧)的公式,具体的,公式包括:
[0085] 左脚落地点:Ldown=i,if labeli==3 and labeli‑1==1;
[0086] 右脚落地点:Rdown=i,if labeli==3 and labeli‑1==2;
[0087] 左脚抬脚点:Lup=i,if labeli==1 and labeli‑1==3;
[0088] 右脚抬脚点:Rup=i,if labeli==2 and labeli‑1==3;
[0089] 转身开始点:Turnstart=i,if labeli==4 and labeli‑1≠4;
[0090] 转身结束点:Turnend=i,if labeli≠4 and labeli‑1==4;
[0091] 行走开始点:Gaitstart=i,if labeli≠0 and labeli‑1==0;
[0092] 左脚周期:Lcycle=TLdown‑TLup;
[0093] 右脚周期:Rcycle=TRdown‑TRup。
[0094] 其中,0代表静止状态,1代表左脚摆动状态,2代表右脚摆动状态,3代表双脚支撑状态,4代表转身状态;i代表当前帧数,T代表关键节点帧数。
[0095] 进一步地,综合帧数并使用原始骨骼数据中的坐标数据计算步态参数,可以从坐标数据中获取目标帧坐标信息和使用目标帧坐标信息进行步态参数计算。所述步态参数包括:步速、步幅、步长、步高、步频、步宽、跨步时长、摆动相时间、站立相时间、双支撑相时间或者摆动速度中的一种或多种。
[0096] 需要说明的是,每一帧数据都包括时间戳、彩色图像数据以及骨骼点三维坐标数据。
[0097] 具体的:
[0098] 步速(m/s):步行周期开始点和步行周期结束点之间的距离 / 时间(不包括转身周期)。
[0099] 步长包括左步长和右步长,其中,左步长是指左脚落地到右脚落地之间的距离;右步长是指右脚落地到左脚落地之间的距离。
[0100] 步幅包括左步幅和右步幅,左步幅是指左脚两次落地之间的距离;右步幅是指右脚两次落地之间的距离。
[0101] 步高包括左步高和右步高,左步高是指左脚摆动过程中离地最高的距离;右步高是指右脚摆动过程中离地最高的距离。
[0102] 步频(steps/min)包括:左步频:60 / 左步长时间;右步频:60 / 右步长时间。
[0103] 步宽(m)是指左右脚宽度。
[0104] 跨步时长(s)包括左跨步时长和右跨步时长,其中,左跨步时长是指每个左步幅周期时间;右跨步时长是指每个右步幅周期时间。
[0105] 跨步速度(m/s)包括:左跨步速度:左步幅 / 每个左步幅周期时间;右跨步速度:右步幅 / 每个右步幅周期时间。
[0106] 摆动速度(m/s)包括:左脚摆动速度:左脚摆动距离 / 左脚摆动时间;右脚摆动速度:右脚摆动距离 / 右脚摆动时间。
[0107] 摆动相(%)包括:左摆动相:左脚摆动时间 / 左跨步时长;右摆动相:右脚摆动时间 / 右跨步时长。
[0108] 站立相(%)包括:左站立相:左脚站立时间 / 左跨步时长;右站立相:右脚站立时间 / 右跨步时长。
[0109] 双支撑相(%)是指每个步幅周期内双脚站立时间占比。
[0110] 本发明使用两阶段的步态参数计算方式:首先本发明方法提出的步态周期划分方式对于步态周期可以进行良好的划分;同时不依赖于单一特征,使用组合特征进行步态周期划分,具有更好的鲁棒性;另外,使用机器学习的方式,可以使分类结果随数据的增加而变好,且模型考虑到了时序信息,更有利于时序的步态周期划分,使得划分更加准确;对于参数计算结果,使用机器学习方式预测且经过后处理后的标签进行计算,计算出的参数更加准确。
[0111] 在本发明实施例中还提供了一种步态信息处理装置,参见图3,所述装置包括:
[0112] 数据获取单元10,用于获取目标对象的骨骼数据;
[0113] 特征提取单元20,用于基于所述骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;
[0114] 状态识别单元30,用于将所述特征向量输入至目标步态识别模型,获得所述特征向量对应的每一帧图像相匹配的运动状态信息,所述目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;
[0115] 周期划分单元40,用于基于所述运动状态信息进行步态周期划分,得到步态周期;
[0116] 参数计算单元50,用于基于所述骨骼数据对应的骨骼点坐标信息,计算与所述步态周期对应的步态参数。
[0117] 可选地,所述数据获取单元具体用于:
[0118] 利用目标采集设备对目标对象运动时的骨骼关节点进行数据采集,得到关节点坐标序列;
[0119] 将所述关节点坐标序列确定为目标对象的骨骼数据;
[0120] 其中,关节点坐标为关节点的三维坐标,所述三维坐标对应的三维坐标方向包括所述目标采集设备的水平方向、目标采集设备的垂直方向和目标采集设备的深度方向。
[0121] 可选地,所述装置还包括:模型生成单元,所述模型生成单元具体用于:
[0122] 获取采集的骨骼数据集;
[0123] 对所述骨骼数据集中每一帧图像进行步态状态标注,得到步态状态标签,所述步态状态包括静止状态、行走状态和转身状态,所述行走状态包括行走子状态;
[0124] 将标注有步态状态标签的骨骼数据集确定为训练样本;
[0125] 对所述训练样本进行神经网络模型训练,得到初始识别模型;
[0126] 对所述初始识别模型进行验证,将验证通过的初始识别模型确定为目标步态识别模型。
[0127] 进一步地,所述特征提取单元具体用于:
[0128] 获取所述目标对象的骨骼数据中每一骨骼点坐标;
[0129] 对所述每一骨骼点坐标进行特征提取,得到特征数据,所述特征数据包括关节点的速度特征、腰部关节点角度特征、腰部关节点相对目标采集设备的相对位置特征、腰部关节点与脚尖的距离特征、腰部关节点与脚踝的距离特征、左右膝盖之间的距离特征以及当前帧数的相对时间特征;
[0130] 基于所述特征数据进行计算,得到特征值;
[0131] 基于每一时刻的骨骼点,对所述特征值进行组合,得到特征向量。
[0132] 可选地,所述装置还包括后处理单元,所述后处理单元具体用于:
[0133] 对每一帧图像相匹配的运动状态信息进行投票处理,得到投票结果;
[0134] 基于所述投票结果,确定当前帧的运动状态标签;
[0135] 对所述当前帧的运动状态标签进行规则匹配,并基于匹配后的结果确定所述每一帧图像对应的处理后的运动状态信息。
[0136] 进一步地,所述周期划分单元具体用于:
[0137] 基于所述运动状态信息确定步态周期中的目标帧;
[0138] 根据所述目标帧进行步态周期划分,得到步态周期。
[0139] 可选地,所述步态参数包括:步速、步幅、步长、步高、步频、步宽、跨步时长、摆动相时间、站立相时间、双支撑相时间或者摆动速度中的一种或多种。
[0140] 需要说明的是,本实施例中各单元的具体实现可以参考前文中的相应内容,此处不再详述。
[0141] 本发明实施例提供了一种步态信息处理装置, 包括:获取目标对象的骨骼数据;基于骨骼数据对应的骨骼点坐标信息进行特征提取,得到特征向量;将特征向量输入至目标步态识别模型,获得特征向量对应的每一帧图像相匹配的运动状态信息,目标步态识别模型为基于标注有步态状态标签的骨骼数据训练样本训练得到的,能够进行运动状态信息识别的神经网络模型;基于运动状态信息进行步态周期划分,得到步态周期;基于骨骼数据对应的骨骼点坐标信息,计算与步态周期对应的步态参数。本发明通过对运动状态识别并进行步态周期划分,基于步态的时序信息使得划分更加准确,提升了步态参数计算的准确性,并且无需特殊设备的采集操作更具有便捷性。
[0142] 基于前述实施例,本发明的另一实施例中还提供了一种存储介质,所述存储介质存储有可执行指令,所述指令被处理器执行时实现如上述中任一项所述的步态信息处理方法。
[0143] 对应的,在本发明的另一实施例中还提供了一种电子设备,该电子设备包括:
[0144] 存储器,用于存储程序;
[0145] 处理器,用于执行所述程序,所述程序具体用于实现如上述中任意一项所述的步态信息处理方法。
[0146] 需要说明的是,本实施例中处理器的具体实现可以参考前文中的相应内容,此处不再详述。
[0147] 本说明书中每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0148] 专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0149] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0150] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。