一种用于辅助前庭康复训练的姿态监测方法

摘要

本发明涉及数据处理技术领域，具体涉及一种用于辅助前庭康复训练的姿态监测方法。该方法首先获取患者运动过程中姿态图像和图像中的初始关键点；以任意两个初始关键点组成初始关键点组，基于初始关键点组到标准关键点组的空间距离，对多个周期的姿态图像的初始关键点聚类得到多个簇；对多个周期内初始关键点进行二值化处理更新初始关键点的像素值；根据二值化处理后的初始关键点的像素值构建不均衡系数；基于空间距离组和不均衡系数计算缩放因子；基于缩放因子，利用SimDR算法获取姿态图像中的最终关键点，连接最终关键点，得到运动姿态。本发明根据每个动作对应的关键点不同，计算对应的缩放因子，提高了关键点监测定位的精确率。

权利要求

1.一种用于辅助前庭康复训练的姿态监测方法，其特征在于，该方法包括以下步骤：

采集患者运动过程中的运动视频，对所述运动视频进行预处理得到姿态图像；

获取所述姿态图像中的多个初始关键点，从中确定颈部关键点，以所述颈部关键点为坐标原点，建立坐标系，更新每个初始关键点的坐标；获取多个周期的姿态图像，归一化多个周期的姿态图像中的初始关键点的坐标；对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇；对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值；根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数；基于所述空间距离组和所述不均衡系数计算缩放因子；

基于所述缩放因子，利用SimDR算法获取所述姿态图像中的最终关键点及其对应的最终关键点坐标，连接所述最终关键点，得到运动姿态；

其中，所述不均衡系数的计算公式为：

其中， 为所述不均衡系数； 是选择函数； 为标准关键点对应的像素点周围二值化后像素值中为0的初始关键点数量； 为标准关键点对应的像素点周围二值化后像素值中为1的初始关键点数量；

其中，所述缩放因子的计算公式为：

其中， 为初始关键点 对应的缩放因子；

是对括号内的计算结果四舍五入取整；为所述不均衡系数； 为任意标准关键点组内除颈部关键点外的标准关键点归一化后的位置坐标； 为标准关键点组内除颈部关键点和标准关键点 外的另一标准关键点归一化后的位置坐标； 为周期数量； 为所有周期内任意两个标准关键点构成的夹角等于任意两个初始关键点构成的夹角的数量； 为第p个周期内第j个初始关键点归一化后的横坐标； 为第p个周期内第j个初始关键点归一化后的纵坐标； 为第p个周期内第j+1个初始关键点归一化后的横坐标； 为第p个周期内第j+1个初始关键点归一化后的纵坐标；为初始关键点的数量。

2.根据权利要求1所述的一种用于辅助前庭康复训练的姿态监测方法，其特征在于，所述对所述运动视频进行预处理得到姿态图像，包括：对所述运动视频进行分帧处理得到多张单帧运动图像，对所述单帧运动图像进行去噪得到姿态图像。

3.根据权利要求1所述的一种用于辅助前庭康复训练的姿态监测方法，其特征在于，所述获取所述姿态图像中的多个初始关键点，包括：利用SimDR算法获取所述姿态图像中的多个初始关键点。

4.根据权利要求1所述的一种用于辅助前庭康复训练的姿态监测方法，其特征在于，所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组的获取方法为：将初始关键点和标准图像中的标准关键点映射至同一张图像中，将初始关键点组中任意初始关键点作为第一初始关键点，计算第一初始关键点与标准图像中任意标准关键点的距离作为第一空间距离；将初始关键点组中另一初始关键点作为第二初始关键点，计算第二初始关键点与标准图像中另一标准关键点的距离作为第二空间距离；所述第一空间距离和所述第二空间距离构成空间距离组。

5.根据权利要求1所述的一种用于辅助前庭康复训练的姿态监测方法，其特征在于，所述对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值，包括：当初始关键点组内两个初始关键点对应的簇内的初始关键点是均匀分布时，将初始关键点组内所有初始关键点对应的像素点的像素值更新为1；

当初始关键点组内两个初始关键点中至少有一个初始关键点对应的簇内的初始关键点是非均匀分布时，将初始关键点组内的所有初始关键点对应的像素点的像素值更新为0。

6.根据权利要求1所述的一种用于辅助前庭康复训练的姿态监测方法，其特征在于，所述得到运动姿态之后，还包括：比较所述运动姿态和标准图像中标准关键点连接构成的标准姿态，当所述运动姿态和所述标准姿态不完全吻合时，对患者进行动作纠正。

说明书

一种用于辅助前庭康复训练的姿态监测方法

技术领域

[0001] 本发明涉及数据处理技术领域，具体涉及一种用于辅助前庭康复训练的姿态监测方法。

背景技术

[0002] 在前庭康复训练过程中，一般是通过对患者往复运动过程中的姿态是否合格、关键点位置是否异常对患者的康复训练的有效性进行评估。然而这种评估方法需要医疗专家现场观察患者康复运动的整个过程才能进行，不仅占用较长的时间更重要的是依靠专业的医疗康复知识和资源。

[0003] 通过计算机视觉技术和深度学习技术的快速发展，现阶段通过对人体运动过程中肢体关键点的监测，利用神经网络的学习能力，训练得到能够精准识别肢体关键点，通过关键点对人体姿态进行评估。SimDR针对Heatmap‑based通过2D高斯分布生成的高斯热图尺寸往往是小于原图大小的，坐标还原过程中容易产生量化误差，影响关键点的定位的问题，故引入缩放因子，将定位精确增强到比单个像素的更小的级别。但是固定大小的缩放因子决定了每个像素块被分割成多个bin的数量是不变的，这意味着后续在坐标分类后的定位中，无论预测位置是否正确，预测概率的高低都会对应一样的缩放因子，并不能根据图像中关键点的特征对缩放因子进行调节。

发明内容

[0004] 为了解决上述技术问题，本发明的目的在于提供一种用于辅助前庭康复训练的姿态监测方法，所采用的技术方案具体如下：

[0005] 采集患者运动过程中的运动视频，对所述运动视频进行预处理得到姿态图像；

[0006] 获取所述姿态图像中的多个初始关键点，从中确定颈部关键点，以所述颈部关键点为坐标原点，建立坐标系，更新每个初始关键点的坐标；获取多个周期的姿态图像，归一化多个周期的姿态图像中的初始关键点的坐标；对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇；对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值；根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数；基于所述空间距离组和所述不均衡系数计算缩放因子；

[0007] 基于所述缩放因子，利用SimDR算法获取所述姿态图像中的最终关键点及其对应的最终关键点坐标，连接所述最终关键点，得到运动姿态。

[0008] 优选的，所述对所述运动视频进行预处理得到姿态图像，包括：

[0009] 对所述运动视频进行分帧处理得到多张单帧运动图像，对所述单帧运动图像进行去噪得到姿态图像。

[0010] 优选的，所述获取所述姿态图像中的多个初始关键点，包括：

[0011] 利用SimDR算法获取所述姿态图像中的多个初始关键点。

[0012] 优选的，所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组的获取方法为：

[0013] 将初始关键点和标准图像中的标准关键点映射至同一张图像中，将初始关键点组中任意初始关键点作为第一初始关键点，计算第一初始关键点与标准图像中任意标准关键点的距离作为第一空间距离；将初始关键点组中另一初始关键点作为第二初始关键点，计算第二初始关键点与标准图像中另一标准关键点的距离作为第二空间距离；所述第一空间距离和所述第二空间距离构成空间距离组。

[0014] 优选的，所述对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值，包括：

[0015] 当初始关键点组内两个的初始关键点对应的簇内的初始关键点是均匀分布时，将初始关键点组内所有初始关键点对应的像素点的像素值更新为1；

[0016] 当初始关键点组内两个初始关键点中至少有一个初始关键点对应的簇内的初始关键点是非均匀分布时，将初始关键点组内的所有初始关键点对应的像素点的像素值更新为0。

[0017] 优选的，所述根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数，包括：

[0018] 所述不均衡系数的计算公式为：

[0019]

[0020] 其中，为所述不均衡系数； 是选择函数； 为标准关键点对应的像素点周围二值化后像素值中为0的初始关键点数量； 为标准关键点对应的像素点周围二值化后像素值中为1的初始关键点数量。

[0021] 优选的，所述基于所述空间距离组和所述不均衡系数计算缩放因子，包括：

[0022] 所述缩放因子的计算公式为：

[0023]

[0024] 其中， 为初始关键点 对应的缩放因子； 是对括号内的计算结果四舍五入取整；为所述不均衡系数； 为任意标准关键点组内除颈部关键点外的标准关键点归一化后的位置坐标； 为标准关键点组内除颈部关键点和标准关键点 外的另一标准关键点归一化后的位置坐标；为周期数量；为所有周期内任意两个标准关键点构成的夹角等于任意两个初始关键点构成的夹角的数量；
为第p个周期内第j个初始关键点归一化后的横坐标； 为第p个周期内第j个初始关键点归一化后的纵坐标； 为第p个周期内第j+1个初始关键点归一化后的横坐标； 为第p个周期内第j+1个初始关键点归一化后的纵坐标；为初始关键点的数量。

[0025] 优选的，所述得到运动姿态之后，还包括：

[0026] 比较所述运动姿态和标准图像中标准关键点连接构成的标准姿态，当所述运动姿态和所述标准姿态不完全吻合时，对患者进行动作纠正。

[0027] 本发明实施例至少具有如下有益效果：

[0028] 本发明根据患者运动过程中运动视频对应的姿态图像中初始关键点构成初始关键点组，根据初始关键点组和标准图像中对应的标准关键点组的空间距离获取初始关键点组的空间距离组，该空间距离组表征了初始关键点相对于标准关键点的定位精度。根据标准关键点组和初始关键点组的空间距离的差异构建不均衡系数，通过空间距离和不均衡系数计算缩放因子，根据各关键点对应的不同的缩放因子，利用SimDR算法获取姿态图像中的最终关键点及其对应的最终关键点坐标，将精度不同的关键点对应到不同的缩放因子，并根据不同的缩放因子获取最终关键点坐标，提高了关键点监测定位的精确率。

附图说明

[0029] 为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

[0030] 图1为本发明一个实施例所提供的一种用于辅助前庭康复训练的姿态监测方法的方法流程图。

具体实施方式

[0031] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于辅助前庭康复训练的姿态监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

[0032] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0033] 本发明实施例提供了一种用于辅助前庭康复训练的姿态监测方法的具体实施方法，该方法适用于前庭康复训练的姿态监测场景。该场景下通过录像机获取患者康复运动时的运动视频。为了解决固定大小的缩放因子决定了每个像素块被分割成多个bin的数量是不变的，并不能根据图像中关键点的特征对缩放因子进行调节的问题。本发明根据每个动作对应的关键点不同，将预测概率不同的像素对应到不同的缩放因子，提高了关键点监测定位的精确率。

[0034] 下面结合附图具体的说明本发明所提供的一种用于辅助前庭康复训练的姿态监测方法的具体方案。

[0035] 请参阅图1，其示出了本发明一个实施例提供的一种用于辅助前庭康复训练的姿态监测方法的方法流程图，该方法包括以下步骤：

[0036] 步骤S100，采集患者运动过程中的运动视频，对所述运动视频进行预处理得到姿态图像。

[0037] 利用录制设备分别采集患者作康复运动过程中和标准运动过程中的多种姿态数据，并制作姿态数据的对应标签。常见的前庭康复动作包括头动手不动、手动头不动、直走上下看、直走左右看等，每个运动的过程和人体姿态是不一样的，与之相应的关键点位置也是不断变化的。这些康复动作包含眼睛、手腕、手指、脖颈、手肘等不同身体部分对应的多个关键点。

[0038] 运动过程中人体关键点处于随时可能发生变化的状态中，考虑到运动时长和运动范围的不稳定性，在本发明中利用录制设备分别采集标准动作的整个运动过程和前庭康复患者训练时运动过程中的运动视频。录制设备的相机需要覆盖一定的空间范围，其次相机分辨率越高越好。在得到患者运动过程中的运动视频，对运动视频进行预处理得到姿态图像，具体的：对运动视频进行分帧处理得到多张单帧运动图像，对单帧运动图像进行去噪得到姿态图像。

[0039] 对于录制设备采集的每个运动视频进行分帧处理，每一帧对应一张单独动作的照片，分帧的目的是将视频数据转换成图像数据，以便于后续关键点的定位。对采集到的患者每个运动视频进行同样的分帧处理，需要说明的是在相同动作的运动视频分帧后获取的图像数据数量需要保持一致。

[0040] 为了消除录制过程中的噪声对图像质量的影响，对获取的图像数据进行去噪，常用的去噪技术包括中值滤波去噪、双边滤波去噪、均值滤波去噪等，本发明中使用双边滤波去噪消除噪声，滤波去噪为公知技术，在此不做详细赘述。

[0041] 步骤S200，获取所述姿态图像中的多个初始关键点，从中确定颈部关键点，以所述颈部关键点为坐标原点，建立坐标系，更新每个初始关键点的坐标；获取多个周期的姿态图像，归一化多个周期的姿态图像中的初始关键点的坐标；对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇；对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值；根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数；基于所述空间距离组和所述不均衡系数计算缩放因子。

[0042] 在得到姿态图像后，首先利用SimDR算法中的CNN‑based获取姿态图像中的多个初始关键点。从多个初始关键点中确定颈部关键点，以颈部关键点为坐标原点，建立坐标系，更新每个初始关键点的坐标。本发明中将患者对应的姿态图像中的初始关键点坐标参数与标准运动过程的标准图像中初始关键点坐标参数进行数据处理，利用初始关键点的坐标信息和反三角函数计算初始关键点之间的相对位置。

[0043] 由于不同人的身体参数是不一样的，比如不同的患者的身高不同会导致颈部关键点的位置不同，也就是说静止不动的状态下，患者和康复师之间的初始关键点的位置可能就不相同，两人的身高肩宽等不一样，那么做出相同动作时，身体的关键点位置也是不一样的，但是相对初始关键点之间的夹角是一样的，通过初始关键点之间的相对位置进行后续的姿态评估。

[0044] 因为即使两个人的身体参数存在差异，但是每个动作对应的标准姿态是固定的，以直走上下看这个动作为例，假设规定头部上扬45°和俯视30°是标准姿态，那么对应脖颈的关键点和对应的眼睛关键点之间的运动角度是固定的，两个身高不一样的人，对应眼睛的关键点位置肯定是不一样的，但是每个人达到标准姿态时脖颈上扬和俯视的角度是一致的。标准关键点1为头部上扬45°时眼睛对应的关键点位置，标准关键点2为头部俯视30°时眼睛对应的关键点位置，是标准关键点1、2之间的变化角；患者的初始关键点1为上扬45°时患者眼睛对应的关键点位置，患者的初始关键点2为俯视30°时患者眼睛对应的关键点位置，是患者关键点1、2之间的变化角。如果患者在运动过程中这个动作达到了康复标准，那么对应关键点之间应当满足 。

[0045] 因此需要对获取的姿态图像中的初始关键点数据进行归一化处理，因为用于训练神经网络的关键点的特征值应该只与当前运动对象的行为动作有关，与人体在画面中的比例大小应该是无关的，对初始关键点数据进行归一化处理：

[0046]

[0047]

[0048] 其中，(x,y)是初始关键点的坐标，( )是颈部关键点的坐标，w和h分别是姿态图像的长和宽，( )为关键点归一化后的初始关键点的坐标。

[0049] SimDR首先采用CNN‑based网络提取关键点表示。给定获得的关键点表示后，然后分别对垂直坐标和水平坐标进行坐标分类，以产生最终的预测。在这个过程中，SimDR通过设置一个缩放因子k解决传统的Heatmap‑based里通过argmax得到的坐标方法回原始图像产生的严重量化误差的问题。

[0050] 在SimDR中关键点的横纵坐标通过两条独立的一维向量进行表征，进一步的，通过缩放因子k将关键点的定位精度增强到亚像素级别，但是在这个过程中缩放因子k的大小是固定的，缩放因子k的作用是将定位精度增强到比单个像素更小的级别，缩放因子k越大，SimDR的量化误差就越小，但是缩放因子k值过大会增加模型的训练难度，因此缩放因子k是可以调控和变化的。

[0051] 在本发明中患者运动过程中的初始关键点归一化后的数据信息越靠近标准姿态下初始关键点归一化后的数据信息，患者关键点对应像素点的特征应该越明显，而远离标准姿态下初始关键点归一化后的数据信息的像素点特征应该稍弱。因为越靠近标准姿态下的初始关键点数据信息，说明患者运动过程中做出的动作越是标准。关键点的数据包括关键点归一化后的坐标信息和关键点之间的夹角。

[0052] 通过编码器将图像中的n个关键点对应到n个embedding，也就是编码器结构输出了n个一维向量，进一步的，通过线性投影转化成n个SimDR表征，进一步的，对于给定的第i个关键点表征( )作为坐标分类器的输入，水平坐标分类器生成第i个关键点的横坐标 ，垂直坐标分类器生成第i个关键点的纵坐标 ，分类结果是从一维向量上的最大值点所在的位置除以缩放因子在原始图像中进行关键点定位。

[0053]

[0054] 其中， 为预测点的横坐标； 为预测点的纵坐标；k为缩放因子；为原始关键点对应的SimDR表征。需要说明的是，基于缩放因子，利用
SimDR对关键点进行定位为本领域技术人员的公知技术，在此不再赘述。

[0055] 通过考虑将患者的初始关键点归一化后的图像数据分布与标准姿态的标准关键点归一化后的图像数据分布之间的相似性度量每个像素应该被划分成多少个bin，每个像素点应该缩放的程度。

[0056] 对缩放因子进行选取的步骤，具体的：

[0057] 步骤一，获取多个周期的姿态图像，归一化多个周期的姿态图像中的初始关键点的坐标；对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇。

[0058] 根据标准图像的运动周期将分帧后的姿态图像进行周期归纳，周期归纳是指将属于同一周期的图像数据按照采集时间归纳到同一周期内，记录标准图像中的每个周期的帧数（n），对于分帧后的患者图像数据也即对应姿态图像，归纳相同帧数(n)的姿态图像为一个周期，每个动作中取1个周期的标准图像数据和多个周期的患者的姿态图像数据进行分析。在本发明实施例中选取10个周期的姿态图像数据进行分析。

[0059] 由于每个姿态图像中包含不止一个的关键点，每个关键点的运动趋势和对应姿态都是不一样的，因此可以将不同位置的关键点看做各自独立的像素点。对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组。其中，该空间距离组的获取方法为：将初始关键点和标准图像中的标准关键点映射至同一张图像中，将初始关键点组中任意初始关键点作为第一初始关键点，计算第一初始关键点与标准图像中任意标准关键点的距离作为第一空间距离；将初始关键点组中另一初始关键点作为第二初始关键点，计算第二初始关键点与标准图像中另一标准关键点的距离作为第二空间距离；所述第一空间距离和所述第二空间距离构成空间距离组。

[0060] 因为单独一个初始关键点的匹配与否不能准确确定一个动作是否标准，所以认为只有所有关键点归一化后的位置坐标都能一一匹配时才认为患者所作的姿态达到了标准姿态。此处构建空间距离，也即姿态图像数据中的每个初始关键点到标准图像中标准关键点的距离，通过空间距离后续评估每个像素点应该受到多大程度的缩放。

[0061] 基于空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇。由于聚类是比较了初始关键点组到标准关键点组的空间距离组，因为每个初始关键点对应的有一个到标准关键点的空间距离，也即每个初始关键点组中两个初始关键点均有各自到各自对应的标准关键点的空间距离，故每个簇对应两个标准关键点，每个标准关键点有各自对应的初始关键点组。

[0062] 对于聚类结果，标准关键点周围分布的初始关键点的数量反映了每个周期内初始关键点靠近标准关键点的程度，如果达到了标准姿态，每组初始关键点归一化后的空间距离应该是与标准关键点和颈部关键点之间的空间距离是相等的，且角度是固定的。假设不同周期的同一运动姿态的眼部关键点分别为 ，那么脖颈关键点与标准关键点 的空间分布与脖颈关键点与眼部关键点 空间分布是一致的，同
时，脖颈关键点与标准关键点 的空间分布与脖颈关键点与眼部关键点
的空间分布也是一致的，这就表示在三维空间内，像素点 周围聚类
结果是均匀分布的，像素点 周围聚类结果同样满足均匀分布，且这两个分布整体之间是相互独立的。如果患者的运动姿态没有达到标准，相应姿态的初始关键点也就不会达到正确位置，脖颈关键点与其之间的空间分布与脖颈关键点和标准关键点之间的空间分布也会存在差异。

[0063] 步骤二，对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值；根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数；基于所述空间距离组和所述不均衡系数计算缩放因子。

[0064] 当初始关键点组内两个的初始关键点对应的簇内的初始关键点是均匀分布时，将初始关键点组内所有初始关键点对应的像素点的像素值更新为1；

[0065] 当初始关键点组内两个初始关键点中至少有一个初始关键点对应的簇内的初始关键点是非均匀分布时，将初始关键点组内的所有初始关键点对应的像素点的像素值更新为0。

[0066] 也即如果一个初始关键点组中的两个初始关键点分别满足初始关键点对应的簇内的初始关键点周围均匀分布，且初始关键点 对应的簇内的初始关键点周围均匀分布，那么将这个初始关键点组中所有初始关键点对应的像素点都记为1；如果一个初始关键点组中仅有一个或者零个像素点满足在初始关键点 对应的簇内的初始关键点周围均匀分布或初始关键点 对应的簇内的初始关键点周围均匀分布，那么将这个初始关键点组中的所有初始关键点对应的像素点都记为0，遍历10个周期的初始关键点，得到二值化的处理结果。

[0067] 进一步的，根据同一簇内的二值化处理后的标准图像的标准关键点周围初始关键点对应的像素值构建不均衡系数。也可以说不均衡系数反映了初始关键点在标准关键点的周围分布的是否均匀，它的作用是为了给均匀分布初始关键点，也就是二值化结果为1的初始关键点赋予更小的缩放因子，这样就能在SimDR定位时获得更精准的结果。

[0068] 所述不均衡系数的计算公式为：

[0069]

[0070] 其中，为所述不均衡系数； 是选择函数； 为标准关键点对应的像素点周围二值化后像素值中为0的初始关键点数量； 为标准关键点对应的像素点周围二值化后像素值中为1的初始关键点数量。

[0071] 不均衡系数A反映了患者姿态的初始关键点能否满足在标准关键点的周围是均匀且独立分布，不均衡系数A越大说明当前时刻患者姿态的初始关键点越没有达到标准姿态。

[0072] 基于所述空间距离组和所述不均衡系数计算缩放因子。缩放因子的计算目的是因为缩放因子在SimDR定位计算中位于分母上，因此缩放因子越小，获得的缩放程度才会越大。

[0073] 所述缩放因子的计算公式为：

[0074]

[0075] 其中， 为初始关键点 对应的缩放因子； 是对括号内的计算结果四舍五入取整；为所述不均衡系数； 为任意标准关键点组内除颈部关键点外的标准关键点归一化后的位置坐标； 为标准关键点组内除颈部关键点和标准关键点 外的另一标准关键点归一化后的位置坐标；为周期数量； 为所有周期内任意两个标准关键点构成的夹角等于任意两个初始关键点构成的夹角的数量；
为第p个周期内第j个初始关键点归一化后的横坐标； 为第p个周期内第j个初始关键点归一化后的纵坐标； 为第p个周期内第j+1个初始关键点归一化后的横坐标；
为第p个周期内第j+1个初始关键点归一化后的纵坐标。

[0076] 其中，如果初始关键点 二值化后为1，那么对应的不均衡系数A取第二个参数，否则，取第一个参数。
为初始关键点
到标准姿态的关键点组合 的空间距离，空间距
离反映了再聚类过程中，该初始关键点组到聚类中心的距离，也即到标准关键点的距离，该空间距离越小，说明初始关键点越有可能聚类到标准关键点所在的簇内。
和 是由标准
关键点横纵坐标和初始关键点的横纵坐标的差值来计算的 ，因此认为
和 可以近
似表征初始关键点位置是否正确的可能性， 和
越小，说明初始关键点的位置越是靠近标准关键点的可能
性就越高。因为每个动作中的关键点不仅一个，所以需要对表征这个动作的初始关键点组共同计算，标准距离反映了相同动作下标准关键点和初始关键点之间的差异大小，标准距离越大说明当前时刻患者姿态的初始关键点越没有达到标准姿态，同样的，不均衡系数A反映了患者姿态关键点能否满足在标准姿态关键点的周围是均匀且独立分布的，不均衡系数A越大说明当前时刻患者姿态的关键点越没有达到标准姿态，那么这个像素点就应该对应较小的缩放系数，这样才能让SimDR在后续坐标分类过程中更精准的锁定关键点的位置。

[0077] 步骤S300，基于所述缩放因子，利用SimDR算法获取所述姿态图像中的最终关键点及其对应的最终关键点坐标，连接所述最终关键点坐标，得到运动姿态。

[0078] 按照上述步骤计算输入到SimDR深度模型中的每个初始关键点的空间距离，进一步的，利用空间距离获取对应的缩放因子k，得到模型输出的两条一维向量，根据上述坐标分类器计算预测点的坐标，也即得到最终关键点及其对应的最终关键点坐标。

[0079] 根据获取每个患者在多种运动下运动姿态的最终关键点坐标，联合多个最终关键点坐标位置实现对患者运动姿态的监测。因为每个动作都不可能仅通过一个关键点的位置完全表示出来，达到姿态监测的目的。故获取每帧姿态图像对应的最终关键点后，将每个图像中的最终关键点连接起来得到当前时刻的运动姿态，进一步的，将患者运动过程中的运动姿态与标准图像中标准关键点连接构成的标准姿态进行对比，当运动姿态和标准姿态完全吻合，则认为当前患者的运动姿态是标准的，能够发挥辅助前庭康复训练的作用；当运动姿态和标准姿态不完全吻合时，认为当前运动姿态是非标准的，对患者进行动作纠正。

[0080] 综上所述，本发明涉及数据处理技术领域。该方法采集患者运动过程中的运动视频，对所述运动视频进行预处理得到姿态图像；获取所述姿态图像中的多个初始关键点，从中确定颈部关键点，以所述颈部关键点为坐标原点，建立坐标系，更新每个初始关键点的坐标；获取多个周期的姿态图像，归一化多个周期的姿态图像中的初始关键点的坐标；对于任意姿态图像，以任意两个初始关键点组成初始关键点组，基于所述初始关键点组到标准图像中其他任意两个标准关键点组成的标准关键点组的空间距离构成的空间距离组，对多个周期的姿态图像的初始关键点进行聚类，得到多个簇；对多个周期内初始关键点进行二值化处理，更新初始关键点的像素值；根据同一簇内的二值化处理后的初始关键点的像素值构建不均衡系数；基于所述空间距离组和所述不均衡系数计算缩放因子；基于所述缩放因子，利用SimDR算法获取所述姿态图像中的最终关键点及其对应的最终关键点坐标，连接所述最终关键点，得到运动姿态。本发明根据每个动作对应的关键点不同，将预测概率不同的像素对应到不同的缩放因子，提高了关键点监测定位的精确率。

[0081] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0082] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

[0083] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。