人体姿态评估方法、装置、电子设备和存储介质

摘要

本发明实施例提供一种人体姿态评估方法、装置、电子设备和存储介质，其中方法包括：从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。本发明实施例提供的人体姿态评估方法、装置、电子设备和存储介质，提高了姿态评估的准确性，并且无需额外增加硬件设备，扩大了姿态评估方法的适用范围。

权利要求

1.一种人体姿态评估方法，其特征在于，包括：

从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；

确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；

基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；

基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果；

所述侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点；

所述基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度，具体包括如下步骤：基于所述骶髂关节点、所述椎骨最凸点和外踝点的坐标，确定所述侧面弯曲角度中的腰段前屈角度；

基于所述肩部轮廓点、所述骶髂关节点和所述椎骨最凸点的坐标，确定所述侧面弯曲角度中的上胸段前屈角度；

基于头部点、颈部点，以及左肩部点和右肩部点之间连线的中点的坐标，确定所述侧面弯曲角度中的头部前屈角度。

2.根据权利要求1所述的人体姿态评估方法，其特征在于，所述确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点，具体包括：确定所述人体侧面骨架上的侧面骨架关键点，所述侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种；

基于所述侧面骨架关键点，确定所述人体外轮廓上的侧面轮廓关键点。

3.根据权利要求2所述的人体姿态评估方法，其特征在于，所述基于所述侧面骨架关键点，确定所述人体外轮廓上的侧面轮廓关键点，具体包括：将经过所述骨盆点且平行于地面的直线与所述人体外轮廓的交点作为所述骶髂关节点；

确定所述左肩部点和所述右肩部点之间连线的中点，并经过所述中点作所述中点与所述颈部点之间连线的垂线，将所述垂线与所述人体外轮廓的交点作为所述肩部轮廓点；

将所述骶髂关节点与所述肩部轮廓点之间连线的平行线与所述人体外轮廓中背部曲线的切点作为所述椎骨最凸点。

4.根据权利要求1至3中任一项所述的人体姿态评估方法，其特征在于，所述基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果，具体包括：基于所述侧面弯曲角度，以及正面弯曲角度，确定所述待评估对象的姿态评估结果；

其中，所述正面弯曲角度是基于所述待评估对象的人体正面图像得到的。

5.根据权利要求4所述的人体姿态评估方法，其特征在于，所述正面弯曲角度的确定方法包括：从所述待评估对象的人体正面图像中提取人体正面骨架；

基于所述人体正面骨架上的正面骨架关键点，确定所述正面弯曲角度；

其中，所述正面骨架关键点包括头部中点、颈部中点、肩部中点和胯部中点中的至少一种，所述正面弯曲角度包括头部侧屈角度和/或躯体侧屈角度。

6.根据权利要求1至3中任一项所述的人体姿态评估方法，其特征在于，所述从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓，具体包括：基于所述人体侧面图像的深度信息，确定所述人体侧面骨架；

基于所述人体侧面骨架上每一关节点的三维坐标，确定人体平面区域；

基于所述人体侧面骨架上每一关节点的深度信息，以及所述人体平面区域的深度信息，从所述人体平面区域中提取所述人体外轮廓。

7.一种人体姿态评估装置，其特征在于，包括：

外轮廓提取单元，用于从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；

关键点确定单元，用于确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；

侧面弯曲角度确定单元，用于基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；

姿态评估单元，用于基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果；

所述侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点；

侧面弯曲角度确定单元具体用于执行如下步骤：

基于所述骶髂关节点、所述椎骨最凸点和外踝点的坐标，确定所述侧面弯曲角度中的腰段前屈角度；

基于所述肩部轮廓点、所述骶髂关节点和所述椎骨最凸点的坐标，确定所述侧面弯曲角度中的上胸段前屈角度；

基于头部点、颈部点，以及左肩部点和右肩部点之间连线的中点的坐标，确定所述侧面弯曲角度中的头部前屈角度。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的人体姿态评估方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的人体姿态评估方法的步骤。

说明书

人体姿态评估方法、装置、电子设备和存储介质

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种人体姿态评估方法、装置、电子设备和存储介质。

背景技术

[0002] 随着人们对健康状况的逐渐重视，人体姿态评估在健康领域和医疗领域也得到了越来越多的应用。

[0003] 目前，常见的人体姿态评估方法为肉眼观察、人工标定或者使用贴片跟踪等方法获取关键点，再基于关键点计算人体的弯曲角度。然而，使用肉眼观察的方法缺少数据的支持，容易产生误判、漏判等问题，人工标定方式耗时耗力，且同样也会产生误差，准确性欠佳，而使用贴片追踪的方式则需要额外的硬件支持，适用范围窄。

发明内容

[0004] 本发明实施例提供一种人体姿态评估方法、装置、电子设备和存储介质，用以解决现有姿态评估方法准确性欠佳和适用范围窄的问题。

[0005] 第一方面，本发明实施例提供一种人体姿态评估方法，包括：

[0006] 从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；

[0007] 确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；

[0008] 基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；

[0009] 基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。

[0010] 可选地，所述确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点，具体包括：

[0011] 确定所述人体侧面骨架上的侧面骨架关键点，所述侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种；

[0012] 基于所述侧面骨架关键点，确定所述人体外轮廓上的侧面轮廓关键点，所述侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种。

[0013] 可选地，所述基于所述侧面骨架关键点，确定所述人体外轮廓上的侧面轮廓关键点，具体包括：

[0014] 将经过所述骨盆点且平行于地面的直线与所述人体外轮廓的交点作为所述骶髂关节点；

[0015] 确定所述左肩部点和所述右肩部点之间连线的中点，并经过所述中点作所述中点与所述颈部点之间连线的垂线，将所述垂线与所述人体外轮廓的交点作为所述肩部轮廓点；

[0016] 将所述骶髂关节点与所述肩部轮廓点之间连线的平行线与所述人体外轮廓中背部曲线的切点作为所述椎骨最凸点。

[0017] 可选地，所述基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度，具体包括如下步骤中的至少一种：

[0018] 基于所述骶髂关节点、所述椎骨最凸点和所述外踝点的坐标，确定所述侧面弯曲角度中的腰段前屈角度；

[0019] 基于所述肩部轮廓点、所述骶髂关节点和所述椎骨最凸点的坐标，确定所述侧面弯曲角度中的上胸段前屈角度；

[0020] 基于所述头部点、所述颈部点，以及所述左肩部点和所述右肩部点之间连线的中点的坐标，确定所述侧面弯曲角度中的头部前屈角度。

[0021] 可选地，所述基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果，具体包括：

[0022] 基于所述侧面弯曲角度，以及正面弯曲角度，确定所述待评估对象的姿态评估结果；

[0023] 其中，所述正面弯曲角度是基于所述待评估对象的人体正面图像得到的。

[0024] 可选地，所述正面弯曲角度的确定方法包括：

[0025] 从所述待评估对象的人体正面图像中提取人体正面骨架；

[0026] 基于所述人体正面骨架上的正面骨架关键点，确定所述正面弯曲角度；

[0027] 其中，所述正面骨架关键点包括头部中点、颈部中点、肩部中点和胯部中点中的至少一种，所述正面弯曲角度包括头部侧屈角度和/或躯体侧屈角度。

[0028] 可选地，所述从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓，具体包括：

[0029] 基于所述人体侧面图像的深度信息，确定所述人体侧面骨架；

[0030] 基于所述人体侧面骨架上每一关节点的三维坐标，确定人体平面区域；

[0031] 基于所述人体侧面骨架上每一关节点的深度信息，以及所述人体平面区域的深度信息，从所述人体平面区域中提取所述人体外轮廓。

[0032] 第二方面，本发明实施例提供一种人体姿态评估装置，包括：

[0033] 外轮廓提取单元，用于从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；

[0034] 关键点确定单元，用于确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；

[0035] 侧面弯曲角度确定单元，用于基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；

[0036] 姿态评估单元，用于基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。

[0037] 第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。

[0038] 第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

[0039] 本发明实施例提供的一种人体姿态评估方法、装置、电子设备和存储介质，基于待评估对象的人体侧面图像，提取人体侧面骨架和人体外轮廓，从而根据人体侧面骨架上的侧面骨架关键点，以及人体外轮廓上的侧面轮廓关键点，确定待评估对象的侧面弯曲角度，并获取待评估对象的姿态评估结果，提高了姿态评估的准确性，并且无需额外增加硬件设备，扩大了姿态评估方法的适用范围。

附图说明

[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0041] 图1为本发明实施例提供的人体姿态评估方法的流程示意图；

[0042] 图2为本发明实施例提供的关键点确定方法的流程示意图；

[0043] 图3为本发明实施例提供的侧面骨架关键点和侧面轮廓关键点的示意图；

[0044] 图4为本发明实施例提供的侧面轮廓关键点确定方法的流程示意图；

[0045] 图5为本发明实施例提供的侧面弯曲角度确定方法的流程示意图；

[0046] 图6为本发明实施例提供的正面弯曲角度确定方法的流程示意图；

[0047] 图7为本发明实施例提供的人体侧面骨架和人体外轮廓确定方法的流程示意图；

[0048] 图8为本发明又一实施例提供的人体姿态评估方法的流程示意图；

[0049] 图9为本发明实施例提供的人体姿态评估装置的结构示意图；

[0050] 图10为本发明实施例提供的电子设备的结构示意图。

具体实施方式

[0051] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0052] 随着人们对健康状况的逐渐重视，人体姿态评估在健康领域和医疗领域也得到了越来越多的应用。

[0053] 目前，常见的人体姿态评估方法为肉眼观察、人工标定或者使用贴片跟踪等方法获取关键点，再基于关键点计算人体的弯曲角度。然而，使用肉眼观察的方法缺少数据的支持，容易产生误判、漏判等问题，人工标定方式耗时耗力，且同样也会产生误差，准确性欠佳，而使用贴片追踪的方式则需要额外的硬件支持，适用范围较窄。

[0054] 对此，本发明实施例提供了一种人体姿态评估方法。图1为本发明实施例提供的人体姿态评估方法的流程示意图，如图1所示，该方法包括：

[0055] 步骤110，从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓。

[0056] 具体地，待评估对象为需要进行姿态评估的被测者，为了对其进行姿态评估，需要首先拍摄其处于静态站立状态下的侧面图像，即待评估对象的人体侧面图像。由于人体的不良体态多是由骨骼形态异常造成，例如人体颈椎出现异常可能会导致头部前屈，脊椎出现异常则可能会导致背部前屈，因此，可以对待评估对象的人体侧面图像进行人体骨架提取，得到待评估对象的人体侧面骨架。

[0057] 由于人体侧面骨架处于人体内部，无法在人体侧面图像上直观地显示出，且人体骨架上各关节形状不规则且具有一定宽度，因而在提取人体侧面骨架上的关节点坐标时，必不可免地会存在一些误差，若仅依据人体侧面骨架上的关键点进行人体姿态评估，会导致姿态评估的准确性欠佳。因此，本发明实施例还从待评估对象的人体侧面图像中提取了人体外轮廓，以供后续进行人体姿态评估。由于人体外轮廓在人体侧面图像上清晰可见，利用轮廓提取方法即可从对人体侧面图像中提取出人体外轮廓，其误差相较于人体侧面骨架的误差更小，有助于提高姿态评估的准确性。另外，对于部分姿态问题不严重的待评估对象，例如脊椎略有前屈，此时仅根据人体侧面骨架，很难检测出脊椎的前屈角度，且由于人体侧面骨架上的关节点坐标存在误差，也会加大姿态评估的难度。然而，即使待评估对象的脊椎前屈程度不明显，但体现在人体外轮廓上，人体外轮廓的背部曲线的前屈程度相较于脊椎本身会更明显，也有助于准确检测出脊椎的前屈程度，从而提高姿态评估的准确性。

[0058] 步骤120，确定人体侧面骨架上的侧面骨架关键点，以及人体外轮廓上的侧面轮廓关键点。

[0059] 具体地，基于人体侧面骨架和人体外轮廓，确定能够体现人体姿态的关键部位上的若干个点，即侧面骨架关键点和侧面轮廓关键点，例如人体侧面骨架上头部、颈部、足部的关键点，人体外轮廓上背部的关键点等等。

[0060] 步骤130，基于侧面骨架关键点和侧面轮廓关键点，确定待评估对象的侧面弯曲角度。

[0061] 具体地，可以基于人体姿态和各关键部位的关联关系，将侧面骨架关键点和侧面轮廓关键点进行连接，以体现待评估对象在人体侧面图像中的姿态，从而计算连线之间的若干个角度，得到待评估对象的侧面弯曲角度。其中，侧面弯曲角度可以体现待评估对象在站立状态下是否前屈，以及前屈的程度。

[0062] 步骤140，基于侧面弯曲角度，确定待评估对象的姿态评估结果。

[0063] 具体地，得到待评估对象的侧面弯曲角度后，可以获取人体在正常姿态下对应的标准侧面弯曲角度，将侧面弯曲角度与标准侧面弯曲角度进行比对，得到待评估对象的姿态评估结果。此处，姿态评估结果可以包括待评估对象是否存在姿态问题，还可以包括待评估对象姿态问题的严重程度。

[0064] 可选地，可以直接将侧面弯曲角度与标准侧面弯曲角度相减，以直观地展现出侧面弯曲角度与正常姿态下的标准侧面弯曲角度的偏离；若侧面弯曲角度包含多个角度，也可以利用百分比的形式来表示单一角度与所有角度之和的占比关系，以体现该角度对应的姿态问题的严重程度，还可以为每个角度设定权值，再计算单一角度与所有角度之和的占比关系，本发明实施例对此不作具体限定。

[0065] 本发明实施例提供的方法，基于待评估对象的人体侧面图像，提取人体侧面骨架和人体外轮廓，从而根据人体侧面骨架上的侧面骨架关键点，以及人体外轮廓上的侧面轮廓关键点，确定待评估对象的侧面弯曲角度，并获取待评估对象的姿态评估结果，提高了姿态评估的准确性，并且无需额外增加硬件设备，扩大了姿态评估方法的适用范围。

[0066] 现有的人体姿态评估方法，通常会获取待评估对象头部和足部的关键点，然后基于两个关键点的连线与地面法向量的夹角来体现待评估对象的前屈程度。然而，上述基于头部和足部关键点所获取的单一角度，仅能从整体上表明待评估对象存在前屈问题，却无法明确反映出导致待评估对象前屈的具体部位。并且，人体前屈可能由多个部位的弯曲造成，例如背部和头部均存在弯曲问题，会导致人体向前倾斜，而现有的人体姿态评估算法显然无法检测出存在弯曲问题的多个部位，存在局限性。另外，现有的人体姿态评估方法还存在准确性欠佳，容易漏检的问题。例如，若待评估对象的躯干上半部分，即上胸段，以及头部和颈部没有问题，仅腰部存在弯曲，则很容易出现头部和足部的关键点位于同一条地面法向量所在直线的情况，导致最终的姿态评估结果显示待评估对象不存在前屈，从而造成漏检。

[0067] 对此，基于上述实施例，图2为本发明实施例提供的关键点确定方法的流程示意图，如图2所示，步骤120具体包括：

[0068] 步骤121，确定人体侧面骨架上的侧面骨架关键点，侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种；

[0069] 步骤122，基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点，侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种。

[0070] 具体地，考虑到容易造成人体前屈的关键部位包括颈椎和脊椎，而脊椎又包括上胸段和腰段，其中任一部位的形态出现问题，即可能导致该部位出现前屈，因此，可以在上述部位的基础上，选择多个关键点，以确定上述部位的前屈角度。

[0071] 图3为本发明实施例提供的侧面骨架关键点和侧面轮廓关键点的示意图，如图3所示，人体侧面骨架上包含的左肩部点、右肩部点、颈部点、头部点和外踝点分别处于人体的肩部、颈部、头部和足部，可以用于确定人体颈椎以及脊椎的前屈角度；而人体外轮廓上的骶髂关节点、肩部轮廓点和椎骨最凸点，分别位于尾骨略上方、颈部与背部连接处和背部最突出处，可以用于确定脊椎的上胸段和腰段的前屈角度。另外，可以利用人体侧面骨架上的骨盆点、左肩部点和右肩部点进行辅助定位，以确定出人体外轮廓上骶髂关节点、肩部轮廓点或椎骨最凸点的位置。因此，可以首先获取人体侧面骨架上的侧面骨架关键点，侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种，再基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点，侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种。

[0072] 基于获取得到的侧面骨架关键点和侧面轮廓关键点，即可以计算出待评估对象颈椎、脊椎上胸段或脊椎腰段的前屈角度，从而可以全面检测出待评估对象存在姿态问题的具体部位。即使待评估对象仅腰段或上胸段存在前屈问题，而头部仍与足部处于同一地面法向量所在直线上，也能检测出待评估对象的姿态问题，有效避免漏检问题。

[0073] 本发明实施例提供的方法，确定人体侧面骨架上的侧面骨架关键点，其中侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种，再基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点，其中侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种，能够确定待评估对象存在前屈问题的具体部位，提高了姿态评估的全面性和准确性。

[0074] 基于上述任一实施例，图4为本发明实施例提供的侧面轮廓关键点确定方法的流程示意图，如图4所示，步骤122具体包括：

[0075] 步骤1221，将经过骨盆点且平行于地面的直线与人体外轮廓的交点作为骶髂关节点；

[0076] 步骤1222，确定左肩部点和右肩部点之间连线的中点，并经过该中点作该中点与颈部点之间连线的垂线，将该垂线与人体外轮廓的交点作为肩部轮廓点；

[0077] 步骤1223，将骶髂关节点与肩部轮廓点之间连线的平行线与人体外轮廓中背部曲线的切点作为椎骨最凸点。

[0078] 具体地，在人体侧面图像中，过骨盆点作平行于地面的直线，将该直线与人体侧面图像中人体外轮廓的交点作为骶髂关节点。连接左肩部点和右肩部点，然后求取二者的中点，再过该中点作该中点与颈部点连线的垂线，从而将该垂线与人体外轮廓的交点作为肩部轮廓点。

[0079] 需要说明的是，本发明实施例不对步骤1221和步骤1222的执行顺序做具体限定，步骤1221可以在步骤1222之前或之后执行，也可以与步骤1222同步执行。

[0080] 由于椎骨最凸点为待评估对象背部最突出的点，而通常情况下，在待评估对象的人体外轮廓中，其背部可以视为一段较为平滑的曲线，骶髂关节点和肩部轮廓点则可以视为该背部曲线的两个端点，因此，在得到骶髂关节点与肩部轮廓点后，可以通过寻找该背部曲线与骶髂关节点和肩部轮廓点连线的平行线的切点，即可得到距离骶髂关节点和肩部轮廓点连线最远的点，即背部最突出的点。故可以连接骶髂关节点和肩部轮廓点，然后求取该两点连线的平行线与人体外轮廓中背部曲线的切点，将其作为椎骨最凸点。

[0081] 本发明实施例提供的方法，借助人体侧面骨架上的侧面骨架关键点，即骨盆点、左肩部点和右肩部点，可以精准确定出人体外轮廓上的骶髂关节点、肩部轮廓点和椎骨最凸点位置，从而提高了姿态评估的准确性。

[0082] 现有姿态评估方法中，确定弯曲角度时通常采用计算关键点连线与地面法向量之间夹角的方式。然而，这种方式存在角度累积问题。此处，角度累积问题是指在计算人体某个部位的弯曲角度时，会受到另一关联部位弯曲角度的影响，从而导致计算得到的弯曲角度将关联部位的弯曲角度也涵盖在内。

[0083] 例如，待评估对象背部的前屈会导致其头部位置向前移，若以头部点和颈部点的连线与地面法向量之间的夹角来计算头部前屈角度，得到的计算结果则会包含背部的前屈角度和头部实际的前屈角度。另外，待评估对象脊椎腰段的前屈也会导致其脊椎上胸段位置向前移，若以肩部轮廓点和椎骨最凸点的连线与地面法向量之间的夹角来计算上胸段前屈角度，得到的计算结果也会包含腰段的前屈角度和上胸段实际的前屈角度。

[0084] 对此，基于上述任一实施例，图5为本发明实施例提供的侧面弯曲角度确定方法的流程示意图，如图5所示，步骤130具体包括如下三个步骤中的至少一个：

[0085] 步骤131，基于骶髂关节点、椎骨最凸点和外踝点的坐标，确定侧面弯曲角度中的腰段前屈角度；

[0086] 步骤132，基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标，确定侧面弯曲角度中的上胸段前屈角度；

[0087] 步骤133，基于头部点、颈部点，以及左肩部点和右肩部点之间连线的中点的坐标，确定侧面弯曲角度中的头部前屈角度。

[0088] 具体地，本发明实施例基于人体易出现姿态问题的部位，将侧面弯曲角度划分为腰段前屈角度、上胸段前屈角度和头部前屈角度，分别用于体现待评估对象的脊椎腰段向前弯曲的角度、脊椎上胸段向前弯曲的角度和颈椎向前弯曲的角度，然后确定腰段前屈角度、上胸段前屈角度和头部前屈角度中的至少一个。

[0089] 具体而言，由于骶髂关节点位于人体外轮廓中尾骨略上方，椎骨最凸点位于人体外轮廓中背部最突出处，而外踝点位于人体侧面骨架的足部，因此，基于骶髂关节点、椎骨最凸点和外踝点的坐标，可以确定骶髂关节点与外踝点的连线，以及骶髂关节点与椎骨最凸点的连线之间的夹角，该夹角即为侧面弯曲角度中的腰段前屈角度。

[0090] 肩部轮廓点位于人体外轮廓上颈部与背部的连接处，因此，基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标，可以确定肩部轮廓点与椎骨最凸点的连线，以及骶髂关节点与椎骨最凸点的连线之间的夹角，该夹角即为侧面弯曲角度中的上胸段前屈角度。

[0091] 人体侧面骨架上的头部点、颈部点，以及左肩部点和右肩部点的中点分别位于待评估对象的头部、颈部和肩部，因此，基于头部点、颈部点，以及左肩部点和右肩部点的中点的坐标，可以确定头部点与颈部点的连线，以及颈部点与左肩部点和右肩部点中点的连线之间的夹角，该夹角即为侧面弯曲角度中的头部前屈角度。

[0092] 本发明实施例在计算腰段前屈角度、上胸段前屈角度或者头部前屈角度时，利用三个关键点之间的连线夹角来体现对应部位的前屈程度，可以准确计算出待评估对象头部、上胸段和腰段实际的前屈角度，而不会受到关联部位的干扰，有效避免了计算两个关键点连线与地面法向量夹角的方式带来的角度累积问题，从而提高了姿态评估的准确性。

[0093] 可选地，在计算三个关键点之间的连线夹角时，可以采用余弦计算和反余弦计算方式得到，例如，可以采用如下公式计算夹角：

[0094]

[0095]

[0096] 其中，三个关键点分别为A、B和C，lAB为A和B的连线，lAC为A和C的连线，而|lAB|和|lAC|分别为lAB和lAC的长度。

[0097] 需要说明的是，本发明实施例不对步骤131、步骤132和步骤133的执行顺序做具体限定，步骤131、步骤132和步骤133可以顺序执行，也可以同步执行。

[0098] 另外，还可以基于外踝点、骨盆点以及颈部点的坐标，确定外踝点和骨盆点的连线与骨盆点和颈部点的连线之间的夹角，作为待评估对象的躯体前屈角度。此处，躯体前屈角度可以直观地显示出目标是否笔直站立，能够作为参考使用。

[0099] 本发明实施例提供的方法，基于骶髂关节点、椎骨最凸点和外踝点的坐标，确定侧面弯曲角度中的腰段前屈角度，基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标，确定侧面弯曲角度中的上胸段前屈角度，基于头部点、颈部点，以及左肩部点和右肩部点的中点的坐标，确定侧面弯曲角度中的头部前屈角度，提高了姿态评估的准确性。

[0100] 基于上述任一实施例，步骤140具体包括：

[0101] 基于侧面弯曲角度，以及正面弯曲角度，确定待评估对象的姿态评估结果；

[0102] 其中，正面弯曲角度是基于待评估对象的人体正面图像得到的。

[0103] 具体地，由于人体姿态问题既包括前屈，还包括侧屈，因此为了提高姿态评估的全面性，还可以基于待评估对象的人体正面图像，确定其正面弯曲角度，再结合待评估对象的侧面弯曲角度和正面弯曲角度，确定姿态评估结果。其中，人体正面图像为待评估对象处于静态站立状态下的正面图像，正面弯曲角度可以体现待评估对象在站立状态下是否侧屈，以及侧屈的程度。

[0104] 本发明实施例提供的方法，基于侧面弯曲角度，以及正面弯曲角度，确定待评估对象的姿态评估结果，提高了姿态评估的全面性。

[0105] 基于上述任一实施例，图6为本发明实施例提供的正面弯曲角度确定方法的流程示意图，如图6所示，该方法包括：

[0106] 步骤610，从待评估对象的人体正面图像中提取人体正面骨架；

[0107] 步骤620，基于人体正面骨架上的正面骨架关键点，确定正面弯曲角度；

[0108] 其中，正面骨架关键点包括头部中点、颈部中点、肩部中点和胯部中点中的至少一种，正面弯曲角度包括头部侧屈角度和/或躯体侧屈角度。

[0109] 具体地，由于人体出现侧屈多是由骨骼形态异常造成，因此为了检测待评估对象的侧屈程度，需要对待评估对象的人体正面图像进行人体骨架提取，得到待评估对象的人体正面骨架。然后，获取人体正面骨架上能够体现人体姿态的关键部位上的若干个点。人体正面骨架上，头部中点、颈部中点、肩部中点和胯部中点分别位于人体的头部、颈部、肩部和胯部，可以用于确定人体头部的侧屈角度以及躯干的侧屈角度。因此，可以获取头部中点、颈部中点、肩部中点和胯部中点中的至少一种，作为正面骨架关键点，以供确定待评估对象的正面弯曲角度。

[0110] 另外，为了明确反映待评估对象出现侧屈的具体部位以及该部位侧屈的严重程度，可以将正面弯曲角度划分为头部侧屈角度和躯体侧屈角度，从而基于正面骨架关键点，确定头部侧屈角度和/或躯体侧屈角度。由于角度累积问题对侧屈角度计算的影响较小，因此在计算头部侧屈角度和/或躯体侧屈角度时，可以将头部中点和颈部中点的连线与地面法向量的夹角作为头部侧屈角度，将肩部中点和胯部中点的连线与地面法向量的夹角作为躯体侧屈角度。

[0111] 本发明实施例提供的方法，基于人体正面骨架上的头部中点、颈部中点、肩部中点和胯部中点中的至少一种，确定头部侧屈角度和/或躯体侧屈角度，能够确定待评估对象存在侧屈问题的具体部位。

[0112] 基于上述任一实施例，图7为本发明实施例提供的人体侧面骨架和人体外轮廓确定方法的流程示意图，如图7所示，步骤110具体包括：

[0113] 步骤111，基于人体侧面图像的深度信息，确定人体侧面骨架；

[0114] 步骤112，基于人体侧面骨架上每一关节点的三维坐标，确定人体平面区域；

[0115] 步骤113，基于人体侧面骨架上每一关节点的深度信息，以及人体平面区域的深度信息，从人体平面区域中提取人体外轮廓。

[0116] 具体地，人体侧面图像为利用深度摄像机，例如Kinect，拍摄得到的深度图像。深度摄像机拍摄得到人体侧面图像后，能够依据人体侧面图像中的深度信息建立人体各个关节的坐标，从而构建得到人体侧面骨架。现有的人体骨架提取方法，通常是基于人体的平面图像，例如RGB图像，利用训练好的神经网络模型对其进行关节点估计。一方面，上述关节点估计的方式只能预测出人体骨架上各关节点的大致位置，其误差较大，精确度不高，另一方面，在训练神经网络时需要大量的数据标注工作，耗时耗力。因此，本发明实施例利用深度信息从人体侧面图像中提取人体侧面骨架，相对于现有技术中的关节点估计方式，既节省了模型训练过程和数据标注过程、提高了人体侧面骨架提取的效率，还提高了人体侧面骨架提取的精确度。

[0117] 需要说明的是，也可以利用上述人体骨架提取方式，从待评估对象的人体正面图像中提取出人体正面骨架，以提高人体正面骨架提取的效率和精确度。

[0118] 得到人体侧面骨架后，即可圈定出人体侧面图像中待评估对象的大致位置。具体而言，可以将人体侧面骨架上每一关节点的三维坐标映射到二维空间，然后基于每一关节点的二维坐标，确定出人体侧面图像中的人体平面区域。其中，人体平面区域为包围待评估对象的二维矩形框。为了将待评估对象的人体外轮廓从背景中准确分离出来，可以利用待评估对象以及环境背景的深度信息不同这一特性，基于人体侧面骨架上每一关节点的深度信息，以及人体平面区域的深度信息，从人体平面区域中分离出待评估对象，从而提取出人体外轮廓。上述人体外轮廓的提取方式充分利用了人体关节以及背景的深度信息，相对于现有的轮廓提取方式，在背景较为复杂或者待评估对象的衣着与背景区分度不大的情况下，可以有效提高人体外轮廓提取的准确度。

[0119] 本发明实施例提供的方法，基于人体侧面图像的深度信息，确定人体侧面骨架，基于人体侧面骨架上每一关节点的三维坐标，确定人体平面区域，基于人体侧面骨架上每一关节点的深度信息，以及人体平面区域的深度信息，从人体平面区域中提取人体外轮廓，提高了人体侧面骨架提取的精确度和效率，还提高了人体外轮廓提取的准确度。

[0120] 基于上述任一实施例，图8为本发明又一实施例提供的人体姿态评估方法的流程示意图，如图8所示，该方法包括：

[0121] 步骤810，获取待评估对象的人体正面图像和人体侧面图像。考虑到场地因素，同时利用多台Kinect拍摄待评估对象的人体正面图像和人体侧面图像，很难实现精准同步，因此，可以使用单台Kinect设备分别拍摄待评估对象的人体正面图像和人体侧面图像。

[0122] 步骤820，提取待评估对象的人体正面骨架和人体侧面骨架。由于Kinect在拍摄得到待评估对象的人体正面图像和人体侧面图像后，可以基于深度信息建立人体25个或32个关节点，从而构建对应的人体骨架，因此，可以直接读取Kinect构建的人体正面骨架和人体侧面骨架。

[0123] 步骤830，基于人体侧面骨架中各关节点的三维坐标，确定人体平面区域，然后基于人体侧面骨架中个关节点的深度信息以及人体平面区域的深度信息，确定人体外轮廓。

[0124] 步骤840，确定人体侧面骨架上侧面骨架关键点，以及人体正面骨架上正面骨架关键点的位置。其中，侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点，正面骨架关键点包括头部中点、颈部中点、肩部中点和胯部中点。具体而言，可以将Kinect获取的上述侧面骨架关键点和上述正面骨架关键点的三维坐标映射到二维空间，得到其位置。

[0125] 步骤850，基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点的位置。其中，侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点。具体而言，可以将经过骨盆点且平行于地面的直线与人体外轮廓的交点作为骶髂关节点；确定左肩部点和右肩部点的中点，并经过该中点作该中点与颈部点连线的垂线，将垂线与人体外轮廓的交点作为肩部轮廓点；将骶髂关节点与肩部轮廓点之间连线的平行线与人体外轮廓中背部曲线的切点作为椎骨最凸点。

[0126] 步骤860，基于侧面骨架关键点和侧面轮廓关键点，确定待评估对象的侧面弯曲角度，基于正面骨架关键点，确定待评估对象的正面弯曲角度。其中，侧面弯曲角度包括腰段前屈角度、上胸段前屈角度和头部前屈角度，正面弯曲角度包括头部侧屈角度和躯体侧屈角度。腰段前屈角度可以基于骶髂关节点、椎骨最凸点和外踝点的坐标确定得到；上胸段前屈角度可以基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标确定得到；头部前屈角度可以基于头部点、颈部点，以及左肩部点和右肩部点的中点的坐标确定得到；头部侧屈角度可以基于头部中点和颈部中点的连线与地面法向量确定得到；躯体侧屈角度可以基于肩部中点和胯部中点的连线与地面法向量确定得到。另外，还可以基于外踝点、骨盆点以及颈部点的坐标，确定外踝点和骨盆点的连线与骨盆点和颈部点的连线之间的夹角，作为待评估对象的躯体前屈角度，以供参考。

[0127] 步骤870，获取正常姿态下的标准侧面弯曲角度和标准正面弯曲角度，并基于侧面弯曲角度，以及正面弯曲角度，确定待评估对象的姿态评估结果。其中，标准侧面弯曲角度包括标准腰段前屈角度、标准上胸段前屈角度和标准头部前屈角度，标准正面弯曲角度包括标准头部侧屈角度和标准躯体侧屈角度。

[0128] 例如，标准腰段前屈角度为4 10°，标准上胸段前屈角度为2 5°，标准躯体前屈角~ ~度为0 3°，标准头部前屈角度为0 3°，标准头部侧屈角度和标准躯体侧屈角度均为0°。
~ ~

[0129] 可选地，可以将侧面弯曲角度，以及正面弯曲角度分别与标准侧面弯曲角度和标准正面弯曲角度相减，得到姿态评估结果。在相减时，若标准侧面弯曲角度或者标准正面弯曲角度为数值范围，则取其最大值进行计算。该方法可以直观地展现出待评估对象各弯曲角度与标准弯曲角度的偏离情况，使得能够更方便地确定待评估对象哪些部位存在姿态问题。

[0130] 还可以对侧面弯曲角度以及正面弯曲角度包含的六个角度分别设置对应的权值，通过百分比的形式表示单一角度与所有角度之和的占比关系，来体现该单一角度对应部位的姿态问题严重程度。其中，各角度的权值可以根据待评估对象自身需求进行设定，本发明实施例对此不做具体限定。例如，可以将躯体前屈角度的权值设为0，并将其他角度的权值均设为0.2。该方法不仅可以直观地展现出待评估对象各弯曲角度的严重程度，还因为为各角度设置了权值，可以突出某部位的重要性，从而可以更方便地确定该重要部位相对于其他部位姿态问题的严重程度。

[0131] 基于上述任一实施例，图9为本发明实施例提供的人体姿态评估装置的结构示意图，如图9所示，该装置包括：外轮廓提取单元910、关键点确定单元920、侧面弯曲角度确定单元930和姿态评估单元940。

[0132] 其中，外轮廓提取单元910用于从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；

[0133] 关键点确定单元920用于确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；

[0134] 侧面弯曲角度确定单元930用于基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；

[0135] 姿态评估单元940用于基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。

[0136] 本发明实施例提供的装置，基于待评估对象的人体侧面图像，提取人体侧面骨架和人体外轮廓，从而根据人体侧面骨架上的侧面骨架关键点，以及人体外轮廓上的侧面轮廓关键点，确定待评估对象的侧面弯曲角度，并获取待评估对象的姿态评估结果，提高了姿态评估的准确性，并且无需额外增加硬件设备，扩大了姿态评估方法的适用范围。

[0137] 基于上述任一实施例，关键点确定单元920具体包括：

[0138] 侧面骨架关键点确定单元，用于确定人体侧面骨架上的侧面骨架关键点，侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种；

[0139] 侧面轮廓关键点确定单元，用于基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点，侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种。

[0140] 本发明实施例提供的装置，确定人体侧面骨架上的侧面骨架关键点，其中侧面骨架关键点包括骨盆点、左肩部点、右肩部点、颈部点、头部点和外踝点中的至少一种，再基于侧面骨架关键点，确定人体外轮廓上的侧面轮廓关键点，其中侧面轮廓关键点包括骶髂关节点、肩部轮廓点和椎骨最凸点中的至少一种，能够确定待评估对象存在前屈问题的具体部位，提高了姿态评估的全面性和准确性。

[0141] 基于上述任一实施例，侧面轮廓关键点确定单元具体用于：

[0142] 将经过骨盆点且平行于地面的直线与人体外轮廓的交点作为骶髂关节点；

[0143] 确定左肩部点和右肩部点之间连线的中点，并经过该中点作该中点与颈部点之间连线的垂线，将该垂线与人体外轮廓的交点作为肩部轮廓点；

[0144] 将骶髂关节点与肩部轮廓点之间连线的平行线与人体外轮廓中背部曲线的切点作为椎骨最凸点。

[0145] 本发明实施例提供的装置，借助人体侧面骨架上的侧面骨架关键点，即骨盆点、左肩部点和右肩部点，可以精准确定出人体外轮廓上的骶髂关节点、肩部轮廓点和椎骨最凸点位置，从而提高了姿态评估的准确性。

[0146] 基于上述任一实施例，侧面弯曲角度确定单元930具体用于执行如下步骤中的至少一种：

[0147] 基于骶髂关节点、椎骨最凸点和外踝点的坐标，确定侧面弯曲角度中的腰段前屈角度；

[0148] 基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标，确定侧面弯曲角度中的上胸段前屈角度；

[0149] 基于头部点、颈部点，以及左肩部点和右肩部点之间连线的中点的坐标，确定侧面弯曲角度中的头部前屈角度。

[0150] 本发明实施例提供的装置，基于骶髂关节点、椎骨最凸点和外踝点的坐标，确定侧面弯曲角度中的腰段前屈角度，基于肩部轮廓点、骶髂关节点和椎骨最凸点的坐标，确定侧面弯曲角度中的上胸段前屈角度，基于头部点、颈部点，以及左肩部点和右肩部点的中点的坐标，确定侧面弯曲角度中的头部前屈角度，提高了姿态评估的准确性。

[0151] 基于上述任一实施例，姿态评估单元940具体用于：

[0152] 基于侧面弯曲角度，以及正面弯曲角度，确定待评估对象的姿态评估结果；

[0153] 其中，正面弯曲角度是基于待评估对象的人体正面图像得到的。

[0154] 本发明实施例提供的装置，基于侧面弯曲角度，以及正面弯曲角度，确定待评估对象的姿态评估结果，提高了姿态评估的全面性。

[0155] 基于上述任一实施例，该装置还包括正面弯曲角度确定单元，正面弯曲角度确定单元具体用于：

[0156] 从待评估对象的人体正面图像中提取人体正面骨架；

[0157] 基于人体正面骨架上的正面骨架关键点，确定正面弯曲角度；

[0158] 其中，正面骨架关键点包括头部中点、颈部中点、肩部中点和胯部中点中的至少一种，正面弯曲角度包括头部侧屈角度和/或躯体侧屈角度。

[0159] 本发明实施例提供的装置，基于人体正面骨架上的头部中点、颈部中点、肩部中点和胯部中点中的至少一种，确定头部侧屈角度和/或躯体侧屈角度，能够确定待评估对象存在侧屈问题的具体部位。

[0160] 基于上述任一实施例，外轮廓提取单元910具体用于：

[0161] 基于人体侧面图像的深度信息，确定人体侧面骨架；

[0162] 基于人体侧面骨架上每一关节点的三维坐标，确定人体平面区域；

[0163] 基于人体侧面骨架上每一关节点的深度信息，以及人体平面区域的深度信息，从人体平面区域中提取人体外轮廓。

[0164] 本发明实施例提供的装置，基于人体侧面图像的深度信息，确定人体侧面骨架，基于人体侧面骨架上每一关节点的三维坐标，确定人体平面区域，基于人体侧面骨架上每一关节点的深度信息，以及人体平面区域的深度信息，从人体平面区域中提取人体外轮廓，提高了人体侧面骨架提取的精确度和效率，还提高了人体外轮廓提取的准确度。

[0165] 图10为本发明实施例提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器（processor）1010、通信接口（Communications Interface）1020、存储器（memory）1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑命令，以执行如下方法：从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。

[0166] 此外，上述的存储器1030中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0167] 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：从待评估对象的人体侧面图像中提取人体侧面骨架和人体外轮廓；确定所述人体侧面骨架上的侧面骨架关键点，以及所述人体外轮廓上的侧面轮廓关键点；基于所述侧面骨架关键点和所述侧面轮廓关键点，确定所述待评估对象的侧面弯曲角度；基于所述侧面弯曲角度，确定所述待评估对象的姿态评估结果。

[0168] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0169] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

[0170] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。