本发明提供一种获取人体关节信息的方法及终端，该方法包括：获取被拍摄者在执行预定动作时的RGBD图像；根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节节点信息。本发明实施例的获取方法能够得到人体关键关节节点位置的最优估计，实现更高精度和高效率的测量。
1.一种获取人体关节节点信息的方法，其特征在于，包括：获取被拍摄者在执行预定动作时的RGBD图像；
根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节节点信息；
所述根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节运动信息，包括：将所述被拍摄者的人体图像从所述RGBD图像中分离出来；
利用预设的决策树分类器定位所述人体图像中的所述被拍摄者的各个部位；
根据确定的所述被拍摄者的各个部位和人体点云数据，确定所述被拍摄者的人体关节节点信息；
所述根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节运动信息，还包括：根据确定的所述被拍摄者的人体关节节点信息，采取霍夫变化的方式对髋关节选择中心进行重定位；
所述采取霍夫变化的方式对髋关节选择中心进行重定位，包括：通过如下方式对髋关节选择中心进行重定位：其中，j为相对坐标系中的膝关节节点，Γ为膝关节节点的集合，集合Ω＝(i|||i||1＜τα)，||i||1表示1-范数，是定义的相对坐标系中的矢量i的长度，τα为阈值，集合Ω中是预枚举的旋转中心坐标，Ni为枚举的矢量i的得分；
其中，d(i，j)为节点i与j之间的距离，λ为之前得到的参考膝髋距离，τb为阈值；
其中，τc为比例值，Nimax为得分最大的节点imax的分值，则最终重定位旋转中心坐标节点为得分符合要求的一批节点坐标均值，即：其中，即为所求的节点。
2.根据权利要求1所述的方法，其特征在于，将所述被拍摄者的人体图像从所述RGBD图像中分离出来，包括：利用图像分隔技术构建模板，分隔RGBD图像中的人体与背景；
其中，m(x，y)为得到的模板，(x，y)为像素在图像中的位置，f(x，y)为像素特征，T为定义阈值，m(x，y)＝1的位置表示人体。
3.根据权利要求1所述的方法，其特征在于，根据确定的所述被拍摄者的各个部位和人体点云数据，确定所述被拍摄者的人体关节节点信息，包括：根据确定的所述被拍摄者的各个部位和人体点云数据，结合医学上人体关节在所在部位所处位置的正常占比，再对部分关节位置的定位进行偏置处理，获取真正准确适合于骨科医疗诊断的人体关节信息。
4.一种获取人体关节信息的终端，其特征在于，包括：获取模块：用于获取被拍摄者在执行预定动作时的RGBD图像；
处理模块：根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节节点信息；
分离单元：用于将被拍摄者的人体图像从RGBD图像中分离出来；
第一定位单元：利用预设的决策树分类器定位所述人体图像中的所述被拍摄者的各个部位；
第二定位单元：根据确定的所述被拍摄者的各个部位和人体点云数据，确定所述被拍摄者的人体关节节点信息；
第三定位单元，根据确定的所述被拍摄者的人体关节节点信息，采取霍夫变化的方式对髋关节选择中心进行重定位；
所述采取霍夫变化的方式对髋关节选择中心进行重定位，包括：通过如下方式对髋关节选择中心进行重定位：其中，j为相对坐标系中的膝关节节点，Γ为膝关节节点的集合，集合Ω＝(i|||i||1＜τα)，||i||1表示1-范数，是定义的相对坐标系中的矢量i的长度，τα为阈值，集合Ω中是预枚举的旋转中心坐标，Ni为枚举的矢量i的得分；
其中，d(i，j)为节点i与j之间的距离，λ为之前得到的参考膝髋距离，τb为阈值；
其中，τc为比例值，Nimax为得分最大的节点imax的分值，则最终重定位旋转中心坐标节点为得分符合要求的一批节点坐标均值，即：其中，即为所求的节点。
5.根据权利要求4所述获取人体关节信息的终端，其特征在于，所述第二定位单元包括：初定位子单元：被拍摄者的各个部位的外轮廓线，将人体关节节点定位在轮廓中轴线上；
偏置处理子单元：通过医学上人体关节在所在部位所处位置的正常占比，校准人体关节节点坐标。
一种获取人体关节信息的方法及终端
技术领域
[0001] 本发明涉及计算机视觉感知领域，尤其涉及一种获取人体关节信息的方法及终端。
背景技术
[0002] 骨科医疗诊断中，人体的关节信息(例如关节角度)往往起着很重要的作用。而现有的关节信息的获取方法通常是由医务人员进行目测并定性判断，对于少量关节则通过专用卡尺做粗略测量。
[0003] 然而，这些传统的关节信息获取方法，所获得的测量结果往往不够精确，同时由于人体外轮廓的影响，造成关节信息与真实情况还会有额外的偏差。此外，在关节的动态活动过程中，目测的方法并不能保证医务人员可以准确捕捉到所有时域节点上的关节角度信息。
发明内容
[0004] 本发明提供一种获取人体关节信息的方法及终端，解决现有技术中获取的关节信息不够精确的问题。
[0005] 第一方面，本发明提供一种获取人体关节信息的方法，包括：
[0006] 获取被拍摄者在执行预定动作时的RGBD图像；
[0007] 根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节节点信息。
[0008] 可选地，根据人体点云数据和获取的所述RGBD图像，计算出被拍摄者的人体关节运动信息，包括以下步骤：
[0009] 将所述被拍摄者的人体图像从所述RGBD图像中分离出来；
[0010] 利用预设的决策树分类器定位人体图像中的被拍摄者的各个部位；
[0011] 根据确定的被拍摄者的各个部位和人体点云数据，确定被拍摄者的人体关节节点信息。
[0012] 可选地，根据人体点云数据和获取的所述RGBD图像，计算出被拍摄者的人体关节运动信息，还包括以下步骤：
[0013] 根据确定的被拍摄者的人体关节节点信息，采取霍夫变化的方式对髋关节选择中心进行重定位。
[0014] 第二方面，本发明还提供了一种获取人体关节信息的终端，包括：
[0015] 获取模块：用于获取被拍摄者在执行预定动作时的RGBD图像；
[0016] 处理模块：根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息。
[0017] 综上所述，本发明通过获取被拍摄者在执行预定动作时的RGBD图像以及根据人体点云数据和获取的所述RGBD图像，计算出所述被拍摄者的人体关节节点信息，能够获取人体关键关节节点位置的最优估计，实现了更高精度和高效率的测量。
附图说明
[0018] 图1为本发明实施例的一种获取人体关节信息的方法的流程图；
[0019] 图2为本发明实施例的另一种获取人体关节信息的方法的流程图；
[0020] 图3为本发明实施例的另一种获取人体关节信息的方法的流程图；
[0021] 图4为本发明实施例的人体蒙板图；
[0022] 图5为本发明实施例的膝关节定位图；
[0023] 图6为本发明实施例的人体关节节点骨架图；
[0024] 图7为本发明实施例的一种获取人体关节信息的终端的结构图。
具体实施方式
[0025] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0026] 第一实施例
[0027] 参见图1，图1中示出了一种获取人体关节信息的方法的流程，包括以下步骤：
[0028] 步骤101、获取被拍摄者在执行预定动作时的RGBD图像。
[0029] 本实施例中，可以通过深度摄像机拍摄被拍摄者在执行预定动作时的 RGBD图像，例如kinect深度摄像机。
[0030] 本实施例中，为获取精确良好的人体关节信息，对拍摄场地的光照、室温、场地规模以及相机放置进行了详细规范，具体要求为：拍摄场地需避免阳光直射以及避免放置室内取暖器一类热源，拍摄场地的规模应至少4平方米，拍摄场地需保持RGBD相机与被拍摄者之间空旷无遮挡，RGBD相机放置高度约为1.2米(当然也可以根据被拍摄者的身高进行调整)。其中，RGBD图像是指颜色深度图像，包含颜色信息(Red Green Blue，红绿蓝)和距离信息。
[0031] 本实施例中，被拍摄者需要执行预定动作，上述预定动作是指对执行动作以及站位的规范，具体为：RGBD相机距离被拍摄者的距离为2.5～3米，被拍摄者执行相关动作时尽量使被测关节面向摄像机，避免肢体遮挡。
[0032] 步骤102、根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息。
[0033] 本实施例中，上述人体点云数据是指通过计算机视觉感知技术进行三维测量而获取的人体三维点的集合。获取的RGBD图像与人体模型进行配准，进而计算被拍摄者的人体关节节点信息。
[0034] 综上所述，通过获取被拍摄者在执行预定动作时的RGBD图像以及根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息，能够获取人体关键关节节点位置的最优估计，整个过程无需人工干预，具有高精度和高效率。
[0035] 第二实施例
[0036] 参见图2，图2示出了另一种获取人体关节信息的方法的流程，包括以下步骤：
[0037] 步骤201、获取被拍摄者在执行预定动作时的RGBD图像。
[0038] 本实施例中，可以通过深度摄像机拍摄被拍摄者在执行预定动作时的 RGBD图像，例如kinect深度摄像机。
[0039] 本实施例中，为获取精确良好的人体关节信息，对拍摄场地的光照、室温、场地规模以及相机放置进行了详细规范，具体要求为：拍摄场地需避免阳光直射以及避免放置室内取暖器一类热源，拍摄场地的规模应至少4平方米，拍摄场地需保持RGBD相机与被拍摄者之间空旷无遮挡，RGBD相机放置高度约为1.2米(当然也可以根据被拍摄者的身高进行调整)。其中，RGBD图像是指颜色深度图像，包含颜色信息(Red Green Blue，红绿蓝)和距离信息。
[0040] 本实施例中，被拍摄者需要执行预定动作，上述预定动作是指对执行动作以及站位的规范，具体为：RGBD相机距离被拍摄者的距离为2.5～3米，被拍摄者执行相关动作时尽量使被测关节面向摄像机，避免肢体遮挡。
[0041] 步骤202、将被拍摄者的人体图像从RGBD图像中分离出来。
[0042] 本实施例中，利用图像分隔技术构建模板，分隔深度图像中的人体与背景。
[0043]
[0044] 其中，m(x，y)为得到的模板，(x，y)为像素在图中的位置，f(x，y)为像素特征，T为定义阈值，m(x，y)＝1的位置标示人体。
[0045] 步骤203、利用预设的决策树分类器定位所述人体图像中的所述被拍摄者的各个部位。
[0046] 本实施例中，决策树分类器进行了像素偏移特征(i，j)的预设，具体为：
[0047]
[0048] 其中，gα(p)为像素p处的特征值，(i，j)为需要预设的一对偏移特征，d(p) 为像素p处的深度值。
[0049] 步骤204、根据确定的所述被拍摄者的各个部位和人体点云数据，确定所述被拍摄者的人体关节节点信息。
[0050] 本实施例中，根据确定的所述被拍摄者的各个部位和人体点云数据，通过步骤203中对人体部位的定位，基于关节节点位于人体轮廓线中轴线的假设，将人体关节节点进行定位。然后，结合医学上人体关节在所在部位所处位置的正常占比，再对部分关节位置的定位进行偏置处理，获取真正准确适合于骨科医疗诊断的人体关节信息。
[0051] 本实施例中，在定位过程中，为避免单个摄像头拍摄时的遮挡问题，采用多摄像头交叉标定拍摄，这种多角度多位置的配准方法，可以有效解决遮挡问题，获得精确的关节信息。
[0052] 综上所述，本实施例通过获取被拍摄者在执行预定动作时的RGBD图像以及根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息，在人体关节节点定位时采用预偏置以及多位置配准等计算，使得获取的关节信息更加精确。
[0053] 第三实施例
[0054] 参见图3，图3示出了另一种获取人体关节信息的方法的流程图，包括以下步骤：
[0055] 步骤301、获取被拍摄者在执行预定动作时的RGBD图像。
[0056] 步骤302、将被拍摄者的人体图像从RGBD图像中分离出来。
[0057] 步骤303、利用预设的决策树分类器定位所述人体图像中的被拍摄者的各个部位。
[0058] 步骤304、根据确定的所述被拍摄者的各个部位和人体点云数据，确定被拍摄者的人体关节节点信息。
[0059] 步骤305、根据确定的被拍摄者的人体关节节点信息，采取霍夫变化的方式对髋关节选择中心进行重定位。
[0060] 本实施例中，因为在具体医疗应用中髋关节的特定需求，需要进行髋关节的重定位，进行校准。髋关节重定位包括以下具体步骤：
[0061] 步骤3051、定位人体关节节点位置后，获取髋关节坐标作为原点。
[0062] 本实施例中，通过步骤304得到被拍摄者的人体关节节点信息，将髋关节坐标作为原点。
[0063] 步骤3052、接收多组膝关节的相对坐标。
[0064] 本实施例中，人体关节随意运动，获得多种膝关节节点的相对坐标，在新的相对坐标系中，多组膝关节节点分布在以髋关节为旋转中心的一个球体上。
[0065] 步骤3053、基于多组关节节点坐标的霍夫变换，得到重定位的髋关节坐标。
[0066]
[0067] 其中，j为相对坐标系中的膝关节节点，Γ为膝关节节点的集合，集合Ω＝(i|||i||1＜τα)，||i||1表示1-范数，是定义的相对坐标系中的矢量i的长度，τα为阈值，集合Ω中是预枚举的旋转中心坐标，Ni为枚举的矢量i的得分。
[0068] 矢量i的长度也是指相对坐标系中坐标值i到坐标系原点的长度。
[0069]
[0070] 其中，d(i，j)为节点i与j之间的距离，λ为步骤304中节点位置的得到的参考膝髋距离，τb为阈值。
[0071] 上述i都是表示髋关节节点在相对坐标系中的坐标值。
[0072] 定义集合：
[0073] Φ＝{i∈Ω|Ni＞τc*Nimax}
[0074] 其中，τc为比例值，Nimax为得分最大的节点imax的分值，则最终重定位旋转中心坐标节点为得分符合要求的一批节点坐标均值，即：
[0075]
[0076] 其中，即为所求的节点。
[0077] 综上所述，本实施例通过获取被拍摄者在执行预定动作时的RGBD图像以及根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息，同时在髋关节选择中心进行了重定位，使得获取的髋关节节点信息更加精确，满足医疗诊断的要求。
[0078] 第四实施例
[0079] 参见图4～图6，图4～图6是获取人体关节节点信息方法的流程以及人体关节节点骨图。
[0080] 步骤401、获取被拍摄者在执行预定动作时的RGBD图像。
[0081] 步骤402、将所述被拍摄者的人体图像从RGBD图像中分离出来，参见图 4，分离后可以得到人体蒙板。
[0082] 步骤403、利用预设的决策树分类器定位人体图像中的被拍摄者的各个部位，参见图5，定位后能够得到膝关节部位的点云数据。
[0083] 步骤404、根据人体腿部的外轮廓线，定位膝关节节点位置。
[0084] 本实施例中，通过步骤403的得到膝关节部位的点云数据的三维坐标，基于轮廓中轴线假设，初步将膝关节节点定位在中轴线上，然后根据医疗上膝关节节点位置正常占比的先验知识，对部分关节位置的定位进行偏置处理，参见图5，图中为最终得到的膝关节节点的位置坐标。
[0085] 步骤405、对其他关节进行同样方式的定位处理。
[0086] 步骤406、由于医疗上角度计算的需求，需要对髋关节节点进行重定位。
[0087] 本实施例中，具体步骤为：通过步骤405定位人体关节节点位置后，以获取的髋关节坐标作为原点，然后接收多组膝关节的相对坐标，最后基于髋关节位于多组膝关节的相对坐标组成的球体的球心位置的原理，经过多组关节节点坐标的霍夫变换，得到重定位的髋关节坐标，最终得到图6所示的人体关节节点骨架图。
[0088] 第五实施例
[0089] 参加图7，本发明实施提供的一种获取人体关节信息终端的结构图，获取终端700包括：
[0090] 获取模块701：用于获取被拍摄者在执行预定动作时的RGBD图像；
[0091] 处理模块702：根据人体点云数据和获取的RGBD图像，计算出被拍摄者的人体关节节点信息。
[0092] 其中，处理模块702包括：
[0093] 分离单元7021：用于将被拍摄者的人体图像从RGBD图像中分离出来；
[0094] 第一定位单元7022：利用预设的决策树分类器定位人体图像中的被拍摄者的各个部位；
[0095] 第二定位单元7023：根据确定的被拍摄者的各个部位和人体点云数据，确定被拍摄者的人体关节节点信息。
[0096] 可选地，处理模块702还包括：
[0097] 第三定位单元7024：根据被拍摄者的人体关节节点信息，采取霍夫变化的方式对髋关节选择中心进行重定位。
[0098] 可选地，第二定位单元7023包括：
[0099] 初定位子单元70231：根据被拍摄者的各个部位的外轮廓线，将人体关节节点定位在轮廓中轴线上；
[0100] 偏置处理子单元70232：根据医学上人体关节在所在部位所处位置的正常占比，校准人体关节节点坐标。
[0101] 本发明实施例中，获取终端700通过获取模块701获取被拍摄者在执行预定动作时的RGBD图像，然后处理模块702根据人体点云数据和获取的RGBD 图像计算出被拍摄者的人体关节节点信息。该获取终端获取的人体关节信息更精确，能够长期稳定工作，可靠性高。
[0102] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
