追踪人物肢体位置的方法与系统

摘要

本发明一种追踪人物肢体位置的方法。经由一第一摄影装置取得一第一肢体部位的一左影像，并且根据该左影像的特征信息取得该第一肢体部位的一轮廓候选位置。经由一第二摄影装置的该第一肢体部位的一右影像，并且根据该右影像的深度信息取得该第一肢体部位的一深度候选位置。计算该轮廓候选位置及该深度候选位置与一第二肢体部位的一第二肢体位置间的几何关系，并且根据该几何关系判断是否更新该第一肢体部位的一目前肢体位置。

权利要求

1.一种追踪人物肢体位置的方法，其特征在于，包括下列步骤：

经由一第一摄影装置取得一第一肢体部位的一左影像；

根据该左影像的特征信息取得该第一肢体部位的一轮廓候选位置；

经由一第二摄影装置取得该第一肢体部位的一右影像；

根据该左影像与该右影像计算出的深度信息取得该第一肢体部位的一深度候选位置；

计算该轮廓候选位置及该深度候选位置与一第二肢体部位的一第二肢体位置间的几何关系；以及根据该几何关系判断是否更新该第一肢体部位的一目前肢体位置。

2.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括下列步骤：对该左影像进行去除背景和边缘轮廓的处理，以得到该第一肢体部位的特征信息；

根据该左影像的第一肢体部位的该特征信息取得该第一肢体部位的该轮廓候选位置；

根据该第一肢体部位的上一次追踪所得的一肢体位置，计算该轮廓候选位置与该肢体位置间的一第一距离，进而计算出该第一肢体部位的一轮廓追踪可信度；以及依据该第二肢体部位的该第二肢体位置计算出该轮廓候选位置的一轮廓几何可信度。

3.如权利要求2所述的追踪人物肢体位置的方法，其特征在于，还包括下列步骤：根据该左影像与该右影像计算出该第一肢体部位的深度信息；

根据该第一肢体部位的深度信息取得该第一肢体部位的该深度候选位置；

根据该第一肢体部位的上一次追踪所得的该肢体位置，计算出该深度候选位置与该肢体位置间的一第二距离，进而计算出该第一肢体部位的一深度追踪可信度；以及依据该第二肢体部位的该第二肢体位置计算出该深度候选位置的一深度几何可信度。

4.如权利要求3所述的追踪人物肢体位置的方法，其特征在于，还包括下列步骤：将该轮廓追踪可信度与该深度追踪可信度相比较以及将轮廓几何可信度与深度几何可信度相比较，从两组可信度比较中，分别选取可信度较高的其中一轮廓/深度追踪或轮廓/深度几何可信度，之后从这两个可信度中选取可信度较高的；

将该选取的可信度与一可信度门坎值相比较，以判断该选取的可信度是否大于该可信度门坎值；

若该选取的可信度大于该可信度门坎值，则将对应该选取的可信度的一候选位置更新为该第一肢体部位的一目前肢体位置；以及若该选取的可信度不大于该可信度门坎值，则将上一次追踪所得的该肢体位置做为该第一肢体部位的该目前肢体位置。

5.如权利要求2所述的追踪人物肢体位置的方法，其特征在于，该轮廓追踪可信度与该第一距离成反比。

6.如权利要求2所述的追踪人物肢体位置的方法，其特征在于，该轮廓候选位置与该第二肢体部位之间的距离与该轮廓几何可信度成正比但不呈线性关系。

7.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，该第一肢体部位为头、手、脚、手肘、手指或者其它人体肢体部位，或者是位于该人体肢体部位上的一标记物。

8.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，该第一肢体部位的一目前肢体位置、该轮廓候选位置、该深度候选位置或该第二肢体部位的该第二肢体位置用一二维影像的一坐标或一区块来表示。

9.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括将该第一肢体部位的轮廓或边缘中曲率变化最明显的位置判断为该轮廓候选位置。

10.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括利用该第一肢体部位的两张影像左影像以及右影像的差异度计算该深度信息。

11.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括利用该第一肢体部位的两张影像左影像以及右影像中的局部区域的差异度计算该深度信息。

12.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括利用一三维重建方法计算该深度信息。

13.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，该第二肢体部位为头部、脸部、脖子、身体中心点、身体中轴、腰部位置、胯下位置或可用于参考的人体肢体部位，或者是位于该人体肢体部位上的一标记物。

14.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离。

15.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离以及计算该深度候选位置和该第二肢体部位的该第二肢体位置间的距离。

16.如权利要求1所述的追踪人物肢体位置的方法，其特征在于，还包括判断是否更新该第一肢体部位的一目前肢体位置到该轮廓候选位置或该深度候选位置。

17.一种追踪人物肢体位置的系统，其特征在于包括：

经由一第一摄影装置取得一第一肢体部位之一左影像的第一装置；

根据该左影像之第一肢体部位的特征信息取得该第一肢体部位之一轮廓候选位置的第二装置；

经由一第二摄影装置取得该第一肢体部位之一右影像的第三装置；以及

根据该左影像与该右影像计算出之深度信息取得该第一肢体部位之一深度候选位置的第四装置；

计算该轮廓候选位置及该深度候选位置与一第二肢体部位的一第二肢体位置间的几何关系的第五装置；以及根据该几何关系判断是否更新该第一肢体部位的一目前肢体位置的第六装置。

18.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第二装置对该左影像进行去除背景和边缘轮廓的处理，以得到该第一肢体部位的特征信息，根据该左影像的该特征信息取得该第一肢体部位的该轮廓候选位置，该第五装置根据该第一肢体部位的上一次追踪所得的一肢体位置，计算该轮廓候选位置与该肢体位置间的一第一距离，进而计算出该第一肢体部位的一轮廓追踪可信度，以及依据该第二肢体部位的该第二肢体位置计算出该轮廓候选位置的一轮廓几何可信度。

19.如权利要求18所述的追踪人物肢体位置的系统，其特征在于，该第四装置根据该左影像与该右影像计算出该第一肢体部位的深度信息，根据该第一肢体部位的深度信息取得该第一肢体部位的该深度候选位置，该第五装置根据该第一肢体部位的上一次追踪所得的该肢体位置，计算出该深度候选位置与该肢体位置间的一第二距离，进而计算出该第一肢体部位的一深度追踪可信度，以及依据该第二肢体部位的该第二肢体位置计算出该深度候选位置的一深度几何可信度。

20.如权利要求19所述的追踪人物肢体位置的系统，其特征在于，该第六装置将该轮廓追踪可信度与该深度追踪可信度相比较以及将轮廓几何可信度与深度几何可信度相比较，从两组可信度比较中，分别选取可信度较高的其中一轮廓/深度追踪或轮廓/深度几何可信度，之后从这两个可信度中选取可信度较高的；将该选取的可信度与一可信度门坎值相比较，以判断该选取的可信度是否大于该可信度门坎值，若该选取的可信度大于该可信度门坎值，则将对应该选取的可信度的一候选位置更新为该第一肢体部位的一目前肢体位置，以及若该选取的可信度不大于该可信度门坎值，则将上一次追踪所得的该肢体位置做为该第一肢体部位的该目前肢体位置。

21.如权利要求18所述的追踪人物肢体位置的系统，其特征在于，该轮廓追踪可信度与该第一距离成反比。

22.如权利要求18所述的追踪人物肢体位置的系统，其特征在于，该轮廓候选位置与该第二肢体部位之间的距离与该轮廓几何可信度成正比但不呈线性关系。

23.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第一肢体部位为头、手、脚、手肘、手指或者其它人体肢体部位，或者是位于该人体肢体部位上的一标记物。

24.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第一肢体部位的一目前肢体位置、该轮廓候选位置、该深度候选位置或该第二肢体部位的该第二肢体位置用一二维影像中的一坐标或一区块来表示。

25.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，将该第一肢体部位的轮廓或边缘中曲率变化最明显的位置判断为该轮廓候选位置。

26.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第四装置利用该第一肢体部位的两张影像左影像以及右影像的差异度计算该深度信息。

27.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第四装置利用该第一肢体部位的两张影像左影像以及右影像中的局部区域的差异度计算该深度信息。

28.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第四装置利用一三维重建方法计算该深度信息。

29.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第二肢体部位为头部、脸部、脖子、身体中心点、身体中轴、腰部位置、胯下位置或可用于参考的人体肢体部位，或者是位于该人体肢体部位上的一标记物。

30.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离。

31.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离以及计算该深度候选位置和该第二肢体部位的该第二肢体位置间的距离。

32.如权利要求17所述的追踪人物肢体位置的系统，其特征在于，该第六装置判断是否更新该第一肢体部位的一目前肢体位置到该轮廓候选位置或该深度候选位置。

说明书

追踪人物肢体位置的方法与系统

技术领域

[0001] 本发明涉及一种影像追踪方法，且特别有关于一种追踪人物肢体位置的方法与系统。

背景技术

[0002] 在视讯的辨识和分析领域中，人物的脸部、手部或身体四肢的辨识和追踪一直是十分热门的研究领域。然而，在现行商业化的技术中，大多着重在以整个人物轮廓做互动，而无分辨四肢或手指等细微动作的差异，因而在应用上极为有限。现有的体感互动方式仅感应局部的运动或仅根据全身轮廓来做互动，因此难以区分较复杂的动作，例如，抬左手、举右手、双手上举、踢右腿…等等。

[0003] 因此，本发明提供了一种追踪人物肢体位置的方法与系统，可有效地追踪并分辨手脚四肢的位置，并且提供还丰富的肢体互动方式以应用于游戏控制、运动分析、多媒体展示等领域。

发明内容

[0004] 本发明的一实施例揭露了一种追踪人物肢体位置的方法。经由一第一摄影装置取得一第一肢体部位的一左影像，并且根据该左影像的特征信息取得该第一肢体部位的一轮廓候选位置。经由一第二摄影装置的该第一肢体部位的一右影像，并且根据该右影像的深度信息取得该第一肢体部位的一深度候选位置。计算该轮廓候选位置及该深度候选位置与一第二肢体部位的一第二肢体位置间的几何关系，并且根据该几何关系判断是否更新该第一肢体部位的一目前肢体位置。

[0005] 本发明又一实施例还揭露了一种追踪人物肢体位置的系统，包括一第一摄影装置、一第二摄影装置与一运算装置。该运算装置经由该第一摄影装置取得一第一肢体部位的一左影像以及经由该第二摄影装置的该第一肢体部位的一右影像，根据该左影像的特征信息取得该第一肢体部位的一轮廓候选位置，根据该右影像的深度信息取得该第一肢体部位的一深度候选位置，计算该轮廓候选位置及该深度候选位置与一第二肢体部位的一第二肢体位置间的几何关系，以及根据该几何关系判断是否更新该第一肢体部位的一目前肢体位置。

附图说明

[0006] 图1是显示本发明实施例的追踪人物肢体位置的系统架构示意图；

[0007] 图2是显示本发明实施例的追踪人物肢体位置的方法步骤流程图。

[0008] 【主要元件符号说明】

[0009] 100～运算装置

[0010] 200、300～摄影装置

[0011] S201..S212～流程步骤

具体实施方式

[0012] 为了让本发明的目的、特征、及优点能还明显易懂，下文特举实施例，并配合所附图式图1至图2，做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各元件的配置为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复，为了简化说明，并非意指不同实施例之间的关联性。

[0013] 本发明实施例揭露了一种追踪人物肢体位置的方法与系统。

[0014] 本发明的实施例的追踪人物肢体位置的方法与系统是利用两台摄影机检索人物肢体的连续影像，并且根据检索影像的特征区域以及影像间的相位差造成的深度信息来判断与追踪人物肢体的位置。

[0015] 图1是显示本发明实施例的追踪人物肢体位置的系统架构示意图。

[0016] 本发明实施例的追踪人物肢体位置的系统包括一运算装置100与二台摄影装置200与300。利用摄影装置200与300分别实时捕捉一人物的左影像和右影像，然后将取得的左右影像传送给运算装置100，以判断与追踪人物的肢体位置。以下配合方法流程图来做进一步的说明。

[0017] 图2是显示本发明实施例的追踪人物肢体位置的方法步骤流程图。

[0018] 运算装置100经由摄影装置200取得人物的一肢体部位(例如，左手，即第一肢体部位)的左影像，并且对该左影像进行去除背景和轮廓/边缘的处理，以得到该肢体部位的特征信息(步骤S201)。运算装置100根据该左影像的特征信息取得该肢体部位的轮廓/边缘的候选位置(简称为轮廓候选位置)(步骤S202)，接着根据该肢体部位的上一次追踪所得的肢体位置(步骤S212)，计算步骤S202所得的轮廓候选位置与该肢体部位的上一次追踪所得的肢体位置间的距离，进而计算出该肢体部位的轮廓/边缘追踪可信度(简称为轮廓追踪可信度)(步骤S203)。该轮廓追踪可信度和距离成反比，相距愈近则可信度愈高。

[0019] 运算装置100依据人物的身体中轴或头部(即第二肢体部位)位置计算出该轮廓候选位置的几何可信度(简称为轮廓几何可信度)(步骤S204)。当该轮廓候选位置离身体中轴或头部位置愈远，则其可信度愈高，反之，愈靠近身体中轴或头部位置，则其可信度愈低，但不呈线性关系。依据人物的该肢体部位的特征信息可大致计算出人物的身体躯干所占的区域位置，当超出该区域位置一预设距离以上时，则该几何可信度愈高，反之若接近或在该区域位置内，则可信度大幅降低。

[0020] 运算装置100经由摄影装置300取得人物的该肢体部位(例如，左手)的右影像，并且根据该左影像与该右影像计算出该肢体部位(例如，左手)的深度信息(步骤S205)。运算装置100根据该右影像的深度信息取得该肢体部位(例如，左手)的深度候选位置(步骤S206)，再根据该肢体部位的上一次追踪所得的肢体位置(步骤S212)，计算出步骤S205所得的深度候选位置与该肢体部位的上一次追踪所得的肢体位置间的距离，进而计算出该肢体部位的深度追踪可信度(步骤S207)。

[0021] 接着，运算装置100依据身体中轴或头部位置计算出该深度候选位置的几何可信度(简称为深度几何可信度)(步骤S208)。运算装置100将轮廓追踪可信度与深度追踪可信度相比较以及将轮廓几何可信度与深度几何可信度相比较，经过运算评估后选取可信度较高的其中一轮廓/深度追踪可信度或轮廓/深度几何可信度(步骤S209)。运算装置100将该选取的可信度与一轮廓/深度可信度门坎值相比较，以判断该选取的可信度是否大于该轮廓/深度可信度门坎值(步骤S210)。

[0022] 若该选取的可信度大于该轮廓/深度可信度门坎值，则将对应该选取的可信度的候选位置更新为该肢体部位的目前肢体位置(步骤S211)。若该选取的可信度不大于该轮廓/深度可信度门坎值，则视为追踪无效，故将上一次追踪所得的肢体位置做为该肢体部位的目前肢体位置(步骤S212)。

[0023] 需注意到，该第一肢体部位为头、手、脚、手肘、手指或者其它人体肢体部位，或者是位于该人体肢体部位上的一标记物。

[0024] 需注意到，该第一肢体部位的一第一肢体位置、该轮廓候选位置、该深度候选位置或该第二肢体部位的该第二肢体位置为一二维影像，且以影像坐标或影像区块来表示。

[0025] 需注意到，上述方法还包括将该第一肢体部位的轮廓或边缘的转折点作为该轮廓候选位置。

[0026] 需注意到，上述方法还包括利用该第一肢体部位的两张影像的差异度计算该深度信息。

[0027] 需注意到，上述方法还包括利用该第一肢体部位的两张影像中的局部区域的差异度计算该深度信息。

[0028] 需注意到，上述方法还包括利用一三维重建方法计算该深度信息。

[0029] 需注意到，该第二肢体部位为头部、脸部、脖子、身体中心点、身体中轴、腰部位置、胯下位置或可用于参考的人体肢体部位，或者是位于该人体肢体部位上的一标记物。

[0030] 需注意到，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离或计算S和Q的距离。

[0031] 需注意到，该几何关系包括计算该轮廓候选位置和该第二肢体部位的该第二肢体位置间的距离或计算该深度候选位置和该第二肢体部位的该第二肢体位置间的距离。

[0032] 需注意到，该几何关系包括当该轮廓候选位置或该深度候选位置距离该第二肢体部位的该第二肢体位置愈近时，提高更新该第一肢体部位的一第一肢体位置到较近距离的可能性。

[0033] 需注意到，该几何关系包括当该轮廓候选位置离T愈远时提高更新该第一肢体部位的一第一肢体位置到该轮廓候选位置的可能性，而当愈近时则降低该可能性。

[0034] 需注意到，该几何关系包括该轮廓候选位置在一特定轴向的坐标与该第二肢体部位的该第二肢体位置在该特定轴向上的坐标差距愈大时，提高更新该第一肢体部位的一第一肢体位置到该轮廓候选位置的可能性，而当差距愈小时则降低该可能性。

[0035] 需注意到，该几何关系包括该深度候选位置在一特定轴向的坐标与该第二肢体部位的该第二肢体位置在该特定轴向上的坐标差距愈小时，提高更新该第一肢体部位的一第一肢体位置到该深度候选位置的可能性，而当差距愈大时则降低该可能性。

[0036] 需注意到，上述方法还包括判断是否更新该第一肢体部位的一第一肢体位置到为该轮廓候选位置或该深度候选位置。

[0037] 本发明还提供一种记录媒体(例如光盘片、磁盘片与抽取式硬盘等等)，其是记录一计算机可读取的权限签核程序，以便执行上述的追踪人物肢体位置的方法。在此，储存于记录媒体上的权限签核程序，基本上是由多个程序代码片段所组成的(例如建立组织图程序代码片段、签核窗体程序代码片段、设定程序代码片段、以及部署程序代码片段)，并且这些程序代码片段的功能是对应到上述方法的步骤与上述系统的功能方块图。

[0038] 虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的还动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。