基于深度相机Kinect的体感交互转换方法及装置

摘要

本发明公开一种基于深度相机Kinect的体感交互转换方法及装置，能够实现非体感应用的体感化操作。该方法包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；S3、基于转换后的空间信息构建人体骨架三维模型；S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

权利要求

1.一种基于深度相机Kinect的体感交互转换方法，其特征在于，包括：S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；

S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

S3、基于转换后的空间信息构建人体骨架三维模型；

S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

2.根据权利要求1所述的方法，其特征在于，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。

3.根据权利要求2所述的方法，其特征在于，所述S2，包括：S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。

4.根据权利要求3所述的方法，其特征在于，所述人体骨架三维模型的构成特征包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。

5.根据权利要求4所述的方法，其特征在于，所述S4，包括：根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。

6.一种基于深度相机Kinect的体感交互转换装置，其特征在于，包括：获取单元，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；

转换单元，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

构建单元，用于基于转换后的空间信息构建人体骨架三维模型；

建立单元，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

匹配单元，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

7.根据权利要求6所述的装置，其特征在于，所述获取单元获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。

8.根据权利要求7所述的装置，其特征在于，所述转换单元，具体用于：以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。

9.根据权利要求8所述的装置，其特征在于，所述人体骨架三维模型的构成特征包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。

10.根据权利要求9所述的装置，其特征在于，所述建立单元，具体用于：根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。

说明书

基于深度相机Kinect的体感交互转换方法及装置

技术领域

[0001] 本发明涉及人机交互技术领域，具体涉及一种基于深度相机Kinect的体感交互转换方法及装置。

背景技术

[0002] 体感交互的出现是人与机器对话方式回归自然的重要转折，体现了人们对“以人为中心”设计理念的不懈追求。体感游戏是体感交互的一个重要的应用领域，突破了以往单纯以手柄按键输入的操作方式，使人们可以通过肢体动作控制计算机。作为一种新兴的游戏体验模式，体感游戏将用户从控制设备中解放出来，从人机交互角度上来说，可以使玩家自然直观的沉浸在游戏中，带动全身同时运动，让玩家在游戏中得到锻炼，同时也给玩家带来更高的游戏乐趣。

[0003] Kinect作为新一代的新型人机交互设备，可以实现将实时捕捉到的人的动作、面部表情以及语音作为机器输入指令，这一强大的特性也使得Kinect成为人机交互领域的一个热点。但目前开发团队开发出优秀的基于Kinect体感游戏存在一定的困难，如游戏开发成本高，设计水平及质量参差不齐，制作周期长，开发效率低等，而制作精良的非体感交互的游戏，游戏数量庞大，资源较为丰富，却不能支持体感化操作。

发明内容

[0004] 有鉴于此，本发明要解决的问题：提出一种有效的体感交互转换工具，实现非体感应用的体感化操作。

[0005] 一方面，本发明实施例提出一种基于深度相机Kinect的体感交互转换方法，包括：

[0006] S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；

[0007] S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

[0008] S3、基于转换后的空间信息构建人体骨架三维模型；

[0009] S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

[0010] S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

[0011] 另一方面，本发明实施例提出一种基于深度相机Kinect的体感交互转换装置，包括：

[0012] 获取单元，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；

[0013] 转换单元，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

[0014] 构建单元，用于基于转换后的空间信息构建人体骨架三维模型；

[0015] 建立单元，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

[0016] 匹配单元，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

[0017] 本发明实施例提供的基于深度相机Kinect的体感交互转换方法及装置，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。经实验证明，本发明所提出的方法能够使用户通过姿态控制的方式来控制原本基于电脑键盘交互的应用，达到了丰富体感游戏资源的目的。

附图说明

[0018] 图1为本发明基于深度相机Kinect的体感交互转换方法一实施例的流程示意图；

[0019] 图2为图1中步骤S3得到的人体骨架三维模型的示意图；

[0020] 图3为本发明基于深度相机Kinect的体感交互转换装置一实施例的结构示意图。

具体实施方式

[0021] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0022] 参看图1，本实施例公开一种基于深度相机Kinect的体感交互转换方法，包括：

[0023] S1、通过深度相机Kinect获取人体骨骼及关节点的空间信息；

[0024] S2、建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

[0025] S3、基于转换后的空间信息构建人体骨架三维模型；

[0026] S4、通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

[0027] S5、对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

[0028] 当用户在Kinect设备前做出特定的动作时，若该动作刚好可以被动作模板库中的动作所匹配，则相对应的动作类型则会检索出来，至此则完成了动作识别过程。之后识别出的动作类型会触发特定的按键消息，从而使用户通过直接做出特定动作控制键盘，实现了键盘交互到体感交互的转换。

[0029] 本发明实施例提供的基于深度相机Kinect的体感交互转换方法，通过上述技术方案，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。

[0030] 在前述方法实施例的基础上，所述S1中获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体20个关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息，通过微软提供的Kinect for Windows SDK中的BodyFrameSource，BodyFrameReader，BodyFrameReference，BodyFrame和Body类来获取基本骨架数据信息。这些信息基于Kinect设备空间坐标系。20个关节点分别包括脊椎关节集合(头部、颈部、肩部中央、盆骨中央)，右臂集合(右肩、右肘、右腕，右手)，左臂集合(左肩、左肘、左腕，左手)，右腿集合(右臀、右膝、右踝、右脚)，左腿集合(左臀、左膝、左踝、左脚)。

[0031] 在前述方法实施例的基础上，所述S2，可以包括：

[0032] S21、以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

[0033] S22、将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：

[0034]

[0035] 式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。

[0036] 在前述方法实施例的基础上，所述人体骨架三维模型的构成特征可以包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。构建骨架模型的基本几何要素包括：点，线段。点对应于骨架模型中的关节点，线段对应于骨架模型中的骨骼段。如图2所示为人体骨架三维模型的示意图，20个圆点表示20个关节，圆点连线表示骨骼段。

[0037] 在前述方法实施例的基础上，所述S4，可以包括：

[0038] 根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。

[0039] 本实施例中，基于关节点位置的描述：采用阈值触发机制，如定义“举右手”这个动作时，只需要使右手关节坐标的z坐标减去右肩关节坐标的z坐标大于一定阈值便可实现；基于骨骼段之间角度的描述：每一个骨骼段在3D空间坐标系中表现为一个有长度、有方向的向量，两个向量形成的夹角可以用来描述骨骼段之间的旋转信息；基于关节点相对速度的描述：相对速度的描述指的是人体关节在移动时相对于参考骨架节点的速度，通过储存关节点的当前帧的位置和上一帧的位置，关节点在两帧数据的位置之差比上帧间时差，即可得到该关节点的相对速度。相对速度的描述主要是用以配合相对位置的描述和角度的描述，将满足相对位置或角度的条件的过程纳入动作描述的一种方式中。相对速度主要是体现了这个动作的剧烈程度。基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种对姿态的描述方式，便可以对姿态进行描述，对不同动作类型分别设定不同的阈值，建立动作模板库，为动作的识别提供索引，模板库里的每一个动作类型都会触发某一个特定的按键消息。

[0040] 参看图3，本实施例公开一种基于深度相机Kinect的体感交互转换装置，包括：

[0041] 获取单元1，用于通过深度相机Kinect获取人体骨骼及关节点的空间信息；

[0042] 需要说明的是，所述获取单元1获取到的空间信息基于Kinect设备空间坐标系，包括基于Kinect的人体关节点的坐标、速度信息以及由关节点所确定的骨骼的旋转信息。

[0043] 转换单元2，用于建立用户空间坐标系，将所述空间信息转换到所述用户空间坐标系；

[0044] 本实施例中，所述转换单元，具体可以用于：

[0045] 以用户右手方向为x轴正方向，头部向上为y轴正方向，面向深度相机Kinect正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；

[0046] 将所述人体关节点的坐标转换到所述用户空间坐标系，转换关系为：

[0047]

[0048] 式中，(x,y,z)为Kinect设备空间坐标系下的坐标点，(x′,y′,z′)为用户空间坐标系下对应的坐标点，(x0,y0,z0)为用户空间坐标系的坐标原点。

[0049] 构建单元3，用于基于转换后的空间信息构建人体骨架三维模型；

[0050] 可以理解的是，所述人体骨架三维模型的构成特征可以包括关节点三维坐标、关节点之间的欧氏距离、关节点之间的方向向量、关节点与骨骼段之间的距离、骨骼段之间的夹角，以及关节点在时间域上的速度。

[0051] 建立单元4，用于通过依据所述人体骨架三维模型对姿态进行定义，建立姿态模板库，其中，所述姿态模板库包括至少一个姿态的定义描述以及该姿态所属的姿态类型；

[0052] 本实施例中，所述建立单元，具体可以用于：

[0053] 根据所述人体骨架三维模型，基于关节点的位置关系、骨骼段之间的角度和关节点的速度这三种元素对姿态进行描述性定义。

[0054] 匹配单元5，用于对用户做出的动作姿态进行解析，通过将解析结果与所述姿态模板库中的姿态进行匹配，识别出用户做出的动作姿态所属的姿态类型，根据所述姿态类型通过消息响应机制激发所述姿态类型对应的键盘消息。

[0055] 本发明实施例提供的基于深度相机Kinect的体感交互转换装置，通过上述技术方案，提出并设计了一种可以将原本基于键盘操作的电脑应用转换为基于Kinect体感控制的中间件软件，实现了用户身体动作与电脑键盘消息的实时映射。

[0056] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0057] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0058] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0059] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0060] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0061] 本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

[0062] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。