一种面向图像序列的铰接关节点空间运动重构方法

摘要

本发明公开了一种面向图像序列的铰接关节点空间运动重构方法，在获得相机的自校正参数以及相机CCD物理尺寸后，建立以图像序列第一帧所对应的相机中心为坐标原点的空间物理坐标系；根据视觉成像原理，建立铰接关节点运动直线参数方程和圆参数方程；通过求解初等函数，获得铰接关节点的潜在坐标；进一步通过轨迹平滑约束，逐帧建立铰接关节点的空间运动轨迹。本发明利用已知的相机空间运动轨迹和相邻铰接关节点的空间运动轨迹，通过求解初等函数来逐帧恢复本关节点的空间运动轨迹。

权利要求

1.一种面向图像序列的铰接关节点空间运动重构方法，其特征在于：包括以下步骤：S1.获取相机感光器件的物理尺寸，并对相机进行校正，获取相机的内部参数，所述相机的内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)；

S2.建立以图像序列第一帧所对应的相机中心C0为原点的空间坐标系Λ；

S3.在相机中心C0与空间运动关节点X中间设定成像平面I，成像平面I与相机中心C0保持物理焦距 距离，成像平面I垂直于相机光轴，计算成像平面I在空间坐标系Λ下的空间坐标；

S4.将相邻关节点投影在图像坐标系下的二维坐标点y换算为空间坐标系Λ下的三维空间坐标Y0，根据相机中心C0和三维空间坐标Y0确定直线C0Y0的方向；

S5.重复步骤S3至步骤S4，确定图像序列第i帧在空间坐标系Λ下的空间坐标，即相机中心Ci和相邻关节点Yi在空间坐标系Λ下的空间坐标；确定直线CiYi的方向，建立直线CiYi的参数方程，式中，(m,n,p)为直线CiYi的方向；

S6.建立以相邻关节点Xi为圆心，以相邻关节点Xi与铰接关节点的距离r为半径的圆的参数方程OX，S7.通过直线CiYi的参数方程和参数方程OX的联立求解，获得第i帧Yi的两个潜在坐标Yi1,Yi2，潜在坐标Yi1对应直线方程参数 潜在坐标Yi2对应直线方程参数S8.重复步骤S5至步骤S7，获得第i+1帧Yi+1的两个潜在坐标 潜在坐标 对应直线方程参数 潜在坐标Yi2对应直线方程参数S9.分别计算两帧间可能增量 根据相邻第i帧和第i+1帧的铰接关节点运动保持平滑，选择其中最小的可能，即

再确定其对应的第i+1帧的三维空间坐标Yi+1；

S10.重复步骤S3至步骤S9，逐帧确定后续帧所对应的三维空间坐标Yi+2,Yi+3,...，Yk，得到铰接关节点Y连续的运动轨迹。

2.根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法，其特征在于：所述步骤S1包括以下子步骤：S11.固定相机的光圈、焦距，不同角度拍摄多幅棋盘格图像；

S12.选择棋盘格图像的四角以确定对应点；

S13.利用相机自校正工具对相机进行校正，然后获得相机的内部参数，所述内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)。

3.根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法，其特征在于：所述步骤S3包括以下子步骤：S31.根据相机感光器件的尺寸与棋盘格图像的像素大小比例，计算单个像素的物理尺寸，并计算相机的物理焦距 和物理中心偏移S32.根据相机中心C0和物理中心偏移 确定相机光轴方向，相机平面处于相机中心C0物理焦距 处，且垂直于相机光轴S33.根据相机的物理焦距 和物理中心偏移 计算成像平面I在空间坐标系Λ下的空间坐标。

4.根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法，其特征在于：步骤S3中相机光轴的直线方程由相机中心C0和相机中心偏移(px,py)确定。

说明书

一种面向图像序列的铰接关节点空间运动重构方法

技术领域

[0001] 本发明涉及三维重构技术领域，特别是涉及一种面向图像序列的铰接关节点空间运动重构方法。

背景技术

[0002] 三维重构是计算机视觉领域中一个非常重要的问题，其分为刚性重构和非刚性重构。其中，刚性三维重构已经成为经典的计算机视觉组成部分。非刚性运动重构有着非常广泛的应用场景，例如人体运动的重构在康复领域的应用等。人体运动就属于一种典型的铰接关节点运动方式，目前广泛采用的运动捕获设备Motion Capture系统，例如Vicon、CAREN，能获得精确的铰接关节点运动数据，但设备价格昂贵，且只能在有限的空间内进行运动采集。而基于图像序列的运动恢复可以弥补上述设备的缺点，所以也一直是计算机视觉领域的热点问题，在虚拟现实、人机交互等方面都有重要的应用价值。

[0003] 利用图像序列获得铰接关节点运动重构方法，主要分为以下两个部分：第一部分是特征点匹配，第二部分是根据已知的相机运动和相邻关节点运动确定铰接关节点运动。经过对现有技术文献进行检索发现，Park等人在IEEE ICCV 2011(IEEE国际计算机视觉会议2011)所发表的“3D Reconstruction of a Smooth Articulated Trajectory from a Monocular Image Sequence”(基于单一图像序列中的光滑铰接关节点轨迹三维重构)主要针对铰接关节点运动重构的第二部分方法，在不同的相机模型下，把铰接关节点运动重构建模成为一个二次整形规划的问题进行恢复。他们认为每帧两个铰接关节点的可能构成了一个2F条的序列空间(其中F为整个二维图像序列的帧数)，需要从中找到一条最优的序列，并采用分支定界法，需要对序列整体进行优化，运算效率低下，且随着图像序列的增长，每次都需要重新优化。

发明内容

[0004] 本发明的目的在于克服现有技术的不足，提供一种面向图像序列的铰接关节点空间运动重构方法，利用已知的相机空间运动轨迹和相邻铰接关节点的空间运动轨迹，通过求解初等函数来逐帧恢复本关节点的空间运动轨迹。

[0005] 本发明的目的是通过以下技术方案来实现的：一种面向图像序列的铰接关节点空间运动重构方法，包括以下步骤：

[0006] S1.获取相机感光器件的物理尺寸，并对相机进行校正，获取相机的内部参数，所述相机的内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)；

[0007] S2.建立以图像序列第一帧所对应的相机中心C0为原点的空间坐标系Λ；

[0008] S3.在相机中心C0与空间运动关节点X中间设定成像平面I，成像平面I与相机中心C0保持物理焦距 距离，成像平面I垂直于相机光轴，计算成像平面I在空间坐标系Λ下的空间坐标；

[0009] S4.将相邻关节点投影在图像坐标系下的二维坐标点y换算为空间坐标系Λ下的三维空间坐标Y0，根据相机中心C0和三维空间坐标Y0确定直线C0Y0的方向；

[0010] S5.确定图像序列第i帧在空间坐标系Λ下的空间坐标，以及相机中心C0和相邻关节点Xi在空间坐标系Λ下的空间坐标；重复步骤S3至步骤S4，确定直线CiYi的方向，建立直线CiYi的参数方程，

[0011]

[0012]

[0013]

[0014] 式中，(m,n,p)为直线CiYi的方向；

[0015] S6.建立以相邻关节点Xi为圆心，以铰接关节点r为半径的圆的参数方程OX，[0016]

[0017]

[0018]

[0019] S7.通过直线CiYi的参数方程和参数方程OX的联立求解，获得第i帧Yi的两个潜在坐标 潜在坐标 对应直线方程参数 潜在坐标 对应直线方程参数

[0020] S8.重复步骤S5至步骤S7，获得第i+1帧Yi+1的两个潜在坐标 潜在坐标对应直线方程参数 潜在坐标 对应直线方程参数

[0021] S9.分别计算两帧间可能增量 根据相邻第i帧和第i+1帧的铰接关节点运动保持平滑，选择其中最小的可能，即

[0022]

[0023] 再确定其对应的第i+1帧的三维空间坐标Yi+1；

[0024] S10.重复步骤S3至步骤S9，逐帧确定后续帧所对应的三维空间坐标Yi+2,Yi+3,...，Yk，得到铰接关节点Y连续的运动轨迹。

[0025] 所述步骤S1包括以下子步骤：

[0026] S11.固定相机的光圈、焦距，不同角度拍摄多幅棋盘格图像；

[0027] S12.选择棋盘格图像的四角以确定对应点；

[0028] S13.利用相机自校正工具对相机进行校正，然后获得相机的内部参数，所述内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)。

[0029] 所述步骤S3包括以下子步骤：

[0030] S31.根据相机感光器件的尺寸与棋盘格图像的像素大小比例，计算单个像素的物理尺寸，并计算相机的物理焦距 和物理中心偏移

[0031] S32.根据相机中心C0和物理中心偏移 确定相机光轴方向，相机平面处于相机中心C0物理焦距 处，且垂直于相机光轴

[0032] S33.根据相机的物理焦距 和物理中心偏移 计算成像平面I在空间坐标系Λ下的空间坐标。

[0033] 步骤S3中相机光轴的直线方程由相机中心C0和相机中心偏移(px,py)确定。

[0034] 本发明的有益效果是：

[0035] (1)本发明确定以第一帧所对应的相机中心为原点坐标系，并将相机运动和相邻关节点运动统一到该坐标系下，求取铰接关节点的运动；

[0036] (2)本发明在整个算法中，采用物理量纲来进行运动轨迹恢复；

[0037] (3)本发明逐帧恢复铰接关节点运动，相邻两帧间的铰接关节点运动通过运动平滑约束来保证，而无需整体优化，降低了重构的时间消耗；

[0038] (4)本发明采用参数方程表示直线和圆，使得求取物理交点变成求解简单的初等函数方程，而无需求解复杂的整形二次规划。

附图说明

[0039] 图1为本发明一种面向图像序列的铰接关节点空间运动重构方法的流程图；

[0040] 图2为本发明中用于相机校正的部分棋盘格图像的示意图；

[0041] 图3为本发明中铰接关节点可能的空间位置；

[0042] 图4为空间成像平面与铰接关节点夹角的剖面示意图。

具体实施方式

[0043] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

[0044] 实施例一

[0045] 如图1、图2、图3和图4所示，一种面向图像序列的铰接关节点空间运动重构方法，包括以下步骤：

[0046] S1.获取相机感光器件的物理尺寸，并对相机进行校正，获取相机的内部参数，所述相机的内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)；

[0047] 所述步骤S1包括以下子步骤：

[0048] S11.固定相机的光圈、焦距，不同角度拍摄多幅棋盘格图像；

[0049] S12.选择棋盘格图像的四角以确定对应点；

[0050] S13.利用相机自校正工具对相机进行校正，然后获得相机的内部参数，所述内部参数包括相机的畸变参数、焦距f和中心偏移(px,py)。

[0051] S2.建立以图像序列第一帧所对应的相机中心C0为原点的空间坐标系Λ。

[0052] S3.在相机中心C0与空间运动关节点X中间设定成像平面I，成像平面I与相机中心C0保持物理焦距 距离，成像平面I垂直于相机光轴，计算成像平面I在空间坐标系Λ下的空间坐标；

[0053] 所述步骤S3包括以下子步骤：

[0054] S31.根据相机感光器件的尺寸与棋盘格图像的像素大小比例，计算单个像素的物理尺寸，并计算相机的物理焦距 和物理中心偏移

[0055] S32.根据相机中心C0和物理中心偏移 确定相机光轴方向，相机平面处于相机中心C0物理焦距 处，且垂直于相机光轴

[0056] S33.根据相机的物理焦距 和物理中心偏移 计算成像平面I在空间坐标系Λ下的空间坐标。

[0057] 步骤S3中相机光轴的直线方程由相机中心C0和相机中心偏移(px,py)确定。

[0058] S4.根据步骤S2和步骤S3确定直线C0Y0的方向：将相邻关节点投影在图像坐标系下的二维坐标点y换算为空间坐标系Λ下的三维空间坐标Y0，根据相机中心C0和三维空间坐标Y0确定直线C0Y0的方向。

[0059] S5.确定图像序列第i帧在空间坐标系Λ下的空间坐标，以及相机中心C0和相邻关节点Xi在空间坐标系Λ下的空间坐标；重复步骤S3至步骤S4，确定直线CiYi的方向，建立直线CiYi的参数方程，

[0060]

[0061]

[0062]

[0063] 式中，(m,n,p)为直线CiYi的方向。

[0064] S6.建立以相邻关节点Xi为圆心，以铰接关节点r为半径的圆的参数方程OX，[0065]

[0066]

[0067]

[0068] S7.通过直线CiYi的参数方程和参数方程OX的联立求解，获得第i帧Yi的两个潜在坐标 潜在坐标 对应直线方程参数 潜在坐标 对应直线方程参数

[0069] S8.重复步骤S5至步骤S7，获得第i+1帧Yi+1的两个潜在坐标 潜在坐标对应直线方程参数 潜在坐标 对应直线方程参数

[0070] S9.分别计算两帧间可能增量 根据相邻第i帧和第i+1帧的铰接关节点运动保持平滑，选择其中最小的可能，即

[0071]

[0072] 再确定其对应的第i+1帧的三维空间坐标Yi+1。

[0073] S10.重复步骤S3至步骤S9，逐帧确定后续帧所对应的三维空间坐标Yi+2,Yi+3,...，Yk，得到铰接关节点Y连续的运动轨迹。

[0074] 实施例二

[0075] 步骤一：采集标准棋盘格图像进行相机自校正，获得相机中心偏移(px,py)、焦距f、畸变参数等相机参数。同时查阅相机技术手册，获得相机CCD物理尺寸LxW。假设图像分辨率为MxN，物理焦距则为f·L/M。建立自校正矩阵 用于下述图像坐标校正。

[0076] 步骤二：建立以图像序列第一帧所对应的相机中心C0＝[0 0 0]为原点的空间坐标系Λ；其光轴方向为[0 0 1]。通过上述获得的相机参数，计算图像序列第一帧的成像平面物理空间坐标。

[0077] 步骤三：同理，获得第i帧的成像平面的物理空间坐标，并将其换算成在空间坐标系Λ中的空间坐标Ci，确定图像主轴方向；根据图像上的像素坐标yi以及成像的平面物理空间坐标，获得yi对应的空间坐标Yi。

[0078] 步骤四：通过相机中心Ci空间坐标和Yi的空间坐标，建立直线参数方程CiYi。

[0079] 步骤五：将已知Xi的坐标换算成坐标系Λ下的坐标，再通过该坐标和铰接关节距离r，建立圆的参数方程OX。

[0080] 步骤六：通过分别建立直线参数方程CiYi和圆的参数方程OX，求取潜在坐标分别对应直线方程参数 和 即潜在坐标 对应直线方程参数 潜在坐标 对应直线方程参数

[0081] 步骤七：重复步骤三至步骤六，获得第i+1帧成像平面物理空间坐标 分别对应 和 即潜在坐标 对应直线方程参数 潜在坐标 对应直线方程参数

[0082] 步骤八：分别计算两帧间可能增量 根据相邻第i帧和第i+1帧的铰接关节点运动保持平滑，选择其中最小的可能，即

[0083]

[0084] 再确定其对应的Yi+1。

[0085] 步骤九：重复步骤三至步骤八，逐帧确定后续帧所对应的Yi+2,Yi+3,...，Yk，得到铰接关节点Y连续的运动轨迹。

[0086] 本发明在获得相机的自校正参数以及相机CCD物理尺寸后，建立以图像序列第一帧所对应的相机中心为坐标原点的空间物理坐标系；根据视觉成像原理，建立铰接关节点运动直线参数方程和圆参数方程；通过求解初等函数，获得铰接关节点的潜在坐标；进一步通过轨迹平滑约束，逐帧建立铰接关节点的空间运动轨迹。本发明逐帧恢复铰接关节点运动，相邻两帧间的铰接关节点运动通过运动平滑约束来保证，而无需整体优化，降低了重构的时间消耗；采用参数方程表示直线和圆，使得求取物理交点变成求解简单的初等函数方程，而无需求解复杂的整形二次规划。

[0087] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。