物体三维几何重建相机定标方法和系统

摘要

本发明公开了一种物体三维几何重建相机定标方法和系统，属于计算机图像处理技术领域。所述方法包括：在包含拟重建三维物体的场景中布置一个或一个以上经编码的定标模板；通过相机采集拟重建三维物体的系列影像；对影像序列进行处理，得到可见的各定标模板中各定标点的影像坐标；根据所述影像坐标获得相机定标参数。所述系统包括一组相机定标模板，可布置于拟重建物体周围；一个相机；一个相机定标处理单元，用于对该系列影像进行影像分析、几何处理和相机定标，获得相机定标参数。本发明可用于计算机视觉、计算机图像处理、三维几何建模等技术领域。

权利要求

1.一种物体三维几何重建相机定标方法，其步骤包括：

1.1）在包含拟重建三维物体的场景中布置一个以上经编码的定标模板；所述步骤

1.1）将一定标模板置于拟重建物体之下，且该物体不覆盖该定标模板的任一定标点，各影像中可见至少特定个数的完整的定标点组；

或者所述步骤1.1）将两个以上定标模板置于拟重建物体的附近，各影像中可见至少两模板的至少特定个数的完整的定标点组；

1.2）通过相机采集拟重建三维物体在多个视点包含拟重建物体及编码定标模板的一组影像；

1.3）对影像序列进行处理，得到可见的各定标模板中各可见定标点的影像坐标；

1.4）根据所述影像坐标获得相机在各个拍摄位置拍摄时的相机定标内外参数；

2.如权利要求1所述的物体三维几何重建相机定标方法，其特征在于所述定标模板为圆板，具有一外缘，和一内缘线；模板中心点向外延伸含多个位于内缘线外的定标点的射线，同一条放射线上的点构成一个定标点组，每一定标点组中，从内缘线向外数起的定标点的序号称为定标点层数；处于同一层的各个定标点位于同一个圆周之上，每一定标点组由具有不同半径的点组成，采用大小点编码排列的方式区分不同的模板以及同一个模板中不同的定标点组。

3.如权利要求2所述的物体三维几何重建相机定标方法，其特征在于定标点由具有两种不同半径的点组成，以靠近定标模板的外缘的特定层数的定标点大小编码区分定标点组，以除模板外部特定层数的定标点之外的其他定标点编码区分不同的定标模板。

4.如权利要求1所述的物体三维几何重建相机定标方法，其特征在于步骤1.3）通过下列方法对影像进行处理：

4.1）提取影像中的椭圆；

4.2）构造影像中可见的各模板的各个定标点组；

4.3）按空间邻近关系聚合经步骤4.2）所构造的定标点组，确定各模板的组成；

4.4）依据模板的几何约束和模板定标点组的编码约束关系，剔除不可靠的点组。

5.如权利要求4所述的物体三维几何重建相机定标方法，其特征在于步骤4.1）通过下列方法进行：

5.1）对于序列影像中的每一幅影像，进行影像阈值化分割；

5.2）对阈值分割后的图像，提取非嵌套轮廓；

5.3）依据定标模板在影像中的比例约束，剔除过大和过小的轮廓，获得候选轮廓集；

5.4）对候选轮廓集，将侯选轮廓拟合为椭圆，并计算出椭圆的中心、长短轴和轴向，将椭圆中心点坐标集合成为各定标模板中各定标点的候选点集。

6.如权利要求5所述的物体三维几何重建相机定标方法，其特征在于步骤4.2）通过下列方法进行：

6.1）对于所述定标点的候选点集，进行平面点集的Delaunay三角剖分，构造出候选点集Delaunay网；

6.2）依据候选点集的Delaunay三角剖分以及轮廓间距比约束，计算各点的最近邻近点；

6.3）根据直线约束、等间距约束，删除不处于同一直线上的最近邻近点；

6.4）依据最近邻近点邻接关系，构造定标点组；

6.5）依据定标点组的点数约束，对构造的所述定标点组进行筛选；识别出影像序列中可见的各模板的各个点组。

7.如权利要求6所述的物体三维几何重建相机定标方法，其特征在于步骤4.3)通过下列方法进行：

7.1）计算每一点组的覆盖区，其覆盖范围是以其长度为边长，以其线段中点为中心的正方形；

7.2）将覆盖区域交叠的两个点组合并成一个区域；

7.3）将覆盖区域交叠两个区域合并成一个区域；

7.4）重复上述7.2~7.3）步骤，直至没有新的合并产生；

7.5）检测区域个数，所述检测区域个数即是影像中的模板个数，每个非交叠区域所包含的点组为构成所述定标模板的点组。

8.如权利要求7所述的物体三维几何重建相机定标方法，其特征在于步骤4.4）通过下列方法进行：

8.1）计算模板区域内各点组最小均方误差交点，作为该区域所包含的定标模板的中心点Cm；

8.2）对每一点组，依据该组内各点与中心点Cm的相对位置关系，对该点组重新排序；对该区域的各个点组，均使用相同的排序原则进行排序；

8.3）将区域内各组最外层点，拟合为一个椭圆Ep；

8.4）将椭圆Ep，射影变换到以椭圆Ep的长半轴为半径，以椭圆Ep的几何中心为原点的圆；

8.5）以步骤8.4）的单应变换参数，对区域内各点进行单应变换；

8.6）依据步骤8.5）所获得点的位置，计算各点组上点对原点的相对位置，确定各点组的相对位置关系；

8.7）计算各点组的编码；

8.8）根据编码和点组的相对位置关系这一约束条件，筛选点相互矛盾因而不可靠的点组。

9.一种物体三维几何重建相机定标系统，其特征在于该系统包括一组相机定标模板，可布置于拟重建物体的周围，将一定标模板置于拟重建物体之下，且该物体不覆盖该定标模板的任一定标点，各影像中可见至少特定个数的完整的定标点组；

或者将两个以上定标模板置于拟重建物体的附近，各影像中可见至少两模板的至少特定个数的完整的定标点组；

一个相机，用于采集拟重建三维物体在多个视点包含拟重建物体及编码定标模板的一组影像；一个相机定标处理单元，用于对所述包含拟重建物体及编码定标模板的一组影像进行影像分析、几何处理和相机定标，获得各个拍摄位置拍摄时相机定标内外定标参数。

10.如权利要求9所述的物体三维几何重建相机定标系统，其特征在于所述定标模板为圆板，具有一外缘线，和一内缘线；模板中心点向外延伸含多个位于内缘线外的定标点的射线，同一条放射线上的点构成一个定标点组，每一定标点组中，从内缘线向外数起的定标点的序号称为定标点层数；处于同一层的各个定标点位于同一个圆周之上，每一定标点组由具有不同半径的点组成。

说明书

物体三维几何重建相机定标方法和系统

技术领域

[0001] 本发明涉及计算机技术、计算机视觉、计算机图像处理、三维几何建模等技术领域，尤其涉及一种基于计算机立体视觉的三维几何重建像机定标方法和系统。

背景技术

[0002] 快速、便捷的建立现实世界中各类物体的三维几何模型，在虚拟现实、计算机辅助设计、三维地图、数字博物馆以及游戏娱乐等领域中具有广泛的应用，是计算机视觉的重要研究内容。而像机定标技术是三维重建系统的关键技术和方法之一。

[0003] 三维重建的方法主要可以分为手工建模、基于图像的绘制和基于图像的建模三种。传统手工建模效率低下；基于图像的绘制虽然形象逼真生动，但缺乏深度信息，应用不便。基于图像的三维建模技术可分为主动视觉技术和被动视觉技术两类。主动视觉系统通过系统主动发射并探测激光束、结构光等，获得目标物体在空间的几何信息，从而实现物体的三维重建。被动视觉系统利用自然光照条件下的二维影像来完成三维重建，一般可分为基于单幅影像的建模、基于立体像对的建模和基于序列影像的建模等方法。一般来说，主动视觉系统重建结果精度高，但设备复杂、成本高，使用维护复杂；而被动视觉系统不仅设备要求低，而且效率高、操作简便，应用广泛。

[0004] 主动视觉系统和方法方面，基于结构光的三维重建方法是研究热点之一。专利申请号为03153504的中国专利使用相位和立体视觉技术，将光栅投射到物体表面上，进而实现物体三维表面轮廓测量。

[0005] 在被动视觉系统和方法方面，基于影像序列的三维重建方法是研究热点之一。基于影像序列的三维重建系统，需要获取同一物体不同视角下的影像序列，需要对获取影像序列的相机进行内外参数定标，有的方法还需要对影像进行分割处理以获取影像中需要重建的目标。

[0006] 基于序列影像的三维重建方法由许多具体步骤组成，包含目标物体的序列影像的获取和输入，相机定标，目标物体的分割，三维空间点获取、物体表面重建以及纹理映射等。影像序列可以通过一定布局下多个相机获取，也可通过同一相机围绕目标依据一定规则采集目标的多视图影像序列；或者相机不动，转动目标物体以获得目标物体的多视角影像。

[0007] 基于影像序列的三维重建方法中，一个重要的技术步骤是摄像机的定标问题。通常，相机的定标方法包括使用专用定标物的相机定标方法、利用场景中的平行线或二次曲线进行定标的方法以及相机自定标方法等。

[0008] 专利公开号CN101320483的中国专利是一种使用手工相机定标的三维重建方法。该系统使用旋转平台，将待重建物体放置于旋转平台上，通过转动旋转平台获取影像序列，进而重建物体的三维模型。该方法首先对摄像机进行手工定标，获取旋转平台未旋转时的摄像机投影矩阵，并对该投影矩阵进行分解，获取摄像机内参数矩阵及未旋转时的外参数矩阵；其次，通过旋转角度及旋转前的摄像机内参数矩阵，获取旋转了任意角度的摄像机投影矩阵；然后，通过两个角度或多个角度所拍摄物体的图片信息及此时的摄像机投影矩阵获取物体的空间三维信息。基于手工相机定标方式的三维重建系统效率低下，并且限制了物体的大小和重量，也不能应用于不便移动的物体的三维重建。

[0009] 专利公开号CN101320473的中国专利涉及一种自由多视角的三维重建方法。该方法由一台CCD摄像机、一台装配有图像采集卡的计算机和一块平面定标模板组成。该方法采用单个平面定标模板定标相机。该平面定标模板中央绘有两个同心圆和八条延长线经过圆心的直线段，用于定标摄像机参数。该方法要求将重建目标物体固定于定标模板中央，手托模板带动重建对象在一台位置固定的摄像机的视野和景深范围内作自由旋转运动进行图像采集，并同时进行相机定标和物体三维重建。基于单定标模板以及物体固定于模板之上的定标与重建方式，限制了重建物体的大小，且不能应用于不便移动的物体的三维重建。

[0010] 专利公开号为CN101320473的中国专利涉及一种不使用定标板的车载摄像机外部参数三线定标方法。该方法针对基于视觉导航的智能车辆车载摄像机定标问题，利用现成的工具箱进行内部参数定标，根据透视投影原理，三条平行线在图像平面上具有相同的消失点和不同的斜率，而摄像机的外部参数与消失点和斜率有着内在的联系，经过数学推导和坐标变换，能够建立以像素为单位的摄像机外部参数表达式。在像素坐标系内，以手工或自动的方式确定平行线交点和另外三点的坐标后，可计算出所需参数。该方法可用于公路、运动场跑道或专门画的平行线的场所。

[0011] 专利公开号为CN101706957A的中国专利涉及一种双目立体视觉装置的自定标方法，该方法采用基于绝对对偶二次曲面的自定标技术，从两幅视图恢复两摄像机的内、外参矩阵。该方法先进行双目立体视觉装置采集得到的两幅视图间的对应点的匹配；再根据对应点匹配关系实现射影重建；根据对摄像机内参数的先验约束，定标出射影空间到度量空间的变换矩阵；最后计算出两摄像机的内外参数矩阵。自定标方法的算法稳定性和算法效率往往取决于拟重建物体及其环境的纹理丰富程度及亮度。对于纹理过多或过少的场景，由于得不到足够的问题匹配特征而无法实现自定标过程。此外，由于遮挡等原因带来的特征误匹配问题，影响了相机定标精度和可靠性。

[0012] 从上面所列举的实现系统和国内外相关文献可以看出，实现物体三维重建需要涉及多方面的技术。然而，现有系统和方法还存在一些缺点和不足。

发明内容

[0013] 本发明主要目的是提出一种对环境要求和目标物体大小重量限制程度较低的物体三维几何重建相机定标方法和系统，解决现有三维重建技术所存在的不适用于较大较重或者不适宜搬动物体的三维重建的问题，因而可以解决难以将基于定标物的三维重建技术应用于上述这些物体的问题，从而拓展了基于影像的三维重建技术的应用范围。

[0014] 为了实现本发明的目的，本发明采用如下技术方案。

[0015] 一种物体三维几何重建相机定标方法，其步骤包括：

[0016] 1.1)在包含拟重建三维物体的场景中布置一个或一个以上经编码的定标模板；

[0017] 1.2)通过相机采集拟重建三维物体的系列影像；

[0018] 1.3)对影像序列进行处理，得到可见的各定标模板中各定标点的影像坐标；

[0019] 1.4)根据所述影像坐标获得相机定标参数。

[0020] 优选地，所述定标模板为圆板，具有一外缘，和一内缘线；模板中心点向外延伸含多个位于内缘线外的定标点的射线，同一条放射线上的点构成一个定标点组，每一定标点组中，从内缘线向外数起的定标点的序号称为定标点层数；处于同一层的各个定标点位于同一个圆周之上，每一定标点组由具有不同半径的点组成，采用大小点编码排列的方式区分同不同的模板以及同一个模板中不同的定标点组。

[0021] 优选地，所述定标点由具有两种不同半径的点组成，以靠近定标模板的外缘的特定层数的定标点大小编码区分定标点组，以除模板外部特定层数的定标点之外的其他定标点编码区分不同的定标模板。

[0022] 优选地，在上述定标方法中，将一定标模板置于拟重建物体之下，且该物体不覆盖该定标模板的任一定标点，各影像中可见至少特定个数的完整的定标点组。

[0023] 优选地，在上述定标方法中，将两个或两个以上定标模板置于拟重建物体的附近，各影像中可见至少两模板的至少特定个数的完整的定标点组。

[0024] 优选地，步骤1.3)可通过下列方法对影像进行处理：

[0025] 6.1)提取影像中的椭圆；

[0026] 6.2)构造影像中可见的各模板的各个定标点组；

[0027] 6.3)按空间邻近关系聚合所述定标点组，确定各模板的组成；

[0028] 6.4)依据模板的几何约束和模板定标点组的编码约束关系，剔除不可靠的点组。

[0029] 其中，步骤6.1)可通过下列方法进行：

[0030] 7.1)对于序列影像中的每一幅影像，进行影像阈值化分割；

[0031] 7.2)对阈值分割后的图像，提取非嵌套轮廓；

[0032] 7.3)依据定标模板在影像中的比例约束，剔除过大和过小的轮廓，获得候选轮廓集；

[0033] 7.4)对候选轮廓集，将侯选轮廓拟合为椭圆，并计算出椭圆的中心、长短轴和轴向，将椭圆中心点坐标集合成为各定标模板中各定标点的候选点集。

[0034] 其中，步骤6.2)可通过下列方法进行：

[0035] 8.1)对于所述定标点的候选点集，进行平面点集的Delaunay三角剖分，构造出候选点集Delaunay网；

[0036] 8.2)依据点集的Delaunay剖分以及轮廓间距比约束，计算各点的最近邻近点；

[0037] 8.3)根据直线约束、等间距约束，删除不处于同一直线上的邻近点；

[0038] 8.4)依据邻近点邻接关系，构造定标点组；

[0039] 8.5)依据定标点组的点数约束，对构造的所述定标点组进行筛选；识别出影像序列中可见的各模板的各个点组。

[0040] 其中，步骤6.3)可通过下列方法进行：

[0041] 9.1)计算每一点组的覆盖区，其覆盖范围是以其长度为边长，以其线段中点为中心的正方形；

[0042] 9.2)将覆盖区域交叠的两个点组合并成一个区域；

[0043] 9.3)将覆盖区域交叠两个区域合并成一个区域；

[0044] 9.4)重复上述步骤，直至没有新的合并产生；

[0045] 9.5)检测区域个数，该数目即是影像中的模板个数，每个非交叠区域所包含的点组为构成该模板的点组。

[0046] 其中，步骤6.4)可通过下列方法进行：

[0047] 10.1)计算模板区域内各点组拟合直线间的最小均方误差交点，作为该区域所包含的定标模板的中心点Cm；

[0048] 10.2)对每一点组，依据该组内各点与中心点Cm的相对位置关系，对该点组重新排序；对该区域的各个点组，均使用相同的排序原则进行排序；

[0049] 10.3)将区域内各组最外层点，拟合为一个椭圆Ep；

[0050] 10.4)将椭圆Ep，射影变换为以椭圆Ep的长半轴为半径，以椭圆Ep的几何中心为原点的圆；

[0051] 10.5)以步骤10.4)的单应变换参数，对区域内各点进行单应变换；

[0052] 10.6)依据步骤10.5)所获得点的位置，计算各点组上点对原点的线对位置，确定各点组的相对位置关系；

[0053] 10.7)计算各点组的编码；

[0054] 10.8)根据编码和点组的相对位置关系这一约束条件，筛选点相互矛盾因而不可靠的编组。

[0055] 本发明还提供一种物体三维几何重建相机定标系统，该系统包括一组相机定标模板，可布置于拟重建物体的周围；一个相机，用于获取一系列包含拟重建物体和定标模板场景的影像；一个相机定标处理单元，用于对该系列影像进行影像分析、几何处理和相机定标，获得相机定标参数。

[0056] 优选地，所述定标模板为圆板，具有一外缘线，和一内缘线；模板中心点向外延伸含多个位于内缘线外的定标点的射线，同一条放射线上的点构成一个定标点组，每一定标点组中，从内缘线向外数起的定标点的序号称为定标点层数；处于同一层的各个定标点位于同一个圆周之上，每一定标点组由具有不同半径的点组成。

[0057] 和现有技术相比，通过本发明方法或系统进行物体三维建模将在以下方面产生有益的效果。

[0058] 1.可对大、中、小型物体，固定或可移动物体，进行三维模型重建。解决了现有的基于定标物的相机定标方法中对拟重建物体大小重量或者移动性的限制问题，拓宽应用范围；

[0059] 2.本发明中，相机定标模板是一种平面模板，且模板的布局无特殊要求，算法可靠、使用方便；

[0060] 3.本发明的相机定标系统结构简单，可在室内、室外等多种场合使用，对物体所处环境的要求小，使用范围广泛；

[0061] 4.本发明的相机定标过程可以和三维重建过程同步进行，相机定标过程无需额外的操作或人工干预，对三维重建过程无附加影响，重建过程简单、自然；

附图说明

[0062] 图1是根据本发明具体实施例的三维几何建模像机定标系统结构方框图；

[0063] 图2示出了本发明的像机定标模板基本结构；其中：1-定标模板；11-模板外缘；12-模板内缘；2-定标点；21-外层定标点；22-内层定标点；3-定标点组；31-模板识别编码组；32-组识别编码组；

[0064] 图3示出了根据本发明具体实施例的第一类像机定标模板；

[0065] 图4示出了根据本发明具体实施例的第二类像机定标模板；

[0066] 图5示出了根据本发明具体实施例的第三类像机定标模板；

[0067] 图6示出了根据本发明具体实施例的第一种像机定标模板布局方式；

[0068] 图7示出了根据本发明具体实施例的第二种像机定标模板布局方式。

具体实施方式

[0069] 下面通过具体实施例结合附图对本发明进行更为具体的描述。

[0070] 下述实施例提供了一种相机定标方法，总的来说，该方法包括以下几个方面：定标模板编码方法，用于对大、中、小型物体三维重建时定标模板的识别；定标模板布局及影像采集方法，用于在包含拟重建三维物体的场景中布置定标模板并获取一系列影像；影像处理方法，对采集获取的影像进行处理，得到影像中所有可见定标模板的定标点轮廓；定标点识别方法，用于从轮廓集中识别并区分出模板定标点、模板定标点组；模板识别方法，用于识别同一影像中包含几个模板，并识别构成各模板的定标点组，并依据模板识别结果和模板编码方法，获得各个模板定标点的坐标；单模板相机定标方法，用于基于单一模板确定相机内外参数的相机相对定标方法；多模板定标方法，用于通过各个定标模板联合定标相机的内外参数。

[0071] 其中，对影像进行的处理主要包括以下几个方面：影像分析方法，对从影像采集设备获取的影像进行处理，获得所有可见模板中的定标点的轮廓；模板定标点识别方法，用于从影像中的轮廓集中识别并区分出模板定标点、模板定标点组；模板识别方法，用于从模板定标点组集合中区分并识别出同一影像中不同的定标模板，以及各模板由哪些模板定标点组构成，并依据模板识别结果和模板编码方法，获得各个模板定标点的坐标。

[0072] 本实施例提供了一种确定影像中各个定标点坐标的方法，用于每幅影像的相机定标。该方法以系列模板中的任意一个模板为空间坐标系统基准，通过同一定标模板布局的多视图约束和各个定标模板中各定标点的平面坐标约束，组成约束方程组，使用光束法平差，获取各定标模板中各定标点的空间坐标。同时，可获取参与光束法平差的各视图的相机定标参数。

[0073] 在本实施例中，相机定标系统包括：一组相机定标模板，布置于待重建物体的周围，用于相机定标；一个便携式影像获取装置，用于获取一系列自由拍摄的包含拟重建物体和定标模板场景的影像；一个相机定标处理单元，包括影像分析、定标点识别、模板识别、单模板相机定标和多模板相机定标等部件，对该系列影像进行影像分析、几何处理和相机定标，获得各个影像相应的相机定标参数。

[0074] 具体来说，图1是根据本实施例的三维几何建模相机定标系统100的结构的方框图。如图1所示，影像获取装置101可以是数字相机，用于摄取拟重建三维物体和定标模板场景的一系列影像；影像处理装置102，用于对采集获取的影像进行处理，得到影像中所有可见定标模板的定标点的轮廓；定标点识别装置103，用于对影像处理步骤获取的定标点轮廓进行处理，得到各定标模板中各定标点的坐标；模板识别装置104，用于识别并区分同一影像中的各个定标模板；单模板相机定标装置105，用于基于单一模板确定相机内外参数的相机相对定标方法；模板定标点空间定位装置106，用于确定定标点的空间坐标；多模板定标装置107，用于通过各个定标模板定标相机的内外参数。

[0075] <定标模板>

[0076] 本实施例中，相机定标采用多个平面定标模板来实现。每个定标模板基本结构如图2所示。模板中，每个黑点称为定标点。从模板中心向外同一条放射线上的点构成一个点组，称为定标点组。每个定标点组中，点的个数称为定标点层数。处于同一层的各个定标点位于同一个圆周之上。同一模板上各层定标点构成的圆周同心，同心圆周的原点称为定标模板中心。本实施例中，采用大小两种不同半径的圆点作为定标点，采用大小点编码排列的方式区分同不同的模板以及同一个模板中不同的定标点组。具体地，采用靠近定标模板的外缘的四层定标点大小编码区分定标点组，采用除模板外部四层定标点之外的其他定标点编码区分不同的定标模板。下面详细叙述本实施例中，定标模板的几何约束关系以及模板的编码方法。

[0077] <定标模板的几何关系>

[0078] 1.模板个数Np：

[0079] Np＝{1|2|4|8} (1)

[0080] 2.每个模板内的点组个数Ng：

[0081] 8≤Ng≤16 (2)

[0082] 3.每个点组内定标点个数Nd：

[0083] 4≤Nd≤7 (3)

[0084] 4.定标模板内缘半径r0：

[0085] r0＝10rdot (4)

[0086] 其中，rdot是模板中半径较大的定标点的半径；

[0087] 5.定标模板外缘半径rw：

[0088] rw＝r0+3*(Nd+1)*rdot (5)

[0089] 6.各定标点相对于模板中心Cm的平面坐标{xd，yd}按下式计算：

[0090] xd＝Rr*cosα (6)

[0091] yd＝Rr*sinα (7)

[0092] 其中，Rr是模板中第r层定标点中心到模板中心Cm的欧氏距离，α是模板中心至定标点中心的射线与模板水平轴正向(图2所示的水平射线)的夹角。其中，[0093] Rr＝r0+3r*rdot (8)

[0094] α＝(1+2g)*π/Ng (9)

[0095] 其中，r＝1，2，......，Nd，是该点所在模板的层数，g＝1，2，......，Ng，是该点所在模板内的组数。

[0096] <定标模板的编码方法>

[0097] 模板中，用大定标点代表1，用小定标点表示0，考虑到本实施例使用4层点来区分点组，使用0-3层点来区分不同模板。为了保证模板区分算法的稳定性，模板上最外四层点4
用于模板内的点组编码。因此，每一模板中可区分的点组个数是2 ＝16个；每个模板上，除外部四层点用于模板内编码外，其余各层用于区分同一模板系列中的各个模板。因此，当模板定标点层数只有四层时，该模板系列仅仅包含一个模板，如图3所示；当模板定标点层数为五层时，该模板系列由两个模板组成，如图4所示；余此类推，如图5所示。

[0098] <定标模板布局>

[0099] 本实施例中，由于使用多定标模板，定标模板与拟重建物体之间的相对摆放位置可以有两种布局方式。

[0100] 第一种方式是将一张定标模板置于拟重建物体之下，如图6所示。采用该方式的前提是，该物体是可移动、便于移动的物体，且该物体置于定标模板之上后，不会覆盖定标模板的任何定标点。

[0101] 第二种方式是将两张或多张定标模板置于拟重建物体的附近，如图7所示。该布局方式适合于拟重建物体不可移动或者不便于移动，或者拟重建物体过大等情形。这种布局的基本要求是，自由拍摄场景的多角度视图时，应保证同一影像包含至少两个定标模板的大部分定标点。

[0102] <影像获取方式>

[0103] 无论哪种布局方式，影像采集时可自由移动相机获得多个视角的影像。对于单定标模板布局，影像中至少可见到两个完整的定标点组。对于多定标模板布局，每个影像至少有两个模板中的各自两个完整定标点组可见。

[0104] <影像处理>

[0105] 本处理步骤是针对每一幅影像，提取影像中可能的定标点的轮廓。其基本步骤是：

[0106] ①对于序列影像中的每一幅影像，进行影像阈值化分割；

[0107] ②对阈值分割后的图像，提取非嵌套轮廓。

[0108] ③依据定标模板在影像中的比例约束，剔除过大和过小的轮廓，获得候选轮廓集；

[0109] ④对候选轮廓集，将侯选轮廓拟合为椭圆，并计算出椭圆的中心、长短轴和轴向。椭圆中心点坐标集合成为候选点集；

[0110] <模板定标点识别>

[0111] 本处理过程是对每一幅影像，依据影像处理步骤获取的候选定标点集，确定可能的模板定标点组集合，并由定标点组集合确定影像中各个定标模板以及定标模板所包含的定标点组。在模板定标点识别过程中，本方法依据模板设计的几何约束关系，剔除非定标点或不可靠的定标点以及不完整的定标点组。其基本步骤是：

[0112] ①对于影像处理步骤中获得的定标点候选点集，进行平面点集的Delaunay三角剖分，构造出候选点集Delaunay网；

[0113] ②依据点集的Delaunay剖分以及轮廓间距比约束，计算各点的最近邻近点；

[0114] ③根据直线约束、等间距约束，删除不处于同一直线上的邻近点；

[0115] ④依据邻近点邻接关系，构造标定点组；

[0116] ⑤依据定标点组的点数约束，对步骤④生成的点组进行筛选；

[0117] 至此，构造出了影像中可见的各模板的各个点组。

[0118] <模板识别>

[0119] 对于已识别出的标定点组，需要进一步处理，将其聚合到各自所属的定标模板中去，同时获得影像中的不同定标模板及其组成，确定模板内模板定标点组的相对关系，计算出各个模板定标点的编码及坐标。

[0120] 本具体实施例中，定标点组按空间邻近关系进行聚合，确定各模板的组成，具体的算法是：

[0121] ①计算每一点组的覆盖区。其覆盖范围是以其长度为边长，以其线段中点为中心的正方形；

[0122] ②将覆盖区域交叠的两个点组合并成一个区域；

[0123] ③将覆盖区域交叠两个区域合并成一个区域；

[0124] ④重复步骤②和步骤③，直至没有新的合并产生；

[0125] ⑤检测区域个数，该数目即是影像中的模板个数，每个非交叠区域所包含的点组就是构成该模板的点组。

[0126] 本具体实施例中，依据模板设计的几何约束和模板定标点编码约束关系，剔除不可靠的点组。其基本方法是：

[0127] ①计算模板区域内各点组拟合直线间的最小均方误差交点，作为该区域所包含的定标模板的中心点Cm；

[0128] ②对每一点组，依据该组内各点与中心点Cm的相对位置关系，对该点组重新排序；对该区域的各个点组，均使用相同的排序原则进行排序；

[0129] ③将区域内各组最外层点，拟合为一个椭圆Ep；

[0130] ④将椭圆Ep，射影变换为以椭圆Ep的长半轴为半径，以椭圆Ep的几何中心为原点的圆；

[0131] ⑤以步骤④的单应变换参数，对区域内各点进行单应变换；

[0132] ⑥依据步骤⑤所获得点的位置，计算各点组上点对原点的线对位置，确定各点组的相对位置关系；

[0133] ⑦计算各点组的编码；

[0134] ⑧根据编码和点组的相对位置关系这一约束条件，筛选点相互矛盾因而不可靠的编组；

[0135] 经过上述步骤，即可获得可靠的模板定标点理论位置，即理论平面坐标；

[0136] <基于单个模板的像机定标方法>

[0137] 下面描述多模板定标系统中仅仅基于一个模板的模板定标点完成像机定标的方法。

[0138] 设像机定标系统采用T0，T1，…，Tl共l个定标模板构成的定标模板系统实现像机定标。其中，每个定标模板由r个模板定标点组成。基于单个模板的像机定标算法的基本算法步骤是：

[0139] ①将定标模板系统的世界坐标系设定为基于定标模板T0，模板T0的所有模板定标点的空间坐标由模板T0的平面坐标经过简单变换关系直接获得。

[0140] ②如果影像中可同时识别模板Tn以及另一个模板Tk，并且模板Tn的空间坐标已经获得，而模板Tk的空间坐标未知，则可通过Tn的模板定标点空间坐标、由Tn计算获得的像机定标参数以及模板定标点之间的几何约束，确定出模板Tk定标点的空间坐标。由于模板定标点之间的几何约束，模板Tk仅仅由三个平移和三个旋转参数所唯一确定。考虑到模板Tk上模板定标点有r个，其影像坐标 和空间坐标Pi(Xi，Yi，Zi)满足投影变换[0141]

[0142] 因此，可得到2r个方程。使用这2r个方程通过非线性最小二乘法，求解出模板Tk的六个独立参数，进而计算出Tk各个模板定标点的空间坐标。

[0143] ③如果影像中模板Tk(0≤k≤l)可识别，并且模板Tk各个模板定标点的空间坐标已经获得，则可通过模板Tk和现行通用的方法，可获得该影像相应的像机定标参数。

[0144] 重复上述几个步骤直到所有影像均完成像机定标。

[0145] <基于多个模板的像机定标方法>

[0146] 下面描述多模板定标系统中同时使用多个模板的模板定标点进行像机定标方法。本方法有两个具体的算法步骤组成：第一个步骤是同时确定各定标模板中定标点空间坐标；第二个步骤是确定各影像的像机定标参数。

[0147] 具体算法描述如下：

[0148] 步骤①：确定依据定标模板布局方式所放置的多模板定标系统中各个模板定标点的空间坐标位置。

[0149] 设像机定标系统采用了l个定标模板实现像机定标，每个定标模板由r个模板定标点组成。设世界坐标系基于该l定标模板中的定标模板T0，则模板上T0所有模板定标点的世界坐标为已知。除定标模板T0之外的l-1个模板的模板定标点在世界坐标系下的空间坐标按下述方法计算：

[0150] 对于同一摄像机，在不同的空间位置Ck(x，y，z)以不同的姿态Rk(α，β，γ)获取了场景的n个视图。其中，k＝1，…，n。各个模板的每个模板定标点空间坐标Pi(X，Y，Z)在各个视图中的影像平面坐标是 其中，x，y是像平面坐标，i是模板定标点编号。由像机外部参数和内部参数唯一确定投影矩阵Mk。

[0151]

[0152] 每个模板定标点空间坐标Pi(Xi，Yi，Zi)在像平面上的投影坐标 满足方程：

[0153]

[0154]

[0155] 每个模板定标点可以构造出2个上述方程。考虑到系统中的模板定标点数量是l*r，则可以构造出2l*r个方程。

[0156] 实际上，基于本实施例的模板设计方法，同一模板上各个模板定标点之间具有一定的约束。除模板T0外，每个定标模板仅具有六个独立的未知参数。而对于n个视图，各自的投影矩阵具有11个未知参数。因此，系统中实际未知参数的个数Cu为：

[0157] Cu＝11*n+6*(l-1) (14)

[0158] 本实施例中，模板上模板定标点的个数远大于模板的个数。实际系统中，方程的个数远多于未知数的个数，可以通过非线性最小二乘法，求解出各个空间点的坐标Pi(X，Y，Z)。

[0159] 步骤②：基于多个模板的像机定标方法

[0160] 如图1所示，多模板像机定标单元107用于在获得模板识别后使用光束法解算出三维空间中定标模板中模板定标点的空间三维坐标。该单元的具体操作如下：i

[0161] 假设三维空间中一组点Xj被矩阵为P 的一组摄像机所拍摄。用 标记第i个空i间点在第j个摄像机像平面上的坐标，则已知图像坐标 的集合，求摄像机矩阵P 和空间点Xj使得

[0162]i

[0163] 如果对于Xj或者P 不做进一步的约束，上述重构是一个射影重构，即Xj与真正的重构相差一个任意的三维射影变换。

[0164] 由于噪声、匹配误差等因素，方程 不会完全满足。通常假定该类误差满足高斯分布，然后求出最大似然解。在此，需要估计射影矩阵 和真正投影到图像点 的空间点 即

[0165]

[0166] 并且在每一帧图像中最小化重投影点和图像点之间的图像距离，即：

[0167]

[0168] 其中，d(x，y)是齐次点x和y之间的几何图像距离。通过调整每个摄像机中心和i三维空间点之间的射线束来估计Xj和P 的最大似然值。

[0169] 上述方法所使用的初值是使用单个定标模板进行像机定标所获得的投影矩阵参数以及模板定标点的空间坐标值。通过摄像机内参数约束获得欧氏三维重建。