一种摄像机阵列

摘要

本发明涉及到多媒体技术领域，公开了一种摄像机阵列，该摄像机阵列包括支撑结构以及多个阵列排列的摄像机，且该摄像机阵列中的摄像机可以实现沿其轴线方向滑动，以及在水平方向上的位置调整，从而使得摄像机阵列的摄像机的光心处于共面或共线。在上述技术方案中，通过设置的支撑结构实现对摄像机位置的调整，实现摄像机的光心处于共面或共线，提高了摄像机采用画面在拼接后的效果。

权利要求

1.一种摄像机阵列，其特征在于，所述摄像机阵列包括：

支撑板；

在所述支撑板上的至少两个摄像机的支座，所述至少两个摄像机的支座中的任一支座可相对所述支撑板转动并可锁定在所述支撑板上的设定位置，所述任一支座转动所绕的转轴垂直于所述支撑板；

所述至少两个摄像机的摄像头汇聚；其中，

所述至少两个摄像机中任一摄像机可沿所述任一摄像机的光轴方向在所述任一摄像机的支座上滑动并可锁定在所述任一摄像机的支座上的设定位置；

所述任一支座包括：一端开口的筒状外壳，对称转动连接在所述筒状外壳开口端两侧的两个连接板；

所述支撑板上设置有至少两个固定板，所述任一支座位于所述至少两个固定板中互成直角的两个固定板间隔成的空间，且所述任一支座的任一连接板与所述两个固定板中的任一固定板滑动连接并可锁定在所述任一固定板上的设定位置，通过所述任一连接板相对所述任一固定板滑动实现所述任一支座相对于所述支撑板转动。

2.如权利要求1所述的摄像机阵列，其特征在于，所述支撑板上设置有与所述任一支座对应的弧形滑槽，且所述支撑板上的至少两个弧形滑槽为共圆心的弧形滑槽；所述任一支座上设置有第一锁紧件，所述第一锁紧件穿过所述弧形滑槽与所述任一支座进行螺纹连接，使得所述支撑板与所述任一支座滑动连接；

所述任一摄像机的支座上设置有直线滑槽，所述任一摄像机上设置有第二锁紧件，所述第二锁紧件穿过所述直线滑槽后与所述任一摄像机进行螺纹连接，使得所述任一摄像机的支座与所述任一摄像机滑动连接。

3.如权利要求2所述的摄像机阵列，其特征在于，所述弧形滑槽设置有角度刻度值，和/或，所述直线滑槽设置有长度刻度值。

4.如权利要求1所述的摄像机阵列，其特征在于，所述摄像机阵列还包括第三锁紧件，所述固定板上设置有直线滑槽；所述任一连接板通过穿过所述直线滑槽的所述第三锁紧件与所述固定板滑动连接；

在所述固定板两侧均有连接板时，位于所述固定板两侧的连接板通过穿过所述直线滑槽的所述第三锁紧件与所述固定板滑动连接。

5.如权利要求1或4所述的摄像机阵列，其特征在于，所述支撑板与另一支撑板在靠近摄像头的一端转动连接。

6.如权利要求5所述的摄像机阵列，其特征在于，还包括底座，所述底座上设置有支架，所述支撑板与所述支架在所述支撑板上与靠近摄像头的一端相对的另一端滑动连接，并可锁定在所述支架上的设定位置，所述另一支撑板与所述支架在所述另一支撑板上与靠近摄像头的一端相对的另一端连接，其中，所述支撑板相对所述支架滑动的方向与所述支撑板相对所述另一支撑板转动的方向相同。

7.一种摄像机阵列，其特征在于，所述摄像机阵列包括：两个第一支撑板、两个摄像机以及两个支座，所述两个摄像机分别固定在所述两个支座内，其中，所述两个第一支撑板转动连接；

所述两个支座分别与所述两个第一支撑板滑动连接并可锁定在所述两个第一支撑板上的设定位置，其中，所述两个支座中任一支座相对所述任一第一支撑板的滑动方向，与所述任一第一支撑板转动所绕的转轴平行，所述任一支座与所述任一第一支撑板滑动连接。

8.如权利要求7所述的摄像机阵列，其特征在于，所述摄像机阵列还包括两个第二支撑板，所述两个第二支撑板转动连接，所述两个第二支撑板转动所绕的转轴垂直于所述两个第一支撑板转动所绕的转轴，其中，对于所述两个第二支撑板中任一第二支撑板，所述任一第一支撑板与所述任一第二支撑板滑动连接并可锁定在所述任一第二支撑板上设定位置，所述两个第一支撑板中另一第一支撑板与所述任一第二支撑板连接，其中，所述两个第一支撑板上的分别与所述任一第二支撑板连接的一端，为所述两个支撑板之间转动连接的一端的对端，所述任一第一支撑板相对所述任一第二支撑板滑动的方向与所述任一第一支撑板相对所述另一第一支撑板转动的方向相同。

9.如权利要求8所述的摄像机阵列，其特征在于，所述摄像机阵列还包括固定板，所述任一第二支撑板与所述固定板滑动连接并可锁定在所述固定板上设定位置，所述两个第二支撑板中另一第二支撑板与所述固定板连接。

10.如权利要求9所述的摄像机阵列，其特征在于，所述所述任一第一支撑板上设置有长度刻度值，用于标识所述任一支座相对于所述任一第一支撑板的位置；和/或，所述所述任一第二支撑板上设置有长度刻度值，用于标识所述任一第一支撑板相对于所述任一第二支撑板的位置；

和/或，

所述所述固定板上设置有长度刻度值，用于标识所述任一第二支撑板相对于所述固定板的位置。

说明书

一种摄像机阵列

技术领域

[0001] 本发明涉及到多媒体技术领域，尤其涉及到一种摄像机阵列。

背景技术

[0002] 随着多媒体技术的发展，单个摄像机已逐渐不能满足人们的要求。全景视频、立体摄像、增强现实、视觉测量、三维重建、合成孔径成像等多种应用都需要多个摄像机协同工作，这些摄像机以特定姿态共同构成的结合体就是摄像机阵列。

[0003] 摄像机阵列必须通过一定手段进行定位，其目标是尽可能利于视频配准，即实现最优化定位姿态。摄像机阵列(采集的视频组合)必须通过一定手段进行配准，其目标是获得尽可能理想的空间一致性，即实现最优化配准状态。

[0004] 视频拼接是基于摄像机阵列的一种重要应用，为人们提供超过普通视频的更高分辨率和更大视角内容，带来身临其境的视觉体验，具有广阔的应用前景和深刻的研究价值。

[0005] 视频拼接涉及的定位和配准需要获得尽可能理想的空间一致性，也就是尽可能限制视差偏移，因为它将导致鬼影等异常现象，对视频质量产生不利影响。

[0006] 消除视差偏移的必要条件是：摄像机阵列共光心，或者场景共面。只要满足这二个条件的至少一个，经过适当的单应变换，就可以实现零视差偏移。遗憾的是，现实环境几乎不存在共面的场景；而由于摄像机占空冲突，阵列共光心通常也是无法做到的。尽管视差偏移无法消除，但是可以通过最优化的定位和配准方法达到最优化配准状态。

[0007] 现有技术提供了一种可定位摄像机阵列的装置，它利用一种结构单元，在该结构单元中包括支撑板以及两个在竖直方向进行排列的摄像机，其中每个摄像机靠近摄像头的一端与支撑板转动连接，并且所述支撑板上设置有滑槽，所述摄像机设置有穿设在该滑槽内的锁紧螺钉，通过旋紧该锁紧螺钉，实现对摄像机位置的定位，将若干个这样的结构单元在水平方向进行排列，从而构成二维摄像机阵列。它在二个摄像机采集视频的重叠区域中找到若干组对应点，利用对应点求解用于表达配准关系的单应变换矩阵，从而完成二个摄像机的配准。但是上述摄像机阵列只能实现摄像头转动的调整，在调整共心时，定位过程难以控制，无法将阵列定位至最优化空间姿态；且配准完全依赖于采集视频的理想程度，计算精度较差。

发明内容

[0008] 本发明提供了一种摄像机阵列，用以提高摄像机阵列在最优姿态的调整，提高控制精度。

[0009] 为了解决上述技术问题，本发明实施例提供了一种摄像机阵列，所述摄像机阵列包括：

[0010] 支撑板；

[0011] 在所述支撑板上的至少两个摄像机的支座，所述至少两个摄像机的支座中的任一支座可相对所述支撑板转动并可锁定在所述支撑板上的设定位置，所述任一支座转动所绕的转轴垂直于所述支撑板；

[0012] 所述至少两个摄像机的摄像头汇聚，且所述至少两个摄像机的光心共线；其中，[0013] 所述至少两个摄像机中任一摄像机可沿所述任一摄像机的光轴方向在所述任一摄像机的支座上滑动并可锁定在所述任一摄像机的支座上的设定位置。

[0014] 在上述技术方案中，通过设置的支撑板以及支座实现了摄像机在水平方向的转动，以及在沿摄像机光轴方向上的滑动，从而能够实现在同一平面内的摄像机的光线处于同一直线上的位置，提高了摄像机采用画面在拼接后的效果。

[0015] 在一种具体的实施方式中，所述支撑板上设置有与所述任一支座对应的弧形滑槽，且所述支撑板上的至少两个弧形滑槽为共圆心的弧形滑槽；所述任一支座上设置有第一锁紧件，所述第一锁紧件穿过所述弧形滑槽与所述任一支座进行螺纹连接，使得所述支撑板与所述任一支座滑动连接；

[0016] 所述任一摄像机的支座上设置有直线滑槽，所述任一摄像机上设置有第二锁紧件，所述第二锁紧件穿过所述直线滑槽后与所述任一摄像机进行螺纹连接，使得所述任一摄像机的支座与所述任一摄像机滑动连接。在上述具体结构中，通过第一锁紧件实现对支座的运动的控制，该第一锁紧件可以为螺栓或螺钉，相对应的支座上设置有螺纹孔，螺栓或螺钉穿过弧形滑槽后与螺纹孔连接，在需要滑动支座时，旋松螺栓或螺钉，此时，支座可以滑动，当需要锁紧时，旋紧螺栓或螺钉，在旋紧后，螺栓或螺钉的螺帽抵压在支撑板上，将支座锁紧。摄像机的滑动与锁紧的原理与上述支座的情况相同，即通过第二锁紧件实现滑动以及锁紧的控制，在此不再详细赘述。

[0017] 在一种优选的方案中，所述弧形滑槽设置有角度刻度值，和/或，所述直线滑槽设置有长度刻度值。通过在弧形滑槽上设置刻度值，方便控制支座转动的角度。同理，在直线滑槽上设置长度刻度，方便控制摄像机伸缩的距离。

[0018] 在一个具体的实施例方案中，所述任一支座包括：一端开口的筒状外壳，对称转动连接在所述筒状外壳开口端两侧的两个连接板；

[0019] 所述支撑板上设置有至少两个固定板，所述任一支座位于所述至少两个固定板中互成直角的两个固定板间隔成的空间，且所述任一支座的任一连接板与所述两个固定板中的任一固定板滑动连接并可锁定在所述任一固定板上的设定位置，通过所述任一连接板相对所述任一固定板滑动实现所述任一支座相对于所述支撑板转动。

[0020] 在具体设置时，所述摄像机阵列还包括第三紧锁件，所述固定板上设置有直线滑槽；所述任一连接板通过穿过所述直线滑槽的所述第三锁紧件与所述固定板滑动连接；

[0021] 在所述固定板两侧均有连接板时，位于所述固定板两侧的连接板通过穿过所述直线滑槽的所述第三锁紧件与所述固定板滑动连接。

[0022] 在一个更具体的实施方案中，所述支撑板与另一支撑板在靠近摄像头的一端转动连接。通过两个支撑板之间的转动连接方式，进一步的提高了对摄像机调整角度的调整，提高了摄像机采集画面的效果。

[0023] 为了方便上摄像机阵列的放置，该摄像机阵列还包括底座，所述底座上设置有支架，所述支撑板与所述支架在所述支撑板上与靠近摄像头的一端相对的另一端滑动连接，并可锁定在所述支架上的设定位置，所述另一支撑板与所述支架在所述另一支撑板上与靠近摄像头的一端相对的另一端连接，其中，所述支撑板相对所述支架滑动的方向与所述支撑板相对所述另一支撑板转动的方向相同。通过设置的支架支撑两个支撑板，且通过支架上设置的滑槽以及滑槽内的锁紧件实现对支撑板转动位置的锁定。

[0024] 为了解决上述技术问题，本发明还提供了一种摄像机阵列，该摄像机阵列包括：两个第一支撑板、两个摄像机以及两个支座，所述两个摄像机分别固定在所述两个支座内，其中，

[0025] 所述两个第一支撑板转动连接；

[0026] 所述两个支座分别与所述两个第一支撑板滑动连接并可锁定在所述两个第一支撑板上的设定位置，其中，所述两个支座中任一支座相对所述任一第一支撑板的滑动方向，与所述任一第一支撑板转动所绕的转轴平行，所述任一支座与所述任一第一支撑板滑动连接。

[0027] 在上述技术方案中，通过第一支撑板之间的转动，以及两个第一支座之间的滑动，实现对摄像机位置的调整，使得摄像机的光心共线，提高了摄像机阵列拍摄画面的效果，以及视频拼接效果。

[0028] 在一个具体的实施方案中，所述摄像机阵列还包括两个第二支撑板，所述两个第二支撑板转动连接，所述两个第二支撑板转动所绕的转轴垂直于所述两个第一支撑板转动所绕的转轴，其中，对于所述两个第二支撑板中任一第二支撑板，所述任一第一支撑板与所述任一第二支撑板滑动连接并可锁定在所述任一第二支撑板上设定位置，所述两个第一支撑板中另一第一支撑板与所述任一第二支撑板连接，其中，所述两个第一支撑板上的分别与所述任一第二支撑板连接的一端，为所述两个支撑板之间转动连接的一端的对端，所述任一第一支撑板相对所述任一第二支撑板滑动的方向与所述任一第一支撑板相对所述另一第一支撑板转动的方向相同。通过设置的第二支撑板设置，方便了摄像机的调整，实现摄像机的光心共线。

[0029] 在具体连接时，位于同一第二支撑板上的两个第一支撑板，每个第一支撑板转动连接一个第一安装板，且所述第一安装板与其连接的第一支撑板所绕的转轴与所述两个第一支撑板转动所绕的转轴平行；其中一个第一安装板与所述第二支撑板固定连接，另一个第一安装板与所述第二支撑板滑动连接并可锁定在设定位置。从而使得在两个第一支撑板相对转动时，两个第一支撑板能够与第二支撑板的第一安装板与第二支撑板平行，方便两者之间的滑动。

[0030] 在具体的滑动装配中，每个第二支撑板上设置有第一直线滑槽；所述第一滑槽的长度方向平行于所述两个第二支撑板转动连接的转轴的长度方向，所述另一个第一安装板上设置有滑动装配在所述第一直线滑槽内的锁紧件。

[0031] 每个第二支撑板转动连接一个第二安装板，且所述第二安装板与其连接的第二支撑板转动所绕的转轴与所述两个第二支撑板转动所绕的转轴平行；

[0032] 为了方便摄像机阵列的放置，所述摄像机阵列还包括固定板，所述任一第二支撑板与所述固定板滑动连接并可锁定在所述固定板上设定位置，所述两个第二支撑板中另一第二支撑板与所述固定板连接。

[0033] 在具体连接时，且其中一个第二安装板与所述固定板固定连接，另一个第二安装板与所述固定板滑动连接并可锁定在设定位置；

[0034] 所述固定板上设置有第二直线滑槽，且所述第二直线滑槽的长度方向垂直于所述两个第一支撑板转动连接的转轴的长度方向，所述另一个第二安装板上设置有滑动装配在所述第二直线滑槽内的锁紧件。

[0035] 为了方便在调整摄像机时，控制摄像机的调整幅度，在一个具体的实施方案中，所述所述任一第一支撑板上设置有长度刻度值，用于标识所述任一支座相对于所述任一第一支撑板的位置；和/或，

[0036] 所述所述任一第二支撑板上设置有长度刻度值，用于标识所述任一第一支撑板相对于所述任一第二支撑板的位置；

[0037] 和/或，

[0038] 所述所述固定板上设置有长度刻度值，用于标识所述任一第二支撑板相对于所述固定板的位置。通过设置的长度刻度值可以直观的观察各个部件的相对位置，方便调整摄像机的位置。

[0039] 为了方便放置摄像机阵列，在一个更加具体的实施方案中，该摄像机阵列，还包括三脚形支架，用于支撑摄像机阵列，摄像机阵列在设置到该三脚形支架上，可以实现绕竖直轴转动，并可以实现整体俯视以及仰视的调整。

附图说明

[0040] 图1为本发明实施例提供的摄像机阵列的俯视图；

[0041] 图2为本发明实施例提供的摄像机阵列的爆炸图；

[0042] 图3为本发明实施例提供的摄像机阵列的弧形滑槽的结构示意图；

[0043] 图4为本发明实施例提供的直线滑槽的结构示意图；

[0044] 图5为本发明另一实施例提供的摄像机阵列的侧视图；

[0045] 图6为本发明另一实施例提供的摄像机阵列的俯视图；

[0046] 图7为本发明另一实施例提供的摄像机阵列的摄像机排列示意图；

[0047] 图8为本发明另一实施例提供的摄像机阵列的支座的结构示意图；

[0048] 图9为本发明另一实施例提供的摄像机阵列的支撑板的结构示意图；

[0049] 图10为本发明另一实施例提供的摄像机阵列的底座的结构示意图；

[0050] 图11为本发明第三实施例提供的摄像机阵列的底座的结构示意图；

[0051] 图12为本发明第三实施例提供的摄像机阵列的固定板的结构示意图；

[0052] 图13为本发明第三实施例提供的摄像机阵列的第二支撑板的结构示意图；

[0053] 图14为本发明第三实施例提供的摄像机阵列的第一支撑板的结构示意图；

[0054] 图15为本发明第三实施例提供的摄像机阵列的支座的结构示意图；

[0055] 图16为本发明第三实施例提供的摄像机阵列的三脚形支架的分解示意图；

[0056] 图17为本发明实施例提供的摄像机阵列光心圆周分布状态图；

[0057] 图18为本发明实施例提供的摄像机阵列光心对齐分布状态图；

[0058] 图19为本发明实施例提供的摄像机阵列光心对齐分布状态图；

[0059] 图20为本发明实施例提供的摄像机光心位置示意图；

[0060] 图21为本发明实施例提供的摄像机的镜头示意图；

[0061] 图22为本发明实施例提供的摄像机阵列光心对齐分布状态图；

[0062] 图23为本发明实施例提供的摄像机阵列光心对齐分布状态图；

[0063] 图24为本发明实施例提供的摄像机重投影原理图；

[0064] 图25为本发明实施例提供的摄像机重投影的俯视图；

[0065] 图26为本发明实施例提供的摄像机阵列水平对齐状态图；

[0066] 图27为本发明实施例提供的摄像机依照公式25对应变换后的状态图；

[0067] 图28为本发明实施例提供的X坐标偏移序列聚类示意图。

[0068] 附图标记：

[0069] 1-支撑板   11-弧形滑槽 2-摄像机

[0070] 3-支座      31-直线滑槽  10-底座

[0071] 101-支架    1011-滑槽    20-支撑板

[0072] 201-固定板  2011-滑槽    30-支座

[0073] 301-连接板  302-外壳     40-摄像机

[0074] 100-底座    200-固定板   2001-第二直线滑槽

[0075] 300-第二支撑板 3001-第一直线滑槽 400-第二安装板

[0076] 500-第一支撑板 5001-滑槽  600-第一安装板

[0077] 700-支座    800-三角形支架

具体实施方式

[0078] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0079] 为了提高摄像机阵列在最优姿态的调整，提高控制精度。本发明实施例提供了一种摄像机阵列，方便调整摄像机阵列中的摄像机的姿态，从而利于视频配准，提高视频拼接后的效果。

[0080] 在一个具体的实施例中，如图1，图1示出了采用一维阵列的摄像机2阵列的结构示意图，该摄像机2阵列既可以采用水平放置，又可以采用竖直方向放置，下面以图1所示的采用水平方向放置为例进行说明。

[0081] 在该实施例中，摄像机2阵列包括：

[0082] 支撑板1；

[0083] 在支撑板1上的至少两个摄像机2的支座3，至少两个摄像机2的支座3中的任一支座3可相对支撑板1转动并可锁定在支撑板1上的设定位置，任一支座3转动所绕的转轴垂直于支撑板1；

[0084] 至少两个摄像机2的摄像头汇聚，且至少两个摄像机2的光心共线；其中，[0085] 至少两个摄像机2中任一摄像机2可沿任一摄像机2的光轴方向在任一摄像机2的支座3上滑动并可锁定在任一摄像机2的支座3上的设定位置。

[0086] 在上述实施例中，通过设置的支撑板1以及支座3实现了摄像机2在水平方向的转动，以及在沿摄像机2光轴方向上的滑动，从而能够实现在同一平面内的摄像机2的光线处于同一直线上的位置，提高了摄像机2采用画面在拼接后的效果。

[0087] 为了方便理解本发明实施例提供的摄像机2阵列，下面结合附图对其进行详细的说明。

[0088] 如图1及图2所示，支撑板1上设置有与任一支座3对应的弧形滑槽11，且支撑板1上的至少两个弧形滑槽11为共圆心的弧形滑槽11；任一支座3上设置有第一锁紧件，第一锁紧件穿过弧形滑槽11与任一支座3进行螺纹连接，使得支撑板1与任一支座3滑动连接；具体的，通过第一锁紧件实现对支座3的运动的控制，该第一锁紧件可以为螺栓或螺钉，相对应的支座3上设置有螺纹孔，螺栓或螺钉穿过弧形滑槽11后与螺纹孔连接，在需要滑动支座3时，旋松螺栓或螺钉，此时，支座3可以滑动，当需要锁紧时，旋紧螺栓或螺钉，在旋紧后，螺栓或螺钉的螺帽抵压在支撑板1上，将支座3锁紧。在一个具体的实施例中，当支座3的个数为奇数个时，位于中间的支座3与支撑板1采用固定连接的方式，此时，支座3上连接的第一锁紧件穿过支撑板1上的通孔后与支座3固定连接，位于中间支座3两侧的支座3均与支撑板1上对应的弧形滑槽11滑动装配，且在采用上述结构时，上述弧形滑槽11以及通孔位于同一圆周上。在上述技术方案中，为了保证支座3的调整效果，较佳的，且每个支座3对应的弧形滑槽11为两个，且支座3上设置有与每个弧形滑槽11相对应的第一锁紧件。

[0089] 此外，任一摄像机2的支座3上设置有直线滑槽31，任一摄像机2上设置有第二锁紧件，第二锁紧件穿过直线滑槽31后与任一摄像机2进行螺纹连接，使得任一摄像机2的支座3与任一摄像机2滑动连接。在上述具体结构中，摄像机2的滑动与锁紧的原理与上述支座3滑动与锁紧的情况相同，即通过第二锁紧件实现滑动以及锁紧的控制，在此不再详细赘述。

[0090] 为了方便控制摄像机2调整角度的控制，弧形滑槽11设置有角度刻度值，和/或，直线滑槽31设置有长度刻度值。通过在弧形滑槽11上设置刻度值，方便控制支座3转动的角度。同理，在直线滑槽31上设置长度刻度，方便控制摄像机2伸缩的距离。一并参考图3及图4，如图3所示，支撑板1上的弧形滑槽11设置有角度值，通过设置的角度值可以直接的观察支座3转动到的角度，即支座3在该位置时，与中心位置对应的角度，从而方便调整，如当该支座3需要位于50°时，滑动该支座3，使得支座3上对应的第一锁紧件位于弧形滑槽11上标示有50°的位置，此时，支座3的位置即为所需要调整的位置，方便了支座3的调整。同理，当摄像机2需要向外伸出3cm时，调整摄像机2上的第二锁紧件，使得第三锁紧件位于3cm所指的位置。通过上述调整实现对摄像机2位置的控制，从而使得摄像机2光心能够共线，提高摄像机2采集视频的效果，进而提高视频拼接的效果。

[0091] 为了方便理解本实施例提供的摄像机2阵列的效果，下面详细说明本实施例提供的摄像机2阵列的工作原理。

[0092] 首先需要说明的是，视频拼接是基于摄像机2阵列的一种重要应用，本实施例将以用于视频拼接为例，阐述摄像机2阵列的定位和配准。为此，首先提出用于视频拼接的摄像机2阵列最优化定位姿态和最优化配准状态定义。

[0093] 用于视频拼接的摄像机2阵列最优化定位姿态定义是：指定阵列规模和解析度情况下，阵列总视角最大化且无盲区；支持经过最优化配准方法，达到最优化配准状态。

[0094] 用于视频拼接的摄像机2阵列最优化配准状态定义是：经过全局配准，相邻摄像机2采集视频的所有对应点视差偏移的长度整体最小化、方向限制至指定方向，而目标对应点视差偏移为零。

[0095] 本实施例包括二个步骤：定位以及配准，

[0096] 其中的定位包括四个步骤：确定阵列形态、计算偏转角、定位偏转方向、定位伸缩位置，其中后二个步骤体现了本发明的关键特征。

[0097] 第一步，确定阵列形态。

[0098] 在阵列总视角不要求接近或大于180度的情况下，最优化定位姿态优选使用汇聚式阵列作为基本定位模式。所谓汇聚式阵列，是指各个摄像机2光轴在前方相交，从而视线发生交叉，以二个摄像机2为例，形成左摄像机2视野偏右，右摄像机2视野偏左的效果，与汇聚式阵列模型相对的是发散式阵列模型，前者相对后者至少有以下优势：

[0099] 一、汇聚式阵列的摄像机2视角没有浪费，如果单个摄像机2的视角为a，那么N个摄像机2的总视角可以达到Na。而发散式阵列的总视角一定小于Na；

[0100] 二、汇聚式阵列几乎没有盲区，而发散式阵列存在一定深度范围的盲区，若要求总视角越接近Na，则盲区深度范围越大；

[0101] 三、由于镜头安装在摄像机2前方，光心在摄像机2中的位置通常是偏前的。因此汇聚式阵列可以实现比发散式阵列更小的光心距离，这样才有可能实现相邻摄像机2视差偏移向量的长度最小化。

[0102] 接下来讨论更一般的情况，即空间分布为M行N列的二维阵列，记作M×N阵列。上述水平分布一维阵列，以及竖直分布一维阵列都可视为二维阵列的特殊情况，即M＝1和N＝1的情况。

[0103] 二维阵列定位有二种定位模式，一种是行优先定位模式，即先对阵列每行进行水平方向一维阵列定位，在此基础上确定各排一维阵列在竖直方向的相对位置，就完成了二维阵列定位；另一种是列优先定位模式，即先对阵列每列进行竖直方向一维阵列定位，在此基础上确定各列一维阵列在水平方向相对位置，就完成了二维阵列定位。

[0104] 以行优先定位模式为例，其过程可认为是将每行定位后的一维阵列视为单个虚拟摄像机2，再对这些虚拟摄像机2进行竖直方向定位。

[0105] 这里需要指出，摄像机2阵列中的摄像机2可以全部直立放置也可以整体侧倒放置，可以整行或整列倒立放置，等等，例如第一行摄像机2就是全部倒立放置的。但是当摄像机2侧倒放置时，其原先的水平视角、传感器水平长度等水平方向参数应视为竖直方向参数，其原先的竖直视角、传感器竖直长度等竖直方向参数应视为水平方向参数。

[0106] 第二步，确定偏转角。

[0107] 为了在不产生盲区的前提下使阵列总视角最大化，本发明提出以下方案用于确定偏转角。为简化描述，假定阵列中每个摄像机2的焦距、传感器尺寸等内部参数是相同的。

[0108] 首先确定二维阵列中第一维的偏转角。对于行优先定位模式的每一行，包括水平分布一维阵列，相邻摄像机2的水平方向偏转角应等于单个摄像机2的水平视角；对于列优先定位模式的每一列，包括竖直分布一维阵列，相邻摄像机2的竖直方向偏转角应等于单个摄像机2的竖直视角。单个摄像机2的水平视角和竖直视角的计算公式为

[0109]

[0110] 公式(1)中aX和aY是单个摄像机2的水平视角和竖直视角，sX和sY是传感器在水平方向和竖直方向的物理长度，f是镜头焦距。严格地说，公式(1)中的f应使用成像物距，但由于它难于测量，而其数值与镜头焦距非常接近，因此近似用镜头焦距代替。

[0111] 接下来确定二维阵列中第二维的偏转角。为此引入中心视角和边缘视角的概念，前述水平视角和竖直视角都是中心视角，前者是摄像机2视野上下居中处的水平视角，后者是摄像机2视野左右居中处的竖直视角。而边缘视角的计算公式是

[0112]

[0113] 公式(2)中aX'是水平边缘视角，即摄像机2视野上下边缘处的水平视角，aY'是竖直边缘视角，即摄像机2视野左右侧面处的竖直视角。

[0114] 对于行优先定位模式，若每行摄像机2个数N为奇数，则行与行之间的竖直方向偏转角应为aY，否则应为aY'；对于列优先定位模式，若每列摄像机2个数M为奇数，则列与列之间的水平方向偏转角应为aX，否则应为aX'。

[0115] 第三步，定位偏转方向。

[0116] 定位偏转方向，是在确定阵列偏转角的基础上，将阵列定位到光心圆周分布的姿态。光心圆周分布是光心紧凑圆周分布的简称，这时摄像机2等角间距排列、相邻摄像机2镜头前端恰好相抵。

[0117] 这时需要通过本装置，不但能够在光心圆周分布约束下便捷调节偏转角，而且姿态可定量读数，具体的物理实现如下。

[0118] 首先需要提供支座3，该支座3为U形支座3，方便摄像机2放置，利用摄像机2上下二端的螺孔，可将摄像机2固定于支座3中，如图2所示。其次需要在支撑板1上开通滑槽(即弧形滑槽11)，如图2。利用支座3底面的螺孔，可将支座3固定于支撑板1上。在光心圆周分布约束下，在一定参数调节范围内，U型支座3底面螺孔的运动轨迹可以计算得出，而滑槽的形状和位置即取决于该轨迹。

[0119] 已知镜头直径d和螺孔相对摄像机2自身坐标系的坐标(x0，y0)，对于给定的偏转角a，可以计算出螺孔相对于公共坐标系的坐标(x，y)。当偏转角a在限定范围内变化时，所有对应的坐标(x，y)就构成了螺孔运动轨迹。以下将分别针对1×3阵列和1×4阵列，给出坐标(x，y)的计算公式。

[0120] 首先讨论1×3摄像机2阵列，如图17。该阵列以O点为坐标原点的坐标系作为公共坐标系，将中间摄像机2镜头前端中点固定置于此点。

[0121] 对于中间摄像机2，摄像机2自身坐标系以镜头前端中点为原点，相对摄像机2向右为X正方向，向下为Y正方向。该坐标系与公共坐标系重合，因此对于摄像机2自身坐标系下定义的螺孔P(x0，y0)，计算其公共坐标(x，y)的公式为

[0122]

[0123] 当a变化时，中间摄像机2固定不动，因此(x，y)形成的轨迹是一个定点。

[0124] 对于右端摄像机2，摄像机2自身坐标系以镜头前端左顶点为原点，相对摄像机2向右为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔P(x0，y0)，计算其公共坐标(x，y)的公式为

[0125]

[0126] 公式4中l是镜头直径，当a变化时，(x，y)形成的轨迹是以右边A点为圆心的圆弧。

[0127] 对于左端摄像机2，摄像机2自身坐标系以镜头前端右顶点为原点，相对摄像机2向左为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔P(x0，y0)，计算其公共坐标(x，y)的公式同公式(4)。当a变化时，(x，y)形成的轨迹是以左边A点为圆心的圆弧。

[0128] 现在讨论1×4阵列，如图18。该阵列以点O为坐标原点的坐标系作为公共坐标系，将中间二个摄像机2镜头前端相抵点固定置于此点。

[0129] 对于中间偏右摄像机2，摄像机2自身坐标系以镜头前端左顶点为原点，相对摄像机2向右为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔P(x0，y0)，计算其公共坐标(x，y)的公式为

[0130]

[0131] 当a变化时，(x，y)形成的轨迹是以O点为圆心的圆弧。

[0132] 对于中间偏左摄像机2，摄像机2自身坐标系以镜头前端右顶点为原点，相对摄像机2向左为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔P(x0，y0)，计算其公共坐标(x，y)的公式同公式(5)。当a变化时，(x，y)形成的轨迹是以O点为圆心的圆弧。

[0133] 对于右端摄像机2，摄像机2自身坐标系以镜头前端左顶点为原点，相对摄像机2向右为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔Q(x0，y0)，计算其公共坐标(x，y)的公式为

[0134]

[0135] 当a变化时，(x，y)形成的轨迹是一种相对复杂的曲线形状。

[0136] 对于左端摄像机2，摄像机2自身坐标系以镜头前端右顶点为原点，相对摄像机2向左为X正方向，向下为Y正方向。对于摄像机2自身坐标系下定义的螺孔Q(x0，y0)，计算其公共坐标(x，y)的公式同公式(6)。当a变化时，(x，y)形成的轨迹是一种相对复杂的曲线形状。

[0137] 以上在满足光心圆周分布约束的前提下给出了螺孔的运动轨迹，它决定了滑槽的形状和位置。滑槽上应以刻度标示U型底座底面螺孔所处的位置，即摄像机2的偏转角度a，图2所示的本实施例提供的装置，在定位模块中可以将摄像机2快捷定位至所需的偏转角度a，在配准模块中可以快捷读取摄像机2所处的偏转角度a。

[0138] 第四步，定位伸缩位置。

[0139] 定位伸缩位置，是在阵列已构成光心圆周分布的基础上，沿各个摄像机2光轴方向前后移动摄像机2光心使它们呈指定分布，从而使相邻摄像机2视差偏移向量方向限制于指定方向。通常使所有摄像机2光心共面且呈规则矩阵分布，本发明称这种状态为光心对齐分布，如图19。这时对所有摄像机2采集图像进行适当的单应变换之后，左右相邻摄像机2视差偏移向量将限制于水平方向，竖直相邻摄像机2视差偏移向量将限制于竖直方向。

[0140] 定位伸缩位置可以通过在定位装置上增加沿光轴方向前后移动的自由度来实现。在这样的约束下，为达到光心对齐分布，需要计算前后移动的长度，为此需要知道摄像机2光心在摄像机2中的位置，一种实施如下。

[0141] 光心应位于镜头中轴线上，那么只需要估计光心的深度位置。如图20，一种方法是以经过传感器的光线向前汇聚位置，即点O'为光心位置，该点位于传感器向前f深度。另一种方法是以经过镜头前端的光线向后汇聚位置，即点O为光心位置。由于镜头通常不可能严格符合针孔模型，所以点O和点O'通常是不重合的，实际使用点O作为光心位置更加合理。

[0142] 当点O位置无法准确获取时，可以此准则进行估算：通过镜头前端的滤镜到达点O的光线恰好能够构成需要的视角，该视角与经过点O'到达传感器的视角相等。那么估算点O深度的公式为

[0143]

[0144] 公式7中e为估计光心位置到镜头前端的物理距离，w和h为传感器水平和竖直方向有效物理尺寸，l0为滤镜直径，通常略小于镜头直径l，如图20及图21所示。实际光心位置到镜头前端的距离可能略小于e，而不可能大于e。

[0145] 另外还可以使用摄像机2标定的方法，例如拍摄已知物理长度的物体，测量其到镜头前端的物理距离和成像像素长度，再利用成像几何原理计算得到e。

[0146] 接下来以1×3阵列为例阐述如何定位伸缩位置，即达到光心对齐分布状态。如图22为光心圆周分布状态，以中心摄像机2镜头前端中心点为原点建立坐标系，沿光轴方向向前为Y正方向。图23为光心对齐分布状态，为了达到光心对齐状态，设中间摄像机2需要沿其光轴向前移动t0，右边摄像机2需要沿其光轴向前移动t1，左边摄像机2需要沿其光轴向前移动t2。这里伸缩量t0、t1、t2数值均可正可负，若为负数表示向后移动。

[0147] 通常要求阵列移动后的光心所在平面与中间摄像机2光轴垂直，根据对称性应有t1＝t2，那么只需要计算t0和t1。显然，只要t0和t1不同时为正数，阵列就不会发生占空冲突。

[0148] 基于光心圆周分布状态，将中间摄像机2向前移动t0后，其光心Y坐标为[0149] y0＝t0-e

[0150] (8)

[0151] 基于光心圆周分布状态，将右边摄像机2向前移动t1后，其光心Y坐标为[0152]

[0153] 为达到光心对齐分布状态，只需要满足y0＝y1，即

[0154]

[0155] 只要伸缩量t0、t1满足公式10，即可达到光心对齐状态，这时对中间摄像机2采集图像不做处理，而对右边摄像机2采集图像进行适当的单应变换之后，可将这二个摄像机2的视差偏移向量限制为水平方向。

[0156] 进一步地，为了使视差偏移向量长度最小化，应使t1＝0，即右边摄像机2不做伸缩，这时左边摄像机2伸缩量应为

[0157]

[0158] 公式11给出的t0一定是正数，即中间摄像机2应向前伸缩。这样相邻摄像机2不会发生占空冲突，对于实际应用的大多数情况也不会发生视野遮挡。但是在某些内外参数情况下，仍然存在中间摄像机2将右边摄像机2视野遮挡的可能。这时中间摄像机2和右边摄像机2的伸缩量应相互配合，在满足公式10以及不发生视野遮挡的前提下，尽可能减少右边摄像机2向后伸缩长度，从而使视差偏移向量长度最小化。在实际应用中很少出现这种情况，因此本发明不给出具体公式。

[0159] 定位伸缩位置的物理实现可以通过将图2中的支座3的侧壁采用直线滑槽31，利用它可支持摄像机2沿光轴方向前后移动。滑槽上应以刻度标示摄像机2螺孔所处的位置，即摄像机2的伸缩位置t，如图2所示。其中t＝0为初始伸缩位置，前述在摄像机2自身坐标系下定义U型底座底面螺孔坐标(x0，y0)，都是相对初始伸缩位置定义的。利用这样的装置，在定位模块中可以将摄像机2快捷定位至所需的伸缩位置t，在配准模块中可以快捷读取摄像机2所处的伸缩位置t。

[0160] 定位模块变更实施方法。

[0161] 以上给出了定位偏转角度和定位伸缩位置的一类实施方法，更多具体实施方法可根据需求灵活设计，例如运动部件可以是滑槽、螺杆、铰链、轮轴等，控制方式可以是人工、电动、程控等，姿态读数可以通过刻度读取、屏幕显示、仪器测量等等。

[0162] 以上定位偏转角度和定位伸缩位置的实施例均针对一维阵列给出，这时阵列中每个摄像机2只有一个维度的偏转角度量值。以下实施例二和实施例三将针对二维阵列给出定位偏转角度和定位伸缩位置的实施例，这时阵列中每个摄像机2具有二个维度的偏转角度量值。

[0163] 以上定位偏转角度和定位伸缩位置的实施例均基于前述定义的最优化定位姿态给出，事实上可根据实际需求，对定位姿态重新定义和分解。例如用于视觉测量(深度估计)时，并不要求视差偏移长度最小化，因此最优化定位姿态必然不同于前述定义。

[0164] 定位模块抽象提炼。

[0165] 可以将偏转角度和伸缩位置抽象为空间姿态某个独立维度的量值，将滑槽等运动部件提供的功能抽象为对应某个独立维度的限位轨迹，于是将定位模块抽象提炼如下：

[0166] 对阵列各摄像机2，将其可能出现的空间姿态分解为若干独立维度的限位轨迹，各轨迹可独立定位和读数；对阵列各摄像机2，将其沿各个限位轨迹分别定位至该轨迹对应维度的所需量值，从而将各摄像机2定位至所需空间姿态。

[0167] 二、配准

[0168] 以下阐述基于摄像机2阵列最优化定位的最优化配准方法。该方法包括三个步骤：模型化校正，方向对齐，目标配准。以下将以1×3阵列为例阐述，这时方向对齐步骤将具体化为水平对齐。

[0169] 假定经过最优化阵列定位，三个摄像机2光心已共线，且该直线方向与中间摄像机2的水平方向(成像平面X方向)平行；另外，三个摄像机2的姿态可从所在的定位装置定量读出。根据本发明提出的最优化配准概念，其配准状态是：中间摄像机2采集图像无需处理，对左右摄像机2采集图像进行适当的单应变换之后，将相邻摄像机2所有对应点的视差偏移向量限制至水平方向(水平对齐)，而目标对应点的视差偏移为零(目标配准)。之所以称该状态为最优化，是因为二个摄像机2采集图像的所有对应点零视差偏移的理想状态在实际应用中几乎不可能出现，所谓最优化状态正是最接近理想且最有利于后续处理的状态。

[0170] 第一步，模型化校正。

[0171] 模型化校正，是根据最优化阵列定位之后可以便捷获取的摄像机2内外参数，以数学方法推导出左右摄像机2采集图像的初始单应变换，得到接近最优化配准的初步校正结果。该步骤完全不需要采集图像，规避了现有技术完全依赖采集图像理想程度以及局部过拟合而全局误差较大的风险，即使在不进行后续二个步骤的情况下，也已经得到可用的结果。

[0172] 模型化校正可以分为二个步骤：偏转校正和视差校正。偏转校正步骤所需要的参数有：镜头焦距f，传感器有效水平物理尺寸w，采集图像水平像素数W，采集图像竖直像素数H，相邻摄像机2水平偏转角a。视差校正步骤除上述参数外还需要的参数有：镜头直径l，光心到镜头前端的物理距离e，在光心圆周分布基础上左右摄像机2的伸缩长度t，中间摄像机2光心沿光轴方向到典型目标的物理距离估计值g。部分参数在图24中标示，其中偏转角a以向右偏转为正，向左偏转为负，即对左边摄像机2取正值，对右边摄像机2取负值，对中间摄像机2取零；伸缩长度t1以向前移动为正，向后移动为负；其余参数全部取正值。在上述参数中，f、w、W、d都很容易通过摄像机2界面或说明书获取，a、t可以从阵列所在的定位装置读取，e可以测量或估算出来(详见定位模块阐述)；g即典型深度，可以测量得到，也可以粗略估计给出，例如将系统应用于室内场景时可取5米，应用于室外场景时可取50米。

[0173] 首先进行偏转校正。偏转校正是假设摄像机2光心位置不动，在只有水平偏转运动的情况下计算由此产生的单应变换关系。在偏转校正中，像素重投影原理如图24，其俯视图如图25。图中点C为摄像机2光心，CO为阵列主光轴即中间摄像机2光轴方向，CO1为当前摄像机2光轴方向，该方向相对CO的偏转角即为a。OXY是基准成像平面S的坐标系，其方向与中间摄像机2采集图像方向一致，其原点为该图像中心点；O1X1Y1是当前摄像机2成像平面S1的坐标系，其方向与当前摄像机2采集图像方向一致，其原点为该图像中心点。向量CO和CO1的长度均为F，这里F是将焦距转化为以像素单位的结果，其计算公式是

[0174]

[0175] 在此设定之下，坐标系OXY和O1X1Y1的长度单位均为像素。

[0176] 重投影就是将当前成像平面S1上任一点P1投影到基准成像平面上得P，已知P1在坐标系O1X1Y1的坐标(x1，y1)，求P在坐标系OXY的坐标(x，y)。经过推导可得

[0177]

[0178] 公式13的变换关系可以用单应变换矩阵表达，即

[0179] P～HRP1

[0180] (14)

[0181] 公式14中符号～表示只相差一个常数因子，而变量P和P1为齐次坐标列向量，HR是由公式13得出的3×3矩阵，即

[0182]

[0183] 由于实际采集图像以其左上角而非中心点为原点，当坐标系O1X1Y1改为采集图像坐标时，需要将公式14修正为

[0184] P～HRHCP1

[0185] (16)

[0186] 公式16中

[0187]

[0188] 公式16给出了由当前采集图像到基准图像的坐标变换关系。该公式对左边、右边、中间摄像机2同样适用，只是其中用到的偏转角a值分别为正值、负值、零值。

[0189] 接下来进行视差校正。视差校正是在考虑到光心位置偏移的情况下，给出典型深度平面处的单应变换关系。首先需要计算当前摄像机2光心相对中间摄像机2光心的水平偏移物理长度，即图24中的C0C1，其计算公式为

[0190]

[0191] 公式18中d是当前摄像机2光心相对中间摄像机2光心的水平偏移，对左边摄像机2取负值，对右边摄像机2取右值。而对于中间摄像机2，取d＝0。推导可得，该偏移导致典型深度处的水平偏移像素数为

[0192]

[0193] 公式19中D以向右偏移为正，向左偏移为负，F由公式12给出，g为典型深度估计值。

[0194] 考虑视差校正，公式16将进一步被修正为

[0195] P～HDHRHCP1

[0196] (20)

[0197] 公式20中

[0198]

[0199] 而HR仍由公式15给出，HC仍由公式17给出。公式20给出了由当前采集图像到基准图像的坐标变换关系，该公式对中间、左边、右边摄像机2同样适用，若将它们分别编号为0、1、2，则公式20可改写成

[0200] P～HDiHRiHCiPi,i＝0,1,2

[0201] (22)

[0202] 由公式22可推导出，如果以中间摄像机2采集图像作为基准图像，由左边、右边摄像机2采集图像坐标变换到基准图像坐标的变换关系为

[0203] P0～(HD0HR0HC0)-1HDiHRiHCiPi,i＝1,2

[0204] (23)

[0205] 即在典型深度平面处，从左边和右边摄像机2采集图像到基准图像的单应变换矩阵分别是

[0206] Hi＝(HD0HR0HC0)-1HDiHRiHCi,i＝1,2

[0207] (24)

[0208] 公式24中HR0在单应意义上等价于单位阵，HD0为单位阵，因此公式24可等价简化为

[0209] Hi＝HC0-1HDiHRiHCi,i＝1,2

[0210] (25)

[0211] 如果公式25涉及的各参数均为准确值，且场景完全集中于典型深度平面，那么中间摄像机2采集图像作为基准图像保持不变，而对左右摄像机2采集图像以公式25分别进行单应变换之后，其变换后图像可以与基准图像理想对齐，即所有对应点的视差偏移为零。实际情况下，场景不可能完全集中于典型深度平面，因此对应点的视差偏移不可能全部为零；但可以全部限制在水平方向，即达到水平对齐状态，如图26。事实上，由于理论模型误差、摄像机2成像误差、定位装置装配误差、参数读取和测量误差等原因，以公式25分别进行单应变换之后，其实际状态如图27，通常是接近但未完全达到水平对齐，因此需要进行下一步处理。

[0212] 第二步，水平对齐。

[0213] 水平对齐步骤是在模型化校正的基础上进行调整，实现全图水平对齐的状态。水平对齐的实现方法是修正公式25，在其等号右边的最前面插入校正矩阵HA，即

[0214] Hi＝HAHC0-1HDiHRiHCi,i＝1,2

[0215] (26)

[0216] 事实上，如果将HA插入公式25的其他位置也是可行的，但是形如公式26的好处在于，它等价于先对摄像机2i(i＝1，2)采集图像上的点Pi利用公式25的Hi变换一次得到Pi'，再对Pi'利用公式26的HA变换一次得到Pi"，这样将带来计算上的便利。另外，公式26仅仅对左边和右边摄像机2采集图像进行进一步变换，而中间摄像机2采集图像仍然作为基准图像保持不变，同样是为了计算的便利，如果将三幅图像同时变换也是可行的。

[0217] 接下来需要考虑校正矩阵HA的自由度。单应矩阵一般具有8个自由度，而方案设计应针对实际情况，在自由度和约束之间作出平衡。经过分析，比较恰当的实施方式是只保留3个自由度，即均匀缩放和X、Y方向平移，这时HA形如

[0218]

[0219] 公式27中s为均匀缩放比率，u为X方向平移量，v为Y方向平移量。这里指出，在水平对齐步骤只需要考虑s和v，在目标配准步骤才需要考虑u。

[0220] 以下将以中图和右图水平对齐为例阐述水平对齐步骤的实施方法，这里中图指中间摄像机2采集图像，右图指左边摄像机2采集并以公式25变换后图像，当前状态如图28。

[0221] 首先取出来自中图和来自右图的感兴趣区域，可以是重叠区域，可以是全图，可以是由重叠区域适当向内(中图向左，右图向右)拓展得到的区域。可以对感兴趣区域进行适当处理，如滤波、增强、缩放、二值化等，如果进行了缩放等涉及坐标变换的处理，后续需要相应地进行与之配合的变换。

[0222] 然后在二个感兴趣区域检测特征点，可以使用SIFT算子、SURF算子、Harris算子等。并对来自中图和来自右图的特征点进行匹配，可以使用Brute Force、Flann等方法。

[0223] 为提高健壮性，可对匹配点对集合进行筛选。可以使用交叉检验、检测最优匹配点在备选匹配点集合中的突出性等方法，可以对匹配点对以坐标偏移允许范围等进行限制；可以从匹配点对集合抽出一系列子集，由各个子集计算出一致性参数，再取出相同参数而最显著(元素个数最多或/且一致性最强)的子集，等等。

[0224] 假设经过筛选得到N对匹配点，来自中图的记为Pn(xn，yn)，其中n＝0，1，…，N-1，如图27中黑点所示；来自右图的记为Pn'(xn'，yn')，如图27中白点所示。若利用公式27中的校正矩阵HA对右图进行变换，达到如图26的水平对齐状态，实际就是满足条件

[0225] yn＝syn'+v,n＝0,1,...,N-1

[0226] (28)

[0227] 公式28是关于s和v的线性方程组，更直观的表达为

[0228]

[0229] 该方程组当N≥2时可解，实际为提高健壮性，N应尽可能大，这时公式29构成超定线性方程组，可以用特征值分解、SVD分解、QR分解、RANSAC、Hough变换等方法求解，得到最小二乘意义或其他最优化意义的解s和v。

[0230] 将公式29解出的s和v代入公式27，其中u可取任意值，不妨暂时置为零，将由此得到的校正矩阵HA代入公式26，得到单应变换矩阵Hi(i＝1，2)。这时中间摄像机2采集图像作为基准图像保持不变，而对左右摄像机2采集图像以Hi(i＝1，2)分别进行单应变换之后，其变换后图像可以与基准图像水平对齐，即达到图26状态。

[0231] 第三步，目标配准。

[0232] 目标配准步骤是在全图水平对齐的基础上进一步调整，在目标处实现坐标对齐状态，即视差偏移为零的状态。这里目标可以是单个目标也可以是多个目标，可以是强透视也可以是弱透视的，可以是自动识别的目标也可以是人工选取的目标，甚至可以泛指整个场景。

[0233] 以下提供的实施方式仍然是以公式26对左右摄像机2采集图像分别进行单应变换，在前面步骤的基础上只需计算公式27中的u值。

[0234] 以中图和右图目标配准为例，在暂时将u置为零的情况下，来自右图的匹配点序列被公式26变换到Pn”(xn”，yn”)，其中n＝0，1，…，N-1。这时来自中图的匹配点序列仍然是Pn(xn，yn)，逐对计算匹配点对的X坐标差值，即

[0235] un＝xn-xn",n＝0,1,...,N-1

[0236] (30)

[0237] 这里un是从来自右图到来自中图的第n对匹配点对的X坐标差值，即图26中从白点到黑点的X坐标偏移。不难看出，将第n个un作为u，就是对第n对匹配点对的X坐标差值进行补偿，从而能将第n对匹配点对坐标对齐。实际应根据un序列以某种方法计算出u，比较简单的方法是取un序列的均值或中值作为u，其效果是将整个场景泛化为目标实现目标配准。

[0238] 另一种方法是对un序列进行聚类，取出最显著(元素个数最多或/且一致性最强)的子集，以其均值或中值作为u。聚类可以使用K Means等通用算法，也可以使用如下方法。

[0239] 将un序列从小到大或从大到小排序，并依次连接成曲线，如图28。在曲线中检测“台阶”，这里台阶定义是相邻元素差值不大于差分阈值、且元素个数不小于长度阈值的连续元素构成的子集，一个台阶即对应一个目标区域。例如差分阈值取0.5，长度阈值取10，则在图18中有长度分别为18和20的二个子集。接下来一种方法是取长度最大的子集，即长度为20的子集；另一种方法是取un平均绝对值最小的子集，即长度为18的子集，使用该方法的前提是目标深度估计值g足够准确。取得子集之后，以其均值或中值作为u，其效果是以该台阶对应区域为目标实现目标配准。

[0240] 配准模块变更实施方法。

[0241] 以上实施方法都在完成水平对齐的基础上再进行目标配准，另外一类方法是这二个步骤一并进行。具体方法与上文在出现公式28之前相同，而将公式28变为

[0242]

[0243] 其目的是将X方向和Y方向一并对齐，其效果是将整个场景泛化为目标实现目标配准。公式31是关于s、u、v的线性方程组，更直观的表达为

[0244]

[0245] 求解公式32构成的方程组，可以一次性完成水平对齐和目标配准，但是在视差偏移很大的情况下，该方法的健壮性(鲁棒性)不如前述方法。

[0246] 以上水平对齐和目标配准的实施方法都是基于特征的，另外一类方法是基于面积的，例如对来自相邻采集图像的感兴趣区域进行互相关运算，然后获取互相关函数的极值点，或该函数再进行二阶导数等运算后的极值点，由此计算得到配准参数。还有一类方法是利用运动目标检测、人脸检测、显著性检测、聚焦区域检测等方法，先在相邻采集图像中检测到目标，再对目标进行配准。

[0247] 以上水平对齐和目标配准的实施方法可以只得到一组配准参数，根据实际需求也可以得到多组配准参数。

[0248] 以上水平对齐和目标配准的实施方法都属于自动配准，另外一类方法是手动配准，或者手动和自动相互结合。这时需要提供相应的人机交互界面，支持用户以某种形式手动输入配准参数，并且能够看到参数实施后的配准结果，以便反复调节。手动和自动相互结合是指用户在自动配准的基准上进一步调节参数，或者在系统提供的多组备选参数中选择一组，等等。

[0249] 以上以1×3阵列为例阐述了基于摄像机2阵列最优化定位的最优化配准方法。针对其他形式的阵列，可根据本发明的思想具体实施。

[0250] 配准模块抽象提炼。

[0251] 可以将配准模块抽象提炼为：根据阵列各摄像机2各限位轨迹读数和/或其他信息，对各摄像机2进行配准。它至少包括以下二类实施方式。

[0252] 模型化校正步骤完全不需要采集视频，而且仅以此步骤亦可得到配准结果，因此可以抽象提炼为：根据各摄像机2的限位轨迹读数和内部参数，对各摄像机2进行配准。

[0253] 而模型化校正步骤加水平对齐步骤，或者模型化校正步骤加水平对齐步骤加目标配准步骤，这些方法都需要采集视频，因此可以抽象提炼为：根据各摄像机2的限位轨迹读数、内部参数、采集视频，对各摄像机2进行配准。

[0254] 三、多摄像机2系统。

[0255] 使用摄像机2阵列的系统即为多摄像机2系统，在前述最优化定位和最优化配准的基础上，本发明提出一种多摄像机2系统的设计思路。

[0256] 多摄像机2系统可以是离线的也可以是在线的，也就是说输入的原始视频和输出的全景视频即可以以视频文件或图像文件的形式存在，也可以以视频流的形式存在。该系统框架的基本流程是：装载了摄像机2阵列的最优化定位装置一方面通过阵列采集得到原始视频组合，另一方面输出姿态参数。原始视频组合和姿态参数共同经过最优化配准模块，得到配准视频组合。配准视频组合经过视频处理模块，得到输出结果。若多摄像机2系统为视频拼接系统，则视频处理可具体化为视频融合，输出结果可具体化为全景视频。

[0257] 本发明提出的多摄像机2系统在以上流程基础上可以进行变更和拓展，举例如下。

[0258] 最优化配准模块可以反馈控制摄像机2阵列。例如在最优化配准过程中计算出右图HA矩阵，通过s值控制左边摄像机2调整对焦深度，具体方法是：s>1则适当增大对焦深度，s<1则适当减小对焦深度。这时摄像机2阵列仍然持续采集视频，调整后采集的原始视频组合又送到最优化配准模块，如此持续计算和反馈调整，直到s＝1为止。

[0259] 最优化配准模块可以反馈控制最优化定位装置。例如在最优化配准过程中计算出右图HA矩阵，通过v值控制左边摄像机2调整俯仰角度，具体方法是：v>0则向上旋转适当角度，v<0则向下旋转适当角度。这时摄像机2阵列仍然持续采集视频，调整后采集的原始视频组合又送到最优化配准模块，如此持续计算和反馈调整，直到v＝0为止。

[0260] 最优化配准模块反馈控制最优化定位装置的另一个例子。在最优化配准过程中计算右图相对于中图的基础矩阵，进而得到右图相对于中图的各条极线，通过极线方向控制左边摄像机2调整伸缩位置，具体方法是：若极线向右侧汇聚则向前调整适当位置，极线向左侧汇聚则向后调整适当位置。这时摄像机2阵列仍然持续采集视频，调整后采集的原始视频组合又送到最优化配准模块，如此持续计算和反馈调整，直到极线全部为水平方向为止。

[0261] 以上反馈控制摄像机2阵列可以通过摄像机2提供的控制接口实现，反馈控制摄像机2阵列和反馈控制最优化定位装置可以通过步进电机等控制设备实现。

[0262] 最优化配准模块可以增加参数是否需要更新的判断机制，该机制可以通过人工或者自动判断。仅仅在系统初始化、手动或者自动调节了摄像机2阵列或定位装置、拍摄位置或场景本身发生变化、配准目标重新设置等情况下才需要重新计算配准参数，否则可以直接取出上次计算并保存的配准参数，而无须在每次获取视频组合时都重新计算。

[0263] 通过上述工作原理的描述，可以看出，本实施例提供的摄像机阵列还可以采用二维设置的方式。下面以具体的实施例进行详细的说明。

[0264] 如图5、图6及图7所示，图5示出了摄像机40阵列采用二维方式排列侧视图，图6为摄像机40阵列采用而为方式排列的俯视图，图7为摄像机40采用二维排列方式的示意图。

[0265] 在本实施例中，支撑板20的个数采用两个，且一个支撑板20与另一支撑板20在靠近摄像头的一端转动连接。通过两个支撑板20之间的转动连接方式，从而实现在竖直方向上对摄像机40位置的调整。下面结合具体的附图对其进行详细的说明。

[0266] 如图5及图10所示，本实施提供的摄像机阵列还包括底座10，底座10上设置有支架101，支撑板20与支架101在支撑板20上与靠近摄像头的一端相对的另一端滑动连接，并可锁定在支架101上的设定位置，另一支撑板20与支架101在另一支撑板20上与靠近摄像头的一端相对的另一端连接，其中，支撑板20相对支架101滑动的方向与支撑板20相对另一支撑板20转动的方向相同。通过设置的支架101支撑两个支撑板20，且通过支架101上设置的滑槽1011以及滑槽1011内的锁紧件实现对支撑板20转动位置的锁定。具体的，支架101上设置了竖直方向的滑槽1011以及通孔，位于下方的支撑板20与支架101固定连接，位于上方的支撑板20滑动装配在该滑槽1011内，并可沿竖直方向滑动并锁定在设定位置。通过调整位于上方的支撑板20的位置，实现对摄像机40在竖直方向位置的调整。

[0267] 一并参考图6及图8，该支座30包括一端开口的筒状外壳302，对称转动连接在筒状外壳302开口端两侧的两个连接板301；该外壳302为一端开口的筒状结构，且摄像机40插入到外壳302内固定，两个连接板301分别与外壳302开口端的两侧并与外壳302转动连接。

[0268] 一并参考图5、图6及图9，其中的两个支撑板20的一端铰接，该端位于设摄像头靠近的一端，以每个支撑板20上设置两个摄像机40为例，每个支撑板20上设置有至少两个固定板201，任一支座30位于至少两个固定板201中互成直角的两个固定板201间隔成的空间，且任一支座30的任一连接板301与两个固定板201中的任一固定板201滑动连接并可锁定在任一固定板201上的设定位置，通过任一连接板301相对任一固定板201滑动实现任一支座30相对于支撑板20转动。其安装效果如图6所示，摄像机40阵列还包括第三紧锁件，固定板
201上设置有直线滑槽2011；任一连接板301通过穿过直线滑槽2011的第三锁紧件与固定板
201滑动连接；并且在固定板201两侧均有连接板301时，位于固定板201两侧的连接板301通过穿过直线滑槽2011的第三锁紧件与固定板201滑动连接。即如图6所示中位于中间位置的固定板201，其两侧均有连接板301，第三锁紧件采用螺栓与螺母，螺栓穿过两个连接板301及滑槽2011后，与螺母连接，通过旋紧或旋松螺母实现对支座30滑动的控制。

[0269] 在水平方向需要调整时，通过调整连接板301与固定板201之间的相对位置，从而实现对支座30转动的调整，并且，依照上述描述的调整方法使得位于同一支撑板20上的摄像机40的光心处于同一直线，并且调整两个支撑板20上的摄像机40的光心处于同一平面，其效果如图19所示。之后通过上述描述的原理调整视频拼接的效果，提高视频的整体效果。

[0270] 应当理解的是，上述实施例中仅以采用每个支撑板20上设置两个摄像机40为例进行的说明，在每个支撑板20上采用三个、四个或者其他个数的摄像机40时，其原理相同，在此不再详细描述。

[0271] 另外，为了方便摄像机40的调整，本发明实施例提供了另外一种摄像机40阵列，该摄像机40阵列的定位及配准的原理与上述实施例中的定位及配准的原理相同，在此不再详细赘述。下面仅介绍本实施例提供的摄像机40阵列的结构上的变化。

[0272] 一并参考图图11～图15，上述附图给出了本实施例提供的摄像机40阵列的各个部件的结构示意图。

[0273] 本发明还提供了一种摄像机阵列，该摄像机阵列包括：两个第一支撑板500、两个摄像机以及两个支座700，两个摄像机分别固定在两个支座700内，其中，

[0274] 两个第一支撑板500转动连接；

[0275] 两个支座700分别与两个第一支撑板500滑动连接并可锁定在两个第一支撑板500上的设定位置，其中，两个支座700中任一支座700相对任一第一支撑板500的滑动方向，与任一第一支撑板500转动所绕的转轴平行，任一支座700与任一第一支撑板500滑动连接。

[0276] 在上述技术方案中，通过第一支撑板500之间的转动，以及两个第一支座700之间的滑动，实现对摄像机位置的调整，使得摄像机的光心共线，提高了摄像机阵列拍摄画面的效果，以及视频拼接效果。

[0277] 下面结合附图详细说明该摄像阵列的结构以及定位调整的原理。

[0278] 如图15所示，本实施例提供的摄像机阵列中的摄像机设置在支座700内，该支座700由一块矩形钢板折叠为长方体侧面形状，具有与摄像机正面尺寸一致的方孔，可将摄像机紧密装入。它在摄像机近光心端具有二组前后间距为d1的螺孔，即F1、G1和F2、G2。

[0279] 如图14所示，此外，本实施例提供的摄像机阵列中设置了第二支撑板300用于调整摄像机阵列在水平方向的位置，其中，位于同一第二支撑板300上的两个第一支撑板500，每个第一支撑板500转动连接一个第一安装板600，且第一安装板600与其连接的第一支撑板500所绕的转轴与两个第一支撑板500转动所绕的转轴平行；其中一个第一安装板600与第二支撑板300固定连接，另一个第一安装板600与第二支撑板300滑动连接并可锁定在设定位置。具体的，第一支撑板500用铰链连接4块相同宽度的矩形钢板，连接处可自由转动。中间二块钢板具有相同的长度，称为活动板，外侧二块钢板称为安装板。每块活动板具有一组前后间距为d1的滑槽5001，即H和I。每块连接板具有一组左右间距为d2的螺孔，即J1、J1和K1、K2。

[0280] 如图13所示，摄像机阵列还包括两个第二支撑板300，两个第二支撑板300转动连接，两个第二支撑板300转动所绕的转轴垂直于两个第一支撑板500转动所绕的转轴，其中，对于两个第二支撑板300中任一第二支撑板300，任一第一支撑板500与任一第二支撑板300滑动连接并可锁定在任一第二支撑板300上设定位置，两个第一支撑板500中另一第一支撑板500与任一第二支撑板300连接，其中，两个第一支撑板500上的分别与任一第二支撑板300连接的一端，为两个支撑板之间转动连接的一端的对端，任一第一支撑板500相对任一第二支撑板300滑动的方向与任一第一支撑板500相对另一第一支撑板500转动的方向相同。此外，第二支撑板300的两侧分别设置了第二安装板400，具体的，每个第二支撑板300上设置有第一直线滑槽3001；所述第一滑槽的长度方向平行于所述两个第二支撑板300转动连接的转轴的长度方向，所述另一个第一安装板上设置有滑动装配在所述第一直线滑槽
3001内的锁紧件。

[0281] 在具体制作时，用铰链连接4块相同宽度的矩形钢板，连接处可自由转动。中间二块钢板具有相同的长度，同样称为活动板，外侧二块钢板同样称为连接板。中间每块钢板具有一组左右间距为d2的第一直线滑槽3001，即M1和M2，另外具有一组左右间距为d2的螺孔与之对齐，即L1和L2。外侧每块钢板具有二组上下间距为d3的螺孔，即N1、N3，N2、N4和P1、Q1，P2、Q2，其中前二组左右间距为d4。另外滑槽M1或M2旁标有刻度，表示第一支撑板500二块活动板相对于完全重叠状态旋转的角度，是为竖直偏转角。

[0282] 如图12所示，该摄像机阵列设置了一个固定板200，任一第二支撑板300与固定板200滑动连接并可锁定在固定板200上设定位置，两个第二支撑板300中另一第二支撑板300与固定板200连接。

[0283] 在具体连接时，且其中一个第二安装板400与固定板200固定连接，另一个第二安装板400与固定板200滑动连接并可锁定在设定位置；

[0284] 固定板200上设置有第二直线滑槽2001，且第二直线滑槽2001的长度方向垂直于两个第一支撑板500转动连接的转轴的长度方向，另一个第二安装板400上设置有滑动装配在第二直线滑槽2001内的锁紧件。该固定板200由一块矩形钢板在中间裁出方孔，形如回字。左侧具有4个上下间距为d3、左右间距为d4矩形分布的螺孔，即R1、R2、R3、R4。右侧具有一组上下间距为d3的第二直线滑槽2001，即T和S。另外滑槽T或S旁标有刻度，表示第二支撑板300二块活动板相对于完全展平状态旋转的角度，是为水平偏转角。

[0285] 如图11所示，该固定板200固定在一个底座100上，该底座100是在回字形钢板的整体下沿和方孔下沿处，与之垂直地连接钢板U和钢板V，并使用左右各三个支撑杆加固，。其中钢板U构成底座100，钢板V构成支撑板，用于承载第二支撑板300的部分重量。

[0286] 此外，为了方便在调整摄像机时，控制摄像机的调整幅度，在一个具体的实施方案中，任一第一支撑板500上设置有长度刻度值，用于标识任一支座700相对于任一第一支撑板500的位置；和/或，

[0287] 任一第二支撑板300上设置有长度刻度值，用于标识任一第一支撑板500相对于任一第二支撑板300的位置；

[0288] 和/或，

[0289] 固定板200上设置有长度刻度值，用于标识任一第二支撑板300相对于固定板200的位置。通过设置的长度刻度值可以直观的观察各个部件的相对位置，方便调整摄像机的位置。

[0290] 为了方便放置摄像机阵列，在一个更加具体的实施方案中，如图16所示，该摄像机阵列，还包括三脚形支架800，用于支撑摄像机阵列，摄像机阵列在设置到该三脚形支架800上，可以实现绕竖直轴转动，并可以实现整体俯视以及仰视的调整。该三脚形支架与底座100连接，从而实现摄像阵列与三脚形支架之间的连接，应当理解的是，上述三脚形支架也可以应用到摄像阵列采用附图1及附图5所示的结构中。

[0291] 在具体安装时，第一步为连接第二支撑板300和结构单元E，同时定位水平偏转角。首先用螺钉分别连接N1R1、N2R2、N3R3、N4R4，将第二支撑板300左侧连接板与结构单元E左侧连接到一起。然后将二组螺孔组合P1Q1和P2Q2中的一组或二组，连接到滑槽组合S和T中的正确位置，从而将第二支撑板300右侧连接板与固定板200右侧连接到一起。正确位置应使Q1在T的下排刻度读数或Q2在T的上排刻度读数等于预期的水平偏转角，根据偏转角计算规则，该角度应等于单个摄像机的水平视角。

[0292] 第二步为连接第一支撑板500和第二支撑板300，同时定位竖直偏转角。由于第一支撑板500有二个实体，只需描述左方实体与第二支撑板300左侧活动页如何连接，对称可得右方实体与第二支撑板300右侧活动页的连接方法。首先用螺钉分别连接J1L1、J2L2，将第一支撑板500下侧连接板与第二支撑板300上侧连接到一起。然后将螺孔组合K1K2连接到滑槽组合M1M2中的正确位置，从而将第一支撑板500上侧连接板与第二支撑板300上侧连接到一起。正确位置应使K2在M2的刻度读数等于预期的竖直偏转角，根据偏转角计算规则，该角度应等于单个摄像机的竖直视角。经过前二步已完成了定位装置的角度定位。第一支撑板500的二个实体之间仍有一定空隙，对于阵列支持需要支持的所有情况，结构设计应保证二个实体不会出现试图侵入对方空间的情况。

[0293] 第三步为连接支座700和第一支撑板500。由于支座700有四个实体，只需描述支座700左上方实体与第一支撑板500左方实体上侧活动板如何连接，对称可得支座700左下方实体与第一支撑板500左方实体下侧活动页的连接方法，以及支座700右上方、右下方实体与第一支撑板500右方实体上侧、下侧活动页的连接方法。将二组螺孔组合F1G1和F2G2连接到滑槽组合H和I中的最佳位置，使支座700的最靠内顶点刚好与第二支撑板300的中轴对齐。如此连接支座700的四个实体，左上方、右上方实体将刚好在中轴处相顶，左下方、右下方实体也将刚好在中轴处相顶，那么实体组合将左右对称相顶、上下对称相连。

[0294] 完成定位装置的装配之后，安装摄像机阵列的工作非常简单。只需将摄像机的四个实体分别装入支座700的四个实体，且使摄像机前端与支座700前端对齐。这时螺孔F1G1和F2G2除了具有定位支座700的作用，还兼有紧固摄像机的作用。

[0295] 在调整时，调整两个转动连接的第一支撑板的转动角度，实现对摄像机镜头在竖直方向的位置调整，通过调整两个第二支撑板的转动角度，实现对摄像机镜头在水平方向的位置调整，此外，当需要摄像机滑动时，调整支座在第一支撑板上的位置即可实现，通过上述几个滑动调整实现对摄像机位置的调整，从而使得摄像机的光心处于共面的状态，提高摄像机采集视频的效果，进而提高视频在调节时的效果。

[0296] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。