本发明提出一种基于单应性变换的集成成像摄像机阵列标定方法，该方法包括摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程。该方法利用棋盘格标定板，对摄像机阵列中的每个摄像机分别进行标定，用于集成成像三维场景的拍摄，可以提高集成成像三维显示的成像质量。
1.一种基于单应性变换的集成成像摄像机阵列标定方法，其特征在于，该方法利用棋盘格标定板，对摄像机阵列中的每个摄像机分别进行标定，使不同摄像机的空间位置和光轴方向都达到数学上的精确标定，用于集成成像三维场景的拍摄，提高集成成像三维显示的成像质量，该方法包括摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程：摄像机单应性变换矩阵的计算过程，利用摄像机阵列拍摄棋盘格标定板，得到棋盘格角点数据，计算每个摄像机对应的单应性变换矩阵；摄像机阵列获取视差图像的校正过程，利用计算得到的摄像机单应性变换矩阵，对摄像机阵列获取的视差图像进行单应性变换，得到校正的视差图像，用于合成微图像阵列；利用摄像机阵列拍摄置于中心深度平面处的棋盘格标定板，得到棋盘格角点数据，摄像机阵列包含摄像机个数为M×N，其中水平方向包含的摄像机个数为M，垂直方向包含的摄像机个数为N，(m, n)为摄像机阵列中每个摄像机的索引，相邻摄像机之间为等间隔，且间隔为Δc，集成成像中心深度平面到摄像机阵列的距离为L，则L满足 ，其中，g为集成成像三维显示中微透镜阵列与微图像阵列之间的间隔，r为微图像阵列中每个像素的物理尺寸，在集成成像中心深度平面处放置棋盘格标定板，棋盘格标定板角点个数为J×K，其中水平方向包含的角点个数为J，垂直方向包含的角点个数为K，未标定的摄像机阵列拍摄棋盘格标定板，得到M×N幅棋盘格标定板图像，且每幅棋盘格标定板图像同样以(m, n)为索引来表示，在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，得到角点的像素坐标(xi, yi)m, n，其中，m = 0, 1, ..., M -
1，n = 0, 1, ..., N - 1，i为角点序列一维索引，i = 0, 1, ..., J×K - 1，微图像阵列分辨率为H×V，其中水平方向包含的像素个数为H，垂直方向包含的像素个数为V，摄像机阵列中的每个摄像机拍摄得到的视差图像都应校正到与摄像机阵列所在平面平行，校正第(m, n)个摄像机对应的单应性变换矩阵为Matm, n，且Matm, n表示为 ，则Matm, n满足约束方程组 ， ，
个摄像机对应的单应性变换尺度比例因子，(A, B)为经校正的视差图像的顶点坐标，其中(A0, B0) = (0, 0)，(A1, B1) = (H - 1, 0)，(A2, B2) = (H - 1, V - 1)，(A3, B3) = (0, V - 1)。
2.根据权利要求1所述的一种基于单应性变换的集成成像摄像机阵列标定方法，其特征在于，摄像机阵列获取视差图像的校正过程，使用未标定的摄像机阵列拍摄三维场景，得到三维场景的视差图像，利用计算得到的摄像机单应性变换矩阵，将三维场景的视差图像校正成适于集成成像微图像阵列合成的视差图像，第(m, n)个摄像机拍摄得到的视差图像中第x列第y行的像素记为I(x, y)m, n，对应的校正后的视差图像中第x'列第y'行的像素记为I'(x', y')m, n，则I'(x', y')m, n与I(x, y)m, n满足 ，其中，利用校正后的视差图像，合成微图
3.根据权利要求1所述的一种基于单应性变换的集成成像摄像机阵列标定方法，其特征在于，在摄像机阵列获取视差图像的校正过程中，令每个摄像机对应的单应性变换尺度比例因子sm, n = 1；当计算得到的校正后的视差图像的像素坐标x'和y'不同时满足0 ≤ x' < H和0 ≤ y' < V时，舍弃该像素，以避免溢出信息。
一种基于单应性变换的集成成像摄像机阵列标定方法
技术领域
[0001] 本发明涉及集成成像技术，特别涉及一种基于单应性变换的集成成像摄像机阵列标定方法。
背景技术
[0002] 集成成像技术分拍摄和显示两个过程：拍摄时，如附图1所示，利用摄像机阵列对三维场景不同角度的三维信息进行获取；显示时，将拍摄得到的三维信息合成微图像阵列，微图像阵列通过微透镜阵列的成像作用，根据光路可逆原理，在显示空间重建拍摄的三维场景。集成成像拍摄过程可以利用计算机虚拟摄像机阵列对三维数字模型进行拍摄，也可以利用真实摄像机阵列对真实三维场景进行拍摄。在传统集成成像摄像机阵列拍摄中，摄像机透镜难免引入图像畸变，且摄像机数目太大，不同摄像机之间的相对空间位置和光轴方向都难以做到物理上的精确标定，进而严重影响了集成成像三维显示的成像质量。
发明内容
[0003] 本发明提出一种基于单应性变换的集成成像摄像机阵列标定方法，该方法根据集成成像原理，利用棋盘格标定板，对摄像机阵列中的每个摄像机分别进行标定，使不同摄像机的空间位置和光轴方向都达到数学上的精确标定，用于集成成像三维场景的拍摄，提高集成成像三维显示的成像质量。该方法包括摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程。具体流程如附图2所示。摄像机单应性变换矩阵的计算过程，利用摄像机阵列拍摄棋盘格标定板，得到棋盘格角点数据，计算每个摄像机对应的单应性变换矩阵；摄像机阵列获取视差图像的校正过程，利用计算得到的摄像机单应性变换矩阵，对摄像机阵列获取的视差图像进行单应性变换，得到校正的视差图像，用于合成微图像阵列。
[0004] 所述摄像机单应性变换矩阵的计算过程，根据集成成像拍摄原理，利用摄像机阵列拍摄置于中心深度平面处的棋盘格标定板，得到棋盘格角点数据，计算每个摄像机对应的单应性变换矩阵。摄像机阵列包含摄像机个数为M×N（其中水平方向包含的摄像机个数为M，垂直方向包含的摄像机个数为N），假设(m, n)为摄像机阵列中每个摄像机的索引，相邻摄像机之间为等间隔，且间隔为Δc，集成成像中心深度平面到摄像机阵列的距离为L，则L满足：
[0005] （1）
[0006] 其中，g为集成成像三维显示中微透镜阵列与微图像阵列之间的间隔，r为微图像阵列中每个像素的物理尺寸。
[0007] 在集成成像中心深度平面处放置棋盘格标定板，棋盘格标定板角点个数为J×K（其中水平方向包含的角点个数为J，垂直方向包含的角点个数为K）。未标定的摄像机阵列拍摄棋盘格标定板，如附图3所示，得到M×N幅棋盘格标定板图像，且每幅棋盘格标定板图像同样以(m, n)为索引来表示。在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，得到角点的像素坐标(xi, yi)m, n，其中，m = 0, 1, ..., M-1，n = 0, 1, ..., N-1，i为角点序列一维索引，i = 0, 1, ..., J×K-1。微图像阵列分辨率为H×V（其中水平方向包含的像素个数为H，垂直方向包含的像素个数为V）。根据集成成像显示原理，摄像机阵列中的每个摄像机拍摄得到的视差图像都应校正到与摄像机阵列所在平面平行，假设校正第(m, n)个摄像机对应的单应性变换矩阵为Matm, n，且Matm, n表示为：
[0008] （2）
[0009] 则Matm, n满足约束方程组：
[0010] （3）
[0011] （4）
[0012] （5）
[0013] （6）
[0014] 其中，sm, n为第(m, n)个摄像机对应的单应性变换尺度比例因子，(A, B)为经校正的视差图像的顶点坐标，其中(A0, B0) = (0, 0)，(A1, B1) = (H-1, 0)，(A2, B2) = (H-1, V-1)，(A3, B3) = (0, V-1)。利用公式（2）-（6）即可求得第(m, n)个摄像机对应的单应性变换矩阵Matm, n。
[0015] 优选地，为了减小摄像机阵列中每个摄像机镜头引入的径向畸变与切向畸变，在集成成像摄像机阵列标定前对每个摄像机分别进行单目标定，以获得更好的拍摄效果。
[0016] 所述摄像机阵列获取视差图像的校正过程，使用未标定的摄像机阵列拍摄三维场景，得到三维场景的视差图像，利用计算得到的摄像机单应性变换矩阵，将三维场景的视差图像校正成适于集成成像微图像阵列合成的视差图像。如附图4所示，利用未标定的摄像机阵列拍摄三维场景的视差图像，假设第(m, n)个摄像机拍摄得到的视差图像中第x列第y行的像素记为I(x, y)m, n，对应的校正后的视差图像中第x'列第y'行的像素记为I'(x', y')m, n，则I'(x', y')m, n与I(x, y)m, n满足：
[0017] （7）
[0018] 其中：
[0019] （8）
[0020] 利用校正后的视差图像，合成微图像阵列，用于集成成像三维显示，如附图5所示。
[0021] 优选地，在摄像机阵列获取视差图像的校正过程中，为了方便计算，令每个摄像机对应的单应性变换尺度比例因子sm, n = 1，即忽略单应性变换尺度比例因子引入的图像等比例缩放；当根据公式（8）计算得到的校正后的视差图像的像素坐标x'和y'不同时满足0 ≤ x' < H和0 ≤ y' < V时，舍弃该像素，以避免溢出信息。
[0022] 本发明根据集成成像原理，通过摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程，使不同的摄像机的空间位置和光轴方向都达到数学上的精确标定，进而实现集成成像摄像机阵列的标定，用于集成成像三维场景的拍摄，可以提高集成成像三维显示的成像质量。
附图说明
[0023] 附图1为集成成像拍摄过程示意图
[0024] 附图2为本发明提出的一种基于单应性变换的集成成像摄像机阵列标定方法流程图
[0025] 附图3为集成成像摄像机阵列单应性变换矩阵计算过程示意图
[0026] 附图4为集成成像摄像机阵列获取视差图像校正过程示意图（a）未标定的摄像机阵列获取的视差图像（b）校正后的视差图像
[0027] 附图5为集成成像微图像阵列及局部放大图像
[0028] 上述附图中的图示标号为：
[0029] 1三维场景，2拍摄中心深度平面，3摄像机阵列，4棋盘格标定板，5棋盘格标定板图像，6棋盘格角点，7校正图像，8微图像阵列，9微图像阵列局部放大图像。
[0030] 应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
[0031] 下面详细说明本发明的一种基于单应性变换的集成成像摄像机阵列标定方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
[0032] 本发明提出一种基于单应性变换的集成成像摄像机阵列标定方法，该方法根据集成成像原理，利用棋盘格标定板，对摄像机阵列中的每个摄像机分别进行标定，使不同摄像机的空间位置和光轴方向都达到数学上的精确标定，用于集成成像三维场景的拍摄，提高集成成像三维显示的成像质量。该方法包括摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程。
[0033] 摄像机单应性变换矩阵的计算过程，根据集成成像拍摄原理，利用摄像机阵列拍摄置于中心深度平面处的棋盘格标定板，得到棋盘格角点数据，计算每个摄像机对应的单应性变换矩阵。摄像机阵列包含摄像机个数为M×N = 13×13（其中水平方向包含的摄像机个数为13，垂直方向包含的摄像机个数为13），假设(m, n)为摄像机阵列中每个摄像机的索引，相邻摄像机之间为等间隔，且间隔为Δc = 2.1mm，集成成像中心深度平面到摄像机阵列的距离为L，则L满足：
[0034] （1）
[0035] 其中，g = 3.1mm为集成成像三维显示中微透镜阵列与微图像阵列之间的间隔，r = 0.131mm为微图像阵列中每个像素的物理尺寸，可以求得L = 73.21mm。
[0036] 在集成成像中心深度平面处放置棋盘格标定板，棋盘格标定板角点个数为J×K = 13×9（其中水平方向包含的角点个数为13，垂直方向包含的角点个数为9）。未标定的摄像机阵列拍摄棋盘格标定板，如附图3所示，得到13×13幅棋盘格标定板图像，且每幅棋盘格标定板图像同样以(m, n)为索引来表示。在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，得到角点的像素坐标(xi, yi)m, n，其中，m = 0, 1, ..., 12，n = 0, 1, ..., 12，i为角点序列一维索引，i = 0, 1, ..., 116。微图像阵列分辨率为H×V = 3840×2160（其中水平方向包含的像素个数为3840，垂直方向包含的像素个数为2160）。根据集成成像显示原理，摄像机阵列中每个摄像机拍摄得到的视差图像都应校正到与摄像机阵列所在平面平行，假设校正第(m, n)个摄像机对应的单应性变换矩阵为Matm, n，且Matm, n表示为：
[0037] （2）
[0038] 则Matm, n满足约束方程组：
[0039] （3）
[0040] （4）
[0041] （5）
[0042] （6）
[0043] 其中，sm, n为第(m, n)个摄像机对应的单应性变换尺度比例因子，(A, B) 为经校正的视差图像的顶点坐标，其中(A0, B0) = (0, 0)，(A1, B1) = (3839, 0)，(A2, B2) = (3839, 2159)，(A3, B3) = (0, 2159)。利用公式（2）-（6）即可求得第(m, n)个摄像机对应的单应性变换矩阵Matm, n。本实施例中计算得到的部分单应性变换矩阵Matm, n具体如下：
[0044] ，
[0045] ，
[0046] 优选地，为了减小摄像机阵列中每个摄像机镜头引入的径向畸变与切向畸变，在集成成像摄像机阵列标定前对每个摄像机分别进行单目标定，以获得更好的拍摄效果。
[0047] 摄像机阵列获取视差图像的校正过程，使用未标定的摄像机阵列拍摄三维场景，得到三维场景的视差图像，利用计算得到的摄像机单应性变换矩阵，将三维场景的视差图像校正成适于集成成像微图像阵列合成的视差图像。如附图4所示，利用未标定的摄像机阵列拍摄三维场景的视差图像，假设第(m, n)个摄像机拍摄得到的视差图像中第x列第y行的像素记为I(x, y)m, n，对应的校正后的视差图像中第x'列第y'行的像素记为I'(x', y')m, n，则I'(x', y')m, n与I(x, y)m, n满足：
[0048] （7）
[0049] 其中：
[0050] （8）
[0051] 利用校正后的视差图像，合成微图像阵列，用于集成成像三维显示，如附图5所示。
[0052] 优选地，在摄像机阵列获取视差图像的校正过程中，为了方便计算，令每个摄像机对应的单应性变换尺度比例因子sm, n = 1，即忽略单应性变换尺度比例因子引入的图像等比例缩放；当根据公式（8）计算得到的校正后的视差图像的像素坐标x'和y'不同时满足0 ≤ x' < 3840和0 ≤ y' < 2160时，舍弃该像素，以避免溢出信息。
[0053] 本发明根据集成成像原理，通过摄像机单应性变换矩阵的计算和摄像机阵列获取视差图像的校正两个过程，使不同的摄像机的空间位置和光轴方向都达到数学上的精确标定，进而实现集成成像摄像机阵列的标定，用于集成成像三维场景的拍摄，可以提高集成成像三维显示的成像质量。
