在拼接式集成成像显示器中校正三维图像的方法和设备转让专利
申请号 : CN201310178473.6
文献号 : CN104155765A
文献日 : 2014-11-19
发明人 : 李炜明 , 周明才 , 王山东 , 焦少慧 , 洪涛 , 王海涛 , 金智渊
申请人 : 北京三星通信技术研究有限公司 , 三星电子株式会社
摘要 :
本发明提供了一种在拼接式集成成像显示器（T-IID）中校正三维图像的方法和设备，所述方法包括：使用拍摄单元在固定位置对在T-IID中的LCD上显示的结构光图像进行拍摄；使用拍摄的结构光图像对T-IID的几何模型进行标定，其中，T-IID的几何模型包括T-IID中的各个透镜阵列相应对LCD的旋转和平移参数；根据标定的T-IID的几何模型，通过模拟在T-IID中的光学成像过程，产生符合在T-IID中的光学成像过程的光线模型；使用产生的光线模型来渲染单元图像阵列（EIA）图像，从而产生能够正确显示三维图像的EIA图像。所述方法和设备可有效地去除由于成像显示单元位置对齐误差造成的三维图像失真，同时可降低对系统硬件制造精度的要求，从而削减系统制造的成本。
权利要求 :
1.一种在拼接式集成成像显示器（T-IID）中校正三维图像的方法，所述方法包括：使用拍摄单元在固定位置对在T-IID中的LCD上显示的结构光图像进行拍摄；
使用拍摄的结构光图像对T-IID的几何模型进行标定，其中，T-IID的几何模型包括T-IID中的各个透镜阵列相应对LCD的旋转和平移参数；
根据标定的T-IID的几何模型，通过模拟在T-IID中的光学成像过程，产生符合在T-IID中的光学成像过程的光线模型；
使用产生的光线模型来渲染单元图像阵列（EIA）图像，从而产生能够正确显示三维图像的EIA图像。
2.如权利要求1所述的方法，其中，对T-IID的几何模型进行标定的步骤包括：通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取主观察光线（POR）像素，其中，POR是指由拍摄单元拍摄到的穿过透镜光心的光线；
基于提取的POR像素，计算每个透镜阵列相对于LCD的旋转和平移参数。
3.如权利要求2所述的方法，其中，提取POR像素的步骤包括：（1）对拍摄的结构光图像进行解析获得LCD至拍摄单元的（LC）映射，其中，LC映射表示从LCD显示的结构光图像的像素到拍摄单元拍摄的结构光图像的像素的映射；
（2）通过使用梯度滤波器对LC映射进行滤波，来在拍摄的结构光图像上提取部分透镜的边缘；
（3）根据提取的透镜的边缘，在拍摄的结构光图像上提取第一预定数量的POR像素作为初始POR像素；
（4）基于第一预定数量的初始POR像素，根据已知的透镜阵列结构，预测另外可能的POR像素；
（5）提取预测出的可能的POR像素；
（6）确定提取的初始POR像素和可能的POR像素的数量总和是否达到第二预定数量；
（7）如果所述数量总和未达到第二预定数量，则基于第一预定数量的初始POR像素以及预测出的可能的POR像素，根据已知的透镜阵列结构，预测下一个可能的POR像素，并重复步骤（5）和（6）；
（8）如果所述数量总和达到第二预定数量，则结束提取POR像素。
4.如权利要求3所述的方法，其中，第一预定数量为3。
5.如权利要求3所述的方法，其中，第二预定数量为50。
6.如权利要求3所述的方法，其中，预测另外可能的POR像素的步骤包括：基于作为初始POR像素，根据已知的透镜阵列结构，预测一个可能的POR像素的位置；
确定以该位置为中心的搜索范围窗口；
针对所述搜索范围窗口中的每个像素，构造能量函数来确定所述每个像素成为POR像素的可能性；
在所述搜索范围窗口内选择可能性最大的POR像素作为可能的POR像素。
7.如权利要求6所述的方法，其中，所述搜索范围窗口是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.3倍。
8.如权利要求6所述的方法，其中，构造能量函数来确定所述每个像素成为POR像素的可能性的步骤包括：构造局部梯度幅值直方图作为能量函数，
使用该能量函数在所述每个像素周围的局部矩形窗口内分别对图像梯度幅度值求和，来计算所述每个像素的能量函数的值，其中，像素的能量函数的值越小，该像素是POR像素的可能性越大；
将能量函数的值最小的像素确定为可能性最大的POR像素。
9.如权利要求8所述的方法，其中，所述局部矩形窗口是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.5倍。
10.如权利要求2所述的方法，其中，计算每个透镜阵列相对于LCD的旋转和平移参数的步骤包括：将透镜阵列相对于LCD的旋转和平移参数表达为一个二维平面内的旋转和平移变换；
使用拍摄单元平面与LCD平面之间的单应性来计算拍摄单元的光心坐标；
基于所述旋转和平移变换以及拍摄单元的光心坐标，利用POR上的拍摄单元光心、透镜光心和LCD上被拍摄单元捕捉的像素点的三点共线的几何约束原理，使用最小二乘法来估计透镜阵列相对于LCD平面的旋转和平移参数G。
11.如权利要求10所述的方法，其中，将所述旋转和平移变换表示为下面的等式1其中， 和 分别表示第k个透镜阵列中的第i个透镜在LCD平面坐标系OwXYZ中的X坐标和Y坐标 和 分别表示第k个透镜阵列中的第i个透镜在透镜阵列平面坐(k) (k) (k)标系OaXYZ中的X坐标和Y坐标a 是第ｋ个透镜阵列相对于LCD的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的相对于LCD的在两个方向上的平移向量；
T
将拍摄单元的光心坐标表示为Oc=[Ox,Oy,Oz]，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X坐标、Y坐标和Z坐标；
估计透镜阵列相对于LCD平面的旋转和平移参数G的步骤包括：(i) (i)
将位于同一条POR上的三点Oc、C 和L 的关系表示为下面的关系式2其中， 和 分别表示POR在LCD平面坐标系
OwXYZ中的X坐标和Y坐标，
将关系式2表示为下面的关系式3
3，其中， 由
(i)
于Oc和L 为已知，因此关系式3中的参数为已知，通过将等式1带入关系式3，并将表示第k个透镜阵列相对于LCD的旋转和平移的量表(k) (k) (k) (k) T示为G=[cos(a ),sin(a ),tx ,ty ]，得到下面的等式4(i) (i)
通过将等式4表示为A G=D ，并结合M个POR，得到等式5：A G=D，其中，M为等于或(1) T (2) T (M) T T (1) T (2) T (M) T T大于0的整数，A=[(A ),(A ),…,(A )]，D=[(D ),(D ),…,(D )]，T -1 T
使用最小二乘估计得到等式6：G=(A A) A D，从而得到每一个透镜阵列相对于LCD的旋转和平移参数G。
12.如权利要求1所述的方法，其中，产生光线模型的步骤包括：基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数，利用已知的透镜阵列结构，计算T-IID中的每个透镜相对于LCD的位置，并将计算得到的所有透镜相对于LCD的(j) (j) (j) T (j)位置存储为集合H={H }={[s ,t ,g]}，j=1,2,…,NL，其中，H 代表第j个透镜的光心(j) (j)在LCD坐标系OwXYZ中的三维坐标，其中，s 、t 和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g；
指定观察平面，并在该观察平面中确定一个观察中心Vc；
T
建立EIA图像的像素坐标系[m,n]，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数；
T
基于EIA图像的像素坐标系[m,n]，建立EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在LCD坐标系OwXYZ中的水平方向X和垂直方向Y的位置坐标，并将S(m,n)和T(m,n)初始化为0；
(j)
针对每个透镜，基于每个透镜相对于LCD的位置H 、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，将LCD的每个像素映射到唯一一个透镜中心；
根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
13.如权利要求12所述的方法，其中，计算T-IID中的每个透镜相对于LCD的位置的步骤包括：(k) (k)
基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数G=[cos(a ),sin(a )(k) (k) T,tx ,ty ]，根据 计算T-IID中的每个透镜相对(k) (k) (k)
于LCD的位置，其中，a 是第ｋ个透镜阵列的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的(j) (j)平移向量，（x ,y ）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
14.如权利要求12所述的方法，其中，将LCD的每个像素映射到唯一一个透镜中心的步骤包括：(j)
将观察中心Vc通过一个透镜的光心H 投影到LCD平面上，以投影到LCD平面上的像素为中心设置一个局部搜索窗口；
对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q和w代(j) (j)表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；（b）如T果S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，并将当(j)前像素通过H 投影到观察平面得到点P2；
将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进行比较；
(j) (j)
如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ；
如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。
15.如权利要求14所述的方法，其中，所述局部搜索窗口是方形窗口，其边长为
1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离，即透镜直径，s是LCD的相邻像素的中心之间的距离，即一个像素的物理宽度，1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较，以将每个像素映射到最佳的唯一一个透镜中心。
说明书 :
在拼接式集成成像显示器中校正三维图像的方法和设备
技术领域
[0001] 本发明涉及一种拼接式集成成像显示器（T-IID）技术，具体地说，涉及一种通过标定T-IID模型，基于标定结果产生光线模型，并使用产生的光线模型来正确地显示三维图像的方法和设备。
背景技术
[0002] 集成成像显示（Integral imaging display:IID）是一项可以让用户裸眼观看自然的三维影像的技术，这种三维影像具有在水平和垂直方向上的连续视差变化。集成成像技术最初由法国科学家Lippmann提出，近些年来随着电子科技技术的进步，集成成像技术开始向实用化迈进。基本上，集成成像系统中包括一块高分辨率的LCD面板和一个透镜阵列。在LCD上显示二维图像，这种二维图像被称为单元图像阵列（Elemental image array:EIA）。通过透镜阵列的折射，EIA中的不同部分被折射到三维空间中的不同方向从而形成三维图像。EIA是通过使用计算机仿真穿过一个指定的观察区域中的光线，经过一个虚拟透镜阵列（透镜阵列的数学计算模型）与三维物体的数字模型的交汇过程而产生的。当这个仿真使用虚拟透镜阵列和真实使用的透镜阵列一致时，用户可以看到正确的三维图像。
[0003] 为了提供更加具有真实感的三维影像，很多实际应用希望开发大屏幕的IID系统。尽管近年来制造大屏幕LCD的技术不断进步，但是以合理的价格制造大面积高精度的透镜阵列却十分困难。因此，提出了一种实用的技术方案，即通过拼接的方式组合多块较小的透镜阵列来取得一个大面积的透镜阵列，构成拼接式集成成像显示器（Tiled Intergral imaging display:T-IID）。在T-IID中，每个透镜阵列的面积较小，从而可以用现有技术低成本高精度地制造。
[0004] 然而，T-IID中精确地拼接不同的透镜阵列是困难的，原因来源于安装器件精度的限制以及在使用过程中温度变化及机械振动造成的影响。当不同的透镜阵列之间出现对齐误差时，如果虚拟透镜阵列中没有包含这些误差，那么三维图像将发生失真。
[0005] 为了解决这个 问题，存在几种 解决方案。TOSHIBA公司的专 利(US2009/0097115A1)提出了一种三维显示装置。该专利在三维显示装置的制造过程中使用了一种自动对齐技术将透镜阵列对齐到显示面板（LCD面板）。专利（US7,834,944B2）提出了一种通过像素格子来对齐透镜面板和显示面板的方法。这些专利都针对在制造工厂里面的安装过程。当显示器出厂后在使用过程中出现误差，这些方法必须将显示器送回工厂重新进行对齐操作。
[0006] TOSHIBA公司的专利（US7633528B2，TOSHIBA）提出由用户来输入系统中的误差来提升三维图像质量。这个专利中提供了一个用户界面，由用户使用这个界面手动地输入实际系统中的误差。由于实际中的系统误差包含多个参数，这些参数相互耦合，影响三维图像的质量，没有经过训练的用户很难准确同时决定这些参数的正确数值。
[0007] 伊力诺依大学的研究论文（VRST_2010_UIllinois）中提出了一种拼接式大屏幕三维显示器REVE。REVE通过拼接若干基于柱形透镜阵列技术的三维显示器来获得大屏幕三维显示。为了纠正对齐误差，该论文提出使用一块白板，通过对齐显示器在白板上投射的彩色条纹来获取对齐误差的正确参数。这个过程需要人来观察彩色条纹是否对齐，并且需要人工决定如何调整这些参数的数值。当参数数量增多，依靠人工在参数空间中找到一个最优解是十分困难的。
[0008] 东京大学的研究论文（SIGGRAPH_2009_UTokyo）提出了一种通过摄像机的观察来自动纠正三维图像误差的方法。这种方法通过变形二维图像来纠正三维图像，不能获得系统实际误差的几何模型。此外，在高频分量丰富的EIA上进行图像变换导致三维图像细节的丢失。
[0009] 因此，需要一种使T-IID在存在位置对齐误差的情况下仍然正确地显示三维图像的有效方法和设备。
发明内容
[0010] 本发明的各方面在于至少解决上述问题，提供以下优点。本发明提供了一种在T-IID中校正三维图像的方法和设备，所述方法和设备通过对T-IID的几何模型进行标定，使用标定的几何模型产生符合光线在T-IID中的传播过程的光线模型，并使用光线模型对EIA图像进行渲染，从而产生能够正确显示三维图像的EIA图像。
[0011] 根据本发明的一方面，提供了一种在拼接式集成成像显示器（T-IID）中校正三维图像的方法，所述方法包括：使用拍摄单元在固定位置对在T-IID中的LCD上显示的结构光图像进行拍摄；使用拍摄的结构光图像对T-IID的几何模型进行标定，其中，T-IID的几何模型包括T-IID中的各个透镜阵列相应对LCD的旋转和平移参数；根据标定的T-IID的几何模型，通过模拟在T-IID中的光学成像过程，产生符合在T-IID中的光学成像过程的光线模型；使用产生的光线模型来渲染单元图像阵列（EIA）图像，从而产生能够正确显示三维图像的EIA图像。
[0012] 对T-IID的几何模型进行标定的步骤可包括：通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取主观察光线（POR）像素，其中，POR是指由拍摄单元拍摄到的穿过透镜光心的光线；基于提取的POR像素，计算每个透镜阵列相对于LCD的旋转和平移参数。
[0013] 提取POR像素的步骤可包括：（1）对拍摄的结构光图像进行解析获得LCD至拍摄单元的（LC）映射，其中，LC映射表示从LCD显示的结构光图像的像素到拍摄单元拍摄的结构光图像的像素的映射；（2）通过使用梯度滤波器对LC映射进行滤波，来在拍摄的结构光图像上提取部分透镜的边缘；（3）根据提取的透镜的边缘，在拍摄的结构光图像上提取第一预定数量的POR像素作为初始POR像素；（4）基于第一预定数量的初始POR像素，根据已知的透镜阵列结构，预测另外可能的POR像素；（5）提取预测出的可能的POR像素；（6）确定提取的初始POR像素和可能的POR像素的数量总和是否达到第二预定数量；（7）如果所述数量总和未达到第二预定数量，则基于第一预定数量的初始POR像素以及预测出的可能的POR像素，根据已知的透镜阵列结构，预测下一个可能的POR像素，并重复步骤（5）和（6）；（8）如果所述数量总和达到第二预定数量，则结束提取POR像素。
[0014] 第一预定数量可以为3。
[0015] 第二预定数量可以为50。
[0016] 预测另外可能的POR像素的步骤可包括：基于作为初始POR像素，根据已知的透镜阵列结构，预测一个可能的POR像素的位置；确定以该位置为中心的搜索范围窗口；针对所述搜索范围窗口中的每个像素，构造能量函数来确定所述每个像素成为POR像素的可能性；在所述搜索范围窗口内选择可能性最大的POR像素作为可能的POR像素。
[0017] 所述搜索范围窗口可以是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.3倍。
[0018] 构造能量函数来确定所述每个像素成为POR像素的可能性的步骤可包括：构造局部梯度幅值直方图作为能量函数，使用该能量函数在所述每个像素周围的局部矩形窗口内分别对图像梯度幅度值求和，来计算所述每个像素的能量函数的值，其中，像素的能量函数的值越小，该像素是POR像素的可能性越大；将能量函数的值最小的像素确定为可能性最大的POR像素。
[0019] 所述局部矩形窗口可以是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.5倍。
[0020] 计算每个透镜阵列相对于LCD的旋转和平移参数的步骤可包括：将透镜阵列相对于LCD的旋转和平移参数表达为一个二维平面内的旋转和平移变换；使用拍摄单元平面与LCD平面之间的单应性来计算拍摄单元的光心坐标；基于所述旋转和平移变换以及拍摄单元的光心坐标，利用POR上的拍摄单元光心、透镜光心和LCD上被拍摄单元捕捉的像素点的三点共线的几何约束原理，使用最小二乘法来估计透镜阵列相对于LCD平面的旋转和平移参数G。
[0021] 可 将 所 述 旋 转 和 平 移 变 换 表 示 为 下 面 的 等 式1 其中， 和 分别表示第k
个透镜阵列中的第i个透镜在LCD平面坐标系OwXYZ中的X坐标和Y坐标 和 分别表
(k)
示第k个透镜阵列中的第i个透镜在透镜阵列平面坐标系OaXYZ中的X坐标和Y坐标a
(k) (k)
是第ｋ个透镜阵列相对于LCD的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的相对于LCD的T
在两个方向上的平移向量；可将拍摄单元的光心坐标表示为Oc=[Ox,Oy,Oz]，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X坐标、Y坐标和Z坐标；估计透镜阵列(i)
相对于LCD平面的旋转和平移参数G的步骤可包括：将位于同一条POR上的三点Oc、C 和(i)
L 的关系表示为下面的关系式 其中， 和 分别
表示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，将关系式2表示为下面的关系式
3 3，其中， 由于Oc
(i)
和L 为已知，因此关系式3中的参数为已知，通过将等式1带入关系式3，并将表示第k个(k) (k) (k) (k) T
透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a ),sin(a ),tx ,ty ]，得到下面的等式4 通过将等式4表示为A(i)G=D(i)，并结
合M个POR，得到等式5：A G=D，其中，M为等于或大于0的整数，A=[(A(1))T,(A(2))T,…,(A(M))T]T，D=[(D(1))T,(D(2))T,…,(D(M))T]T，使用最小二乘估计得到等式6：G=(AT A)-1AT D，从而得到每一个透镜阵列相对于LCD的旋转和平移参数G。
个透镜阵列中的第i个透镜在LCD平面坐标系OwXYZ中的X坐标和Y坐标 和 分别表
(k)
示第k个透镜阵列中的第i个透镜在透镜阵列平面坐标系OaXYZ中的X坐标和Y坐标a
(k) (k)
是第ｋ个透镜阵列相对于LCD的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的相对于LCD的T
在两个方向上的平移向量；可将拍摄单元的光心坐标表示为Oc=[Ox,Oy,Oz]，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X坐标、Y坐标和Z坐标；估计透镜阵列(i)
相对于LCD平面的旋转和平移参数G的步骤可包括：将位于同一条POR上的三点Oc、C 和(i)
L 的关系表示为下面的关系式 其中， 和 分别
表示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，将关系式2表示为下面的关系式
3 3，其中， 由于Oc
(i)
和L 为已知，因此关系式3中的参数为已知，通过将等式1带入关系式3，并将表示第k个(k) (k) (k) (k) T
透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a ),sin(a ),tx ,ty ]，得到下面的等式4 通过将等式4表示为A(i)G=D(i)，并结
合M个POR，得到等式5：A G=D，其中，M为等于或大于0的整数，A=[(A(1))T,(A(2))T,…,(A(M))T]T，D=[(D(1))T,(D(2))T,…,(D(M))T]T，使用最小二乘估计得到等式6：G=(AT A)-1AT D，从而得到每一个透镜阵列相对于LCD的旋转和平移参数G。
[0022] 产生光线模型的步骤可包括：基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数，利用已知的透镜阵列结构，计算T-IID中的每个透镜相对于LCD的位置，并将计算得到的所有透镜相对于LCD的位置存储为集合H={H(j)}={[s(j),t(j),g]T}，j=1,2,…,NL，其中，H(j)代表第j个透镜的光心在LCD坐标系OwXYZ中的三维坐标，其中，s(j)、t(j)和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g；指定观察平面，并在该观察平面中确定一个观察中心Vc；建立EIA图像的像素坐标系[m,n]T，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数；基于EIA图像的像素坐标系[m,n]T，建立EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在LCD坐标系OwXYZ中的水平方向X和垂直方向Y的位置坐标，并将S(m,n)和T(m,n)初始化为0；针对每个透镜，基于每个透镜相对于LCD的位置H(j)、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，将LCD的每个像素映射到唯一一个透镜中心；根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
[0023] 计算T-IID中的每个透镜相对于LCD的位置的步骤可包括：基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数G=[cos(a(k)),sin(a(k)),tx(k),ty(k)]T，根据 计算T-IID中的每个透镜相对于LCD的位(k) (k) (k)
置，其中，a 是第ｋ个透镜阵列的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量，(j) (j)
（x ,y ）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
置，其中，a 是第ｋ个透镜阵列的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量，(j) (j)
（x ,y ）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
[0024] 将LCD的每个像素映射到唯一一个透镜中心的步骤可包括：将观察中心Vc通过一(j)个透镜的光心H 投影到LCD平面上，以投影到LCD平面上的像素为中心设置一个局部搜索窗口；对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q和w代(j) (j)
表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；（b）如果T
S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，并将当前像(j)
素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进(j) (j)
行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ；如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。
表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；（b）如果T
S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，并将当前像(j)
素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进(j) (j)
行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ；如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。
[0025] 所述局部搜索窗口可以是方形窗口，其边长为1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离，即透镜直径，s是LCD的相邻像素的中心之间的距离，即一个像素的物理宽度，1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较，以将每个像素映射到最佳的唯一一个透镜中心。
[0026] 根据本发明的另一方面，提供了一种在拼接式集成成像显示器（T-IID）中校正三维图像的设备，所述设备包括：拍摄单元，在固定位置对在T-IID中的LCD上显示的结构光图像进行拍摄；标定单元，使用拍摄的结构光图像对T-IID的几何模型进行标定，其中，T-IID的几何模型包括T-IID中的各个透镜阵列相应对LCD的旋转和平移参数；光线模型产生单元，根据标定的T-IID的几何模型，通过对光线穿过透镜阵列的传播过程进行仿真，产生符合在T-IID中的光线传播物理过程的光线模型；渲染单元，使用产生的光线模型来渲染单元图像阵列（EIA）图像，从而产生能够正确显示三维图像的EIA图像。
[0027] 标定单元可包括：POR像素提取单元，通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取主观察光线（POR）像素，其中，POR是指由拍摄单元拍摄到的穿过透镜光心的光线；透镜阵列姿态标定单元，基于提取的POR像素，计算每个透镜阵列相对于LCD的旋转和平移参数。
[0028] POR像素提取单元可包括：解析单元，对拍摄的结构光图像进行解析获得LCD至拍摄单元的（LC）映射，其中，LC映射表示从LCD显示的结构光图像的像素到拍摄单元拍摄的结构光图像的像素的映射；边缘提取单元，通过使用梯度滤波器对LC映射进行滤波，来在拍摄的结构光图像上提取部分透镜的边缘；像素提取单元，根据提取的透镜的边缘，在拍摄的结构光图像上提取第一预定数量的POR像素作为初始POR像素，或者提取预测的可能的POR像素；像素预测单元，基于第一预定数量的初始POR像素，根据已知的透镜阵列结构，预测另外可能的POR像素；像素数量判断单元，确定提取的初始POR像素和可能的POR像素的数量总和是否达到第二预定数量；像素发送单元，发送提取的初始POR像素和预测的可能的POR像素；其中，如果所述数量总和未达到第二预定数量，则像素预测单元210基于第一预定数量的初始POR像素以及预测出的可能的POR像素，根据已知的透镜阵列结构，预测下一个可能的POR像素；如果所述数量总和达到第二预定数量，则像素发送单元发送提取的初始POR像素和预测的可能的POR像素。
[0029] 第一预定数量可以为3。
[0030] 第二预定数量可以为50。
[0031] POR像素提取单元的像素预测单元预测另外可能的POR像素时，可基于作为初始POR像素，根据已知的透镜阵列结构，预测一个可能的POR像素的位置，确定以该位置为中心的搜索范围窗口，针对所述搜索范围窗口中的每个像素，构造能量函数来确定所述每个像素成为POR像素的可能性，在所述搜索范围窗口内选择可能性最大的POR像素作为可能的POR像素。
[0032] 所述搜索范围窗口可以是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.3倍。
[0033] POR像素提取单元的像素预测单元在构造能量函数来确定所述每个像素成为POR像素的可能性时，可构造局部梯度幅值直方图作为能量函数，使用该能量函数在所述每个像素周围的局部矩形窗口内分别对图像梯度幅度值求和，来计算所述每个像素的能量函数的值，其中，像素的能量函数的值越小，该像素是POR像素的可能性越大，将能量函数的值最小的像素确定为可能性最大的POR像素。
[0034] 所述局部矩形窗口可以是一个方形的图像区域，其边长是透镜直径在拍摄的结构光图像中的长度的0.5倍。
[0035] 透镜阵列姿态标定单元可包括：变换单元，将透镜阵列相对于LCD的旋转和平移参数表达为一个二维平面内的旋转和平移变换；光心计算单元，使用拍摄单元平面与LCD平面之间的单应性来计算拍摄单元的光心坐标；参数估计单元，基于所述旋转和平移变换以及拍摄单元的光心坐标，利用POR上的拍摄单元光心、透镜光心和LCD上被拍摄单元捕捉的像素点的三点共线的几何约束原理，使用最小二乘法来估计透镜阵列相对于LCD平面的旋转和平移参数G。
[0036] 变 换 单 元 可 将 所 述 旋 转 和 平 移 变 换 表 示 为 下 面 的 等 式1 其中， 和 分别表示
第k个透镜阵列中的第i个透镜在LCD平面坐标系OwXYZ中的X坐标和Y坐标 和
分别表示第k个透镜阵列中的第i个透镜在透镜阵列平面坐标系OaXYZ中的X坐标
(k) (k) (k)
和Y坐标a 是第ｋ个透镜阵列相对于LCD的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的相对于LCD的在两个方向上的平移向量；光心计算单元可将拍摄单元的光心坐标表示T
为Oc=[Ox,Oy,Oz]，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X(i) (i)
坐标、Y坐标和Z坐标；参数估计单元可将位于同一条POR上的三点Oc、C 和L 的关系表示为下面的关系式2 其中， 和 分别表
示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，将关系式2表示为下面的关系式
3 3，其中， 由于Oc
(i)
和L 为已知，因此关系式3中的参数为已知，通过将等式1带入关系式3，并将表示第k个(k) (k) (k) (k) T
透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a ),sin(a ),tx ,ty ]，得到下(i) (i)
面的等式4 通过将等式4表示为A G=D ，并结
(1) T (2) T (M)
合M个POR，得到等式5：A G=D，其中，M为等于或大于0的整数，A=[(A ),(A ),…,(A )T T (1) T (2) T (M) T T T -1 T
]，D=[(D ),(D ),…,(D )]，使用最小二乘估计得到等式6：G=(A A) A D，从而得到每一个透镜阵列相对于LCD的旋转和平移参数G。
第k个透镜阵列中的第i个透镜在LCD平面坐标系OwXYZ中的X坐标和Y坐标 和
分别表示第k个透镜阵列中的第i个透镜在透镜阵列平面坐标系OaXYZ中的X坐标
(k) (k) (k)
和Y坐标a 是第ｋ个透镜阵列相对于LCD的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的相对于LCD的在两个方向上的平移向量；光心计算单元可将拍摄单元的光心坐标表示T
为Oc=[Ox,Oy,Oz]，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X(i) (i)
坐标、Y坐标和Z坐标；参数估计单元可将位于同一条POR上的三点Oc、C 和L 的关系表示为下面的关系式2 其中， 和 分别表
示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，将关系式2表示为下面的关系式
3 3，其中， 由于Oc
(i)
和L 为已知，因此关系式3中的参数为已知，通过将等式1带入关系式3，并将表示第k个(k) (k) (k) (k) T
透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a ),sin(a ),tx ,ty ]，得到下(i) (i)
面的等式4 通过将等式4表示为A G=D ，并结
(1) T (2) T (M)
合M个POR，得到等式5：A G=D，其中，M为等于或大于0的整数，A=[(A ),(A ),…,(A )T T (1) T (2) T (M) T T T -1 T
]，D=[(D ),(D ),…,(D )]，使用最小二乘估计得到等式6：G=(A A) A D，从而得到每一个透镜阵列相对于LCD的旋转和平移参数G。
[0037] 光线模型产生单元可包括：相对位置计算单元，基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数，利用已知的透镜阵列结构，计算T-IID中的每个透镜相对于(j) (j) (j)LCD的位置，并将计算得到的所有透镜相对于LCD的位置存储为集合H={H }={[s ,t ,g]T (j)
}，j=1,2,…,NL，其中，H 代表第j个透镜的光心在LCD坐标系OwXYZ中的三维坐标，其中，(j) (j)
s 、t 和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g；观察平面指定单元，指定观察平面，并在该观察平面中T
确定一个观察中心Vc；坐标系建立单元，建立EIA图像的像素坐标系[m,n]，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数；映射T
矩阵建立单元，基于EIA图像的像素坐标系[m,n]，建立EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在LCD坐标系OwXYZ中的水平方向X和垂直方向Y的位置坐标，并将S(m,n)(j)
和T(m,n)初始化为0；映射单元，针对每个透镜，基于每个透镜相对于LCD的位置H 、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，将LCD的每个像素映射到唯一一个透镜中心；光线模型输出单元，根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
}，j=1,2,…,NL，其中，H 代表第j个透镜的光心在LCD坐标系OwXYZ中的三维坐标，其中，(j) (j)
s 、t 和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g；观察平面指定单元，指定观察平面，并在该观察平面中T
确定一个观察中心Vc；坐标系建立单元，建立EIA图像的像素坐标系[m,n]，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数；映射T
矩阵建立单元，基于EIA图像的像素坐标系[m,n]，建立EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在LCD坐标系OwXYZ中的水平方向X和垂直方向Y的位置坐标，并将S(m,n)(j)
和T(m,n)初始化为0；映射单元，针对每个透镜，基于每个透镜相对于LCD的位置H 、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，将LCD的每个像素映射到唯一一个透镜中心；光线模型输出单元，根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
[0038] 光线模型产生单元的相对位置计算单元在计算T-IID中的每个透镜相对于LCD的(k)位置时，可基于T-IID标定得到的透镜阵列相应于LCD的旋转和平移参数G=[cos(a ),sin(a(k)),tx(k),ty(k)]T，根据 计算T-IID中的每个透
镜相对于LCD的位置，其中，a(k)是第ｋ个透镜阵列的旋转角度，[tx(k),ty(k)]是第ｋ个透镜阵列的平移向量，（x(j),y(j)）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
镜相对于LCD的位置，其中，a(k)是第ｋ个透镜阵列的旋转角度，[tx(k),ty(k)]是第ｋ个透镜阵列的平移向量，（x(j),y(j)）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
[0039] 光线模型产生单元的映射单元在将LCD的每个像素映射到唯一一个透镜中心时，可将观察中心Vc通过一个透镜的光心H(j)投影到LCD平面上，以投影到LCD平面上的像素为中心设置一个局部搜索窗口；对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q和w代表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s(j)和t(j)；（b）如果S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g]T投影到观察平面得到点P1，并将当前像素通过H(j)投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进行比较如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s(j)和t(j)；如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。
[0040] 所述局部搜索窗口可以是方形窗口，其边长为1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离，即透镜直径，s是LCD的相邻像素的中心之间的距离，即一个像素的物理宽度，1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较，以将每个像素映射到最佳的唯一一个透镜中心。
[0041] 所述方法和设备可用于制作拼接式的基于集成成像技术的大屏幕三维裸眼显示器。所述方法和设备可确定多个集成成像显示单元之间精确的姿态位置变化关系，从而可有效地去除由于位置对齐误差造成的三维图像失真，同时可降低对系统硬件制造精度的要求，从而削减系统制造的成本。此外，所述方法和设备只需要使用一个拍摄单元（例如，相机）就可以在显示器应用的现场快速自动地完成。在实际使用中，当由于环境的变化或意外振动导致系统对齐误差时，可以方便地使用所述方法和设备对其进行补偿。因此，所述方法和设备提供了一种快速易用且具有高性价比的方案来维护T-IID系统工作在理想的三维显示状态。
附图说明
[0042] 通过结合附图，从实施例的下面描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：
[0043] 图1是拼接式集成成像显示器的示意图；
[0044] 图2是根据本发明的示例性实施例的在拼接式集成成像显示器（T-IID）中校正三维图像的设备的框图；
[0045] 图3是根据本发明的示例性实施例的T-IID的几何模型的示意图；
[0046] 图4是根据本发明的示例性实施例的主观察光线（POR）的示意图；
[0047] 图5是根据本发明的示例性实施例的作为初始点的POR像素的示意图；
[0048] 图6是根据本发明的示例性实施例的通过使用POR像素的几何约束来计算透镜阵列的运动的示例的示意图；
[0049] 图7是根据本发明的示例性实施例的在T-IID中的光线传播过程的示意图；
[0050] 图8是根据本发明的示例性实施例的在T-IID中校正三维图像的方法和流程图；
[0051] 图9是根据本发明的示例性实施例的提取POR像素的示例的流程图；
[0052] 图10是根据本发明的示例性实施例的计算每个透镜阵列相对于LCD的姿态的示例的流程图；
[0053] 图11是根据本发明的示例性实施例的获得光线模型的示例的流程图。
具体实施方式
[0054] 提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本发明的实施例的全面理解。包括各种特定细节以帮助理解，但这些细节仅被视为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本发明的范围和精神的情况下，可对描述于此的实施例进行各种改变和修改。此外，为了清楚和简洁，省略对公知的功能和结构的描述。
[0055] 拼接式集成成像显示器（Tiled Integral Imaging Display,T-IID）通过将若干集成成像显示单元进行拼接组合从而形成大屏幕三维显示器。如图1所示，T-IID可以是由一个大屏幕LCD面板和多个拼接的透镜阵列构成的大屏幕三维显示器。此外，T-IID中的LCD面板还可由位于同一平面且相互对齐的多个小的LCD面板构成。下面，以由一个大屏幕LCD面板和多个拼接的透镜阵列构成的T-IID为例来描述本发明。
[0056] 当T-IID中不同的集成成像显示单元之间存在位置对齐误差时，三维图像将出现失真。对于这种位置对齐误差，本发明提出通过使用一个关于T-IID的数学计算模型对其进行补偿。具体地说，本发明通过对显示在T-IID中LCD上的一系列结构光图像进行拍摄，基于拍摄的一系列结构光图像标定T-IID的几何模型，从而可高精度地自动确定不同的集成成像单元之间的位置对齐误差，并基于标定的结果产生一个关于T-IID的数学计算模型，然后在产生单元图像阵列（Elemental Image Array,EIA）时使用这个数学计算模型对EIA进行渲染，从而可在T-IID存在位置对齐误差的情况下仍然正确地显示三维图像。
[0057] 图2是根据本发明的示例性实施例的在拼接式集成成像显示器中校正三维图像的设备的框图。
[0058] 参照图2，根据本发明的示例性实施例的在拼接式集成成像显示器中校正三维图像的设备200包括：拍摄单元201、标定单元202、光线模型产生单元203、渲染单元204。
[0059] 拍摄单元201可在一个固定的位置对在T-IID中LCD上显示的一系列结构光图像进行拍摄，并将拍摄的一系列结构光图像发送到标定单元202。这里，拍摄单元201可由相机、摄像机等实现，并且不需要精确地设置其拍摄位置。拍摄单元201对一系列结构光图像进行拍摄的具体过程如下：当在T-IID上显示一幅结构光图像时，拍摄单元201对其进行拍摄；随后当在T-IID上显示另一幅结构光图像时，拍摄单元201对其进行拍摄；重复上述过程，直到拍摄单元201对所有显示的结构光图像拍摄完毕。
[0060] 标定单元202可通过一种基于计算机视觉的方法来对T-IID的几何模型进行标定。具体地说，标定单元202可使用从拍摄单元201接收到的由拍摄单元201拍摄的结构光图像，获得对T-IID的几何模式进行标定所需要的几何参数信息。
[0061] 对于T-IID来说，由于透镜阵列是透明的，因此透镜阵列的形状无法在拍摄单元201拍摄的一幅灰度或彩色图像上直接看到。为此，在本发明的实施例中，主要利用LCD像素、透镜阵列和拍摄单元像素之间的几何约束信息，而并不是像传统的标定方法一样利用图像的颜色信息来提取并利用图像特征。
[0062] 由于透镜阵列的形状参数在设计时已给定，因此，T-IDD的几何模型由各个透镜阵列的姿态确定。具体地说，如图3所示，T-IID的几何模型包括各个透镜阵列相对于LCD面板的旋转和平移参数[R1,T1,R2,T2,…,Rn,Tn]。这里，Ri是一个3×3的旋转矩阵，代表第i个透镜阵列的旋转，Ti表示第i个透镜阵列的平移向量，n是T-IID中的透镜阵列的数量。标定单元202进行标定的目的就是确定这些参数的真实数值。
[0063] 在本发明的实施例中，标定单元202提取并利用拍摄单元201拍摄到的穿过透镜光心的光线来对T-IID的几何模型进行标定。这是因为这些光线穿过透镜中心而不会改变其传播方向，具有容易使用的几何信息。因为这样的光线是由拍摄单元201观察到的穿过透镜中心的主光线，因此我们将其为主观察光线（Principal Observation Ray:POR），如图4所示。从图4中可以看出，在拍摄单元图像中对应于POR的像素是透镜图像的中心像素。
[0064] 在本发明的实施例中，标定单元202可基于从拍摄单元201接收到的结构光图像，建立一个从LCD显示的结构光图像的像素（以下，称为LCD像素）到拍摄单元拍摄的结构光图像的像素（以下，称为拍摄单元像素）的稠密映射（以下，称为LC映射）。LC映射指的是每个拍摄单元像素到相应的LCD像素的映射。也就是说，每个拍摄单元像素可对应到三维空间中的一条光线，该光线经过透镜阵列中的某个透镜的折射后与LCD中的一个像素相交，该拍摄单元像素则与LCD中的该像素相应，形成一对映射。随后，标定单元202通过从LC映射上检测数值突变的位置来提取透镜的边缘。随后，标定单元202根据提取的每个透镜的边缘检测透镜的中心位置，并根据检测的透镜的中心位置来提取POR像素和预测POR像素。最后，标定单元202基于POR像素的几何约束，计算出透镜阵列相对于LCD面板的旋转和平移。
[0065] 具体地，标定单元202可包括POR像素提取单元205和透镜阵列姿态标定单元206。
[0066] POR像素提取单元205通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取POR像素。根据本发明的实施例，POR像素提取单元205可包括解析单元207（未示出）、边缘提取单元208（未示出）、像素提取单元209（未示出）、像素预测单元210（未示出）、像素数量判断单元211（未示出）、像素发送单元212（未示出）。
[0067] 具体地，首先，POR像素提取单元205的解析单元207对从拍摄单元201接收到的结构光图像进行解析获得LC映射。
[0068] 随后，POR像素提取单元205的边缘提取单元208可通过使用一个梯度滤波器对LC映射进行滤波，在拍摄的结构光图像上提取部分透镜的边缘。这里，由于需要提取全部透镜的边缘才能够确定所有POR像素，比较麻烦，因此为了提高提取POR像素的效率，仅提取部分透镜的边缘来确定预定数量的POR像素。然后基于提取的预定数量的POR像素，根据已知的透镜阵列结构来预测另外可能的POR像素。
[0069] 随后，POR像素提取单元205的像素提取单元209可根据提取的部分透镜的边缘，在拍摄的结构光图像上提取第一预定数量的POR像素作为初始POR像素，并保存作为初始POR像素。这些初始POR像素可以手动给定，也可以通过使用一个检测器（未示出）自动检测出来。这些初始POR像素不需要具有很高的位置精度，因此POR像素提取单元205的像素提取单元209容易实现提取初始POR像素。
[0070] 例如，对于一个透镜阵列，可提供三个POR像素作为初始POR像素，也就是说，第一预定数量可以为3。其中，一个初始POR像素位于透镜阵列的一个角落的透镜上，另外两个初始POR像素与其相邻，且它们与第一个初始POR像素的连线方向分别提供了透镜阵列的两个边的方向。如图5所示，POR像素POR_a、POR_b和POR_c可以作为初始POR像素。
[0071] 随后，POR像素提取单元205的像素预测单元210基于作为初始POR像素，根据已知的透镜阵列结构，预测另外可能的POR像素。这里，已知的透镜阵列结构可包括透镜形状、透镜尺寸、透镜阵列排列方式等。
[0072] 具体地说，POR像素提取单元205的像素预测单元210可基于作为初始POR像素，根据已知的透镜阵列结构，预测一个可能的POR像素的位置，并以该位置为中心确定一个搜索范围窗口，在这个搜索范围窗口中的每个像素位置，构造一个能量函数来确定所述每个像素成为POR像素的可能性，并选择可能性最大的POR像素作为可能的POR像素。其中，所述搜索范围窗口可以是一个方形的图像区域，其边长可以是透镜直径在拍摄的结构光图像中的长度的0.3倍，但本发明不限于此。
[0073] 例如，POR像素提取单元205的像素预测单元210可构造局部梯度幅值直方图作为能量函数，其中，该能量函数在每个像素周围的局部矩形窗口内分别对图像梯度幅度值求和，其中，所述局部矩形窗口可以是一个方形的图像区域，其边长可以是透镜直径在结构光图像中的长度的0.5倍。像素的能量函数的值越小，该像素是POR像素的可能性最大。因此，POR像素提取单元205可将能量函数的值最小的像素确定为可能性最大的POR像素。
[0074] 随后，POR像素提取单元205的像素提取单元209提取预测出的可能的POR像素，并保存可能的POR像素。
[0075] 随后，POR像素提取单元205的像素数量判断单元211确定初始POR像素和预测的可能的POR像素的数量总和是否达到第二预定数量。其中，第二预定数量可以根据经验来设置。提取POR像素是为了标定透镜阵列的姿态（即，透镜阵列相对于LCD的旋转和平移参数），通常提取两个POR像素就可以求得透镜阵列的姿态，但为了减小噪声的影响并提高计算精度，需要更多的POR像素。根据实践经验，第二预定数量可被设置为50，这是因为使用超过50个POR像素来标定透镜阵列的姿态对于提高精度的作用很小。
[0076] 如果POR像素的数量总和达到预定数量，则POR像素提取单元205的像素发送单元212将初始POR像素和预测的可能的POR像素发送到透镜阵列姿态标定单元206。如果POR像素的数量总和未达到预定数量，则POR像素提取单元205的像素预测单元210基于第一预定数量的初始POR像素以及预测出的可能的POR像素，根据已知的透镜阵列结构，预测下一个可能的POR像素，直到POR像素的数量达到预定数量。
[0077] 透镜阵列姿态标定单元206基于从POR像素提取单元205接收到的POR像素，计算每个透镜阵列相对于LCD的姿态，其中，所述姿态包括透镜阵列的旋转和平移参数。根据本发明的实施例，透镜阵列姿态标定单元206可包括变换单元213（未示出）、光心计算单元214（未示出）、参数估计单元215（未示出）。
[0078] 具体地，通过参照图6来描述根据本发明的示例性实施例的通过使用POR像素的几何约束来计算透镜阵列的姿态。如图6所示，对于LCD平面、透镜阵列平面、拍摄单元图像平面，分别设置三个坐标系，即世界坐标系OwXYZ、透镜阵列坐标系OaXYZ以及拍摄单元坐标系OcXYZ。对于第k个透镜阵列中的第i个透镜，在OwXYZ中将其表示为其中， 分别表示第k个透镜阵列中的第i个透镜在OwXYZ中的X坐标、Y坐
标和Z坐标，由于第k个透镜阵列到LCD的距离是固定的，因此 为固定值，在OaXYZ中将其表示 其中， 分别表示第k个透镜阵列中的第i个
透镜在OaXYZ中的X坐标、Y坐标和Z坐标，由于第k个透镜阵列在透镜阵列平面上，因此为0。从而，透镜阵列姿态标定单元206的变换单元213可将其在OwXYZ和OaXYZ之间的旋转和平移表示一个二维平面内的旋转和平移变换，如等式（1）所示：
标和Z坐标，由于第k个透镜阵列到LCD的距离是固定的，因此 为固定值，在OaXYZ中将其表示 其中， 分别表示第k个透镜阵列中的第i个
透镜在OaXYZ中的X坐标、Y坐标和Z坐标，由于第k个透镜阵列在透镜阵列平面上，因此为0。从而，透镜阵列姿态标定单元206的变换单元213可将其在OwXYZ和OaXYZ之间的旋转和平移表示一个二维平面内的旋转和平移变换，如等式（1）所示：
[0079]
[0080] 其中，a(k)是第ｋ个透镜阵列相对于LCD的旋转角度，[tx(k),ty(k)]是第ｋ个透镜阵(i)列相对于LCD的在两个方向上的平移向量。这里，Cz 可以为g，g是透镜的光心与LCD平面之间的距离，是一个已知量。
[0081] 随后，透镜阵列姿态标定单元206的光心计算单元214可使用拍摄单元平面与LCD平面之间的单应性来计算拍摄单元的光心坐标。
[0082] 具体地说，如图6所示，这里，LCD实际上可以看作一个可以通过软件控制其图案(i) (i)的平面标定物。POR从LCD上的像素L 发出，经过一个透镜的光心C ，最终由拍摄单元在(i)
像素I 处捕捉。在本发明的示例性实施例中，通过结构光技术获得LCD和拍摄单元的像(i) (i) (i) (i)
素之间的对应关系，并将其表示为一个对应点对{L ,I }，其中，L 和I 分别表示一条POR在LCD平面和拍摄图像平面上的点。对于一定数量的POR，可以得到一组对应点对的集合。透镜阵列姿态标定单元206基于这样的集合，利用平面单应（planar homography）的性质，可以计算得到拍摄单元相对于LCD平面的旋转Rc和平移Tc。透镜阵列姿态标定单元T
206可通过计算旋转Rc和平移Tc，来计算拍摄单元201的光心的坐标Oc=[Ox,Oy,Oz]，其中，Ox、Oy和Oz分别表示拍摄单元的光心在拍摄单元坐标系OcXYZ中的X坐标、Y坐标和Z坐标。
像素I 处捕捉。在本发明的示例性实施例中，通过结构光技术获得LCD和拍摄单元的像(i) (i) (i) (i)
素之间的对应关系，并将其表示为一个对应点对{L ,I }，其中，L 和I 分别表示一条POR在LCD平面和拍摄图像平面上的点。对于一定数量的POR，可以得到一组对应点对的集合。透镜阵列姿态标定单元206基于这样的集合，利用平面单应（planar homography）的性质，可以计算得到拍摄单元相对于LCD平面的旋转Rc和平移Tc。透镜阵列姿态标定单元T
206可通过计算旋转Rc和平移Tc，来计算拍摄单元201的光心的坐标Oc=[Ox,Oy,Oz]，其中，Ox、Oy和Oz分别表示拍摄单元的光心在拍摄单元坐标系OcXYZ中的X坐标、Y坐标和Z坐标。
[0083] 透镜阵列姿态标定单元206的参数估计单元215可基于所述旋转和平移变换以及拍摄单元的光心坐标，利用POR上的拍摄单元光心、透镜光心和LCD上被拍摄单元捕捉的像素点的三点共线的几何约束原理，使用最小二乘法来估计透镜阵列相对于LCD平面的旋转和平移参数G。
[0084] 具体地说，位于同一条POR上的三点Oc、C(i)和L(i)满足以下关系式（2）所示的关系：
[0085]
[0086] 其中， 和 分别表示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，关系式（2）可以表示为：
[0087]
[0088] 其中， 由于Oc和L(i)为已知，因此关系式（3）中的参数为已知。
[0089] 把等式（1）带入关系式（3），并且可将表示第k个透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a(k)),sin(a(k)),tx(k),ty(k)]T，其中，从而可以得到以下的等式（4）：
[0090]
[0091] 可将等式（4）表示为：A(i)G=D(i)，并结合M个POR（M为等于或大于0的整数），可得到等式（5）：
[0092] A G=D (5)
[0093] 其中，A=[(A(1))T,(A(2))T,…,(A(M))T]T，D=[(D(1))T,(D(2))T,…,(D(M))T]T。
[0094] 这样，可使用最小二乘估计得到表示第k个透镜阵列相对于LCD的旋转和平移的量G：
[0095] G=(AT A)-1AT D (6)
[0096] 透镜阵列姿态标定单元206可通过上面的算法，得到每一个透镜阵列相对于LCD的姿态。
[0097] 返回参照图2，标定单元202确定每一个透镜阵列相对于LCD的姿态（即，每一个透镜阵列相对于LCD的旋转和平移参数）之后，即，完成标定T-IID的几何模型之后，将标定的T-IID的几何模型发送到光线模型产生单元203。
[0098] 光线模型产生单元203根据标定的T-IID的几何模型，通过模拟在T-IID中的光学成像过程，获得符合真实的在T-IID中的光学成像过程的光线模型。
[0099] 具体地，如图7所示，光线模型产生单元203将LCD中的每个像素映射到唯一一个透镜中心，从而由每个LCD像素中心与其对应的透镜中心形成的射线可代表该LCD像素所对应的光线，所有的LCD像素所对应的光线的集合就构成了T-IID的光线模型。下面，通过参照图7中所示的在T-IID中的光线传播过程来描述光线模型产生单元203通过对光线穿过透镜阵列的传播过程的仿真来产生光线模型的示例。根据本发明的实施例，光线模型产生单元203可包括相对位置计算单元216（未示出）、观察平面指定单元217（未示出）、坐标系建立单元218（未示出）、映射矩阵建立单元219（未示出）、映射单元220（未示出）、光线模型输出单元221（未示出）。
[0100] 参照图7，首先，光线模型产生单元203的相对位置计算单元216基于T-IID标定得到的透镜阵列相应于LCD的姿态参数（即，透镜阵列相应于LCD的旋转参数和平移参数），利用已知的透镜阵列结构，计算T-IID中的每个透镜相对于LCD的位置，并将计算得到的所(j) (j) (j) T (j)有透镜相对于LCD的位置存储为集合H={H }={[s ,t ,g]}，j=1,2,…,NL，其中，H 代表(j) (j)
第j个透镜的光心在LCD的三维世界坐标系Ow-XwYwZw中的三维坐标,其中，s 、t 和g分别代表第j个透镜的光心在LCD的Ow-XwYwZw中的Xw坐标、Yw坐标和Zw坐标，NL代表透镜的数量。因为透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g（由透镜阵列的设计已知）。
第j个透镜的光心在LCD的三维世界坐标系Ow-XwYwZw中的三维坐标,其中，s 、t 和g分别代表第j个透镜的光心在LCD的Ow-XwYwZw中的Xw坐标、Yw坐标和Zw坐标，NL代表透镜的数量。因为透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g（由透镜阵列的设计已知）。
[0101] 例如，由已知的透镜阵列结构可知透镜阵列中的第j个透镜的光心在该透镜阵列(j) (j)的二维光心平面中的位置为（x ,y ）。又假设该透镜阵列是第k个透镜阵列，则光线模型(k)
产生单元203的相对位置计算单元216由标定得到的该透镜阵列的姿态参数G=[cos(a ),sin(a(k)),tx(k),ty(k)]T可计算得到： 从而可得到
第k个透镜阵列的第t个透镜相应于LCD的位置。
产生单元203的相对位置计算单元216由标定得到的该透镜阵列的姿态参数G=[cos(a ),sin(a(k)),tx(k),ty(k)]T可计算得到： 从而可得到
第k个透镜阵列的第t个透镜相应于LCD的位置。
[0102] 随后，光线模型产生单元203的观察平面指定单元217指定观察平面，并在该观察平面中确定一个观察中心Vc。通常，观察距离D为经验值，观察中心Vc为LCD平面的中心垂线到观察平面的交点。
[0103] 随后，光线模型产生单元203的坐标系建立单元218建立一个EIA图像的像素坐T标系[m,n]，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数。
[0104] 随后，光线模型产生单元203的映射矩阵建立单元219基于EIA图像的像素坐标T系[m,n]，建立一个EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在Ow-XwYwZw坐标系中的水平方向Xw和垂直方向Yw的位置坐标，S(m,n)和T(m,n)可被初始化为0。
[0105] 随后，光线模型产生单元203的映射单元220针对每个透镜，基于每个透镜相对于(j)LCD的位置H 、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，将LCD的每个像素映射到唯一一个透镜中心。
[0106] 具体地说，对于集合H中的每个透镜，光线模型产生单元203的映射单元220执行LCD的像素与透镜中心的映射。其具体操作如下：将观察中心Vc通过一个透镜的光心(j)（例如，H ）投影到LCD平面上，以投影到LCD平面上的像素为中心设置一个局部搜索窗口；
对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q和w代表(j) (j)
像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；（b）如果T
S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，并将当前像(j)
素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进(j) (j)
行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ，如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。其中，局部搜索窗口可以是方形窗口，其边长可以为
1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离（即，透镜直径），s是LCD的相邻像素的中心之间的距离（即，一个像素的物理宽度），1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而可对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较以将每个像素映射到最佳的唯一一个透镜中心。
对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q和w代表(j) (j)
像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；（b）如果T
S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，并将当前像(j)
素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距离|VcP2|进(j) (j)
行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ，如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。其中，局部搜索窗口可以是方形窗口，其边长可以为
1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离（即，透镜直径），s是LCD的相邻像素的中心之间的距离（即，一个像素的物理宽度），1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而可对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较以将每个像素映射到最佳的唯一一个透镜中心。
[0107] 随后，光线模型产生单元203的光线模型输出单元221根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型
{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
[0108] 返回参照图2，光线模型产生单元203将产生的光线模型发送到渲染单元204。渲染单元204使用从光线模型产生单元203接收到的光线模型来渲染EIA图像，从而产生能够正确显示三维图像的EIA图像。
[0109] 具体地说，渲染单元204针对EIA中的每个像素，根据光线模型找到像素在三维空间中对应的光线，对于一个虚拟物体的数字模型，可求取该光线和该数字模型的交点，根据计算机图形学技术，根据光源和物体的材质，可计算出该交点处的物体表面沿着该光线能够观察到的颜色值，并将这个颜色值赋值给该EIA像素。渲染单元204对EIA中的每个像素执行上述操作以完成渲染。
[0110] 图8是根据本发明的示例性实施例的在T-IID中校正三维图像的方法和流程图。
[0111] 参照图8，在步骤801，拍摄单元201可在一个固定的位置对在T-IID中的LCD上显示的一系列结构光图像进行拍摄并将拍摄的一系列结构光图像发送到标定单元202。
[0112] 在步骤802，标定单元202可使用从拍摄单元201接收到的由拍摄单元201拍摄的结构光图像，对T-IID的几何模型进行标定。
[0113] 在本发明的实施例中，首先，标定单元202的POR像素提取单元205通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取POR像素，并将提取到的POR像素发送到标定单元202的透镜阵列姿态标定单元206。稍后，将参照图4和9详细描述根据本发明的示例性实施例的提取POR像素的过程。
[0114] 随后，透镜阵列姿态标定单元206基于从POR像素提取单元205接收到的POR像素，计算每个透镜阵列相对于LCD的姿态（即，透镜阵列的旋转和平移）。稍后，将参照图6和图10详细描述根据本发明的示例性实施例的计算每个透镜阵列相对于LCD的姿态的过程。
[0115] 标定单元202确定每一个透镜阵列相对于LCD的姿态之后，即，完成标定T-IID的几何模型之后，将标定的T-IID的几何模型发送到光线模型产生单元203。
[0116] 在步骤803，光线模型产生单元203根据标定的T-IID的几何模型，通过模拟在T-IID中的光学成像过程，获得符合真实的在T-IID中的光学成像过程的光线模型，并将获得的光线模型发送到渲染单元204。稍后，将通过参照图7和11详细描述根据本发明的示例性实施例的通过对光线穿过透镜阵列的传播过程进行仿真来获得光线型的过程。
[0117] 在步骤804，渲染单元204使用从光线模型产生单元203接收到的光线模型，通过计算机图形学中的光线跟踪技术来渲染EIA图像，从而产生能够正确显示三维图像的EIA图像。
[0118] 图9是根据本发明的示例性实施例的提取POR像素的示例的流程图。
[0119] 标定单元202的POR像素提取单元205可通过将基于透镜阵列结构的预测和基于几何特征的细化相结合的方法来提取POR像素。
[0120] 具体地，在步骤901，POR像素提取单元205的解析单元207对从拍摄单元201接收到的结构光图像进行解析获得LC映射。
[0121] 在步骤902，POR像素提取单元205的边缘提取单元208可通过使用一个梯度滤波器对LC映射进行滤波，在拍摄的结构光图像上提取每个透镜的边缘。
[0122] 在步骤903，POR像素提取单元205的像素提取单元209可根据提取的透镜的边缘，在拍摄的结构光图像上提取第一预定数量的POR像素作为初始POR像素，并保存作为初始POR像素。这些初始POR像素可以手动给定，也可以通过使用一个检测器（未示出）自动检测出来。这些初始POR像素不需要具有很高的位置精度，因此POR像素提取单元205的像素提取单元209容易实现提取初始POR像素。
[0123] 例如，对于一个透镜阵列，可提供三个POR像素作为初始POR像素，也就是说，第一预定数量可以为3。其中，一个初始POR像素位于透镜阵列的一个角落的透镜上，另外两个初始POR像素与其相邻，且它们与第一个初始POR像素的连线方向分别提供了透镜阵列的两个边的方向。
[0124] 在步骤904，POR像素提取单元205的像素预测单元210基于作为初始POR像素，根据已知的透镜阵列结构，预测另外可能的POR像素。这里，已知的透镜阵列结构可包括透镜形状、透镜尺寸、透镜阵列排列方式等。
[0125] 具体地说，POR像素提取单元205的像素预测单元210可基于作为初始点的POR像素，根据已知的透镜阵列结构，预测一个可能的POR像素的位置，并以该位置为中心确定一个搜索范围窗口，在这个搜索范围窗口中的每个像素位置，构造一个能量函数来确定所述每个像素成为POR像素的可能性，并选择可能性最大的POR像素作为可能的POR像素。其中，所述搜索范围窗口可以是一个方形的图像区域，其边长可以是透镜直径在结构光图像中的长度的0.3倍，但本发明不限于此。
[0126] 例如，POR像素提取单元205的像素预测单元210可构造局部梯度幅值直方图作为能量函数，其中，该能量函数在每个像素周围的局部矩形窗口内分别对图像梯度幅度值求和，其中，所述局部矩形窗口可以是一个方形的图像区域，其边长可以是透镜直径在结构光图像中的长度的0.5倍。像素的能量函数的值越小，该像素是POR像素的可能性最大。因此，POR像素提取单元205可将能量函数的值最小的像素确定为可能性最大的POR像素。
[0127] 在步骤905，POR像素提取单元205的像素提取单元209提取预测出的可能的POR像素，并保存可能的POR像素。
[0128] 在步骤906，POR像素提取单元205的像素数量判断单元211确定初始POR像素和预测的可能的POR像素的数量总和是否达到第二预定数量。
[0129] 其中，第二预定数量可以根据经验来设置。提取POR像素是为了标定透镜阵列的姿态，通常提取两个POR像素就可以求得透镜阵列的姿态（即，透镜阵列相对于LCD的旋转和平移参数），但为了减小噪声的影响并提高计算精度，需要更多的POR像素。根据实践经验，第二预定数量可被设置为50，这是因为使用超过50个POR像素来标定透镜阵列的姿态对于提高精度的作用很小。
[0130] 如果POR像素的数量达总和到预定数量，则在步骤907，POR像素提取单元205的像素发送单元212将初始POR像素和预测的可能的POR像素发送到透镜阵列姿态标定单元206。如果POR像素的数量总和未达到预定数量，则在步骤908，POR像素提取单元205的像素预测单元210基于第一预定数量的初始POR像素以及预测出的可能的POR像素，根据已知的透镜阵列结构，预测下一个可能的POR像素，并返回步骤905，直到POR像素的数量达到预定数量。
[0131] 图10是根据本发明的示例性实施例的计算每个透镜阵列相对于LCD的姿态的示例的流程图。
[0132] 透镜阵列姿态标定单元206基于从POR像素提取单元205接收到的POR像素，计算每个透镜阵列相对于LCD的姿态，其中，姿态包括透镜阵列相对于LCD的旋转和平移。
[0133] 具体地，参照图6和图10，在步骤1001，透镜阵列姿态标定单元206的变换单元213将透镜阵列相对于LCD的姿态表示为一个二维平面内的旋转和平移变换，如等式（1）所示：
[0134] 其中，对于第k个透镜阵列中的第i个透镜，在OwXYZ中将其表示为 其中， 分别表示第
k个透镜阵列中的第i个透镜在OwXYZ中的X坐标、Y坐标和Z坐标，由于第k个透镜阵列到LCD的距离是固定的，因此 为固定值，在OaXYZ中将其表示 其
中， 分别表示第k个透镜阵列中的第i个透镜在OaXYZ中的X坐标、Y坐标
和Z坐标，由于第k个透镜阵列在透镜阵列平面上，因此 为0，a(k)是第ｋ个透镜阵列的(k) (k) (i)
旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量。这里，Cz 可以为g，g是透镜的光心与LCD平面之间的距离，是一个已知量。
k个透镜阵列中的第i个透镜在OwXYZ中的X坐标、Y坐标和Z坐标，由于第k个透镜阵列到LCD的距离是固定的，因此 为固定值，在OaXYZ中将其表示 其
中， 分别表示第k个透镜阵列中的第i个透镜在OaXYZ中的X坐标、Y坐标
和Z坐标，由于第k个透镜阵列在透镜阵列平面上，因此 为0，a(k)是第ｋ个透镜阵列的(k) (k) (i)
旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量。这里，Cz 可以为g，g是透镜的光心与LCD平面之间的距离，是一个已知量。
[0135] 在步骤1002，透镜阵列姿态标定单元206的光心计算单元214可使用拍摄单元平面与LCD平面之间的单应性来计算拍摄单元的光心坐标。
[0136] 具体地说，透镜阵列姿态标定单元206通过结构光技术获得LCD和拍摄单元的像(i) (i) (i) (i)素之间的对应关系，并将其表示为一个对应点对{L ,I }，其中，L 和I 分别表示一条POR在LCD平面和拍摄图像平面上的点，从而对于一定数量的POR，可以得到一组对应点对的集合。随后，透镜阵列姿态标定单元206基于这样的集合，利用平面单应的性质，可以计算得到拍摄单元相对于LCD平面的旋转Rc和平移Tc，并根据计算的Rc和Tc，来计算拍摄单T
元201的光心的坐标Oc=[Ox,Oy,Oz]，其中，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X坐标、Y坐标和Z坐标。
元201的光心的坐标Oc=[Ox,Oy,Oz]，其中，Ox、Oy和Oz分别表示拍摄单元的光心在LCD平面坐标系OwXYZ中的X坐标、Y坐标和Z坐标。
[0137] 在步骤1003，透镜阵列姿态标定单元206的参数估计单元215可基于所述旋转和平移变换以及拍摄单元的光心坐标，利用POR上的拍摄单元光心、透镜光心和LCD上被拍摄单元捕捉的像素点的三点共线的几何约束原理，使用最小二乘法来估计透镜阵列相对于LCD平面的旋转和平移参数G。
[0138] 具体地说，透镜阵列姿态标定单元206的参数估计单元215将位于同一条POR上(i) (i)的三点Oc、C 和L 的关系表示为 其中， 和
分别表示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，并将关系式（2）表示为
其中， 由
(i)
于Oc和L 为已知，因此关系式（3）中的参数为已知。随后，透镜阵列姿态标定单元206通过将等式（1）带入关系式（3），并将表示第k个透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a(k)),sin(a(k)),tx(k),ty(k)]T，得到 随
(i) (i)
后，透镜阵列姿态标定单元206的参数估计单元215通过将等式（4）表示为A G=D ，并结(1) T (2) T (M)
合M个POR（M为等于或大于0的整数），可得到A G=D（5），其中，A=[(A ),(A ),…,(A )T T (1) T (2) T (M) T T
]，D=[(D ),(D ),…,(D )]。最后，透镜阵列姿态标定单元206使用最小二乘估计得T -1 T
到G=(AA) A D（6），从而得到每一个透镜阵列相对于LCD的姿态。
分别表示POR在LCD平面坐标系OwXYZ中的X坐标和Y坐标，并将关系式（2）表示为
其中， 由
(i)
于Oc和L 为已知，因此关系式（3）中的参数为已知。随后，透镜阵列姿态标定单元206通过将等式（1）带入关系式（3），并将表示第k个透镜阵列相对于LCD的旋转和平移的量表示为G=[cos(a(k)),sin(a(k)),tx(k),ty(k)]T，得到 随
(i) (i)
后，透镜阵列姿态标定单元206的参数估计单元215通过将等式（4）表示为A G=D ，并结(1) T (2) T (M)
合M个POR（M为等于或大于0的整数），可得到A G=D（5），其中，A=[(A ),(A ),…,(A )T T (1) T (2) T (M) T T
]，D=[(D ),(D ),…,(D )]。最后，透镜阵列姿态标定单元206使用最小二乘估计得T -1 T
到G=(AA) A D（6），从而得到每一个透镜阵列相对于LCD的姿态。
[0139] 图11是根据本发明的示例性实施例的获得光线模型的示例的流程图。
[0140] 光线模型产生单元203将LCD中的每个像素映射到唯一一个透镜中心，从而由每个LCD像素中心与其对应的透镜中心形成的射线可代表该LCD像素所对应的光线，所有的LCD像素所对应的光线的集合就构成了T-IID的光线模型。
[0141] 参照图11，在步骤1101，光线模型产生单元203相对位置计算单元216基于T-IID标定得到的透镜阵列相应于LCD的姿态参数，利用已知的透镜阵列结构，计算T-IID中的每个透镜相对于LCD的位置，并将计算得到的所有透镜相对于LCD的位置存储为集合(j) (j) (j) T (j)H={H }={[s ,t ,g]}，j=1,2,…,NL，其中，H 代表第j个透镜的光心在LCD坐标系OwXYZ(j) (j)
中的三维坐标，其中，s 、t 和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g。
中的三维坐标，其中，s 、t 和g分别代表第j个透镜的光心在LCD坐标系OwXYZ中的X坐标、Y坐标和Z坐标，NL代表透镜的数量，其中，由于透镜阵列平行于LCD，所以所有的透镜光心与LCD在Zw方向上的距离都等于透镜阵列的焦距g。
[0142] 例如，光线模型产生单元203相对位置计算单元216可基于T-IID标定(k) (k) (k) (k) T
得到的透镜阵列相应于LCD的姿态参数G=[cos(a ),sin(a ),tx ,ty ]，根据
计算T-IID中的每个透镜相对于LCD的位置，
(k) (k) (k)
其中，a 是第ｋ个透镜阵列的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量，(j) (j)
（x ,y ）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
得到的透镜阵列相应于LCD的姿态参数G=[cos(a ),sin(a ),tx ,ty ]，根据
计算T-IID中的每个透镜相对于LCD的位置，
(k) (k) (k)
其中，a 是第ｋ个透镜阵列的旋转角度，[tx ,ty ]是第ｋ个透镜阵列的平移向量，(j) (j)
（x ,y ）是由已知的透镜阵列结构得到的透镜阵列中的第j个透镜的光心在该透镜阵列的二维光心平面中的位置。
[0143] 在步骤1102，光线模型产生单元203的观察平面指定单元217指定观察平面，并在该观察平面中确定一个观察中心Vc。
[0144] 在步骤1103，光线模型产生单元203的坐标系建立单元218建立一个EIA图像的T像素坐标系[m,n]，其中，m代表该像素在EIA图像中的行坐标，n代表该像素在EIA图像中的列坐标，m和n为正整数。
[0145] 在步骤1104，光线模型产生单元203的映射矩阵建立单元219基于EIA图像的T像素坐标系[m,n]，建立一个EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，其中，S(m,n)和T(m,n)分别代表与EIA图像中第m行第n列的像素对应的透镜的光心在LCD坐标系OwXYZ中的水平方向X和垂直方向Y的位置坐标，并将S(m,n)和T(m,n)初始化为0。
[0146] 在步骤1105，光线模型产生单元203的映射单元220针对每个透镜，基于每个透镜(j)相对于LCD的位置H 、观察中心Vc、EIA图像的像素-透镜的映射矩阵[S(m,n),T(m,n)]，执行LCD的每个像素与唯一一个透镜中心的映射。
[0147] 具体地说，光线模型产生单元203的映射单元220执行以下操作：将观察中心Vc通(j)过一个透镜的光心H 投影到LCD平面上，以投影到LCD平面上的像素为中心设置一个局部搜索窗口；对于该局部搜索窗口中的每个像素执行下列操作：（a）如果S(q,w)=0，其中，q(j) (j)
和w代表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；
T
（b）如果S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，(j)
并将当前像素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距(j) (j)
离|VcP2|进行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ；如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。其中，所述局部搜索窗口是方形窗口，其边长可以为1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离（即，透镜直径），s是LCD的相邻像素的中心之间的距离（即，一个像素的物理宽度），1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较，以将每个像素映射到最佳的唯一一个透镜中心。
和w代表像素在EIA图像中的行坐标和列坐标，则将S(q,w)和T(q,w)设置为s 和t ；
T
（b）如果S(q,w)≠0，则将当前像素通过[S(q,w),T(q,w),g] 投影到观察平面得到点P1，(j)
并将当前像素通过H 投影到观察平面得到点P2；将Vc到P1的距离|VcP1|与Vc到P2的距(j) (j)
离|VcP2|进行比较；如果|VcP1|≥|VcP2|，则将S(q,w)和T(q,w)设置为s 和t ；如果|VcP1|<|VcP2|，则将S(q,w)和T(q,w)保留原有值。其中，所述局部搜索窗口是方形窗口，其边长可以为1.2p(D+g)/(D·s)，其中，p表示相邻透镜的中心之间的距离（即，透镜直径），s是LCD的相邻像素的中心之间的距离（即，一个像素的物理宽度），1.2是一个经验数值，其确保相邻透镜对应的搜索窗口之间有所重合，从而对EIA图像中的每个像素执行至少两次|VcP1|与VcP2|的比较，以将每个像素映射到最佳的唯一一个透镜中心。
[0148] 在步骤1106，光线模型产生单元203的光线模型输出单元221根据LCD的每个像素与唯一一个透镜中心的映射，输出使用两平面直线表示法表示的光线模型{U(m,n),V(m,n),S(m,n),T(m,n)}，其中，一个平面为LCD平面，另外一个平面是透镜阵列光心平面，[U(m,n),V(m,n)]代表光线与LCD平面的交点在LCD平面坐标系中的二维坐标，[S(m,n),T(m,n)]代表光线与透镜阵列光心平面的交点在透镜阵列光心平面坐标系中的二维坐标。
[0149] 本发明提供了一种在拼接式集成成像显示器（T-IID）中校正三维图像的方法和设备。所述方法和设备通过一种基于计算机视觉的方法来对T-IID的几何模型进行标定，并基于标定的结果产生一个关于T-IID的数学计算模型，然后在产生单元图像阵列时使用这个数学计算模型对EIA进行渲染，从而可在T-IID存在位置对齐误差的情况下仍然正确地显示三维图像。
[0150] 所述方法和设备可用于制作拼接式的基于集成成像技术的大屏幕三维裸眼显示器。所述方法和设备可确定多个集成成像显示单元之间精确的姿态位置变化关系，从而可有效地去除由于位置对齐误差造成的三维图像失真，同时可降低对系统硬件制造精度的要求，从而削减系统制造的成本。此外，所述方法和设备只需要使用一个拍摄单元（例如，相机）就可以在显示器应用的现场快速自动地完成。在实际使用中，当由于环境的变化或意外振动导致系统对齐误差时，可以方便地使用所述方法和设备对其进行补偿。因此，所述方法和设备提供了一种快速易用且具有高性价比的方案来维护T-IID系统工作在理想的三维显示状态。
[0151] 虽然本发明是参照其示例性的实施例被显示和描述的，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可以对其形式和细节进行各种改变。