基于图像的真实光源获取及重光照的方法

摘要

一种计算机图形学技术领域的基于图像的真实光源获取及重光照的方法，步骤一，利用投影仪采用光线扫描的方法投射出基本光源，建立基本光源的光线与物体表面出射的光线的对应关系；步骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系；步骤三，将步骤一中得到的每根光线对应的基图像与步骤二得到的真实光源与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果。本发明利用投影仪-照相机系统实现了对真实光源的重光照，简化了对真实光源的采集。

权利要求

1.一种基于图像的真实光源获取及重光照的方法，其特征在于，包括如下步骤：

步骤一，投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的入射光线与物体表面的出射光线的对应关系；

所述建立基本光源的入射光线与物体表面的出射光线的对应关系，具体如下：根据照相机采集基图像和投影仪依次投射的白色象素点集合块，建立入射光线和出射光线的一一对应关系，以及入射光线和出射光线光强、色彩上的对应反射比例关系，具体如下：Le-p-o(xc，yc)＝Li-p(xp，yp)fr-o(xp，yp，xc，yc)，

其中，R＝fr-o(xp，yp，xc，yc)为物体的反射函数，(xp，yp)记录的是在投影仪上控制出射光线的白色象素点集合块的坐标，(xc，yc)记录的是出射光线在基图像中的成像坐标，其中，Li-p(xp，yp)记录了投影仪投出的入射光线投向物体表面的的光强、色彩和对应的投影仪坐标，Le-p-o(xc，yc)记录了照相机捕捉到的从物体表面反射出的出射光线的光强、色彩和对应的相机坐标；

步骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基本光源是同一个光源，真实光源是需要模拟的光源；

所述利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，具体为：

首先，用投影仪投出一个棋盘格图像，由照相机捕捉棋盘格在采集平面上的成像，然后，使用OpenCV来查找到原始棋盘格和棋盘格在采集平面上成像的对应角点，对于每一对互相匹配的四边形面片，确定这两个面片间的单应性矩阵，根据所有匹配面片间的单应性矩阵，建立投影仪和照相机平面之间的几何映射，并利用所得这些单应性矩阵，建立从采集平面反射出来的光线和投影仪投出的光线的一一对应关系(xp，yp)--(xc，yc)；

所述在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，包括如下具体步骤：

首先，分别采集基本光源和真实光源照射采集平面的成像，具体为：先用投影仪投出全屏的白色光，由照相机捕捉采集平面上的图像，然后移除投影仪，在同样的位置投射出需模拟的真实光源，由相机捕捉此时采集平面上的图像；

然后，利用单应性矩阵将基本光源与真实光源的成像映射回投影仪视角，即将照相机捕捉到的出射光线的的坐标对应回投影仪对应入射光线的坐标；

最后，采集完图像后，对采投影仪在采集平面上的成像以及采集真实光源在采集平面上的成像，利用步骤一得到的光源入射光线和平面出射光线的一一对应关系，建立采集平面对投影仪光源的反射方程，具体如下：Le-p-s(xc，yc)＝Li-p(xp，yp)fr-s(xp，yp，xc，yc)，建立采集平面对真实光源的反射方程，具体如下：Le-r-s(xc，yc)＝Li-r(xp，yp)fr-s(xp，yp，xc，yc)，其中，-p表示投影仪，-r表示真实光源，-s表示采集平面，Li-p(xp，yp)表示投影仪投出的入射光线投向物体表面的的光强、色彩和对应的投影仪坐标，Li-r(xp，yp)表示真实光源投向物体表面的的光强、色彩和对应的投影仪坐标，上述两式中fr-s(xp，yp，xc，yc)这一项是相同的，均为采集平面的反射函数，由上述两式获得真实光源与基本光源的对应光强关系，具体如下：$\rho (x_p,y_p)=\frac{L_{i-r}(x_p,y_p)}{L_{i-p}(x_p,y_p)}=\frac{L_{i-r}(x_p,y_p)f_{r-s}(x_p,y_p,x_c,y_c)}{L_{i-p}(x_p,y_p)f_{r-s}(x_p,y_p,x_c,y_c)}=\frac{L_{e-r-s}(x_c,y_c)}{L_{e-p-s}(x_c,y_c)};$步骤三，将步骤一中得到的每根光线对应的基图像与步骤二得到的真实光源与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果；

所述将每根光线对应的基图像乘上真实光源与基本光源的对应关系，并把所有图像叠加起来获得重光照的结果，具体如下：

首先，真实光源的每根入射光线在物体上的光照效果利用如下反射方程来表示：Le-r-o(xc，yc)＝Li-r(xp，yp)fr-o(xp，yp，xc，yc)，其中，fr-o(xp，yp，xc，yc)表示用于重光照物体的反射函数，并对此方程能做如下转化：Le-r-o(xc，yc)＝Li-r(xp，yp)fr-o(xp，yp，xc，yc)

＝ρ(xp，yp)Li-p(xp，yp)fr-o(xp，yp，xc，yc)

＝ρ(xp，yp)Le-p-o(xc，yc)

其中Le-p(xc，yc)与ρ(xp，yp)已知；

然后，当每根入射光线都作了上述处理后，将每根光线产生的图像进行叠加，具体如下：

$\mathrm{Image}=\underset{x_p=1}{\overset{m}{\Sigma }}\underset{y_p=1}{\overset{m}{\Sigma }}\rho (x_p,y_p)L_{i-p}(x_p,y_p)f_{r-o}(x_p,y_p,x_c,y_c)=\underset{x_p=1}{\overset{m}{\Sigma }}\underset{y_p=1}{\overset{m}{\Sigma }}\rho (x_p,y_p)L_{e-p-o}(x_c,y_c)$此公式即为重光照的计算方程。

2.根据权利要求1所述的基于图像的真实光源获取及重光照的方法，其特征是，步骤一中，所述投影仪采用光线扫描的方法投射出基本光源，由照相机捕捉物体的反射光并采集基图像，具体如下：

首先，投影仪按顺序依次投出若干数目白色象素点集合方块，象素点数由所需的精细度来定，越精细单次投出的象素点越少，每一次投射的白色象素点集合块代表一根基本光源出射光线，投射到物体上，经物体反射；

然后，由照相机捕捉反射光，完成基图像的采集，并通过调节照相机的光圈和曝光时间来消除投影仪的底光对基图像的影响，投影仪的底光是指在投影黑色像素时仍然有的亮光。

说明书

技术领域

本发明涉及一种光学技术领域的重光照方法，具体是一种基于图像的真实光源获取及重光照的方法。

背景技术

重光照是计算机图形学及计算机视觉中用来计算物体在新的光照情况下的成像的渲染方法，而对真实光源的获取为重光照提供了光源的属性，这也是计算机图形学和计算机视觉的一个重要研究领域。基于图像的重光照技术是通过采集基图片来获得物体表面的反射函数，在输入新的光照时，运用反射函数来计算新的成像的方法。而对光照的获取是通过对光源采集图像建立光源的属性模型，为之后的场景渲染提供光照参数，一般光源获取算法所获得的光源属性模型大多用于基于模型的场景渲染。在现实应用中，重光照一般用于重现或虚拟模拟物体在一个特定的光照情况下成像，运用重光照技术可以实现真实物体与新环境的结合。所以重光照技术在图像处理、图像合成、3D渲染、虚拟现实等领域都有着广泛的运用。
经对现有技术的文献检索发现，基于图象得的重光照算法主要分为两个方向，一个是对远域光源(far-field light source)的重光照，例如加利福尼亚大学伯克利分校创造技术学院的图形实验室Paul Debevec等人制作的一系列的光照舞台(lightstage)就是用来实现远域光的成光照，这项技术一般用于对环境光的重光照；另一个方向是对近域光源(near-field light source)的重光照，2005年斯坦福大学Pradeep Sen等人写的《Dual Photography》(《双向照相技术》)，这项研究基于图像的近域光重光照技术可以实现一些人为指定的特殊图案光照的模拟，但却不能模拟真实光源的光照。
而对光源获取的相关技术文献的检索得到，已有的技术主要运用于基于模型的重光照渲染中，没有能和基于图像的重光照结合起来，因此，还没有能在基于图像的重光照算法中很好的引入对真实光源的渲染的方法。

发明内容

本发明针对上述现有技术的不足，提出了一种基于图像的光源获取及重光照的方法，使用了投影仪和照相机系统，用光线扫描的方法来采集及图像，并且建立真实光源与基本光源(投影仪光源)之间的对应关系，从而利用物体材质的反射函数来计算新光源情况下物体的成像。
本发明是通过如下技术方案实现的，本发明包括如下步骤：
步骤一，投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的出射光线与物体表面的出射光线的对应关系；
步骤二，利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基本光源是同一个光源，真实光源是需要模拟的光源；
步骤三，将步骤一中得到的每根光线对应的基图像与步骤二得到的真实光源与基本光源的对应关系相乘，并把所有图像叠加起来获得重光照的结果。
步骤一中，所述投影仪采用光线扫描的方法投射出射光线到物体上，由照相机捕捉物体的反射光并采集基图像，具体如下：
首先，投影仪按顺序依次投出一定数目白色象素点集合方块，象素点数由所需的精细度来定，越精细单次投出的象素点越少，每一次投射的白色象素点集合块代表一根基本光源(投影仪光源)出射光线，投射到物体上，经物体反射；
然后，由照相机捕捉反射光，完成基图像的采集，并通过调节照相机的光圈和曝光时间来消除投影仪的底光对基图像的影响，投影仪的底光是指在投影黑色像素时仍然有的亮光。
步骤一中，所述建立基本光源的出射光线与物体表面的出射光线的对应关系，具体如下：根据照相机采集基图像和投影仪依次投射的白色象素点集合块，建立入射光线和出射光线的一一对应关系，以及入射光线和出射光线光强(色彩)上的对应反射比例关系，具体如下：
Le-p-o(xc，yc)＝Li-p(xp，yp)fr-o(xp，yp，xc，yc)，
其中，R＝fr-o(xp，yp，xc，yc)为物体的反射函数，(xp，yp)记录的是在投影仪上控制出射光线的白色象素点集合块的坐标，(xc，yc)记录的是出射光线在基图像中的成像坐标，其中，Li-p(xp，yp)记录了投影仪投出的入射光线投向物体表面的的光强(色彩)和对应的投影仪坐标，Le-p-o(xc，yc)记录了照相机捕捉到的从物体表面反射出的出射光线的光强(色彩)和对应的相机坐标。
步骤二中，所述利用单应性矩阵建立照相机视角和投影仪视角图像的点点对应关系，具体为：
首先用投影仪投出一个棋盘格图像，由照相机捕捉棋盘格在采集平面上的成像，然后，使用0penCV(开源计算机视觉库)来查找到原始棋盘格和棋盘格在采集平面上成像的对应角点，对于每一对互相匹配的四边形面片，确定这两个面片间的单应性矩阵，根据所有匹配面片间的单应性矩阵，建立投影仪和照相机平面之间的几何映射，并利用所得这些单应性矩阵，建立从采集平面反射出来的光线和投影仪投出的光线的一一对应关系(xp，yp)--(xc，yc)。
步骤二中，所述在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，包括如下具体步骤：
首先，分别采集基本光源(即投影仪)和真实光源照射采集平面的成像，具体为：先用投影仪投出全屏的白色光，由照相机捕捉采集平面上的图像，然后移除投影仪，在同样的位置投射出需模拟的真实光源，由相机捕捉此时采集平面上的图像；
然后，利用之前求出的单应性矩阵将基本光源与真实光源的成像映射回投影仪视角，即将照相机捕捉到的出射光线的的坐标对应回投影仪对应入射光线的坐标；
最后，采集完图像后，对采投影仪在采集平面上的成像以及采集真实光源在采集平面上的成像，利用步骤一得到的光源入射光线和平面出射光线的一一对应关系，建立采集平面对投影仪光源的反射方程，具体如下：Le-p-s(xc，yc)＝Li-p(xp，yp)fr-s(xp，yp，xc，yc)，建立采集平面对真实光源的反射方程，具体如下：Le-r-s(xc，yc)＝Li-r(xp，yp)fr-s(xp，yp，xc，yc)，其中，-p表示投影仪，-r表示真实光源，-s表示采集平面，Li-p(xp，yp)表示投影仪投出的入射光线投向物体表面的的光强、色彩和对应的投影仪坐标，Li-r(xp，yp)表示真实光源投向物体表面的的光强、色彩和对应的投影仪坐标，上述两式中fr-s(xp，yp，xc，yc)这一项是相同的，均为采集平面的反射函数，由上述两式获得真实光源与基本光源的对应光强关系，具体如下：
$\rho (x_p,y_p)=\frac{L_{i-r}(x_p,y_p)}{L_{i-p}(x_p,y_p)}=\frac{L_{i-r}(x_p,y_p)f_{r-s}(x_p,y_p,x_c,y_c)}{L_{i-p}(x_p,y_p)f_{r-s}(x_p,y_p,x_c,y_c)}=\frac{L_{e-r-s}(x_c,y_c)}{L_{e-p-s}(x_c,y_c)}.$
步骤三中，所述利用反射方程，将每根光线对应的基图像乘上真实光源与基本光源的对应关系，最终再把所有图像叠加起来，就得到了重光照的结果，具体如下：
首先，真实光源的每根入射光线在物体上的光照效果利用如下反射方程来表示：Le-r-o(xc，yc)＝Li-r(xp，yp)fr-o(xp，yp，xc，yc)，其中，-o表示用于重光照物体的反射函数，并对此方程能做如下转化：
Le-r-o(xc，yc)＝Li-r(xp，yp)fr-o(xp，yp，xc，yc)
＝ρ(xp，yp)Li-p(xp，yp)fr-o(xp，yp，xc，yc)
＝ρ(xp，yp)Le-p-o(xc，yc)
其中Le-p(xc，yc)与ρ(xp，yp)已知；
然后，当了每根入射光线都作了上述处理后，将每根光线产生的图像进行叠加，具体如下：
$\mathrm{Image}=\underset{x_p=1}{\overset{m}{\Sigma }}\underset{y_p=1}{\overset{m}{\Sigma }}\rho (x_p,y_p)L_{i-p}(x_p,y_p)f_{r-o}(x_p,y_p,x_c,y_c)=\underset{x_p=1}{\overset{m}{\Sigma }}\underset{y_p=1}{\overset{m}{\Sigma }}\rho (x_p,y_p)L_{e-p-o}(x_c,y_c)$
此公式即为重光照的计算方程。
与现有技术相比，本发明具有如下效益：本发明利用投影仪-照相机系统实现了对真实光源的重光照，通过建立真实光源与基本光源之间的对应关系简化了对真实光源的采集，同时也使在基于图像的重光照中实现了对真实的特殊光源模拟，能达到很好的效果。

附图说明

图1是本发明中用光线扫描的方法采集基图片的示意图。
图2是本发明的实施例中采集基图片的场景图。
图3棋盘格图像示意图；
图中：(a)是用来建立单应性矩阵的棋盘格示例，(b)是棋盘格投在采集平面上的图像。
图4是本发明中采集基本光源、真实光源，建立光源对应关系的场景图。
图5是本发明的实施例中在投影光源照射下物体的成像。
图6基本光源在采集平面上的成像和映射回投影仪视角的成像
图中：(a)是照相机拍摄到的基本光源(投影仪光源)在采集平面上的成像，(b)是将照相机视角的成像映射回投影仪视角的成像。
图7真实光源的情况下物体的成像及其重光照；
图中：(a)、(b)、(c)、(d)是真实光源采集后映射到投影仪视角的光源成像图，(e)、(f)、(g)、(h)是图5所示物体在对应真实光源情况下重光照后得到的效果图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
在实施过程中使用了Sony VPL-CX71的投影仪和Grasshopper-20S4C相机，放置时需保证相机覆盖投影仪的有效投影范围。
图5是本实施例中在投影光源照射下物体的成像，本实施的重光照以此为对象。
本实施例包括如下步骤：
步骤一，利用投影仪采用光线扫描的方法投射出基本光源，基本光源投射到到物体上，由照相机捕捉物体的反射光并采集基图像，建立基本光源的光线与物体表面出射的光线的对应关系；
如图1所示，把800*600的屏幕用5*5的像素块来代表每根从投影仪出发的光线，这样就把投影仪的出射光分成了32000条光线(如果需要重光照效果更精细，可以选用更小的像素块来代表每根光线)。投影仪依次投出每根白色光线，照相机实时地捕捉光线经物体反射后的成像并记录下来，如图2所示。由于投影仪是有底光的，即在投影黑色像素时仍然有亮光，所以，要通过调节照相机的光圈和曝光时间来消除底光对基图像的影响。这样每张基图像记录了入射光线为Li-p(xp，yp)时经物体反射后的出射光线Le-p-o(xc，yc)。
步骤二，在基本光源和真实光源照射下，由照相机分别采集材质均匀的漫反射平面的照片，建立真实光源和基本光源之间的对应关系，其中，基本光源与步骤一的基本光源是同一个光源，真实光源是需要模拟的光源；
如图4所示，本实施例中采用一个漫反射平面作为采集平面，图中，近处为一个Sony VPL-CX71的投影仪和Grasshopper-20S4C相机，远处为均匀的漫反射采集平面。
步骤二包括如下具体步骤：
首先，先用投影仪投出一个棋盘格图像，如图3(a)所示，由照相机捕捉棋盘格在采集平面上的成像如图3(b)所示。使用OpenCV(开源计算机视觉库)来查找到原始棋盘格和棋盘格在采集平面上成像的对应角点。然后，对于每一对互相匹配的四边形面片，确定这两个面片间的单应性矩阵，根据所有匹配面片间的单应性矩阵，建立投影仪和照相机平面之间的几何映射。由于投影在平面上进行，且细分了面片，所以几何映射的精度可以保证。这样，利用所得这些单应性矩阵，可以建立从采集平面反射出来的光线和投影仪投出的光线的一一对应关系(xp，yp)--(xc，yc)。
然后，分别采集基本光源(即投影仪)和真实光源照着采集平面的成像，先是用投影投出全屏的白色光由相机捕捉，然后移除投影仪，在同样的位置放上需模拟的真实光源，打开光源，用相机捕捉下图像；图6(a)是照相机拍摄到的基本光源(投影仪光源)在采集平面上的成像，
其次，为了显示方便，直接利用之前求出的单应性矩阵将基本光源与真实光源的成像映射回投影仪视角，即将照相机捕捉到的出射光线的的坐标对应回投影仪对应入射光线的坐标，得到图6(b)以及图7(a)、(b)、(c)、(d)这样的光源图，图6(b)是将照相机视角的成像映射回投影仪视角的成像，图7(e)、(f)、(g)、(h)是真实光源采集后映射到投影仪视角的光源成像图，图中(a)、(b)是两个不同的红色LED灯在采集平面上的成像对应回投影仪视角的图像，(c)是投影仪光源受到一只手的干扰形成的阴影图像，(d)是一个具有聚光效果的探射灯光源的图像。
最后，采集完图像后，利用步骤一建立的光源入射光线和平面出射光线的一一对应关系，建立采集平面对投影仪光源的反射方程，具体如下：Le-p-s(xc，yc)＝Li-p(xp，yp)fr-s(xp，yp，xc，yc)........(1)，建立采集平面对真实光源的反射方程，具体如下：Le-r-s(xc，yc)＝Li-r(xp，yp)fr-s(xp，yp，xc，yc)........(2)，其中，-p表示投影仪，-r表示真实光源，-s表示采集平面，由此可得真实光源与基本光源的对应光强关系，具体如下：
$\rho (x_p,y_p)=\frac{L_{e-r-s}(x_c,y_c)}{L_{e-p-s}(x_c,y_c)}$
求出真实光源与基本光源(投影仪光源)之间的对应关系。
这里要说明的是，由于一般记录色彩的方法是通过RGB三个通道记录的，所以，对以上述的ρ(xp，yp)也是三个通道分别计算，这样每根光线也就是会得到ρr(xp，yp)、ρg(xp，yp)、ρb(xp，yp)比例值，即
步骤三，在获得基图像和真实光源与基本光源之间的对应关系后，运用反射方程来计算最终的重光照效果，具体如下：
在得到基图像和每根真实光源光线与基本光源之间RGB各通道的比例关系ρ之后，就可以利用公式：Le-r-o(xc，yc)＝ρ(xp，yp)Le-p-o(xc，yc)求得到了一根真实光源光线经过物体后的成像Le-r(xc，yc)，山于分三个通道，其中那么上述方程张开即为：那么所有真实光源光线经物体反射后的成像就是：
这个Image也就是重光照的最终结果，图6，图7给出了一个重光照的实例。图6显示的是在基本光源的照射下物体所成的像，而图7给出了在不同真实光源的情况下物体的成像。如图7(e)、(f)、(g)、(h)所示，是物体在这些光源下重光照的结果。可以看到，本实施例能够很好的模拟光源自身纹理对物体影响，能够得到一个真实光照效果。