应用于真实感近眼显示的图像生成方法和装置转让专利

申请号 : CN201711250300.5

文献号 : CN108012139B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 翁冬冬刘越王涌天

申请人 : 北京理工大学

摘要 :

本发明实施例提供一种应用于真实感近眼显示的图像生成方法和装置,方法包括:将待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以去除目镜对成像的作用。在出瞳位置处触发多条光线,通过获取多条光线在转换后的成像信息中分别对应的像素的实际灰度值,获得反映三维物体在人眼中的真实图像显示效果的第一光场图像。通过获取多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像。根据第一光场图像对第二光场图像中像素的灰度值进行修正,以获得第三光场图像,从而保证了第三光场图像更加逼真于体现真实感的第一光场图像,保证了图像显示质量。

权利要求 :

1.一种应用于真实感近眼显示的图像生成方法,其特征在于,包括:根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;

在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;

通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;

根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;

在所述多层显示屏上显示所述第三光场图像。

2.根据权利要求1所述的方法,其特征在于,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,所述方法还包括:根据如下规则建立所述世界坐标系、所述左眼目镜坐标系和所述右眼目镜坐标系:以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右眼目镜坐标系中的相应坐标轴平行。

3.根据权利要求2所述的方法,其特征在于,所述将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,包括:根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼目镜坐标系:根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼目镜坐标系:其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为所述左眼目镜坐标系中对应的成像位置信息,(xright,yright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的坐标原点到所述连线的距离。

4.根据权利要求1所述的方法,其特征在于,所述根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像,包括:根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;

求解所述误差函数,确定所述多条光线在所述多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值使所述误差函数最小。

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数,包括:以所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建所述误差函数。

6.根据权利要求1所述的方法,其特征在于,所述获得第三光场图像之后,还包括:以预设目镜畸变系数,对所述第三光场图像进行校正。

7.一种图像生成装置,其特征在于,包括:

转换模块,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;

第一获取模块,用于在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;

第二获取模块,用于通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;

修正处理模块,用于根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;

显示模块,用于在所述多层显示屏上显示所述第三光场图像。

8.根据权利要求7所述的装置,其特征在于,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,所述装置还包括:建立模块,用于根据如下规则建立所述世界坐标系、所述左眼目镜坐标系和所述右眼目镜坐标系:以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右眼目镜坐标系中的相应坐标轴平行。

9.根据权利要求8所述的装置,其特征在于,所述转换模块具体用于:根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼目镜坐标系:根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼目镜坐标系:其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为所述左眼目镜坐标系中对应的成像位置信息,(xright,yright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的坐标原点到所述连线的距离。

10.根据权利要求7所述的装置,其特征在于,所述修正处理模块具体用于:根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;

求解所述误差函数,确定所述多条光线在所述多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值使所述误差函数最小。

11.根据权利要求9所述的装置,其特征在于,所述修正处理模块具体用于:以所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建误差函数。

12.根据权利要求7所述的装置,其特征在于,还包括:

畸变校正模块,用于以预设目镜畸变系数,对所述第三光场图像进行校正。

13.一种电子设备,其特征在于,包括:

由等厚透镜组成的目镜、多层显示屏、存储器和处理器,所述目镜包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面,所述第一表面位于靠近人眼一侧,所述第二表面位于远离人眼一侧;

所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至6中任一项所述的图像生成方法。

说明书 :

应用于真实感近眼显示的图像生成方法和装置

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种应用于真实感近眼显示的图像生成方法和装置。

背景技术

[0002] 相较于二维显示,三维显示能提供更直观的视觉感受、更丰富的细节,在虚拟现实和增强现实等领域中被广泛使用。近来,多层三维显示器已经在三维显示领域获得了越来越多的关注。通常来讲,多层三维显示器由沿着厚度方向堆叠的多个平行的二维显示层形成,以产生三维视觉效果。
[0003] 在一些实际应用场景中,人们佩戴三维显示器比如头盔式的三维显示器时,往往会产生晕眩的不适感,之所以产生不适感,其中一个主要的原因是成像质量问题。因此,基于多层三维显示器,如何有效生成更加真实、高质量的显示图像,是亟待解决的问题。

发明内容

[0004] 有鉴于此,本发明实施例提供一种应用于真实感近眼显示的图像生成方法和装置,用以生成高质量的三维图像。
[0005] 本发明实施例提供一种应用于真实感近眼显示的图像生成方法,包括:
[0006] 根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;
[0007] 在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;
[0008] 通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;
[0009] 根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;
[0010] 在所述多层显示屏上显示所述第三光场图像。
[0011] 本发明实施例提供一种图像生成装置,包括:
[0012] 转换模块,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息;
[0013] 第一获取模块,用于在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像;
[0014] 第二获取模块,用于通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像;
[0015] 修正处理模块,用于根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像;
[0016] 显示模块,用于在所述多层显示屏上显示所述第三光场图像。
[0017] 本发明实施例提供了一种电子设备,包括:由等厚透镜组成的目镜、多层显示屏、存储器和处理器,所述目镜包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面,所述第一表面位于靠近人眼一侧,所述第二表面位于远离人眼一侧;
[0018] 所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如前述实施例提供的图像生成方法。
[0019] 本发明实施例提供的应用于真实感近眼显示的图像生成方法和装置,在获得待显示三维物体的空间成像信息后,通过将该待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以去除目镜对该空间成像信息的放大等作用。之后,将转换后的成像信息投影在目镜的出瞳位置处,在出瞳位置处触发多条光线,通过获取该多条光线在转换后的成像信息中分别对应的像素的实际灰度值来获得第一光场图像,该第一光场图像反映了待显示三维物体在人眼中的真实图像效果。另外,通过获取该多条光线中每条光线在多层显示屏的每层上分别对应的像素的初始灰度值,获得多层显示屏上对应的第二光场图像,即实际需要显示的光场图像的初始灰度信息。由于该第二光场图像中各像素的灰度值还为初始值,并非实际成像时所对应的灰度值,以该初始灰度值为变量,结合第一光场图像中对应像素的实际灰度值来对第二光场图像中各像素的灰度值进行修正,得到待显示的第三光场图像,从而保证了生成的第三光场图像更加逼真于体现真实感的第一光场图像,保证了图像显示质量。

附图说明

[0020] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0021] 图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程图;
[0022] 图2a-图2c为本发明实施例提供的三维显示器的结构示意图;
[0023] 图3为本发明实施例提供的世界坐标系、目镜坐标系的示意图;
[0024] 图4为本发明实施例提供的第一光场图像的获取过程示意图;
[0025] 图5为本发明实施例提供的第二光场图像的获取过程示意图;
[0026] 图6为本发明实施例提供的图像生成装置的结构示意图;
[0027] 图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

[0028] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0029] 应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
[0030] 图1为本发明实施例提供的应用于真实感近眼显示的图像生成方法的流程图,本实施例提供的该图像生成方法可以由一图像生成装置来执行,该图像生成装置可以实现为软件,或者实现为软件和硬件的组合,该图像生成装置可以集成设置在一个三维显示器中。如图1所示,该方法包括如下步骤:
[0031] 步骤101、根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以获得转换后的成像信息。
[0032] 本实施例中,上述世界坐标系中的待显示三维物体的空间成像信息可以是在计算机软件中建立待显示三维物体后,将其放置在世界坐标系中。其中,该三维物体的获得可以是计算机三维建模软件,如Unity 3D、Pro-E、Solidworks等建模形成,也可以是通过计算机底层建模语言或者脚本,如OpenGL构建,也可以是通过光场拍摄或者多摄像机拍摄后重建获得的。
[0033] 如图2a所示,本实施例中该图像生成方法可以适用于采用图2a中所示的显示器结构进行图像显示的场景中,简单来说,该显示器中包括左、右眼目镜,左、右眼多层显示屏。一般的图像显示过程简单描述为:多层显示屏形成的空间光场图像通过目镜分别投射在左、右眼中,左眼和右眼分别通过渲染的光场获得三维物体的聚焦信息。左眼和右眼的光场图像提供了三维物体的视差信息,从而使得用户获得真实感三维显示体验。
[0034] 另外,本发明实施例提供的如图2a所示的显示器结构除了可以用于显示虚拟的空间光场图像外,还可以用于同时显示真实世界的图像。为便于理解,简单来说,假设需要显示的空间光场图像是一电视机的画面,该电视机在真实世界中被置于墙壁上,则基于该显示器,不但可以显示出该电视机画面,同时还可以显示出电视机挂在墙壁的真实效果。
[0035] 下面,结合图2b和图2c说明图2a所示显示器结构的具体设计参数。
[0036] 本发明实施例中的目镜可以是光学透射式目镜,也可以是浸没式目镜。以光学透射式目镜为例,该光学透射式目镜可以由一片等厚透镜组成,如图2b所示,该等厚透镜在靠近人眼的第一表面镀有增透膜,在远离人眼的第二表面镀有半透半反射膜。多层显示屏中的每层显示屏具有一定的曲率半径。在该结构中,如图2b所示,光线从人眼瞳孔位置到成像的多层显示屏依次经过光阑、第一表面、第二表面、第一表面和多层显示屏。
[0037] 具体地,在成像过程中,多层显示屏显示的光场图像比如上述举例的电视机画面经过第一表面的两次透射和第二表面的反射进入人眼,形成虚拟光路;同时,真实世界比如上述举例的墙壁透过第二表面的透射进入人眼形成真实光路。从而,人眼可以同时看到虚拟的光场图像以及真实世界图像。在虚拟光路中,如图2b所示的三束光线中,光轴经过光学透射式目镜发生反射,光轴经过光学透射式目镜反射前后夹角大于30度小于90度,即先后两次经过第一表面后的夹角大于30度小于90度。
[0038] 该显示器结构的设计过程为:在光阑位置建立光轴方向为Z轴、子午方向为Y轴的直角坐标系。光学表面即光学透射式目镜相对于光阑中心的位置,可以由X方向偏心、Y方向偏心和Z方向偏心表示,其中,光学表面相对于光阑中心的旋转角度由绕X轴方向的Alpha偏心,绕Y轴方向的Beta偏心和绕Z轴方向的Gamma偏心表示。多层显示屏平行于像面,放置在靠近光学透射式目镜的位置。可选的设计参数可以如表1所示,相应的光学性能图如图2c所示。
[0039] 表1:
[0040]
[0041] 基于该显示器结构,为实现本发明实施例提供的图像生成方法,首先需要建立世界坐标系以及目镜坐标系,其中,目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系。
[0042] 可选地,可以根据如下规则建立世界坐标系、左眼目镜坐标系和右眼目镜坐标系,如图3所示:
[0043] 以左眼目镜的光心位置为坐标原点,建立左眼目镜坐标系OleftXleftYleftZleft;以右眼目镜的光心位置为坐标原点,建立右眼目镜坐标系OrightXrightYrightZright;以左眼目镜的光心位置和右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立世界坐标系OwXwYwZw,其中,世界坐标系的坐标轴与左眼目镜坐标系和右眼目镜坐标系中的相应坐标轴平行,即OwXw分别平行于和OleftXleft、OrightXright,OwYw分别平行于和OleftYleft、OrightYright,OwZw分别平行于和OleftZleft、OrightZright。其中,D为瞳距。
[0044] 基于此建立的坐标系,根据基于该显示器的目镜的焦距f、瞳距D,将待显示三维物体的空间成像信息从世界坐标系变换到目镜坐标系中。
[0045] 具体地,可以根据如下公式(1)将待显示三维物体的空间成像信息变换至左眼目镜坐标系:
[0046]
[0047] 根据如下公式(2)将待显示三维物体的空间成像信息变换至右眼目镜坐标系:
[0048]
[0049] 其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为世界坐标系的坐标原点Ow到Oleft与Oright连线的距离。
[0050] 基于上述变换,在不考虑目镜的畸变作用的情况下,可以去除目镜的放大作用对三维物体的成像的影响。
[0051] 步骤102、在出瞳位置处触发多条光线,以通过获取所述多条光线在转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像。
[0052] 本实施例中,为了获得目镜坐标系中的三维物体的成像信息,即变换后的成像信息在人眼处的图像成像效果,可选地,可以在目镜出瞳位置处选择多个视点,将目镜坐标系中的三维物体投影到多个视点,从而得到在多个视点上形成的二维图像,即第一光场图像。图4示出了第一光场图像的获取过程,第一光场图像中的每个像素对应于从一视点触发的光线,如图4中所示,第一光场图像中的某像素对应于V2视点触发的一条光线,该光线和目镜坐标系中待显示三维物体相交,即会对应到上述转换后的成像信息中的一像素点上,获得该像素点所对应的灰度值。从而,基于设置的多个视点,每个视点触发的多条光线,可以获得包含有多个像素的实际灰度值即真实灰度值的第一光场图像,该第一光场图像反映了实际上应该在人眼中呈现的成像效果。
[0053] 上述第一光场图像的获取过程除了基于上述视点产生图像的方式获得外,可选地,还可以通过从目镜出瞳位置出发追击光线,计算追击光线与目镜坐标系中三维物体对应的灰度值来获得该第一光场图像。
[0054] 可选地,在获得该第一光场图像之后,还可以对该第一光场图像进行灰度归一化处理。
[0055] 步骤103、通过获取多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像。
[0056] 本实施例中,初始情况下,即还没有在多层显示屏上显示图像前,可以设置多层显示屏的每层显示屏中的各像素的初始灰度值。通过以该初始灰度值为变量,将多层显示屏的图像投影到上述目镜出瞳位置处设置的多个视点上,形成二维图像,即第二光场图像。
[0057] 如图5所示,假设显示器中单眼使用了N层显示屏,显示屏上的像素灰度用 表示,其中,t表示显示屏的编号,i,j表示该显示屏中像素的编号。像素的灰度表示屏幕的透过率。图5示出了第二光场图像的获取过程,同样地,第二光场图像中的每个像素对应于从一视点触发的光线,如图5中所示,第二光场图像中的某像素对应于V2视点触发的一条光线,只是此时,该光线会和多层显示屏分别相交于不同像素点,相交的各像素点对应的灰度值分别是 因此,该第二光场图像中V2视点所对应的像素点的灰度值可以表示为:
[0058] 即V2视点触发的该光线与N层显示屏分别相交的像素的初始灰度值的乘积。
[0059] 同样可选地,该第二光场图像的获取过程可以不基于视点产生的图像,也可以从目镜出瞳位置出发追迹光线,确定追迹光线在多层显示屏上分别对应的初始灰度值。
[0060] 可选地,在获得该第二光场图像之后,还可以对该第二光场图像进行灰度归一化处理。
[0061] 步骤104、根据第一光场图像对第二光场图像中像素的灰度值进行修正,以获得第三光场图像。
[0062] 具体地,该修正过程可以实现为:
[0063] 根据第一光场图像和第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;求解误差函数,确定多条光线在多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,其中,最终灰度值使误差函数最小。
[0064] 可选地,该误差函数可以是第一光场图像和第二光场图像中对应像素的实际灰度值和初始灰度值的差值的和,或者是差值的加权和。比如,以第一光场图像和第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建误差函数。
[0065] 其中,权重系数比如可以根据对应视点位置确定,比如越靠近目镜光轴的视点所对应的权重系数越大,即该视点所对应的像素的实际灰度值和初始灰度值的差值的权重系数越大。
[0066] 本实施例中,以各像素对应的初始灰度值为变量,以误差函数最小为优化目标,求解该误差函数,得到各变量对应的最终取值,即得到各像素对应的最终灰度值,以获得可以在多层显示屏上显示的第三光场图像。
[0067] 步骤105、以预设目镜畸变系数,对第三光场图像进行校正。
[0068] 可选地,由于前述坐标变换处理时,往往是没有考虑目镜的畸变作用的,因此,此时可以考虑目镜的畸变作用,将计算获得的第三光场图像进行畸变校正处理,以获得最终需显示的光场图像。目镜的畸变系数的获得可以是目镜设计过程中的设计值,也可以是目镜实际加工后实际标定测量值,在这里不同位置深度的屏幕的畸变系数并不相同,需要给定不同的畸变系数。
[0069] 步骤106、在多层显示屏上显示校正后的第三光场图像。
[0070] 本发明实施例中,在获得待显示三维物体的空间成像信息后,通过将该待显示三维物体的空间成像信息从世界坐标系变换至目镜坐标系,以去除目镜对该空间成像信息的放大等作用。之后,将转换后的成像信息投影在目镜的出瞳位置处,在出瞳位置处触发多条光线,通过获取该多条光线在转换后的成像信息中分别对应的像素的实际灰度值来获得第一光场图像,该第一光场图像反映了待显示三维物体在人眼中的真实图像效果。另外,通过获取该多条光线中每条光线在多层显示屏的每层上分别对应的像素的初始灰度值,获得多层显示屏上对应的第二光场图像,即实际需要显示的光场图像的初始灰度信息。由于该第二光场图像中各像素的灰度值还为初始值,并非实际成像时所对应的灰度值,以该初始灰度值为变量,结合第一光场图像中对应像素的实际灰度值来构建误差函数,通过优化算法求取使得该误差函数最小的各像素的灰度值,作为第二光场图像中各像素的最终灰度值,得到待显示的第三光场图像,从而保证了生成的第三光场图像更加逼真于体现真实感的第一光场图像,保证了图像显示质量。
[0071] 图6为本发明实施例提供的图像生成装置的结构示意图,如图6所示,该装置包括:转换模块11、第一获取模块12、第二获取模块13、修正处理模块14、显示模块15。
[0072] 转换模块11,用于根据预设世界坐标系与目镜坐标系的映射关系,将待显示三维物体的空间成像信息从所述世界坐标系变换至所述目镜坐标系,以获得转换后的成像信息。
[0073] 第一获取模块12,用于在出瞳位置处触发多条光线,以通过获取所述多条光线在所述转换后的成像信息中分别对应的像素的实际灰度值,获得第一光场图像。
[0074] 第二获取模块13,用于通过获取所述多条光线在多层显示屏上分别对应的像素的初始灰度值,获得第二光场图像。
[0075] 修正处理模块14,用于根据所述第一光场图像对所述第二光场图像中像素的灰度值进行修正,以获得第三光场图像。
[0076] 显示模块15,用于在所述多层显示屏上显示所述第三光场图像。
[0077] 其中,所述目镜坐标系包括左眼目镜坐标系和右眼目镜坐标系,可选地,所述装置还包括:建立模块21。
[0078] 建立模块21,用于根据如下规则建立所述世界坐标系、所述左眼目镜坐标系和所述右眼目镜坐标系:
[0079] 以左眼目镜的光心位置为坐标原点,建立所述左眼目镜坐标系;以右眼目镜的光心位置为坐标原点,建立所述右眼目镜坐标系;以所述左眼目镜的光心位置和所述右眼目镜的光心位置之间连线的垂直平分线上一点为坐标原点,建立所述世界坐标系;所述世界坐标系的坐标轴与所述左眼目镜坐标系和所述右眼目镜坐标系中的相应坐标轴平行。
[0080] 相应地,所述转换模块11具体用于:
[0081] 根据如下公式(1)将所述待显示三维物体的空间成像信息变换至所述左眼目镜坐标系:
[0082]
[0083] 根据如下公式(2)将所述待显示三维物体的空间成像信息变换至所述右眼目镜坐标系:
[0084]
[0085] 其中,(xw,yw,zw)为所述世界坐标系中的任一点成像位置信息,(xleft,yleft,zleft)为所述左眼目镜坐标系中对应的成像位置信息,(xright,ylright,zright)为所述右眼目镜坐标系中对应的成像位置信息,f为目镜焦距,D为瞳距,L为所述世界坐标系的坐标原点到所述连线的距离。
[0086] 可选地,所述修正处理模块14具体用于:
[0087] 根据所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值构建误差函数;求解所述误差函数,确定所述多条光线在所述多层显示屏上分别对应的像素的最终灰度值,以获得第三光场图像,所述最终灰度值使所述误差函数最小。
[0088] 可选地,所述修正处理模块14具体用于:以所述第一光场图像和所述第二光场图像中对应像素的实际灰度值和初始灰度值的加权差值的平方和,构建所述误差函数。
[0089] 可选地,该装置还包括:畸变校正模块22。
[0090] 畸变校正模块22,用于以预设目镜畸变系数,对所述第三光场图像进行校正。
[0091] 图6所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
[0092] 另外,如图7所示,本发明实施例还提供一种电子设备,包括:由等厚透镜组成的目镜31、多层显示屏32、存储器33和处理器34。如图2b所示,所述目镜31包括镀有增透膜的第一表面以及镀有半透半反射膜的第二表面,所述第一表面位于靠近人眼一侧,所述第二表面位于远离人眼一侧。所述存储器33用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器34执行时实现如前述实施例提供的图像生成方法。
[0093] 在一种可选实施方式中,本发明实施例提供的电子设备还可以包括通信接口35,用于所述电子设备与其他设备、或者外部网络之间的通信。
[0094] 本发明实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行时实现本发明实施例提供的图像生成方法。
[0095] 以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0096] 最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。