本发明公开了局部可控的2D/3D混合显示装置，所述装置包括偏振准直背光子部件、光场调制子部件、透射型显示面板。偏振准直背光子部件用于产生x偏振方向的准直光束；光场调制子部件用于将x偏振方向的准直光束调制为面光源和点光源阵列；透射型显示面板，用于显示2D/3D混合光场图像。本发明还公开了局部可控的2D/3D混合光场图像生成方法，所述方法包括视差图像阵列获取、2D/3D图像区域选取与分离、高分辨率2D图像生成、3D光场图像生成、2D/3D混合光场图像合成五个步骤。所述装置和所述方法可以根据观测者的需求切换2D和3D显示区域，实现局部可控的2D/3D混合显示。
1.局部可控的2D/3D混合显示装置，其特征在于，所述装置包括偏振准直背光子部件、光场调制子部件、透射型显示面板；偏振准直背光子部件包含点光源、准直透镜、吸收型偏振片，用于产生与偏振依赖液晶透镜阵列中液晶分子长轴方向垂直的x偏振方向的准直光束；光场调制子部件包含像素化偏振转换器、偏振依赖液晶透镜阵列、散射型偏振片，用于将x偏振方向的准直光束调制为面光源和点光源阵列；透射型显示面板，用于显示2D/3D混合光场图像；所述准直透镜，用于对所述点光源发出的光束转变为准直光束；
所述吸收型偏振片的透射轴为x方向，用于将所述准直透镜出射的准直光束转变为x偏振方向的准直光束；
所述像素化偏振转换器与所述透射型显示面板的单元像素尺寸相同，且两者中心平行对齐放置，用于加载像素化掩膜来像素化调制准直光束的偏振方向，像素化掩膜是一张与
2D/3D混合光场图像中的2D图像和3D光场图像轮廓相同的黑白掩膜，其中像素化掩膜的黑色区域与2D/3D混合光场图像中2D图像区域相对应，用于保持入射准直光束的偏振方向；像素化掩膜的白色区域与2D/3D混合光场图像中3D图像区域相对应，用于将入射x偏振方向的准直光束转变为y偏振方向的准直光束；
所述偏振依赖液晶透镜阵列由聚合物层、液晶层、取向层以及玻璃基板组成；所述偏振依赖液晶透镜阵列可实现两种状态，状态1，线偏振光的偏振方向与所述液晶透镜阵列中液晶分子长轴方向垂直，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透射作用；状态
2，线偏振光的方向与所述液晶透镜阵列中液晶分子长轴方向平行，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透镜的会聚作用；
所述散射型偏振片的散射轴为x方向，对从所述偏振依赖液晶透镜阵列出射的x偏振方向的光束进行发散，对从所述偏振依赖液晶透镜阵列出射的y偏振方向的光束进行透射。
2.根据权利要求1所述的局部可控的2D/3D混合显示装置，其特征在于，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的黑色区域保持入射准直光束的偏振方向，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的x偏振方向的准直光束具有透射作用，x偏振方向的准直光束在经过所述散射型偏振片散射后形成面光源，最后照射透射型显示面板上的2D图像区域，实现2D显示。
3.根据权利要求1所述的局部可控的2D/3D混合显示装置，其特征在于，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的白色区域被转变为y偏振方向的准直光束，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的y偏振方向的准直光束具有透镜的会聚作用，y偏振方向的准直光束经过所述散射型偏振片会聚形成点光源阵列，最后照射透射型显示面板上的3D光场图像区域，实现3D显示。
4.根据权利要求1所述的局部可控的2D/3D混合显示装置，其特征在于，通过同步改变像素化偏振转换器上加载的像素化掩膜以及2D/3D混合光场图像中的2D图像区域和3D图像区域，实现2D显示区域和3D显示区域的局部可控。
5.根据权利要求1所述的局部可控的2D/3D混合显示装置，其特征在于，所述偏振依赖液晶透镜阵列，可以是呈一维柱状排列的柱透镜结构，也可以是呈二维矩阵排列的微透镜阵列结构。
6.局部可控的2D/3D混合光场图像生成方法，其特征在于，所述方法包括视差图像阵列获取、2D/3D图像区域选取与分离、高分辨率2D图像生成、3D光场图像生成、2D/3D混合光场图像合成五个步骤：所述视差图像阵列获取，采用相机阵列获取3D场景的一组视差图像阵列，每张视差图像包含场景不同角度的光场信息；
所述2D/3D图像区域选取与分离，观察者根据显示需求，从一张视差图像中选取2D图像区域和3D图像区域，通过膨胀和侵蚀的形态学处理生成一张三分图，利用深度学习抠图算法生成α蒙版图，从而将视差图像阵列中的每幅视差图像精确的分离为2D图像数据集和3D图像数据集；
所述高分辨率2D图像生成，通过超分辨率算法，根据2D图像数据集中的冗余信息，生成高分辨率2D图像；
所述3D光场图像生成，通过像素映射算法将3D图像数据集合成为3D光场图像；
所述2D/3D混合光场图像合成，根据3D光场图像与高分辨率2D图像的遮挡关系，将3D光场图像与高分辨率2D图像叠加，合成2D/3D混合光场图像。
局部可控的2D/3D混合显示装置及光场图像生成方法
技术领域
[0001] 本发明涉及2D/3D混合显示技术领域，特别涉及一种局部可控的2D/3D混合显示装置及其对应的2D/3D混合光场图像生成方法。
背景技术
[0002] 随着社会不断地向信息化、现代化迈进，显示技术已经成为现代世界不可缺少的一部分，为人们提供了再现视觉感知的重要窗口，对人们的社会生活具有重要意义。二十世纪以来，显示技术不断的更新换代，从黑白到彩色，从标清到超清，从厚重到超薄，从2D显示到3D显示，显示技术一直在追求更加真实、舒适的视觉体验。2D/3D混合显示技术作为新型多媒体显示技术的一种特殊形式，它不仅能够呈现色彩和细节表现能力已趋近完美的2D图像，同时，对于具有深度线索的物体又能够提供逼真视觉效果的3D图像，已逐步受到产业界与学术界的关注。然而，2D/3D混合显示技术却鲜有研究，尤其是对显示面板上局部位置的图像单独控制和任意切换用于2D显示或3D显示是相当具有挑战性的。另外，一般的2D/3D混合光场图像生成方法需要对同一目标场景进行两次拍摄，分别得到2D图像信息和3D光场信息，通过遮挡关系生成2D/3D混合光场图像，这种方法存在着拍摄周期长、拍摄过程繁琐等技术瓶颈。
发明内容
[0003] 本发明提出局部可控的2D/3D混合显示装置，如附图1所示，所述装置包括偏振准直背光子部件、光场调制子部件、透射型显示面板。偏振准直背光子部件包含点光源、准直透镜、吸收型偏振片，用于产生与偏振依赖液晶透镜阵列中液晶分子长轴方向垂直的x偏振方向的准直光束。光场调制子部件包含像素化偏振转换器、偏振依赖液晶透镜阵列、散射型偏振片，用于将x偏振方向的准直光束调制为面光源和点光源阵列。透射型显示面板，用于显示2D/3D混合光场图像。
[0004] 所述准直透镜，用于对所述点光源发出的光束转变为准直光束。
[0005] 所述吸收型偏振片的透射轴为x方向，用于将所述准直透镜出射的准直光束转变为x偏振方向的准直光束。
[0006] 所述像素化偏振转换器与所述透射型显示面板的单元像素尺寸相同，且两者中心平行对齐放置，用于加载像素化掩膜来像素化调制准直光束的偏振方向。如附图2所示，像素化掩膜是一张与2D/3D混合光场图像中的2D图像和3D光场图像轮廓相同的黑白掩膜，其中像素化掩膜的黑色区域与2D/3D混合光场图像中2D图像区域相对应，用于保持入射准直光束的偏振方向；像素化掩膜的白色区域与2D/3D混合光场图像中3D图像区域相对应，用于将入射x偏振方向的准直光束转变为y偏振方向的准直光束。
[0007] 所述偏振依赖液晶透镜阵列由聚合物层、液晶层、取向层以及玻璃基板组成。所述偏振依赖液晶透镜阵列可实现两种状态，状态1如附图3所示，线偏振光的偏振方向与所述液晶透镜阵列中液晶分子长轴方向垂直，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透射作用；状态2如附图4所示，线偏振光的方向与所述液晶透镜阵列中液晶分子长轴方向平行，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透镜的会聚作用。
[0008] 所述偏振依赖液晶透镜阵列，可以是呈一维柱状排列的柱透镜结构，如附图5所示，也可以是呈二维矩阵排列的微透镜阵列结构，如附图6所示。
[0009] 所述散射型偏振片的散射轴为x方向，对从所述偏振依赖液晶透镜阵列出射的x偏振方向的光束进行发散，对从所述偏振依赖液晶透镜阵列出射的y偏振方向的光束进行透射。
[0010] 所述2D/3D混合光场图像包括2D图像区域和3D光场图像区域。
[0011] 所述局部可控的2D/3D混合显示装置，2D显示的光路如附图7所示，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的黑色区域保持入射准直光束的偏振方向，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的x偏振方向的准直光束具有透射作用，x偏振方向的准直光束在经过所述散射型偏振片散射后形成面光源，最后照射透射型显示面板上的2D图像区域，实现2D显示。
[0012] 所述局部可控的2D/3D混合显示装置，3D显示的光路如附图7所示，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的白色区域被转变为y偏振方向的准直光束，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的y偏振方向的准直光束具有透镜的会聚作用，y偏振方向的准直光束经过所述散射型偏振片会聚形成点光源阵列，最后照射透射型显示面板上的3D光场图像区域，实现3D显示。
[0013] 所述局部可控的2D/3D混合显示装置，通过同步改变像素化偏振转换器上加载的像素化掩膜以及2D/3D混合光场图像中的2D图像区域和3D图像区域，实现2D显示区域和3D显示区域的局部可控。
[0014] 本发明还提出局部可控的2D/3D混合光场图像生成方法，所述方法包括视差图像阵列获取、2D/3D图像区域选取与分离、高分辨率2D图像生成、3D光场图像生成、2D/3D混合光场图像合成五个步骤，具体的流程如附图8所示。
[0015] 所述视差图像阵列获取，采用相机阵列获取3D场景的一组视差图像阵列，每张视差图像包含场景不同角度的光场信息。
[0016] 所述2D/3D图像区域选取与分离，观察者根据显示需求，从一张视差图像中选取2D图像区域和3D图像区域，通过膨胀和侵蚀的形态学处理生成一张三分图，利用深度学习抠图算法生成α蒙版图，从而将视差图像阵列中的每幅视差图像精确的分离为2D图像数据集和3D图像数据集。
[0017] 所述高分辨率2D图像生成，通过超分辨率算法，根据2D图像数据集中的冗余信息，生成高分辨率2D图像。
[0018] 所述3D光场图像生成，通过像素映射算法将3D图像数据集合成为3D光场图像。
[0019] 所述2D/3D混合光场图像合成，根据3D光场图像与高分辨率2D图像的遮挡关系，将3D光场图像与高分辨率2D图像叠加，合成2D/3D混合光场图像。
[0020] 本发明提出局部可控的2D/3D混合显示装置，通过加载的像素化掩膜控制偏振转换器，分别产生面光源和点光源阵列，实现局部可控的2D/3D混合显示；还提出局部可控的2D/3D混合光场图像生成方法，该方法仅需一次采集视差图像阵列，即可对2D显示和3D显示的区域进行局部的任意选择，对应生成2D/3D混合光场图像，该方法极大地缩短了拍摄周期、简化了拍摄过程，提高了片源的生成效率。通过所述装置和所述方法，根据观测者的需求可以任意的对2D和3D显示的区域进行局部切换，实现局部可控的2D/3D混合显示。
附图说明
[0021] 附图1为本发明提出的局部可控的2D/3D混合显示装置示意图。
[0022] 附图2(a)为2D/3D混合光场图像，(b)为像素化掩膜。
[0023] 附图3为偏振依赖液晶透镜阵列对x偏振方向的准直光束的透射作用示意图。
[0024] 附图4为偏振依赖液晶透镜阵列对y偏振方向的准直光束的聚焦作用示意图。
[0025] 附图5为呈一维柱状排列的偏振依赖液晶透镜阵列示意图。
[0026] 附图6为呈二维矩阵排列的偏振依赖液晶透镜阵列示意图。
[0027] 附图7为本发明装置的2D/3D混合显示光路示意图。
[0028] 附图8为2D/3D混合光场图像生成方法流程图。
[0029] 附图9为视差图像阵列中(a)第(6,1)幅视差图像，(b)第(6,11)幅视差图像。
[0030] 附图10为2D图像数据集中(a)第(6,1)幅2D图像，(b)第(6,11)幅2D图像。
[0031] 附图11为3D图像数据集中(a)第(6,1)幅3D图像，(b)第(6,11)幅3D图像。
[0032] 附图12为高分辨率2D图像。
[0033] 附图13为3D光场图像。
[0034] 附图14为2D/3D混合光场图像。
[0035] 上述附图中的图示标号为：
[0036] 1点光源，2准直透镜，3吸收型偏振片，4像素化偏振转换器，500偏振依赖液晶透镜阵列，501聚合物层，502液晶层，503取向层，504玻璃基板，6散射型偏振片，7透射型显示面板，8 2D图像，9 3D图像，10偏振准直背光子部件，11光场调制子部件，12准直光束，13x偏振方向的准直光束，14面光源，15y偏振方向的准直光束，16点光源阵列，17 2D图像区域，18 3D图像区域。
[0037] 应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
[0038] 下面详细说明本发明的局部可控的2D/3D混合显示装置及光场图像生成方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
[0039] 本发明提出局部可控的2D/3D混合显示装置，如附图1所示，所述装置包括偏振准直背光子部件、光场调制子部件、透射型显示面板。偏振准直背光子部件包含点光源、准直透镜、吸收型偏振片，用于产生与偏振依赖液晶透镜阵列中液晶分子长轴方向垂直的x偏振方向的准直光束。光场调制子部件包含像素化偏振转换器、偏振依赖液晶透镜阵列、散射型偏振片，用于将x偏振方向的准直光束调制为面光源和点光源阵列。透射型显示面板，用于显示2D/3D混合光场图像。
[0040] 所述准直透镜，用于对所述点光源发出的光束转变为准直光束。
[0041] 所述吸收型偏振片的透射轴为x方向，用于将所述准直透镜出射的准直光束转变为x偏振方向的准直光束。
[0042] 所述像素化偏振转换器与所述透射型显示面板的单元像素尺寸相同，且两者中心平行对齐放置，用于加载像素化掩膜来像素化调制准直光束的偏振方向。如附图2所示，像素化掩膜是一张与2D/3D混合光场图像中的2D图像和3D光场图像轮廓相同的黑白掩膜，其中像素化掩膜的黑色区域与2D/3D混合光场图像中2D图像区域相对应，用于保持入射准直光束的偏振方向；像素化掩膜的白色区域与2D/3D混合光场图像中3D图像区域相对应，用于将入射x偏振方向的准直光束转变为y偏振方向的准直光束。
[0043] 所述偏振依赖液晶透镜阵列由聚合物层、液晶层、取向层以及玻璃基板组成。平凹形状的聚合物层的折射率为1.52，平凸形状的液晶层的o光折射率为1.52，e光折射率为1.74的，玻璃基板的折射率为1.52。所述偏振依赖液晶透镜阵列可实现两种状态，状态1如附图3所示，线偏振光的偏振方向与所述液晶透镜阵列中液晶分子长轴方向垂直，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透射作用；状态2如附图4所示，线偏振光的方向与所述液晶透镜阵列中液晶分子长轴方向平行，所述偏振依赖液晶透镜阵列对该方向的偏振光具有透镜的会聚作用。
[0044] 所述偏振依赖液晶透镜阵列，可以是呈一维柱状排列的柱透镜结构，如附图5所示，也可以是呈二维矩阵排列的微透镜阵列结构，如附图6所示。
[0045] 所述散射型偏振片的散射轴为x方向，对从所述偏振依赖液晶透镜阵列出射的x偏振方向的光束进行发散，对从所述偏振依赖液晶透镜阵列出射的y偏振方向的光束进行透射。
[0046] 所述2D/3D混合光场图像包括2D图像区域和3D光场图像区域。
[0047] 所述局部可控的2D/3D混合显示装置，2D显示的光路如附图7所示，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的黑色区域保持入射准直光束的偏振方向，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的x偏振方向的准直光束具有透射作用，x偏振方向的准直光束在经过所述散射型偏振片散射后形成面光源，最后照射透射型显示面板上的2D图像区域，实现2D显示。
[0048] 所述局部可控的2D/3D混合显示装置，3D显示的光路如附图7所示，所述准直透镜把所述点光源发出的光束转变为准直光束，准直光束经过所述吸收型偏振片转变为x偏振方向的准直光束，x偏振方向的准直光束照射像素化偏振转换器，经由像素化掩膜的白色区域被转变为y偏振方向的准直光束，所述偏振依赖液晶透镜阵列对从像素化偏振转换器出射的y偏振方向的准直光束具有透镜的会聚作用，y偏振方向的准直光束经过所述散射型偏振片会聚形成点光源阵列，最后照射透射型显示面板上的3D光场图像区域，实现3D显示。
[0049] 所述局部可控的2D/3D混合显示装置，通过同步改变像素化偏振转换器上加载的像素化掩膜以及2D/3D混合光场图像中的2D图像区域和3D图像区域，实现2D显示区域和3D显示区域的局部可控。
[0050] 本发明还提出局部可控的2D/3D混合光场图像生成方法，所述方法包括视差图像阵列获取、2D/3D图像区域选取与分离、高分辨率2D图像生成、3D光场图像生成、2D/3D混合光场图像合成五个步骤，具体的流程如附图8所示。
[0051] 所述视差图像阵列获取，采用相机阵列获取包含两个病毒和一个人体模型的3D场景的一组视差图像阵列，每张视差图像包含场景不同角度的光场信息，如附图9所示。
[0052] 所述2D/3D图像区域选取与分离，观察者根据显示需求，从一张视差图像中选取人体模型作为2D区域和两个病毒作为3D区域，通过膨胀和侵蚀的形态学处理生成一张三分图，利用深度学习抠图算法生成α蒙版图，从而将视差图像阵列中的每幅视差图像精确的分离为2D图像数据集，如附图10所示，和3D图像数据集，如附图11所示。
[0053] 所述高分辨率2D图像生成，通过超分辨率算法，根据2D图像数据集中的冗余信息，生成高分辨率2D图像，如附图12所示。
[0054] 所述3D光场图像生成，通过像素映射算法将3D图像数据集合成为3D光场图像，如附图13所示。
[0055] 所述2D/3D混合光场图像合成，根据3D光场图像与高分辨率2D图像的遮挡关系，将3D光场图像与高分辨率2D图像叠加，合成2D/3D混合光场图像，如附图14所示。
[0056] 本发明提出局部可控的2D/3D混合显示装置，通过加载的像素化掩膜控制偏振转换器，分别产生面光源和点光源阵列，实现局部可控的2D/3D混合显示；还提出局部可控的2D/3D混合光场图像生成方法，该方法仅需一次采集视差图像阵列，即可对2D显示和3D显示的区域进行局部的任意选择，对应生成2D/3D混合光场图像，该方法极大地缩短了拍摄周期、简化了拍摄过程，提高了片源的生成效率。通过所述装置和所述方法，根据观测者的需求可以任意的对2D和3D显示的区域进行局部切换，实现局部可控的2D/3D混合显示。
