公开了根据本发明的实施例的配置为在电子文件中存储从光场图像数据合成的图像和描述图像的元数据并且利用所存储的图像和元数据呈现图像的系统和方法。一种实施例包括处理器和存储器，存储器包含编码应用和光场图像数据，其中光场图像数据包括从不同视点捕捉到的场景的多个低分辨率图像，编码应用把处理器配置为：利用低分辨率图像合成来自参考视点的场景的较高分辨率图像，其中合成较高分辨率图像涉及创建指定较高分辨率图像中的像素的离参考视点的深度的深度图；编码较高分辨率图像；以及创建包括编码后的图像和元数据的光场图像文件，其中元数据包括深度图。
1.一种用于将光场图像数据编码为光场图像文件的系统，包括：处理器；及
存储器，包含编码应用和光场图像数据，其中光场图像数据包括从不同视点捕捉到的场景的多个低分辨率图像；
利用低分辨率图像合成来自参考视点的场景的较高分辨率图像，其中合成较高分辨率图像涉及创建指定较高分辨率图像中的像素的离参考视点的深度的深度图以及标识场景的多个低分辨率图像中的在参考视点中被遮挡的像素；
创建包括编码后的图像和描述编码后的图像的元数据的光场图像文件，其中元数据包括深度图和被遮挡的像素的描述，其中深度图和被遮挡的像素用于合成来自不同视点的图像。
2.如权利要求1所述的系统，其中编码应用把处理器配置为编码深度图并且描述编码后的图像的元数据中所包括的深度图是编码后的深度图。
3.如权利要求1所述的系统，其中被遮挡的像素的描述包括被遮挡的像素的颜色、位置和深度。
合成较高分辨率图像涉及创建深度图的置信度图，其中置信度图指示深度图中像素的深度值的可靠性；及光场图像文件中描述编码后的图像的元数据包括置信度图。
5.如权利要求4所述的系统，其中编码应用把处理器配置为编码置信度图。
编码应用把处理器配置为生成边缘图，其中边缘图指示合成的图像中位于断点上的像素；及光场图像文件中描述编码后的图像的元数据包括边缘图。
7.如权利要求6所述的系统，其中边缘图标识像素是否位于强度断点上。
8.如权利要求6所述的系统，其中边缘图标识像素是否位于强度和深度断点上。
9.如权利要求6所述的系统，其中编码应用把处理器配置为编码边缘图。
编码应用把处理器配置为生成缺失像素图，其中缺失像素图指示合成的图像中与来自场景的多个低分辨率图像的像素不对应的并且是通过内插来自合成的图像中的相邻像素的像素值而生成的像素；及光场图像文件中描述编码后的图像的元数据包括缺失像素图。
11.如权利要求10所述的系统，其中编码应用把处理器配置为编码缺失像素图。
12.如权利要求1所述的系统，其中元数据还包括焦平面。
13.如权利要求1所述的系统，其中光场图像文件遵循JFIF标准。
14.如权利要求13所述的系统，其中高分辨率图像是根据JPEG标准编码的。
15.如权利要求14所述的系统，其中元数据位于光场图像文件中的应用标记段中。
16.如权利要求15所述的系统，其中应用标记段是利用APP9标记标识的。
17.如权利要求15所述的系统，其中编码应用把处理器配置为利用无损压缩根据JPEG标准编码深度图，并且编码后的深度图存储在包含元数据的应用标记段中。
被遮挡的像素的描述存储在包含元数据的应用标记段中。
19.如权利要求18所述的系统，其中被遮挡的像素的描述包括被遮挡的像素的颜色、位置和深度。
合成较高分辨率图像涉及创建深度图的置信度图，其中置信度图指示深度图中像素的深度值的可靠性；及置信度图存储在包含元数据的应用标记段中。
21.如权利要求20所述的系统，其中编码应用把处理器配置为利用无损压缩根据JPEG标准编码置信度图。
编码应用把处理器配置为生成边缘图，其中边缘图指示合成的图像中位于断点上的像素；及边缘图存储在包含元数据的应用标记段中。
23.如权利要求22所述的系统，其中边缘图标识像素是否位于强度断点上。
24.如权利要求22所述的系统，其中边缘图标识像素是否位于强度和深度断点上。
25.如权利要求22所述的系统，其中编码应用把处理器配置为利用无损压缩根据JPEG标准编码边缘图。
编码应用把处理器配置为生成缺失像素图，其中缺失像素图指示合成的图像中与来自场景的多个低分辨率图像的像素不对应的并且是通过内插来自合成的图像中的相邻像素的像素值而生成的像素；及缺失像素图存储在包含元数据的应用标记段中。
27.如权利要求26所述的系统，其中编码应用把处理器配置为利用无损压缩根据JPEG标准编码缺失像素图。
28.一种用于将光场图像数据编码为光场图像文件的方法，包括：利用编码设备和光场图像数据合成来自参考视点的场景的较高分辨率图像和描述合成的图像中的像素的深度的深度图，其中光场图像数据包括从不同视点捕捉到的场景的多个低分辨率图像，并且合成较高分辨率图像包括创建指定较高分辨率图像中的像素的离参考视点的深度的深度图以及标识场景的多个低分辨率图像中的在参考视点中被遮挡的像素；
利用编码设备创建包括编码后的图像和描述编码后的图像的元数据的光场图像文件，其中元数据包括深度图和被遮挡的像素的描述，其中深度图和被遮挡的像素用于合成来自不同视点的图像。
29.一种包含处理器指令的机器可读介质，其中指令被处理器执行使得处理器执行包括以下步骤的方法：利用光场图像数据合成来自参考视点的场景的较高分辨率图像，其中光场图像数据包括从不同视点捕捉到的场景的多个低分辨率图像，并且合成较高分辨率图像包括创建指定较高分辨率图像中的像素的离参考视点的深度的深度图以及标识场景的多个低分辨率图像中的在参考视点中被遮挡的像素；
创建包括编码后的图像以及描述编码后的图像的元数据的光场图像文件，其中元数据包括深度图和被遮挡的像素的描述，其中深度图和被遮挡的像素用于合成来自不同视点的图像。
30.一种用于利用包括编码后的图像和描述编码后的图像的元数据的光场图像文件来呈现图像的系统，其中元数据包括指定编码后的图像中的像素的离参考视点的深度的深度图，该系统包括：处理器；及
存储器，包含呈现应用和光场图像文件，该光场图像文件包括编码后的图像和描述编码后的图像的元数据，其中：编码后的图像是利用从不同视点捕捉场景的多个较低分辨率图像从参考视点合成的该场景的图像；及元数据包括：
指定编码后的图像中的像素的离参考视点的深度的深度图；和较低分辨率图像中的从参考视点被遮挡的像素；
通过基于在深度图中指示的深度修改像素以通过利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像来创建呈现的图像来后处理解码后的图像。
31.如权利要求30所述的系统，其中呈现应用把处理器配置为通过基于在深度图中指示的深度修改像素以创建呈现的图像来后处理解码后的图像包括对解码后的图像的像素应用基于深度的效果。
32.如权利要求31所述的系统，其中基于深度的效果包括选自由以下项组成的组的至少一种效果：修改解码后的图像的焦平面；
在解码后的图像中以不同深度创建多个聚焦区域；及应用与深度相关的模糊。
光场图像文件中的元数据包括对较低分辨率图像中的在参考视点中被遮挡的像素的描述，该描述包括被遮挡的像素的颜色、位置和深度；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括：基于像素的深度把来自解码的图像的像素和元数据中的被遮挡的像素移动到不同的视点；
利用不被遮挡的移动后的像素并且通过利用不被遮挡的相邻像素内插以填充缺失的像素，来生成来自不同视点的图像。
34.如权利要求30所述的系统，其中从不同视点呈现的图像是立体图像对的一部分。
光场图像文件中的元数据进一步包括深度图的置信度图，其中置信度图指示由深度图为像素提供的深度值的可靠性；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于置信度图应用至少一个滤波器。
光场图像文件中的元数据进一步包括边缘图，其中边缘图指示解码后的图像中位于断点上的像素；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于边缘图应用至少一个滤波器。
37.如权利要求36所述的系统，其中边缘图标识像素是否位于强度断点上。
38.如权利要求36所述的系统，其中边缘图标识像素是否位于强度和深度断点上。
光场图像文件中的元数据进一步包括缺失像素图，其中缺失像素图指示解码后的图像中与来自场景的多个低分辨率图像的像素不对应的并且是通过内插来自合成的图像中的相邻像素的像素值而生成的像素；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于缺失像素图来忽略像素。
光场图像文件遵循JFIF标准，并且编码后的图像是根据JPEG标准编码的；
通过在光场图像文件中定位图像起始标记来定位编码后的图像；及利用JPEG解码器来解码编码后的图像。
41.如权利要求40所述的系统，其中元数据位于光场图像文件中的应用标记段中。
42.如权利要求41所述的系统，其中应用标记段是利用APP9标记标识的。
深度图是利用无损压缩根据JPEG标准编码的；及呈现应用把处理器配置为：
定位包含元数据的至少一个应用标记段，其中元数据包括深度图；及利用JPEG解码器来解码深度图。
呈现应用把处理器配置为定位包含元数据的至少一个应用标记段。
光场图像文件中的元数据包括对较低分辨率图像中的在参考视点中被遮挡的像素的描述，该描述包括被遮挡的像素的颜色、位置和深度；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括：基于像素的深度把来自解码的图像的像素和元数据中的被遮挡的像素移动到不同的视点；
利用不被遮挡的移动后的像素并且通过利用不被遮挡的相邻像素内插以填充缺失的像素，来生成来自不同视点的图像。
46.如权利要求44所述的系统，其中从不同视点呈现的图像是立体图像对的一部分。
光场图像文件中的元数据进一步包括深度图的置信度图，其中置信度图指示由深度图为像素提供的深度值的可靠性；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于置信度图应用至少一个滤波器。
光场图像文件中的元数据进一步包括边缘图，其中边缘图指示解码后的图像中位于断点上的像素；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于边缘图应用至少一个滤波器。
49.如权利要求48所述的系统，其中边缘图标识像素是否位于强度断点上。
50.如权利要求48所述的系统，其中边缘图标识像素是否位于强度和深度断点上。
边缘图是利用无损压缩根据JPEG标准编码的；及呈现应用把处理器配置为：
定位包含元数据的至少一个应用标记段，其中元数据包括边缘图；及利用JPEG解码器来解码边缘图。
光场图像文件中的元数据进一步包括缺失像素图，其中缺失像素图指示解码后的图像中与来自场景的多个低分辨率图像的像素不对应的并且是通过内插来自合成的图像中的相邻像素的像素值而生成的像素；及利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像还包括基于缺失像素图来忽略像素。
缺失像素图是利用无损压缩根据JPEG标准编码的；及呈现应用把处理器配置为：
定位包含元数据的至少一个应用标记段，其中元数据包括缺失像素；及利用JPEG解码器来解码缺失像素图。
54.一种用于利用包括编码后的图像和描述编码后的图像的元数据的光场图像文件来呈现图像的方法，其中元数据包括指定编码后的图像中的像素的离参考视点的深度的深度图和较低分辨率图像中的在参考视点中被遮挡的像素，该方法包括：利用呈现设备在所述光场图像文件中定位所述编码后的图像，其中编码后的图像是利用从不同视点捕捉场景的多个较低分辨率图像从参考视点合成的该场景的图像；
利用呈现设备在光场图像文件中定位元数据；及利用呈现设备，通过基于深度图中指示的深度修改像素以创建呈现的图像来后处理解码后的图像，其中基于深度图中指示的深度修改像素以创建呈现的图像包括利用呈现设备利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像。
55.如权利要求54所述的方法，其中通过基于深度图中指示的深度修改像素以创建呈现的图像来后处理解码后的图像包括利用呈现设备对解码后的图像的像素应用基于深度的效果。
56.如权利要求55所述的方法，其中基于深度的效果包括选自由以下项组成的组的至少一种效果：利用呈现设备修改解码后的图像的焦平面；
利用呈现设备修改解码后的图像的焦点未对准区域中的模糊；
利用呈现设备在解码后的图像中以不同深度创建多个聚焦区域；及利用呈现设备应用与深度相关的模糊。
57.一种包含处理器指令的机器可读介质，其中指令被处理器执行使得处理器执行包括以下步骤的方法：在光场图像文件中定位编码后的图像，其中光场图像文件包括编码后的图像和描述编码后的图像的元数据，元数据包括指定编码后的图像中的像素的离参考视点的深度的深度图和较低分辨率图像中的在参考视点中被遮挡的像素；
解码编码后的图像，其中编码后的图像是利用从不同视点捕捉场景的多个较低分辨率图像从参考视点合成的该场景的图像；
通过基于深度图中指定的深度修改像素以创建呈现的图像来后处理解码后的图像，其中基于深度图中指示的深度修改像素以创建呈现的图像包括利用深度图和较低分辨率图像中的在参考视点中被遮挡的像素来呈现来自不同视点的图像。
用于编码和解码光场图像文件的系统及方法
技术领域
[0001] 本发明涉及图像文件的编码和解码，并且更具体而言涉及光场图像文件(1ight field image file)的编码和解码。
背景技术
[0002] ISO/IEC10918-1标准，更通常地以开发该标准的联合图像专家小组的名字被称为JPEG标准，建立了用于静止图像的数字压缩和编码的标准处理。JPEG标准规定了用于把图像压缩成位流并且用于把位流解压缩成图像的编解码器。
[0003] 包括在ISO/IEC10918-5中规定的JPEG文件互换格式(JFIF)和可交换图像文件格式(Exif)的各种容器文件格式可以用于存储JPEG位流。JFIF可以被认为是使得JPEG位流能够在多种平台和应用之间交换的最小文件格式。JFIF文件中使用的色彩空间是由CCIR推荐601定义的YCbCr，涉及256个级。图像文件的Y、Cb和Cr分量是从R、G和B转换来的，但是被规格化，从而占用8-位二进制编码的完全256个级。YCbCr是由JPEG使用的压缩格式之一。另一个流行的选项是直接对R、G和B色彩平面执行压缩。当应用无损压缩时，直接的RGB色彩平面压缩也是流行的。
[0004] JPEG位流以大端序(big-endian)格式存储16-位字值。JPEG数据通常作为块的流来存储，并且每个块都由一个标记值标识。每个JPEG位流的前两个字节是图像起始(SOI)标记值FFh D8h。在JFIF兼容的文件中，在紧接着SOI后面有JFIF APP0(应用)标记，该标记在标记数据中包括标记码值FFh E0h和字符JFIF，如下一部分中所描述的。除了JFIF标记段，在实际的图像数据之后，还可以有一个或多个可选的JFIF扩展标记段。
[0005] 总的来说，JFIF格式支持十六个“应用标记”来存储元数据。利用应用标记使得解码器有可能解析JFIF文件并且只解码图像数据的所需的段。应用标记每个都限于64K字节，但是有可能使用相同的标记ID多次并指不同的存储器段。
[0006] SOI标记之后的APP0标记用于识别JFIF文件。附加的APP0标记段可以可选地用于规定JFIF扩展。当解码器不支持解码一具体的JFIF应用标记时，该解码器可以跳过该段并继续解码。
[0007] 数码相机使用的一种最流行的文件格式是Exif。当Exif对JPEG位流采用时，APP1应用标记用于存储Exif数据。Exif标签结构是从由位于加州San Jose的Adobe System公司维护的标签图像文件格式(TIFF)借用的。
发明内容
[0008] 根据本发明实施例的系统和方法配置为在电子文件中存储从光场图像数据合成的图像和描述该图像的元数据并且利用所存储的图像和元数据呈现图像。本发明的一种实施例包括处理器及包含编码应用和光场图像数据的存储器，其中光场图像数据包括从不同视点(viewpoint)捕捉到的场景的多个低分辨率图像。此外，编码应用把处理器配置为：利用低分辨率图像合成来自参考视点的较高分辨率图像，其中合成较高分辨率图像涉及创建指定较高分辨率图像中的像素的离参考视点的深度的深度图；编码较高分辨率的图像；并且创建包括编码后的图像和描述该编码后的图像的元数据的光场图像文件，其中元数据包括深度图。
[0009] 本发明的进一步的实施例包括处理器及包含呈现应用和光场图像文件的存储器，其中光场图像文件包括编码后的图像和描述该编码后的图像的元数据，其中元数据包括指定较高分辨率图像中的像素的离参考视点的深度的深度图。此外，呈现应用把处理器配置为：在光场图像文件中定位编码后的图像；解码编码后的图像；在光场图像文件中定位元数据；并且通过基于深度图中所指示的深度修改像素来后处理解码的图像以创建呈现的图像。
[0010] 在另一种实施例中，光场图像文件遵循JFIF标准。
[0011] 在又一种实施例中，高分辨率图像是根据JPEG标准编码的。
附图说明
[0012] 图1概念性地图示出根据本发明的实施例的配置为生成光场图像文件的阵列照相机的体系架构。
[0013] 图2是根据本发明的实施例的用于创建光场图像文件的处理的流程图，其中光场图像文件包括从光场图像数据合成的图像和利用光场图像数据生成的合成的图像的深度图。
[0014] 图3是根据本发明的实施例的用于创建遵循JFIF标准并且包括根据JPEG标准编码的图像的光场图像文件的处理。
[0015] 图4图示出根据本发明的实施例的遵循JFIF标准的光场图像文件的APP9应用标记段。
[0016] 图5图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“DZ选择描述符”。
[0017] 图6图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“深度图、照相机阵列和辅助图选择描述符”。
[0018] 图7图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“深度图、照相机阵列和辅助图压缩描述符”。
[0019] 图8图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“深度图头”中的“深度图属性”字段。
[0020] 图9图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“深度图头”中的“深度图描述符”。
[0021] 图10图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“深度图数据描述符”。
[0022] 图11图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“照相机阵列头”中的“照相机阵列属性”字段。
[0023] 图12图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“照相机阵列头”中的“照相机阵列描述符”。
[0024] 图13图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“个体照相机描述符”。
[0025] 图14图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“个体照相机数据”。
[0026] 图15图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“个体像素数据结构”。
[0027] 图16图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“辅助图头”中的“辅助图描述符”。
[0028] 图17图示出根据本发明的实施例的包含在遵循JFIF标准的光场图像文件的APP9应用标记段中的“辅助图数据描述符”。
[0029] 图18图示出根据本发明的实施例的包括至少一个编码设备的网络，其中编码设备配置为捕捉光场图像数据并编码光场图像文件并且配置为经网络与呈现设备共享光场图像文件。
[0030] 图19概念性地图示出由呈现应用配置为利用光场图像文件呈现图像的呈现设备。
[0031] 图20是图示根据本发明的实施例的用于利用光场图像文件呈现图像的处理的流程图。
[0032] 图21概念性地图示出由呈现应用配置为利用光场图像文件呈现图像的呈现设备，其中光场图像文件包含根据JPEG标准编码的图像和/或图。
[0033] 图22是图示利用光场图像文件呈现图像的处理的流程图，其中光场图像文件遵循JFIF标准并且包括根据JPEG标准编码的图像和描述该编码后的图像的元数据。
[0034] 图23是图示根据本发明的实施例的基于光场图像文件中所包含的深度图对光场图像文件中所包含的编码后的图像应用依赖于深度的效果的处理的流程图。
[0035] 图24是图示根据本发明的实施例的用于从与光场图像文件中所包含的图像的参考视点不同的视点呈现图像的处理的流程图。
具体实施方式
[0036] 现在转向附图，图示了根据本发明的实施例的用于在电子文件中存储从光场图像数据合成的图像和描述该图像的元数据并且用于利用所存储的图像和元数据呈现图像的系统及方法。包含从光场图像数据合成的图像和得自光场图像数据的元数据的文件可以被称为光场图像文件。如以下进一步讨论的，光场图像文件中编码的图像通常是利用来自多个较低分辨率图像的超分辨率处理合成的。光场图像文件还可以包括得自光场图像数据的、描述合成的图像的元数据，其使得可以对合成的图像进行后处理。在许多实施例中，光场图像文件是通过编码从光场图像数据合成的图像并且组合编码后的图像和得自光场图像数据的深度图来创建的。在几个实施例中，编码的图像是从一参考视点合成的并且元数据包括关于光场图像中从该参考视点被遮挡的像素的信息。在多种实施例中，元数据还可以包括附加的信息，包括(但不限于)诸如置信度图、边缘图以及缺失像素图的辅助图，这些图可以在编码的图像的后处理期间用于提高利用光场图像数据文件呈现的图像的质量。
[0037] 在许多实施例中，光场图像文件与JPEG文件互换格式(JFIF)兼容。合成的图像作为JPEG位流编码并且存储在文件中。然后，附带的深度图、被遮挡的像素和/或包括(但不限于)辅助图的任何适当的附加信息作为元数据利用标识元数据的应用标记存储在JFIF文件中。传统的呈现设备可以通过解码JPEG位流来仅显示合成的图像。根据本发明实施例的呈现设备可以利用深度图和/或任何可用的辅助图对解码后的JPEG位流执行附加的后处理。在许多实施例中，元数据中所包括的图还可以利用无损JPEG编码压缩并利用JPEG解码器解码。虽然以下大部分讨论都提及JFIF和JPEG标准，但是这些标准仅仅是作为例子来讨论的并且应当认识到类似的技术可以用于把得自用于合成编码后的图像的光场图像数据的元数据嵌入到各种标准文件格式中，其中合成的图像和/或图是利用基于各种标准的图像编码处理中的任一种来编码的。
[0038] 通过发送包括编码后的图像以及描述编码后的图像的元数据的光场图像文件，呈现设备(即，配置为生成利用光场图像文件中的信息呈现的图像的设备)可以利用文件中的信息呈现新的图像，而不需要对原始的光场图像数据执行超分辨率处理。以这种方式，发送到呈现设备的数据量以及呈现图像的计算复杂性降低了。在几个实施例中，呈现设备配置为执行包括(但不限于)基于由用户指定的焦平面重新聚焦编码后的图像、合成来自不同视点的图像并且生成立体图像对的处理。以下进一步讨论根据本发明实施例的光场图像数据的捕捉以及光场图像文件的编码和解码。
[0039] 捕捉光场图像数据
[0040] 光场，常常定义为特征化来自场景中所有点所有方向的光的4D功能，可以被解释为场景的两维(2D)图像的2D集合。阵列照相机，诸如在Venkataraman等人的题为“Capturing and Processing of Images using Monolithic Camera Array with Heterogeneous Imagers”的美国专利申请序列号No.12/935,504中所描述的那些，可以用于捕捉光场图像。在多个实施例中，诸如在Lelescu等人的题为“Systems and Methods for Synthesizing High Resolution Images Using Super-Resolution Processes”的美国专利申请序列号No.12/967,807中所描述的那些的超分辨率处理用于从由阵列照相机捕捉到的光场中的较低分辨率的图像合成较高分辨率的2D图像或者较高分辨率2D图像的立体对。术语高或较高分辨率和低或较低分辨率在这里是在相对的意义上使用的，而不是要指示由阵列照相机捕捉的图像的具体分辨率。美国专利申请12/935,504和美国专利申请序列号No.12/967,807的全部公开内容通过引用结合于此。
[0041] 所捕捉到的光场中的每个两维(2D)图像都是来自阵列照相机中一个照相机的视点的。利用超分辨率处理合成的高分辨率图像是从可以被称为参考视点的一具体视点合成的。该参考视点可以来自照相机阵列中的一个照相机的视点。作为替代，参考视点可以是任意的虚拟视点。
[0042] 由于每个照相机的不同视点，视差导致该场景的图像中前景对象的位置的变化。用于执行视差检测的处理在Venkataraman等人的题为“Systems and Methods for Parallax Detection and Correction in Images Captured Using Array Cameras”的美国临时专利申请序列号No.61/691,666中讨论，该申请的全部公开内容通过引用结合与此。
如在美国临时专利申请序列号No.61/691,666中所公开的，来自参考视点的深度图可以通过确定光场中的图像中的像素之间由于视差造成的差异来生成。深度图指示场景对象的表面离参考视点的距离。在多个实施例中，生成深度图的计算复杂度是通过生成初始低分辨率深度图，然后在期望附加深度信息的区域(诸如(但不限于)涉及深度过渡的区域和/或包含在光场中一个或多个图像中被遮挡的像素的区域)中增加深度图的分辨率来减小的。
[0043] 在超分辨率处理期间，深度图可以按多种方式来使用。美国专利申请序列号No.12/967,807描述了深度图如何可以在超分辨率处理期间用于动态地重新聚焦合成的图像，以模糊合成的图像，使得不在焦平面上的场景部分看起来是焦点为对准的。美国专利申请序列号No.12/967,807还描述了深度图如何可以在超分辨率处理期间用于生成在3D应用中使用的立体较高分辨率图像对。深度图还可以用于从一个或多个虚拟视点合成高分辨率图像。以这种方式，呈现设备可以模拟运动视差和滑动变焦(dolly zoom)(即，在参考视点前面或后面的虚拟视点)。除了在超分辨率处理期间使用深度图，深度图还可以在多种后处理过程中使用，以便在不执行超分辨率处理的情况下实现包括(但不限于)动态重新聚焦、立体对生成以及虚拟视点生成的效果。以下进一步讨论根据本发明实施例的由阵列照相机捕捉的光场图像数据、光场图像数据在光场图像文件中的存储以及利用光场图像文件对图像的呈现。
[0044] 阵列照相机体系架构
[0045] 根据本发明实施例的阵列照相机配置为使得阵列照相机软件可以控制光场图像数据的捕捉并且可以把光场图像数据捕捉到文件中，该文件可以用于在各种适当配置的呈现设备中的任一种上呈现一个或多个图像。根据本发明实施例的、包括成像器阵列的阵列照相机在图1中被图示。阵列照相机100包括具有焦平面104的阵列并且配置为与处理器108通信的传感器102。处理器还配置为与一种或多种不同类型的存储器110通信，存储器可以用于存储图像数据和/或包含用于把处理器配置为执行包括(但不限于)以下所述各种处理的处理的机器可读指令。阵列照相机100还包括可以由处理器108用于向用户呈现用户界面并且显示利用光场图像数据呈现的图像的显示器112。虽然处理器被图示为单个处理器，但是根据本发明实施例的阵列照相机可以利用包括(但不限于)图形处理单元(GPU)的单个处理器或多个处理器。
[0046] 在所图示的实施例中，处理器接收由传感器生成的图像数据并且从该图像数据重构由传感器捕捉的光场。处理器可以按各种不同方式中的任一种操纵光场，包括(但不限于)确定光场中像素的深度和可见性并且从光场的图像数据合成较高分辨率的2D图像。包括多个焦平面的传感器在Pain等人的题为“Architectures for System on Chip Array Cameras”的美国专利申请序列号No.13/106,797中讨论，该申请的全部公开内容通过引用结合于此。
[0047] 在所图示的实施例中，焦平面配置在5×5的阵列中。传感器上的每个焦平面104能够捕捉场景的图像。在焦平面中使用的传感器元件可以是个体光感测元件，诸如，但不限于，传统的CIS(CMOS图像传感器)像素、CCD(电荷耦合器件)像素、高动态范围传感器元件、多光谱传感器元件和/或配置为生成指示入射到结构上的光的电信号的任何其它结构。在许多实施例中，每个焦平面的传感器元件具有相似的物理性质并且经相同的光通道和滤色镜(在存在的情况下)接收光。在其它实施例中，传感器元件具有不同的特性，并且在许多情况下，传感器元件的特性与应用到每个传感器元件的滤色镜关联。
[0048] 在许多实施例中，图像的阵列(即光场)是利用由传感器中的焦平面捕捉到的图像数据创建的。如以上所指出的，根据本发明许多实施例的处理器108利用适当的软件配置为取得光场内的图像数据并且合成一个或多个高分辨率图像。在几个实施例中，高分辨率图像是根据参考视点合成的，这通常是传感器102中参考焦平面104的视点。在许多实施例中，处理器能够根据虚拟视点合成图像，其中虚拟视点不对应于传感器102中任一个焦平面104的视点。除非捕捉到的场景中所有对象离阵列照相机都有显著的距离，否则光场中的图像将包括由于用于捕捉图像的焦平面的不同视场造成的视差。在执行根据本发明实施例的超分辨率处理时用于检测和校正视差的处理在美国临时专利申请序列号No.61/691,666(以上已通过引用而结合)中讨论。检测到的视差可以用于生成深度图。高分辨率图像和深度图可以被编码并存储在存储器110中的光场图像文件中。处理器108可以使用光场图像文件来呈现一个或多个高分辨率图像。处理器108还可以协调与其它设备对光场图像文件的共享(例如，经网络连接)，这些其它设备可以使用光场图像文件来呈现一个或多个高分辨率图像。
[0049] 虽然在图1中图示了具体阵列照相机体系架构，但是，根据本发明的实施例，替代体系架构也可以使用。以下讨论根据本发明实施例的用于编码要存储在电子文件中的高分辨率图像和深度图的系统及方法。
[0050] 捕捉并存储光场图像数据
[0051] 根据本发明许多实施例的用于捕捉和存储光场图像数据的处理涉及捕捉光场图像数据、从参考视点生成深度图并且使用光场图像数据和深度图来从该参考视点合成图像。然后，合成的图像可以被压缩，以供存储。深度图和在后处理中可以使用的附加数据也可以编码为元数据，该元数据可以与编码后的图像一起存储在相同的容器文件中。
[0052] 根据本发明实施例的用于捕捉和存储光场图像数据的处理在图2中图示。处理200包括捕捉(202)光场图像数据。在几个实施例中，光场图像数据是利用与上述阵列照相机相似的阵列照相机捕捉的。在其它实施例中，各种图像捕捉设备中的任一种可以用于捕捉光场图像数据。光场图像数据用于生成(204)深度图。深度图可以利用各种技术中的任一种生成，包括(但不限于)利用在美国临时专利申请序列号No.61/691,666或Venkatarman等人的题为“Systems and Methods for Determining Depth from Multiple Views of a Scene that Include Aliasing Using Hypothesized Fusion”的美国专利申请序列号No.13/623,091中所公开的任何处理。美国专利No.13/623,091的全部公开内容通过引用结合与此。
[0053] 光场图像数据和深度图可以用于从具体视点合成(206)图像。在许多实施例中，光场图像数据包括用于利用超分辨率处理合成较高分辨率图像的多个低分辨率图像。在多个实施例中，诸如(但不限于)美国专利申请序列号No.12/967,807中所公开的任意超分辨率处理的处理可以用于从参考视点合成较高分辨率的图像。
[0054] 为了能够在没有原始光场图像数据的情况下执行后处理以修改合成的图像，元数据可以从光场图像数据、合成的图像和/或深度图生成(208)。元数据数据可以包括在光场图像文件中并且在合成的图像的后处理期间用于执行包括(但不限于)基于用户指定的焦平面重新聚焦编码后的图像以及从不同视点合成一个或多个图像的处理。在多个实施例中，辅助数据包括(但不限于)光场图像数据中从用于从光场图像数据合成图像的参考视点被遮挡的像素，和包括(但不限于)置信度图、边缘图和/或缺失像素图的一个或多个辅助图。格式化为图或层的辅助数据提供了与合成的图像中像素位置对应的信息。置信度图在深度图生成期间产生并且反映用于特定像素的深度值的可靠性。这种信息可以用于在图像的区域中应用不同的滤波器并且提高所呈现的图像的图像质量。边缘图定义哪些像素是边缘像素，这使得能够应用精炼边缘的滤波器(例如，后期锐化)。缺失像素图代表通过相邻像素的内插而计算出的像素并且使得能够选择后处理滤波器来提高图像质量。如可以很容易认识到的，所生成的具体元数据取决于图像数据文件支持的后处理。在多个实施例中，没有辅助数据包括在图像数据文件中。
[0055] 为了生成图像数据文件，编码(210)合成的图像。编码通常涉及压缩合成的图像并且可以涉及合成的图像的无损或有损压缩。在许多实施例中，深度图和任何辅助数据都作为元数据写(212)到具有编码后的图像的文件，以生成光场图像数据文件。在多个实施例中，深度图和/或辅助图被编码。在许多实施例中，编码涉及无损压缩。
[0056] 虽然以上讨论了用于编码要存储在光场图像文件中的光场图像数据的具体处理，但是各种技术中的任一种都可以用于处理光场图像数据并且把结果存储在图像文件中，包括但不限于编码由阵列照相机捕捉到的低分辨率图像和可以在超分辨率处理中使用的关于阵列照相机的校准信息的处理。以下进一步讨论根据本发明实施例的光场图像数据在JFIF文件中的存储。
[0057] 图像数据格式
[0058] 在几个实施例中，合成的图像的编码以及用于创建光场图像文件的容器文件格式基于包括但不限于用于把静止图像编码为位流的JPEG标准(ISO/IEC10918-1)和JFIF标准(ISO/IEC10918-5)的标准。通过利用这些标准，合成的图像可以由配置为支持包含在JFIF文件中的JPEG图像的呈现的任何呈现设备来呈现。在许多实施例中，关于合成的图像的附加数据，诸如(但不限于)可以在合成的图像的后处理中使用的深度图和附加数据，可以作为与应用标记关联的元数据存储在JFIF文件中。传统的呈现设备可以简单地跳过包含这种元数据的应用标记。根据本发明许多实施例的呈现设备可以解码该元数据并且在各种后处理过程中的任一种中使用该元数据。
[0059] 根据本发明的实施例的用于根据JPEG规格编码利用光场图像数据合成的图像并且在JFIF文件中包括编码后的图像和可以在图像的后处理中使用的元数据的处理在图3中图示。处理300包括根据JPEG标准编码(302)从光场图像数据合成的图像。图像数据写(304)到JFIF文件。用于合成的图像的深度图被压缩(306)并且压缩后的深度图和任何附加的辅助数据作为元数据写(308)到包含编码后的图像的JFIF文件的应用标记段。在辅助数据包括图的情况下，图也可以通过根据JPEG标准编码图来压缩。在这个时候，以利用在光场图像数据中捕捉到的附加信息来合成高分辨率图像(而不需要对底层的光场图像数据执行超分辨率处理)的方式，JFIF文件包含编码后的图像和可以用于对编码后的图像执行后处理的元数据。
[0060] 虽然以上讨论了用于在JFIF文件中存储光场图像数据的具体处理，但是，根据本发明的实施例，各种处理中的任一种都可以在适合具体应用的需求的时候用于编码合成的图像和得自光场图像数据、用于在JFIF文件中合成编码后的图像的附加元数据。以下进一步讨论根据本发明实施例的要插入到JFIF文件中的合成的图像和元数据的编码。虽然以下许多讨论涉及JFIF文件，但是合成的图像和元数据可以为了包括在光场图像文件中而利用各种基于专用或标准的编码技术中任一种和/或利用各种基于专用或标准的文件格式中任一种来编码。
[0061] 编码从光场图像数据合成的图像
[0062] 根据本发明的实施例，利用超分辨率处理从光场图像数据合成的图像可以根据JPEG标准编码，用于包括在光场图像文件中。JPEG标准是有损压缩标准。但是，信息损失通常不影响对象的边缘。因此，图像编码期间信息的损失不影响基于合成的图像生成的图的准确性(与编码的合成图像相反)。遵循JFIF标准的文件中所包含的图像中的像素通常编码为YCbCr值。许多阵列照相机都合成图像，其中每个像素按照红、绿和蓝强度值来表示。在几个实施例中，编码合成的图像的处理涉及在编码之前把图像的像素从RGB域映射到YCbCr域。在其它实施例中，在文件中使用在RGB域中编码图像的机制。通常，在YCbCr域中编码提供更好的压缩率，而在RGB域中编码提供更高的解码的图像质量。
[0063] 存储从光场图像数据得出的附加元数据
[0064] JFIF标准不指定用于存储由阵列照相机生成的深度图或辅助数据的格式。但是，JFIF标准提供可以用于存储关于文件中所包含的编码后的图像的元数据的十六个应用标记。在多个实施例中，JFIF文件的一个或多个应用标记用于存储可以在文件中所包含的编码后的图像的后处理中使用的编码后的深度图和/或一个或多个辅助图。
[0065] 根据本发明实施例的可以用于存储深度图、个体照相机遮挡数据以及辅助图数据的JFIF应用标记段在图4中图示。APP9应用标记段400使用唯一地标识出应用标记段包含描述利用光场图像数据合成的图像的元数据的格式标识符402。在多个实施例中，该标识符被称为“DZ格式标识符”402并且表示为以零终止的字串“PIDZ0”。
[0066] 该应用标记段包括指示为“DZ头”的头404，它提供包含在该应用标记段中的元数据的描述。在所图示的实施例中，“DZ头”404包括指示“DZ头”中的数据是大端序还是小端序的DZ端序字段。“DZ头”404还包括“DZ选择描述符”。
[0067] “DZ选择描述符”的实施例在图5中图示，它包括四个字节。前两个字节(即，字节0和1)包含关于描述存在的编码后的图像的元数据(见图6)和不同元数据被压缩的方式(见图7)的信息。在所图示的实施例中，被支持的元数据的类型是深度图、被遮挡的像素数据、虚拟视点数据、缺失像素图、常规边缘图、轮廓边缘图和/或置信度图。在其它实施例中，根据本发明的实施例，描述从用于合成图像的光场图像数据获得的编码后的图像的多种元数据中任一种都可以包括在JFIF文件中所包含的元数据中。在许多情况下，描述编码后的图像的元数据可以包括可以被认为是可以利用JPEG编码来编码的单色图像的图。在多个实施例中，图可以利用无损JPEG LS编码来压缩。在几个实施例中，图可以利用有损JPEG编码来压缩。利用JPEG编码来压缩图减小了图的尺寸并且使得呈现设备能够充分利用JPEG解码器来既解码JFIF文件中所包含的图像又解码描述编码后的图像的图。“DZ选择描述符”的第三个字节(即，字节2)指示在应用标记段中所包含的描述编码后的图像的元数据的集合的个数，并且第四个字节保留。虽然描述应用标记段中所包含的元数据的头404的具体实现方式在图4-7中进行图示，但是，根据本发明的实施例，在适合应用的需求的时候，各种实现方式中的任一种都可以用于标识光场图像文件中所包含的元数据中存在的、描述合成的图像的图。
[0068] 深度图
[0069] 回过头来参考图4，应用标记段还包括描述应用标记段中所包括的深度图416的“深度图头”406。“深度图头”406包括对“深度图头”中所包括的“深度图属性”410的大小的指示、“深度图属性”410以及“深度图描述符”412。如以上所指出的，深度图416可以被认为是单色图像，而且无损或有损JPEG编码可以用于压缩JFIF文件中所包括的“深度图数据”。
[0070] 根据本发明实施例的“深度图属性”表在图8中图示并且包括关于深度图应当用于呈现编码后的图像的方式的信息。在所图示的实施例中，“深度图属性”表中所包含的信息包括在呈现编码后的图像时使用的焦平面和合成孔径的F#。虽然关于深度图可以用于呈现编码后的图像的方式的具体信息在图8中进行图示，但是，根据本发明的实施例，适合具体应用的需求的各种信息的任一种都可以使用。
[0071] 根据本发明一个实施例的“深度图描述符”在图9中图示并且包括描述深度图的元数据。在所图示的实施例中，“深度图描述符”包括以零终止的标识符字串“PIDZDH0”和版本信息。在其它实施例中，根据本发明的实施例，适合特定应用的具体需求的各种信息的任一种都可以使用。
[0072] JFIF应用标记段被限定到65533个字节。但是，应用标记可以在JFIF文件中被使用多次。因此，根据本发明许多实施例的深度图可以跨多个APP9应用标记段。根据本发明的实施例的深度图数据在JFIF文件中应用标记段中存储的方式在图10中图示。在所图示的实施例中，深度图数据包含在利用“PIDZDD0”零终止字串唯一地标识的描述符中。该描述符还包括描述符的长度和深度图数据。
[0073] 虽然深度图和在JFIF文件的应用标记段中描述深度图的头的具体实现方式在图4、8、9和10中进行图示，但是，根据本发明的实施例，在适合应用需求的时候，各种实现方式中的任一种都可以用于在JFIF文件中包括描述编码后的图像的深度图。
[0074] 遮挡数据
[0075] 回过头来参考图4，应用标记段还包括“照相机阵列头”418，它描述捕捉用于合成在光场图像文件中所包含的图像的光场图像数据的阵列照相机中个体照相机的遮挡数据428。遮挡数据在各种后处理过程中会是有用的，包括(但不限于)涉及修改编码后的图像的视点的处理。“照相机阵列头”418包括对“照相机阵列头”中所包括的“照相机阵列通用属性”表422的大小的指示420、“照相机阵列通用属性”表422以及“照相机阵列描述符”424。
[0076] 根据本发明实施例的“照相机阵列通用属性”表在图11中图示并且包括描述用于捕捉光场图像数据的照相机阵列的照相机个数和维度的信息，其中光场图像数据用于合成在JFIF文件中编码后的图像。此外，“照相机阵列通用属性”表还可以指示阵列中的参考照相机位置和/或阵列中的虚拟观看位置。“照相机阵列通用属性”表还提供关于阵列中要在JFIF文件中为其提供遮挡数据的照相机的个数的信息。
[0077] 根据本发明实施例的“照相机阵列描述符”在图12中图示并且包括描述JFIF文件中所包含的个体照相机遮挡数据的元数据。在所图示的实施例中，“照相机阵列描述符”包括以零终止的标识符字串“PIDZAH0”和版本信息。在其它实施例中，根据本发明的实施例，适合特定应用的具体需求的各种信息中的任一种都可以使用。
[0078] 在许多实施例中，遮挡数据是逐个照相机地提供的。在几个实施例中，遮挡数据利用个体照相机描述符和关联的遮挡数据集包括在JFIF文件中。根据本发明的实施例的标识照相机并且标识与JFIF文件中所描述的标识出的照相机相关的被遮挡像素个数的照相机描述符在图13中图示。在所图示的实施例中，该描述符是利用“PIDZCD0”零终止字串标识的。该描述符还包括可以用于标识阵列照相机中捕捉用于合成JFIF文件中所包含的编码后的图像的光场图像数据的照相机的照相机编号。此外，该描述符还包括JFIF文件中所描述的被遮挡像素个数以及描述被遮挡像素的数据的长度(以字节为单位)。根据本发明的实施例的可以描述被遮挡的像素数据的方式在图14中图示。相同的描述符“PDIZCD0”用于标识被遮挡的像素数据，并且除了被遮挡的像素数据，该描述符还包括段中所包含的被遮挡数据的像素个数，以字节为单位的数据的长度，以及到下一个标记的偏移量。由于对应用标记段数据不超过65533个字节的约束，根据本发明的实施例，附加信息使得呈现设备能够跨JFIF文件中的多个APP9应用标记段重构被遮挡的像素数据。
[0079] 根据本发明的实施例的描述可以插在JFIF文件中的被遮挡像素的表在图15中图示。该表包括被遮挡的像素的深度、被遮挡的像素的像素颜色以及像素坐标。在所图示的实施例中，像素颜色图示为在RGB域中。在其它实施例中，像素颜色可以在包括YCbCr域的任意域中表示。
[0080] 虽然用于在JFIF文件的应用标记段中存储描述被遮挡的像素深度的信息的具体实现方式在图4、13、14和15中进行图示，但是，根据本发明的实施例，在适合应用需求的时候，各种实现方式中的任一种都可以用于在JFIF文件中包括被遮挡的像素的信息。
[0081] 辅助图
[0082] 回过头来参考图4，根据本发明的实施例，各种辅助图中的任一种都可以包括在JFIF文件中的应用标记段中。辅助图的总数和辅助图的类型可以在应用标记段中指示。每个辅助图可以利用“辅助图描述符”432和“辅助图数据”434来表示。在所图示的实施例中，“辅助图描述符”432包括在JFIF文件中应用标记段中的“辅助图头”430中。
[0083] 根据本发明的实施例的描述光场图像文件中所包含的辅助图的“辅助图描述符”在图16中图示。“辅助图描述符”包括是“PIDZAM0”零终止字串的标识符，以及指定辅助图类型和图中每像素的位数的信息。如以上所指出的，根据本发明的实施例，从用于合成编码后的图像的光场图像数据得出的各种辅助图中的任一种都可以包括在JFIF文件中。在所图示的实施例中，支持置信度图、轮廓边缘图、常规边缘图和缺失像素图。
[0084] 根据本发明的实施例的存储在JFIF文件中的“辅助图数据”在图17中概念性地图示。“辅助图数据”使用相同的“PDIZAD0”零终止字串标识符并且除辅助图的像素之外还包括段中所包含的辅助图的像素个数、以字节为单位的数据的长度以及到下一个标记的偏移量。由于对应用标记段数据不超过65533个字节的约束，附加信息使得呈现设备能够跨JFIF文件中的多个APP9应用标记段重构描述编码后的图像的辅助图。
[0085] 虽然用于在JFIF文件的应用标记段中存储辅助图的具体实现方式在图4、16和17中进行图示，但是，根据本发明的实施例，在适合应用需求的时候，各种实现方式中的任一种都可以用于在JFIF文件中包括辅助图信息。以下讨论根据本发明的实施例的可以用于基于合成编码后的图像的光场图像数据来提供关于编码后的图像的附加信息的各种辅助图例子。
[0086] 置信度图
[0087] 置信度图可以用于提供关于在一具体像素位置的信息的相对可靠性的信息。在几个实施例中，置信度图表示为按照额外的(complimentary)一个位的像素图，其代表编码后的图像中只在用于合成编码后的图像的图像子集中可见的像素。在其它实施例中，利用包括(但不限于)在超分辨率处理期间确定的置信度量度或者像素在其中可见的图像的个数的各种度量中的任一种，置信度图可以使用附加的信息位来表示置信度。
[0088] 边缘图
[0089] 可以提供各种边缘图，包括(但不限于)常规边缘图和轮廓图。常规边缘图是标识在图像中的边缘上的像素的图，其中边缘是强度断点(discontinuity)。轮廓边缘图是标识边缘上的像素的图，其中边缘涉及强度断点和深度断点。在几个实施例中，每种图都可以表示为单独的一个位图，或者两个图可以组合成包括按照两个像素的图的图。位仅仅是向后处理过程发信号通知在具体位置特定类型边缘的存在，其中后处理过程应用包括(但不限于)各种边缘保留和/或边缘锐化滤波器的滤波器。
[0090] 缺失像素图
[0091] 缺失像素图指示合成的图像中不包括来自光场图像数据的像素、而是包括内插的像素值的像素位置。在几个实施例中，缺失像素图可以利用按照额外的一个位的像素图来表示。缺失像素图使得能够选择后处理滤波器来提高图像质量。在许多实施例中，简单的插值算法可以在从光场图像数据合成较高分辨率期间使用，并且缺失像素图可以用于应用更计算昂贵的插值处理来作为后处理过程。在其它实施例中，根据本发明的实施例，在适合具体应用的需求的时候，缺失像素图可以在各种不同的后处理过程中的任一种当中使用。
[0092] 利用光场成像文件呈现图像
[0093] 当光场图像数据在光场图像文件中编码时，光场图像文件可以与各种呈现设备共享，包括但不限于照相机、移动设备、个人计算机、平板计算机、网络连接的电视机、网络连接的游戏终端、网络连接的媒体播放器，以及连接到因特网并且可以配置为显示图像的任何其它设备。根据本发明的实施例的用于共享光场图像文件的系统在图18中图示。系统1800包括移动设备1802，该设备包括配置为捕捉光场图像数据并且在光场图像文件中编码光场图像数据的阵列照相机。移动设备1802还包括使得光场图像文件能够经因特网1804传送到其它呈现设备的网络接口。在几个实施例中，光场图像文件是借助服务器系统1806传送的，其中服务器系统1806可以存储光场图像文件，用于让其它设备访问，或者把光场图像文件中继到其它呈现设备。在许多实施例中，服务器系统1806提供使用户能够修改提供给设备的图像的呈现的用户界面。在几个实施例中，服务器系统1806把光场图像文件提供给设备，用于呈现。在所图示的实施例中，图示了各种网络连接的呈现设备1808，包括移动电话和个人计算机。在其它实施例中，根据本发明的实施例，各种网络连接的和/或断开的设备中任一种都可以利用光场图像文件来呈现图像。以下进一步讨论根据本发明实施例的呈现设备和用于呈现图像的处理。
[0094] 呈现设备
[0095] 根据本发明实施例的呈现设备通常包括处理器和使得能够基于光场图像数据文件呈现图像的呈现应用。最简单的呈现是让呈现设备解码包括在光场图像数据文件中的编码后的图像。更复杂的呈现涉及利用光场图像文件中所包含的元数据对编码后的图像应用后处理，以执行包括(但不限于)修改图像视点和/或修改图像焦平面的操纵。
[0096] 根据本发明实施例的呈现设备在图19中图示。呈现设备1900包括处理器1902、存储器1904以及可选的网络接口1906。存储器包含用于把微处理器配置为利用光场图像文件1910呈现要显示的图像的呈现应用1908。在所图示的实施例中，光场图像文件示为存储在存储器中。在其它实施例中，光场图像文件可以存储在外部存储设备中。虽然具体的呈现设备在图19中进行图示，但是，根据本发明的实施例，各种呈现设备中的任一种都可以使用，包括(但不限于)通常用于利用图像文件显示图像的各类型的设备。以下进一步讨论根据本发明实施例的利用光场图像文件呈现图像的处理。
[0097] 用于利用光场图像文件呈现图像的处理
[0098] 如以上所指出的，呈现光场图像文件可以简单到仅仅是解码包含在光场图像文件中的编码后的图像，或者可以涉及利用从用于合成编码后的图像的相同光场图像数据得出的元数据对编码后的图像进行的更复杂后处理。根据本发明实施例的用于呈现光场图像的处理在图20中图示。处理2000包括解析(2002)光场图像文件，以定位图像文件中所包含的编码后的图像。编码后的图像文件被解码(2004)。如以上所指出的，图像可以利用基于标准的编码器来编码，因此解码处理可以利用呈现设备中基于标准的编解码器，或者图像可以利用专用编码来编码并且在呈现设备上提供专用解码器来解码图像。当用于呈现图像的处理仅仅涉及呈现图像时，解码的图像可以被显示。当用于呈现图像的处理包括后处理时，图像文件被解析(2006)，以定位文件中可以用于执行后处理的元数据。元数据被解码(2008)。元数据常常可以采取可以利用基于标准的图像编码器编码的图的形式，并且存在于呈现设备上的基于标准的解码器可以用于解码元数据。在其它实施例中，专用的解码处理用于解码元数据。然后，元数据可以用于对编码后的图像执行(2010)后处理，并且图像可以被显示(2012)。图像的显示可以在本地。作为替代，图像可以流传输到远程设备或者作为图像编码并提供给远程设备用于显示。
[0099] 虽然用于从光场图像文件呈现图像的具体处理参考图20进行讨论，但是，根据本发明的实施例，适合具体应用的需求的各种处理中任一种都可以用于利用光场图像文件呈现图像用于显示。如以上所指出的，根据本发明的实施例，各种基于标准的编码器和解码器中的任一种都可以在光场图像文件的编码和解码中使用。以下进一步讨论用于利用遵循JFIF标准并且包括根据JPEG标准编码的图像和/或元数据的光场图像文件呈现图像的处理。
[0100] 利用JFIF光场图像文件呈现图像
[0101] 充分利用所部署的JPEG解码器的能力可以大大简化呈现光场图像的处理。当光场图像文件遵循JFIF标准并且在光场图像文件中编码的图像和/或元数据根据JPEG标准编码时，呈现应用可以充分利用JPEG解码器的现有实现方式来利用光场图像文件呈现图像。在光场图像文件包括根据另一种用于图像编码的流行标准编码的图像和/或元数据的情况下，可以获得类似的效果。
[0102] 根据本发明的实施例的由呈现应用配置为利用光场图像文件呈现图像的呈现设备在图21中图示。呈现设备2100包括处理器2102、存储器2104，以及可以用于接收光场图像文件的可选的网络接口2106。在所图示的实施例中，呈现设备2100的存储器2104包括呈现应用2108，JPEG解码器应用2110，以及包含根据JPEG标准编码的至少一个图像和/或元数据的光场图像文件2112。呈现应用2108把处理器配置为解析光场图像文件以定位编码后的图像并且利用JPEG解码器应用2110解码编码后的图像。类似地，呈现应用可以把处理器配置为解析光场图像文件以定位元数据并且利用JPEG解码器解码元数据中所包含的编码后的图。
[0103] 虽然包括JPEG解码器的具体呈现设备以上参考图21进行了讨论，但是，根据本发明的实施例，包括基于标准的解码器的各种呈现设备中的任一种都可以用于从适当编码的光场图像文件呈现图像。以下进一步讨论根据本发明实施例的用于解码遵循JFIF标准并且包含根据JPEG标准编码的至少一个图像和/或元数据的光场图像文件的处理。
[0104] 用于从JFIF光场图像文件呈现图像的处理
[0105] 用于利用遵循JFIF标准的光场图像文件呈现图像的处理可以利用光场图像文件中的标记来识别编码后的图像和元数据。元数据中的头提供关于文件中所存在的元数据的信息并且可以提供到文件中附加元数据和/或标记的位置的偏移量信息或指针以帮助解析文件。一旦定位适当的信息，标准的JPEG解码器实现方式就可以用来解码文件中编码后的图像和/或图。
[0106] 根据本发明的实施例的用于利用JPEG解码器显示利用遵循JFIF标准的光场图像文件呈现的图像的处理在图22中图示。处理2200涉及解析(2202)光场图像文件以定位图像起始(SOI)标记。SOI标记用于定位根据JPEG格式编码的图像文件。编码后的图像可以利用JPEG解码器来解码(2204)。当不期望对解码的图像进行后处理时，图像可以简单地显示。在期望对图像进行后处理的情况下(例如，为了改变图像的视点和/或图像的焦平面)，该处理解析(2206)光场图像文件以定位适当的应用标记。在所图示的实施例中，APP9标记指示元数据在光场图像文件中的存在。文件中的具体元数据可以通过解析(2206)APP9中应用标记段中描述文件中元数据的头来确定。在所图示的实施例中，头是APP9应用标记段中的“DZ头”。元数据头中的信息可以用于在光场图像文件中定位(2208)要在后处理过程中使用的具体元数据。在元数据被编码的情况下，元数据可以被解码。在许多实施例中，描述光场图像文件中编码后的图像的元数据具有提供关于光场图像文件中所包含的编码后的图像中具体像素的信息的图的形式，并且JPEG编码用于压缩这些图。因此，JPEG解码器可以用于解码这些图。解码后的元数据可以用于对解码后的图像执行(2212)后处理。然后，图像可以被显示(2214)。在许多实施例中，图像显示在本地显示器上。在多个实施例中，图像流传输到远程显示器，或者作为图像编码并且转发到远程设备用于显示。
[0107] 虽然用于显示利用光场图像文件呈现的图像的具体处理以上参考图22进行了描述，但是，根据本发明的实施例，用于解析光场图像文件并且利用JPEG解码器解码根据JPEG标准编码的图像和/或元数据的各种处理中的任一种都可以使用。以上大部分讨论都提及使用从光场图像数据得出并且包含在光场图像文件中的元数据来对从光场图像数据合成的编码后的图像执行后处理过程。以下进一步讨论根据本发明的实施例的利用使用光场图像数据获得的元数据对从光场图像数据合成的图像进行的后处理。
[0108] 利用从光场图像数据得出的元数据对图像进行的后处理
[0109] 图像可以按各种方式从光场图像数据合成。根据本发明实施例的包括在光场图像文件中的元数据可以使图像能够根据从光场图像数据合成的单个图像来呈现，而不需要执行超分辨率处理。以这种方式呈现图像的优点可以包括获得最终图像的处理不太处理器密集并且使用更少的数据来获得最终的图像。但是，光场图像数据提供关于从多个视点捕捉到的场景的丰富信息。在许多实施例中，深度图和光场图像数据中的被遮挡的像素(即，从合成的图像的参考视点不可见的像素)可以包括在光场图像文件中，以便提供一些通常包含在光场图像数据中的附加信息。当呈现图像和/或对所呈现的图像应用依赖深度的效果时，深度图可以用于修改焦平面。深度图和被遮挡的像素可以用于合成来自不同的视点的图像。在几个实施例中，提供可以在呈现备选视点时使用的附加图(例如但不限于置信度图、边缘图和缺失像素图)，以改进结果呈现的图像。呈现来自不同视点的图像的能力可以用于简单地呈现来自不同的视点的图像。在许多实施例中，呈现来自不同视点的图像的能力可以用于为3D观看生成立体对。在几个实施例中，与Jain的题为“Synthesizing Images From Light Fields Utilizing Virtual Viewpoints”的美国临时专利申请序列号No.61/707,691(其全部公开内容通过引用结合于此)中所述那些类似的处理可以用于基于呈现设备的运动来修改视点，以创建运动视差效果。以下进一步讨论利用基于深度的效果呈现图像以及利用不同视点呈现图像的处理。
[0110] 利用基于深度的效果呈现图像
[0111] 根据本发明的实施例，各种基于深度的效果可以应用到从光场图像数据合成的图像，包括(但不限于)应用图像的动态重新聚焦、局部地改变图像中的景深、选择处于不同深度的多个焦点对准区域，和/或应用一个或多个与深度相关的模糊模型。根据本发明的实施例的用于对从光场图像数据合成并且包含在包括深度图的光场图像文件中的图像应用基于深度的效果的处理在图23中图示。处理2300包括解码(2302)从光场图像文件中所包含的光场图像数据合成的图像。此外，从光场图像数据得出的、描述合成的图像的深度图也从包含在光场图像文件中的元数据解码(2304)。然后，基于由深度图指示的像素的深度，一个或多个依赖于深度的效果可以应用(2406)到解码后的图像的像素。在多个实施例中，依赖于深度的效果是通过修改焦平面和/或F数(该F数在焦点未对准区域中提供不同的景深和模糊程度)来确定的。然后，图像可以被显示(2308)。在许多实施例中，图像显示在本地显示器上。在多个实施例中，图像流传输到远程显示器，或者作为图像编码并转发到远程设备用于显示。
[0112] 虽然利用使用光场图像数据获得的深度图对从光场图像数据合成的图像应用依赖于深度的效果的具体处理以上参考图23进行了讨论，但是，根据本发明的实施例，各种处理中的任一种都可以用于从光场图像文件提取图像和深度图并且用于利用深度图应用一个或多个依赖于深度的效果。以下进一步讨论用于基于深度图和关于光场图像文件中所包含的被遮挡像素的信息从与光场图像文件中所包含的图像的参考视点不同的视点呈现图像的处理。
[0113] 利用不同的视点呈现图像
[0114] 计算成像的一个引人注目的方面是使用光场图像数据合成来自不同视点的图像的能力。合成来自不同视点的图像的能力产生了感兴趣的可能性，包括为3D应用创建立体对以及当用户与图像交互时运动视差的模拟。根据本发明许多实施例的光场图像文件可以包括从来自参考视点的光场图像数据合成的图像、合成的图像的深度图以及关于光场图像数据中的在参考视点中被遮挡的像素的信息。呈现设备可以使用关于合成的图像中像素的深度的信息以及被遮挡的图像的深度来确定要应用到像素的适当移动，以便把它们移动到它们从不同视点将出现的位置。从不同视点被遮挡的像素可以被识别，并且不同视点的栅格上的作为缺失像素的位置可以被识别，并且可以利用对相邻的未被遮挡像素的内插来执行孔填充。在许多实施例中，从不同视点呈现的图像的质量可以通过提供形式为可用于精炼呈现处理的辅助图的附加信息来提高。在多个实施例中，辅助图可以包括置信度图、边缘图和缺失像素图。这些图中每一种都可以为呈现处理提供关于如何基于由用户提供的定制偏好呈现图像的信息。在其它实施例中，在适合具体呈现处理的需求的时候，包括附加的辅助图的各种辅助信息中的任一种都可以提供。
[0115] 根据本发明的实施例的用于利用光场图像文件呈现来自不同视点的图像的处理在图24中图示，其中光场图像文件包含从参考视点利用光场图像数据合成的图像、描述合成的图像的像素的深度的深度图以及关于被遮挡像素的信息。处理2400包括解码(2402)包含在光场图像文件中的图像，其中图像是从光场图像数据合成的图像。该处理还包括从光场图像文件解码(2404)深度图，其中深度图也是从用于合成编码后的图像的光场图像数据获得的。关于光场图像数据中的在参考视点被遮挡的像素的信息也从光场图像文件获得(2405)，其中该信息包括从参考视点被遮挡的像素的位置和深度。在许多实施例中，辅助信息(包括指定关于编码后的图像中像素的附加信息的辅助图)也包含在光场图像文件中，并且在从与参考视点不同的视点呈现图像时有用的辅助信息可以从光场图像文件提取并解码(2408)。利用深度图和被遮挡的像素的深度，可以确定(2410)不同视点中像素位置和深度的移动。基于这种移动，可以确定(2414)被遮挡的像素，并且显示图像。当辅助信息可用时，辅助信息可以用于在呈现之前调节(2412)图像中的像素。在许多实施例中，调节是在识别被遮挡的像素和显示最终的图像之前执行的。在多个实施例中，调节是在识别出被遮挡的像素之后执行的。
[0116] 虽然用于利用使用光场图像数据从参考视点合成的图像、利用光场图像数据获得的深度图以及关于光场图像数据中在参考视点被遮挡的像素的信息呈现来自不同视点的图像的具体处理以上参考图24进行了描述，但是，根据本发明的实施例，在适合具体应用的需求的时候，各种处理中的任一种都可以用于利用光场图像文件呈现来自不同视点的图像。以下进一步讨论根据本发明的实施例的用于呈现模拟不同透镜特性的图像的处理。
[0117] 虽然以上描述包含本发明的许多具体实施例，但是这些不应当认为是对本发明范围的限制，而是作为其一种实施例的例子。因此，本发明的范围不应当由所图示的实施例而应当由所附权利要求及其等同物来确定。
