一种图像处理方法及电子设备

摘要

一种图像处理方法及电子设备，涉及图像处理技术领域，该方法包括：电子设备获取多个第一场景图；从每个第一场景图中确定每个表面点的表面点坐标；采用预设神经辐射场从每个三维点的体密度信息、表面点坐标及每个第一拍摄视角中得到物体的反射信息、法向、光能见度及粗糙度；将反射信息、粗糙度及法向输入第一神经网络中，预测出物体表面的反射变化分布信息；生成在新光照条件下采用第二拍摄视角采集得到的基于反射变化分布信息、光能见度及法向渲染出的第二场景图。通过本申请可以实现在新光照条件下合成新的场景图像，且场景图像与画面融合结果更为协调、自然的效果。

权利要求

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

所述电子设备获取多个第一场景图，其中，所述多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集物体的图像得到；

所述电子设备通过神经辐射场网络得到所述第一场景图在三维空间中各三维点的体密度信息，根据所述体密度信息确定所述物体的表面点；

所述电子设备采用所述神经辐射场网络，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的反射信息、粗糙度、法向及光能见度；

所述电子设备将所述反射信息、所述粗糙度和所述法向输入第一神经网络中，预测出所述物体表面的反射变化分布信息，其中，所述反射变化分布信息用于表示所述物体的任一粗糙度的表面受光照影响的反射变化分布情况；

所述电子设备生成所述物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，所述第二场景图基于所述反射变化分布信息、所述法向及所述光能见度渲染得到。

2.根据权利要求1所述的方法，其特征在于，所述神经辐射场网络包括第二神经网络，所述电子设备通过神经辐射场网络得到所述第一场景图在三维空间中各三维点的体密度信息，根据所述体密度信息确定所述物体的表面点包括：所述电子设备将所述第一场景图映射到三维空间中，得到所述第一场景图在三维空间中的三维点；

所述电子设备通过神经辐射场网络获取所述三维点的体密度信息；

所述电子设备根据所述体密度信息从三维点中得到所述物体的表面点。

3.根据权利要求1或2所述的方法，其特征在于，所述神经辐射场网络包括第一组多层感知器；所述电子设备采用神经辐射场网络，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的反射信息、粗糙度、法向及光能见度，包括：所述电子设备采用所述第一组多层感知器，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的原始反射信息、原始粗糙度、原始法向及原始光能见度；

所述电子设备通过所述第一组多层感知器中内置的损失函数，对所述原始反射信息、所述原始粗糙度、所述原始法向及所述原始光能见度进行约束，得到所述物体的反射信息、粗糙度、法向及光能见度。

4.根据权利要求3所述的方法，其特征在于，所述反射信息包括反射率及反馈参数，所述电子设备采用所述第一组多层感知器，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的原始反射信息、原始粗糙度、原始法向及原始光能见度包括：所述电子设备将所述表面点、所述体密度信息及所述第一拍摄视角输入所述第一组多层感知器中；

所述第一组多层感知器根据所述表面点、所述体密度信息及所述第一拍摄视角从所述物体的表面点中隐式提取所述物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度，其中，所述第一组多层感知器以所述表面点、所述体密度信息及所述第一拍摄视角作为输入，以目标渲染效果作为监督训练得到。

5.根据权利要求1或2所述的方法，其特征在于，所述反射信息包括入射方向及出射方向；所述电子设备生成所述物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，所述第二场景图基于所述反射变化分布信息、所述法向及所述光能见度渲染得到，包括：所述电子设备将所述入射方向、所述出射方向、所述第二光照条件、所述至少一个第二拍摄视角、所述反射变化分布信息、所述光能见度及所述法向，输入物理着色模型中进行渲染，得到所述第二场景图；或者所述电子设备将所述入射方向、所述出射方向、所述第二光照条件、所述第二拍摄视角、所述反射变化分布信息、所述光能见度及所述法向，输入光线追踪渲染器中进行渲染，得到所述第二场景图。

6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述电子设备将所述第二场景图输入增强网络进行图像增强，得到目标场景图，其中，所述增强网络是以多组增强前图像以及多组增强后图像作为训练样本训练得到的，其中所述增强后图像的图像质量高于所述增强前图像。

7.根据权利要求1或2所述的方法，其特征在于，所述反射信息包括入射方向及出射方向，所述电子设备生成所述物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，所述第二场景图基于所述反射变化分布信息、所述法向及所述光能见度渲染得到，包括：所述电子设备采用第二神经网络对所述物体进行渲染和图像增强，得到所述第二场景图，其中，所述第二神经网络是以所述入射方向、所述出射方向、所述反射变化分布信息、所述光能见度、所述法向以及所述第二光照条件作为输入，以增强后图像作为监督训练得到的。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

所述电子设备在获取所述第一场景图之后，显示所述第一场景图与场景画面融合得到的第一融合图；

所述电子设备在生成所述第二场景图之后，显示所述第二场景图与预设场景画面进行融合得到的第二融合图，其中，所述预设场景画面在所述第二光照条件下被获取。

9.一种电子设备，其特征在于，包括：摄像头、存储器和一个或多个处理器，所述摄像头、所述存储器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1‑8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1‑8中任一项所述的方法。

说明书

一种图像处理方法及电子设备

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

[0002] 近年来由于深度学习和人工智能技术的发展，使得对于图形学里经典的渲染任务，也可以通过神经网络实现。由此，重光照技术和新视角合成在计算机视觉及计算机图形学领域中发挥重要作用。

[0003] 重光照技术是指将特定目标对象置于新的环境后，在该目标对象上体现出周围光照情况对它的影响，即重光照的目的在于恢复目标对象的光照属性，使得该光照属性能够根据不同的光照条件呈现出更真实的目标对象的图像信息。

[0004] 新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视点下这个三维场景的图片。新视角合成的发展省去了繁杂的三维(3 Dimensions，3D)建模过程，使得只需要给定多个视角的图像，就能生成视角可任意移动的3D物体。

[0005] 目前，神经辐射场(neural radiance field，NeRF)及其改进方法成为新视角合成方法的主流，NeRF技术通过优化观察图像的体积几何和外观能够达到渲染逼真新视图的效果。但以NeRF技术合成的多个视角的视图在改变光照条件后，合成的新视图与新的光照条件符合度差，在新的光照条件下呈现的图像效果和真实感差，新视图与新的光照场景的融合结果不够协调和自然。也就是说目前NeRF技术存在的限制导致现有技术中还难以同时解决视图的新视角合成以及重光照问题。

发明内容

[0006] 有鉴于此，本申请提供一种图像处理方法及电子设备，可以使合成的新视图与新的光照条件的场景图与真实场景的符合度高，在新的光照条件下呈现的图像效果较好、真实感较强。

[0007] 第一方面，本申请提供一种图像处理方法，该方法可以应用于电子设备，该方法中，电子设备可获取多个第一场景图。电子设备通过神经辐射场网络得到第一场景图在三维空间中各三维点的体密度信息，根据该体密度信息确定物体的表面点。然后该电子设备采用神经辐射场网络，根据表面点、体密度信息及第一拍摄视角得到物体的反射信息、粗糙度、法向及光能见度。电子设备将反射信息、粗糙度和法向输入第一神经网络中，预测出物体表面的反射变化分布信息，其中，反射变化分布信息用于表示物体的任一粗糙度的表面受光照影响的反射变化分布情况。电子设备生成物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，第二场景图基于反射变化分布信息、法向及光能见度渲染得到。

[0008] 其中，多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到。示例性的，采集方式包括：第一场景图可以是电子设备拍摄得到的，也可以是由其他设备拍摄，并由电子设备获取到的。

[0009] 其中，反射信息是指与物体表面的反射程度相关的数据，反射信息可以包括反射率、反馈参数、出射方向、入射方向。

[0010] 本申请中，以多个第一拍摄视角的第一场景图进行新视角合成及重光照处理，在渲染过程中，以粗糙度表示物体的材质特征，因此从粗糙度和反射信息中得到的反射变化分布信息可以反映不同材质的物体对光线的反射变化分布情况。这样电子设备便可模拟现实中在光照条件下物体表面不同区域对光线的反射程度会因为粗糙度不同而不同的效果。因此，本申请能够使新视角与新光照条件下渲染得到的第二场景图更加真实。

[0011] 该设计方式中，在神经辐射场的第一处理阶段从三维坐标点中选取物体的表面点。以将这些表面上的单个点作为神经辐射场的第二处理阶段的输入，因此相比于输入第一场景图在三维空间中的三维点而言，能够大幅减少计算阴影和可见性的点的数量，使计算成本显著降低。

[0012] 在第一方面的一种可能的设计方式中，电子设备将第一场景图映射到三维空间中，得到第一场景图在三维空间中的三维点。电子设备通过神经辐射场网络获取三维点的体密度信息。电子设备体密度信息从三维点中得到物体的表面点。

[0013] 该设计方式根据体密度信息的大小来分辨表面点和非表面点，通过设置阈值，过滤比阈值小的点，得到的是表面点。

[0014] 在第一方面的一种可能的设计方式中，神经辐射场网络包括第一组多层感知器；上述获取物体的反射信息、粗糙度、法向及光能见度的方法可以包括：电子设备采用第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度。电子设备通过第一组多层感知器中内置的损失函数，对原始反射信息、原始粗糙度、原始法向及原始光能见度进行约束，得到反射信息、粗糙度、法向及光能见度。

[0015] 该设计方式中，第一组多层感知器将物体表面任何3D位置的表面法向表示为由多层感知器参数化的连续函数，并训练这些连续函数接近于从预训练的神经辐射场网络中获得的值，也就是说对网络输出结果做约束，使结果在空间上保持平滑，从而得到去噪后的物体表面点的法向。该法向相比于原始法向噪声更小，因此用于后续重光照时能够得到更清晰的渲染图像。

[0016] 基于相同的构思，光能见度、反射信息、粗糙度都可以通过第一组多层感知器对原始光能见度、原始反射信息、原始粗糙度进行约束，只获取网络输出结果中约束内的结果，而过滤了不符合约束条件的结果，因此减少了后续渲染时的高频伪影情况，从而可以提升渲染得到的图像质量。

[0017] 在第一方面的一种可能的设计方式中，反射信息包括反射率及反馈参数，电子设备采用第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度包括：电子设备将表面点、体密度信息输入第一组多层感知器中。第一组多层感知器根据表面点、体密度信息从物体的表面点中隐式提取物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度，其中，第一组多层感知器以表面点、体密度信息作为输入，以目标渲染效果作为监督训练得到。

[0018] 其中，反馈参数也可以采用ZBRDF表示，反馈参数是神经辐射场网络中为了能得到目标渲染效果，所填充的网络参数，在第一组多层感知器中隐式提取该参数，使得以反射率、反馈参数及粗糙度和法向作为第一神经网络的输入特征，那么第一组多层感知器便可预测得到物体表面的反射变化分布信息。基于反射变化分布信息渲染得到的第二场景图能够更真实反映物体不同粗糙度的表面在新光照条件下的呈现情况。

[0019] 该设计中第一组多层感知器并未采用带有目标框的样本进行监督，而是以目标渲染效果来反向传播以训练第一组多层感知器从表面点、体密度信息第一拍摄视角中学习得到物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度。如此，经过训练得到的神经网络便可以具备在神经辐射场网络中隐式输出上述特征的能力。“隐式表达物体特征信息”能够减少标注样本带来的标注成本问题，因此具有提高模型训练速度的有益效果。

[0020] 在第一方面的一种可能的设计方式中，反射信息包括入射方向及出射方向；上述生成第二场景图，包括：电子设备将入射方向、出射方向、第二光照条件、至少一个第二拍摄视角、反射变化分布信息、光能见度及法向，输入物理着色模型中进行渲染，得到第二场景图。或者由该电子设备将入射方向、出射方向、第二光照条件、第二拍摄视角、反射变化分布信息、光能见度及法向，输入光线追踪渲染器中进行渲染，得到第二场景图。

[0021] 具体地，物理着色模型可以是Cook‑Torrance模型、MAXWELL模型。物理着色模型中可以从现实中测量的表面参数来准确表示真实世界材质的渲染效果，也就是基于对象的真实材料属性来模拟光与对象的交互。其中材料的属性包括反射率、发射率、粗糙度和金属性等，上述材料的属性可以在物理着色模型的纹理映射中设置，从而改变光从物理表面反射的方式。由此生成非常逼真的物理光照效果。在物理着色模型里，Cook‑Torrance模型在渲染时能充分利用反射变化分布信息中的粗糙度特征，从而能够基于空间变化的粗糙度特征来提高渲染结果的真实性。光线追踪渲染器可以包括渲染器BRAY、渲染器MENTALRAY。

[0022] 在第一方面的一种可能的设计方式中，该方法还包括：电子设备将第二场景图输入增强网络进行图像增强，得到目标场景图，其中，增强网络是以多组增强前图像以及多组增强后图像作为训练样本训练得到的，其中增强后图像的图像质量高于增强前图像。

[0023] 其中，增强网络结构可采用U‑net网络架构。U‑net网络架构包括编码器和解码器。将第二场景图输入增强网络结构中，经过编码器的下采样编码，得到比第二场景图更小的特征，再通过解码器对该特征进行上采样解码，使特征恢复到第二场景图的尺寸。

[0024] 具体的，U‑net的特点是左右对称，即U‑net的高层能够获取图形的细节信息，在网络的底层，由于感受野很大，便于获取图像的低频信息。再通过保留各个层次的信息，使得整个U‑net网络可以很好记住图像的特征。

[0025] 应理解，由于上述U‑net网络能够在不改变图像尺寸的情况下恢复图像的细节信息，因此采用U‑net网络可以将低质量的第二场景图恢复至高质量的目标场景图。而通过对渲染图像进行细节和语义修复，便可进一步第一场景图的渲染质量。

[0026] 在第一方面的另一种可能的设计方式中，该反射信息包括入射方向及出射方向，电子设备生成上述第二场景图，包括：电子设备采用第二神经网络对物体进行渲染和图像增强，得到第二场景图，其中，第二神经网络是以入射方向、出射方向、反射变化分布信息、光能见度、法向以及第二光照条件作为输入，以增强后图像作为监督训练得到的。

[0027] 其中，第二神经网络能够对图像进行渲染以及细节和语义修复，故第二神经网络可以代替物理渲染器和增强网络。具体的，第二神经网络以入射方向、出射方向、反射变化分布信息、光能见度、法向以及第二光照条件作为输入，以增强后的图像作为输出。增强后的第一图像样本可以通过增强前的第二图像样本经图像增强后得到，由第一图像样本作为监督，以入射方向、出射方向、反射变化分布信息、光能见度、法向以及第二光照条件作为输入进行端到端的训练，使得训练得到的第二神经网络能够直接对渲染过程进行映射学习，无需再额外设计增强网络来进行图像细节修复和图像增强。

[0028] 在第一方面的另一种可能的设计方式中，该方法还包括：电子设备在获取第一场景图之后，显示第一场景图与预设场景画面融合得到的第一融合图。电子设备在生成第二场景图之后，显示第二场景图与预设场景画面进行融合得到的第二融合图，其中，预设场景画面在第二光照条件下被获取。

[0029] 其中，预设场景画面与场景画面可以相同或不同，应理解，在预设场景画面与场景画面相同或不同的情况下，都可以通过比较第一融合图和第二融合图的融合效果的自然程度来确定第二场景图是否达到比第一场景图更好的渲染效果。该实施例中，预设场景画面与第二场景图的光照条件相同，而场景画面可以在第二光照条件下被获取，也可以是第三光照条件或第一光照条件下被获取。

[0030] 该设计方式中，电子设备可以显示第一融合图和第二融合图。其中，第二场景图是通过新视角合成和重光照处理后渲染得到的，第二场景图与预设场景画面是在同一光照条件下的，因此相比于第一场景图而言，第二场景图与预设场景画面的融合效果会更加协调自然。也就是说，电子设备所显示的第二融合图的融合自然程度高于第一融合图的自然程度。

[0031] 第二方面，本申请一种电子设备，该电子设备包括：存储器和一个或多个处理器，存储器与处理器耦合；其中，该存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面及其任一种可能的设计方式的方法。

[0032] 第三方面，本申请提供一种电子设备，该电子设备包括：存储器和一个或多个处理器，存储器与处理器耦合；其中，该存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如下步骤：

[0033] 获取多个第一场景图。处理器通过神经辐射场网络计算第一场景图在三维空间中各三维点的体密度信息，根据该体密度信息确定物体的表面点。然后采用神经辐射场网络，根据表面点、体密度信息及第一拍摄视角得到物体的反射信息、粗糙度、法向及光能见度。将反射信息、粗糙度和法向输入第一神经网络中，预测出物体表面的反射变化分布信息，其中，反射变化分布信息用于表示物体的任一粗糙度的表面受光照影响的反射变化分布情况。生成物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，第二场景图基于反射变化分布信息、法向及光能见度渲染得到。

[0034] 在一种可能的设计中，电子设备还可以包括摄像头，摄像头可以用于获取多个第一场景图。

[0035] 在第三方面的一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器可以先将第一场景图映射到三维空间中，得到第一场景图在三维空间中的三维点。然后处理器通过神经辐射场网络计算三维点的体密度信息，并根据体密度信息从三维点中得到物体的表面点。

[0036] 在第三方面的一种可能的设计方式中，神经辐射场网络包括第一组多层感知器；当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度。处理器通过第一组多层感知器中内置的损失函数，对原始反射信息、原始粗糙度、原始法向及原始光能见度进行约束，得到反射信息、粗糙度、法向及光能见度。

[0037] 在第三方面的一种可能的设计方式中，反射信息包括反射率及反馈参数，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器将表面点、体密度信息输入第一组多层感知器中。该第一组多层感知器根据表面点、体密度信息及第一拍摄视角从物体的表面点中隐式提取物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度，其中，第一组多层感知器以表面点、体密度信息及第一拍摄视角作为输入，以目标渲染效果作为监督训练得到。

[0038] 在第三方面的一种可能的设计方式中，反射信息包括入射方向及出射方向；当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器将入射方向、出射方向、第二光照条件、至少一个第二拍摄视角、反射变化分布信息、光能见度及法向，输入物理着色模型中进行渲染，得到第二场景图。或者由处理器将入射方向、出射方向、第二光照条件、第二拍摄视角、反射变化分布信息、光能见度及法向，输入光线追踪渲染器中进行渲染，得到第二场景图。

[0039] 在第三方面的一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器将第二场景图输入增强网络进行图像增强，得到目标场景图，其中，增强网络是以多组增强前图像以及多组增强后图像作为训练样本训练得到的，其中增强后图像的图像质量高于增强前图像。

[0040] 在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器采用第二神经网络对物体进行渲染和图像增强，得到第二场景图，其中，第二神经网络是以入射方向、出射方向、反射变化分布信息、光能见度、法向以及第二光照条件作为输入，以增强后图像作为监督训练得到的。

[0041] 在第三方面的一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：在摄像头获取第一场景图之后，显示屏显示第一场景图与预设场景画面融合得到的第一融合图。在处理器渲染得到第二场景图之后，显示屏显示第二场景图与预设场景画面进行融合得到的第二融合图，其中，预设场景画面在第二光照条件下被获取。

[0042] 第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的设计方式的方法。

[0043] 第五方面，本申请提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面及其任一种可能的设计方式的方法。

[0044] 可以理解地，上述提供的第二方面、第三方面及其任一种可能的设计方式的电子设备，第四方面的计算机可读存储介质，第五方面的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。

附图说明

[0045] 图1为本申请实施例提供的一种电子设备的硬件结构示意图；

[0046] 图2为本申请实施例提供的一种电子设备的软件结构示意图；

[0047] 图3为本申请实施例提供的一种图像处理方法的流程图；

[0048] 图4为本申请实施例提供的物体在单光源下的第一拍摄视角呈现的效果图；

[0049] 图5为本申请实施例提供的物体在单光源下的第二拍摄视角呈现的效果图；

[0050] 图6为本申请实施例提供的一种多层感知器的结构示意图；

[0051] 图7为本申请实施例提供的第一处理阶段多层感知器的结构示意图；

[0052] 图8为本申请实施例提供的一种图像处理方法的原理示意图；

[0053] 图9为本申请实施例提供的另一种图像处理方法的流程图；

[0054] 图10为本申请实施例提供的增强网络的结构示意图；

[0055] 图11为本申请实施例提供的在不同光照下渲染得到的物体图像与场景相融合得到的融合示意图。

具体实施方式

[0056] 以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0057] 在神经辐射场网络出现以前，新视角合成技术难以实现，故3D建模时仍需要摄像头采集物体的各个视角的图像，并基于这些视角图像合成3D场景。然而问题在于，物体的各个视角图像的采集需要付出大量数据采集成本。基于此出现的神经辐射场成功实现了神经网络可微渲染，大大提高了渲染效率。具体的，神经辐射场通过输入有限的多视角图片可以直接合成3D场景并进行多视角渲染，省去了复杂3D建模过程，在低采集成本的情况下实现了可从任意视角获取到物体的平面图像的效果。

[0058] 然而，在采用神经辐射场进行新视角合成过程中，光照条件是被假设为固定不变的，也就是说神经辐射场技术只考虑光照强度、光照方向等光照条件统一的情况，而在现实中物体受到的光照条件是会变化的，例如物体从上午到下去受到了日光的照射，那么随着时间变化，物体表面受到的光照强度会发生变化，并且照射在物体表面的光照方向也会变化。随着虚拟现实技术的发展，仅仅设想物体受同一光照条件照射，所渲染得到的场景显然是无法满足用户体验的，特别是在虚拟现实(Virtual Reality，VR)场景中，若用户身处的光源发生了变化(如白天到晚上、晴天到阴天)，但用户所看到的仍是物体在固定不变的光照条件下的场景图，那么势必会对用户的沉浸式体验造成严重干扰。由此可见，采用固定不变的光照条件来进行新视角合成，所得到的物体的图像是不够真实的。

[0059] 不仅如此，真实情况下物体表面对光线的反射程度还会受到物体质感的影响而不同，但神经辐射场并未考虑物体在不同光照条件下由于表面材质因素影响物体反射率，导致该技术只能为整个物体假设一个单一的材料，或者忽略物体自身阴影，因此所渲染出的图像缺少了物体材质对光照的影响，显然无法模拟出真实环境下物体受到环境光呈现的效果，因此渲染出的图像是不够真实的。

[0060] 可见，以现有的神经辐射场进行新视角合成后，不仅无法反应出任意光照条件下的真实呈现效果，而且物体表面的材质被假设成单一材料，也难以反应物体材质不同对光照的影响。基于此，渲染得到的物体图像会给用户一种违和感。那么当物体图像(前景)与场景画面(背景)相融合，得到的融合结果不够协调和自然，则难以让用户获得真实感。

[0061] 另外，除上述提到的图像不真实自然的问题外，神经辐射场(NeRF)技术还存在两个限制：第一，NeRF技术计算摄像机光线的每个点的阴影和可见性的计算量大，故成本是非常高的；第二，NeRF技术估计的几何形状中包含无关的高频内容，也就是高频伪影。

[0062] 上述提到的NeRF技术存在的限制导致目前还不能够同时解决视图的新视角合成以及重光照渲染的问题。

[0063] 基于此，本申请实施例提供的图像处理方法中，电子设备获取多个第一场景图，其中，多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到。电子设备从每个第一场景图中确定每个三维度的体密度信息及物体的表面点。然后电子设备采用神经辐射场网络从表面点、体密度信息及每个第一拍摄视角中得到物体的反射信息、粗糙度、法向及光能见度，再将得到的反射信息、粗糙度和法向输入第一神经网络中，预测出物体表面的反射变化分布信息。电子设备生成在第二光照条件下第二拍摄视角对应的第二场景图，其中，第二场景图基于上述反射变化分布信息、光能见度及法向在第二光照条件下渲染得到。

[0064] 在本申请中以粗糙度表示物体的材质特征，因此从粗糙度和反射信息中得到的反射变化分布信息可以反映不同材质(又称为质感、纹理)的物体对光线的反射变化分布情况。反射信息是指与物体表面的反射程度相关的数据，反射信息可以包括反射率、反馈参数、出射方向、入射方向。现实中在受到光照的条件下，物体表面不同区域对光线的反射程度也会因为粗糙度不同而不同。故为了使得渲染得到的图像更真实，本申请实现了电子设备渲染出的第二场景图中的物体表面对光的反射程度会受粗糙度不同而不同的效果，且物体表面在新光照条件下对光的反射变化程度也不同。那么即使引入新的光照条件或拍摄视角，渲染出的图像也是接近实际拍摄效果的。如此，本申请便可根据任意光照条件的多视角场景图像生成新光照条件以及新视角下的场景图像。并且当场景图像需要与周围的场景画面进行融合时，便可根据周围的场景画面(背景)的光照条件来对场景图像(前景)进行重光照，使得重光照后渲染出的新的图像与周围场景画面是受同一光照条件以及在同一视角下的，那么相同光照条件和同一视角的物体图像及周围场景画面相融合的结果会更为协调、自然。

[0065] 示例性的，本申请实施例中的电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、个人计算机(personal computer，PC)、可穿戴电子设备(如智能手表)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、车载电脑等，以下实施例对该电子设备的具体形式不做特殊限制。

[0066] 以上述电子设备是手机为例。请参考图1，其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，摄像头
193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

[0067] 可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

[0068] 显示屏194用于显示图像，视频等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

[0069] 在本申请实施例中，显示屏用于显示由摄像头193采集并经过渲染处理生成的第一场景图、第二场景图、由第二场景图与画面进行融合得到的融合场景图等。

[0070] NPU为神经网络(neural‑network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：重光照、新视角合成、图像修复、参数去噪等。

[0071] 处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器神经网络处理器(neural‑network processing unit，NPU)，和/或微控制单元(micro controller unit，MCU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

[0072] 其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

[0073] 处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

[0074] 在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter‑integrated circuit，I2C)接口，串行外设接口(serial peripheral interface，SPI)，集成电路内置音频(inter‑integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general‑purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

[0075] 可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

[0076] 充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

[0077] 电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

[0078] 移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如Wi‑Fi网络)，蓝牙(blue tooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。

[0079] 电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

[0080] 电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

[0081] 外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

[0082] 内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

[0083] 在一个应用场景中，用户采用手机的摄像头193拍摄一组多角度下的物体的多视图，手机中的处理器110根据获取的物体的多视图以及手机的位姿(通过位姿可确定拍摄视角)进行新视角合成以及图像重光照合成新的光照和视角的图像，并将图像于显示屏中呈现，使得用户仅需要提供手机拍摄少量的物体图像，便可实现对拍摄视角以及光线条件的编辑。

[0084] 例如，用户采用手机摄像头进行拍摄操作，拍摄得到的图像为用户在上午的环境光下对物体进行多视角采集的照片。手机获取到该组照片以及用户拍摄该组照片时摄像头的位姿信息，并通过处理器110恢复物体的形状和空间变化反射率，将渲染得到的图像通过显示屏呈现出来。使得用户能够自定义编辑该物体的环境光照以及拍摄该物体的拍摄视角。

[0085] 在另一应用场景中，用户根据手机中的存储器存储一组多角度下的物体的多视图，手机中的处理器110根据存储于存储器中的物体的多视图以及拍摄该组图像的拍摄视角进行新视角合成以及图像重光照合成新的光照和视角的图像，并将图像于显示屏中呈现。如此，手机便可实现上传少量的物体多视图，即可渲染得到物体在不同光源以及不同拍摄视角下的各场景图。应理解，在该场景中，多视图可以是其他设备采集到的。手机获取其他设备采集到的多视图后，通过手机内部处理器对多视图进行新视角合成以及图像重光照合成新的光照和视角的图像，并将图像于显示屏中呈现。

[0086] 当电子设备为不同类型的设备时还可以包括其他不同的、更多或者更少的部件。以上述电子设备是VR设备为例，继续参考图1。该电子设备100可以包括摄像头193、音频模块170、处理器110及显示屏194，处理器110和摄像头193通过CSI接口通信，实现电子设备
200的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备200的显示功能。
应理解，上述处理器为可以对虚拟对象进行处理的设备，也可以为该设备中的芯片，还可以为该设备中的片上系统。

[0087] 可选的，上述可以对虚拟对象进行处理的设备可以是物理机，例如：个式电脑，又称个式机或桌面机(desktop computer)、手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra‑mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备。

[0088] 此外，上述可以对虚拟对象进行处理的设备也可以是服务器，例如，移动边缘计算(mobile edge computing，MEC)服务器，或云端服务器。

[0089] 可选的，上述处理器也可以通过部署在物理机上的虚拟机(virtual machine，VM)，实现上述处理器所要实现的功能。

[0090] 在一些实施例中，摄像头用于采集第一场景图。电子设备100可以从采集的第一场景图片中得到物体表面任何3D位置的特征，并在这些特征中引入新的光照以及拍摄视角，渲染得到第二场景图，并将第二场景图通过显示屏呈现。

[0091] 在一个应用场景中，VR设备基于若干视角和任一未知光照条件下的拍摄图像生成能够加入新的光照和视角的三维物体。由于生成的三维物体是能够在视角和光照条件这二者中任意改变的，因此该三维物体放入VR场景中可以和不同的环境进行融合，例如，当VR设备的场景中的环境为第二光照条件下的图像，那么可以编辑光照条件对三维物体进行重光照使得采集的该三维物体的图像也是在第二光照条件下渲染得到的，则三维物体和环境融合后VR设备呈现的画面都在同一光照条件下，那么用户在使用上述VR设备进行虚拟现实体验时会因为场景和物体融合得自然而获得更真实的体验感受。

[0092] 电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的安卓(Android)系统为例，示例性说明电子设备的软件结构。

[0093] 图2是本申请实施例提供的电子设备的一种软件结构框图。

[0094] 分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

[0095] 应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以图像渲染服务、图像合成服务等应用程序。图像渲染服务、图像合成服务可以是应用，也可以是应用中的功能。图像渲染服务可用于渲染第一场景图、第二场景图、融合图像。图像合成服务可用于根据获取的第一场景图/第二场景图与预先存储在电子设备中的场景图像进行融合，生成融合图像。

[0096] 应用程序层还可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序，本申请实施例对此不做任何限制。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

[0097] 如图2所示，应用程序框架层可以包括存储管理服务(StorageManagerService)，存储管理服务用于存储第一场景图、第二场景图、融合图像。其中，存储管理服务中存储的第一场景图可以是电子设备拍摄得到的，也可以是由其他设备拍摄，并由电子设备获取到的，本申请实施例对此不做任何限制。

[0098] 应用程序框架层还可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

[0099] 窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

[0100] 内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。该数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

[0101] 视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

[0102] 电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

[0103] 资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

[0104] 通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

[0105] AndroidRuntime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

[0106] 核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

[0107] 应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

[0108] 系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGLES)，2D图形引擎(例如：SGL)等。

[0109] 另外，系统库还可以包括本申请实施例提供的图像渲染服务、图像合成服务等。

[0110] 表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

[0111] 媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

[0112] 三维图形处理库用于实现三维图形绘图和图层处理等。

[0113] 2D图形引擎是2D绘图的绘图引擎。

[0114] 内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。例如，内核层可以创建传感数据进程(Process Sensor data)。Process Sensor data向硬件抽象层传输硬件层的传感器采集的数据。硬件抽象层可以提供传感器服务(Sensor Service)。Sensor Service可向框架层上传传感器采集的数据。

[0115] 下面结合重光照和新视角合成场景，示例性说明电子设备100的硬件及软件工作流程。

[0116] 图像渲染服务获取电子设备100内部的渲染指令，从存储管理服务中获取第一场景图并渲染得到新的光照和/或新的拍摄视角的第二场景图。其中，第一场景图的拍摄视角与第二场景图的拍摄视角不同，第一场景图的光照条件与第二场景图的光照条件也不同，故图像渲染服务可基于少量多视图进行新视角和重光照处理，渲染出新的图像(例如第二场景图)。

[0117] 图像合成服务获取电子设备100内部的合成指令，从存储管理服务中获取第一场景图、第二场景图以及场景图像，图像合成服务分别将第一场景图与场景图像进行融合，得到第一融合图像，将第二场景图与场景图像进行融合，得到第二融合图像。

[0118] 本申请实施例提供一种图像处理方法，该方法可以应用于电子设备。以上述电子设备是VR设备为例，参照图3，该图像处理方法可以包括：

[0119] S301、VR设备获取多个第一场景图，其中，多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到。

[0120] 在VR设备需要将物体进行新视角合成和重光照的场景下，可以获取物体在第一光照条件下的多张第一场景图。该物体可以大到包括建筑、湖泊、道路，也可以小到是松果、丝绸、钢铁、玻璃、羊毛等，本申请实施例对此不予限定。

[0121] 示例性的，物体可选取山核桃。山核桃的果壳破损后，有果仁露出，因此山核桃表面的材质不单一，因此采用不同的光照条件拍摄时，山核桃上不同材质(即果壳材质、果仁材质)的表面对光的反射程度并不同，为了使渲染出的山核桃图像更为真实，就需要VR设备能够还原山核桃不同材质的表面的反射特质。为此，本申请实施例对多个第一场景图进行新视角合成及重光照，以生成可任意改变视角和改变光照条件的场景图。

[0122] 以VR设备采集的物体图像为山核桃为例，参照图4，图4为山核桃在手电筒光束照射下在第一拍摄方向所呈现出的物体示意图，另一个视角拍摄山核桃受光照射呈现的图像可以得到图5所示的图像。对比图4和图5的阴影位置可见，山核桃的光照条件相同，但拍摄角度并不同。

[0123] 值得注意的是，光源与山核桃的具体角度位置可以是任意的，摄像头在采集图像时不需要知道光源与山核桃的具体角度位置，即本申请实施例可以在未知光照条件下采集山核桃的场景图。

[0124] 应理解，因为本申请实施例能够恢复物体表面对光照的空间变化反射率，因此无论在采集物体的多视图时是否考虑光照对物体的影响，最终所呈现的渲染图像都能在任意环境光照下进行渲染。因此，本申请实施例不需要关注光照条件，可在未知光照条件下采集物体的多视角图像，故能够大幅减少采集数据所需的成本。

[0125] 另外，本申请实施例中以一组由多个第一拍摄视角拍摄得到的第一场景图以及一组第一拍摄视角作为输入。应理解，在此处第一拍摄视角是为了与后续渲染得到的图像的第二拍摄视角进行区分，因此第一拍摄视角是指摄像头的多个拍摄视角(可以以摄像头位姿来表示拍摄视角的数据)，故当采集的为多个视角图时，各个第一拍摄视角的视角不同。示例性的，在图4和图5中，多个第一拍摄视角是指本示例中的正面观测方向以及背面观测方向，因此得到的第一图像、第二图像的集合对应本申请实施例的一组第一场景图。在采集图像后，分别记录每个图像的观测视角，即摄像头的第一拍摄视角的方向(θ，Φ)。其中，θ表示仰角，Φ表示方位角。需要说明的是，在图4、图5中只示例性的给出了从两个视角采集到的图像，在实际采集时，第一场景图的视角数量可以为两种或两种以上，本申请实施例对此不进行限定。

[0126] 在该步骤中，第一场景图可以为VR设备采集的物体在未知环境光照条件下的一组多视角的图像，也可以是由其他设备中的摄像头采集的并且由VR设备获取到的物体在未知环境光照条件下的一组多视角的图像。本申请实施例对获取第一场景图的方式不予限定。

[0127] S302、VR设备将多个第一场景图输入预设神经辐射场中，通过神经辐射场的第一处理阶段，得到所述第一场景图在三维空间中各三维点的体密度信息。

[0128] 其中，体密度信息是指图像的像素密度值，体密度信息记为σ。体密度信息σ可以理解为光线沿摄像机姿态方向，也就是在经过当前像素时被物体像素终止的概率，即此像素的不透明度。

[0129] 其中，VR设备采用二维到三维的坐标变换，将第一场景图映射到三维空间中，得到第一场景图在三维空间中的三维点，记录三维点的空间位置。在本申请中，为了便于计算，空间位置以三维坐标表示。当然，在其他一些实施例中，空间位置还可以采用方向和距离定位，举例而非限制，从所有三维点中选取任一点为参照点，其他的点可以记作“东30mm”“东南20mm”等方向和距离定位的表示。

[0130] 在本申请实施例中，采用神经辐射场进行新视角合成包括第一处理阶段及第二处理阶段，其中神经辐射场以第一处理阶段获取三维点的体密度信息的具体方法，可以参考现有的采用神经辐射场获取体密度信息的方法，本申请实施例在这里不予赘述。需要说明的是，神经辐射场在第一处理阶段包含多层感知器(multilayer perceptron，MLP)，其中多层感知器包括输入层、输出层以及至少一个隐藏层，层与层之间采用全连接，即如图6所示，上一层任何一个神经元与下一层的所有神经元之间都有连接。

[0131] 值得说明的是，本申请实施例采用多层感知器从第一场景图中获取体密度信息，由于多层感知器能够从后向前“反向”地计算各层中神经元的计算梯度值，使得前面层的神经元能够充分利用后面层的神经元计算出来的结果，因此选用多层感知器获取体密度信息能够有效地避免重复的地计算梯度值，故多层感知器的计算速度以及训练速度更快，选用多层感知器来获取体密度信息的效率更高。

[0132] 示例性的，如图7所示，第一处理阶段的多层感知器包括八个全连接修正线性单元(rectified linear unit，ReLU)层，每个ReLU层包括256个通道，采用ReLU层不仅增加了多层感知器各层之间的非线性关系，同时也使一部分神经元的输出为0，使多层感知器实现稀疏以便于其能够更好地挖掘体密度信息，以及拟合训练样本集的数据。

[0133] S303、VR设备根据体密度信息从三维点中获取物体的表面点，记录表面点坐标。

[0134] 在S303中，由于神经辐射场网络的形状是一个体积场，因此在整个半球的照明中，计算沿着摄像机光线的每个点的阴影和可见性的计算成本是非常高的，故在S303中VR设备根据体密度信息从三维点中得到物体表面上的单个点。将这些表面上的单个点作为神经辐射场的第二处理阶段的输入，因此相比于输入多个三维点，采用该步骤获取的表面点输入神经辐射场能够大幅减少计算阴影和可见性的点的数量，使计算成本显著降低。

[0135] 该设计方式根据体密度信息的大小来分辨表面点和非表面点，通过设置阈值，过滤比阈值小的点，得到的是表面点。

[0136] S304、VR设备将表面点、体密度信息输入预设神经辐射场的第二处理阶段进行处理，输出场景中反应物体特质的特征。

[0137] 其中，物体特质可以是描述物体表面反射特质的特征。例如，反应物体特质的特征可以包括但不限于：物体的光能见度、法向、反射率、反馈参数或粗糙度等中的一个或多个。这些特征不同，导致物体表面对光线的反射情况不同，因此呈现在用户眼中的图像也不同。

[0138] 在阐释本步骤的具体方法之前，首先解释该步骤中可能涉及的概念：

[0139] 光能见度是指任意点到光源的距离，反应每个光源从任意点的能见度，因此光能见度是反应物体受到的光照条件的重要指标。

[0140] 法向：表示每个表面点的表面法线向量，光线在物体表面发生折射和反射时，表面法线向量是计算表面反射率和折射率的重要特征。

[0141] 反射率：光线在物体表面发生反射，得到反射光线，以反射光线与法向的夹角作为反射角度，以入射光线与法向的夹角作为入射角度，反射率为反射角度与入射角度的比值。

[0142] 反馈参数：描述了入射光线经过某个表面反射后如何在各个出射方向上分布，在本申请实施例中反馈参数采用ZBRDF表示，ZBRDF用来定义给定入射方向上的辐射照度(irradiance)，如何影响给定出射方向上的辐射率(radiance)的参数。

[0143] 粗糙度：用于描述物体质感。其中物体质感，是物体通过表面呈现、材料材质和几何尺寸传递给人的视觉和触觉对这个物体的感官判断。如松果、丝绸、钢铁、玻璃、羊毛，这些物体的质感不同。在本申请实施例中充分考虑了反射率会受到材质质感不同而产生影响，因此引入粗糙度大大增强真实世界材料的丰富性，使得渲染后的图像更加真实。并且以渲染后的图像来弱监督，能够优化反射率以及粗糙度的训练模型的网络参数，使模型学习到更准确的表达。

[0144] 在一些实施例中，VR设备可以采用五组多层感知器来分别提取反应物体特质的特征，这些特征也可以称为物体的三维属性，可示例性地对应图8所示的场景属性分解部分。

[0145] 其中，采用第一多层感知器提取光能见度。示例性的，以第一拍摄视角作为输入，以目标渲染效果作为监督，训练第一多层感知器从表面点中提取场景中物体的光能见度。

[0146] 采用第二多层感知器提取法向。示例性的，以体密度信息作为输入，以目标渲染效果作为监督，训练第二多层感知器从表面点中提取场景中物体的法向。

[0147] 采用第三多层感知器提取反射率。示例性的，以体密度信息作为输入，以目标渲染效果作为监督，训练第三多层感知器从表面点中提取场景中物体的反射率。

[0148] 采用第四多层感知器提取反馈参数。示例性的，以体密度信息作为输入，以目标渲染效果作为监督，训练第四多层感知器从表面点中提取场景中物体的反馈参数。

[0149] 采用第五多层感知器提取粗糙度。示例性的，以体密度信息作为输入，以目标渲染效果作为监督，训练第五多层感知器从表面点中提取场景中物体的粗糙度。

[0150] 该步骤中第一组多层感知器并未采用带有目标框的样本进行监督，而是以目标渲染效果来反向传播以训练第一组多层感知器从表面点、体密度信息及第一拍摄视角中学习得到物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度。如此，经过训练得到的神经网络便可以具备在神经辐射场网络中隐式输出上述特征的能力。

[0151] 以目标渲染效果作为监督训练多层感知器使训练得到的多层感知器能够隐性表达物体的光能见度、法向、反射率、反馈参数、粗糙度。

[0152] 以输出结果为原始光能见度为例，上述神经网络具备根据体密度信息和表面点中获取物体表面的原始光能见度的能力，该神经网络的输入为体密度信息和表面点，该神经网络的输出为原始光能见度。

[0153] 该步骤中的神经网络是将多组第一训练集作为输入训练得到的。每组第一训练集包括表面点、体密度信息和最终渲染得到的目标渲染效果。在神经辐射场的第一处理阶段，以表面点的空间位置和三维点的体密度信息作为输入，以目标渲染效果作为弱监督，训练多层感知器从输入数据中提取出每个物体表面的原始光能见度。可以理解的是，“通过神经网络隐式表达物体表面信息”是指神经网络并未采用带有目标框的样本进行监督，而是以神经网络来弱监督神经网络的训练过程及网络参数。“隐式表达物体表面信息”能够减少标注样本带来的标注成本问题，因此具有提高模型训练速度的有益效果。

[0154] 示例性的，本申请实施例这里介绍上述神经网络的训练过程。

[0155] 首先，获取多组第一训练集，每组第一训练集包括一个表面点坐标、体密度信息，以及目标渲染效果。其中目标渲染效果以渲染图表示，即该目标渲染结果是事先预设的期望神经网络的输出的渲染图。由于第一训练集只有描述物体的特征向量“表面点坐标、体密度信息”，但没有标签“光能见度的目标框”，因此采用第一训练集训练神经网络的方式被称为弱监督学习。换言之，弱监督是直接以神经辐射场整体输出的目标渲染效果作为监督，通过目标渲染效果来反向传播以训练神经网络从表面点坐标以及体密度信息中学习得到获取原始光能见度的最佳权重向量。如此，经过训练得到的神经网络便可以具备在神经辐射场的第二处理阶段输出原始光能见度的能力。

[0156] 同样的，原始反射率、原始反馈参数、原始粗糙度、原始法向也可以通过上述第一组多层感知器隐式表达，实现手段可参考上述原始光能见度的获取步骤，在此不予赘述。

[0157] 且值得说明的是，在本步骤中，第一组多层感知器采用内置的损失函数对网络输出结果做约束，使输出的结果在给定的区间内，这样结果便可平滑化。

[0158] 由第二处理阶段输出的法向是通过MLP对原始法向做约束得到的去噪后法向。具体的，直接以神经辐射场的体密度信息σ的梯度信息推导出的原始法向会存在大量噪声，因此若直接以原始法向进行渲染会使估计出的几何形状包含高频伪影，从而影响了渲染出的图像质量。基于此本实施例将物体曲面上任何3D位置的表面法向表示为由多层感知器参数化的连续函数，并训练这些连续函数接近于从预训练的神经辐射场中获得的值，并在空间上保持平滑，从而得到去噪后的物体表面点的法向。该法向相比于原始法向噪声更小，因此用于后续重光照时能够得到更清晰的渲染图像。

[0159] 基于相同的构思，在一些实施例中，由第二处理阶段输出的光能见度、反射信息、粗糙度也可以是MLP对原始输出结果做结束得到的。在MLP中通过损失函数只获取网络输出结果中约束内的结果，而过滤了不符合约束条件的结果，因此减少了后续渲染时的高频伪影情况，从而可以提升渲染得到的图像质量。

[0160] 本申请实施例技术点在于，在S304中引入粗糙度作为物体表面的特征，粗糙度能够更准确反应物体表面的反射信息，即本申请实施例充分考虑了不同粗糙度的表面对光线的反射分布不同。那么以粗糙度作为特征的神经辐射场在输出目标渲染效果后能以目标渲染效果作为监督来优化反射率神经网络(第三多层感知器)的网络参数，使得训练得到的反射率神经网络充分考虑了物体表面材质对反射结果的影响，因此对于不同粗糙度的表面，反射率神经网络输出的反射率也会不同，并且更加趋近真实世界中物体表面的反射率变化信息。而当场景图像需要与周围的场景画面进行融合时，为了使融合结果更真实，需要确保场景图像与周围场景画面是受同一光照条件以及在同一视角下的，故为了让场景图像适应周围场景的光照和视角信息，需要对物体的拍摄视角及光照条件进行编辑，而引入反射率能够使编辑了拍摄视角和光照条件后的物体被渲染出的第二场景图更真实地反应了物体不同粗糙度表面在光照下的反射情况。

[0161] S305、VR设备将入射方向和出射方向，以及物体特征中的反射率、法向、粗糙度以及反馈参数输入神经网络中，得到神经网络输出的反射变化分布信息。

[0162] 其中，反射变化分布信息用于描述物体的反射率随入射方向和反射方向而变化的情况。例如，反射变化分布信息具体可以是空间变化的双向反射分布函数(Spatially Varying Bidirectional Reflectance Distribution Function，SVBRDF)参数，采用SVBRDF参数能够表示物体的表面属性对光照的影响。

[0163] 本步骤中以入射方向、出射方向、反射率、法向、粗糙度及反馈参数作为神经网络的输入，并且以目标渲染效果作为弱监督训练得到神经网络，并以该神经网络隐式估计SVBRDF参数。其中弱监督的神经网络的训练步骤可参见上述S304的方法，在此不予累赘说明。

[0164] 值得注意的是，在本申请实施例中引入粗糙度作为神经网络的输入特征，因此得到的SVBRDF参数能够反应不同质感的物体表面对光线的反射分布情况。相比于现有的神经辐射场只能为整个物体假设一个单一的材料，或者忽略物体自身阴影的缺陷，本申请实施例充分考虑了物体表面的不同材质对光线的反射影响。换言之，在该步骤中的空间变化的双向反射分布函数中包含了物体的反射率受粗糙度影响发生的变化，因此以该值来表示物体表面属性对光照的影响能够大大提升渲染图像的材料丰富性，使得渲染结果更具真实性，为使用VR设备进行虚拟现实体验的用户带来环境沉浸感。

[0165] S306、VR设备生成物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，第二场景图基于反射变化分布信息、法向及光能见度渲染得到。

[0166] 需要说明的是，正是因为本申请恢复的物体特质信息中包含了不同粗糙度的表面对反射分布的影响情况，因此在给定物体一个新的光照条件后，物体的表面会根据其在新的光照条件下的反射分布情况生成反射光线，反射光线射入摄像头中成为了摄像头成像中的一个像素点，以此得到平面的渲染图。也就是说无论新的光照条件怎样变化，都不会影响本申请渲染的图像的质量，故本申请实施例中的第二光照条件的选择不受限制，可以是与第一光照条件不同的任意光照条件，相比于现有的神经辐射场只能假定光照条件不变而言，本申请的光照条件可以任意编辑，故渲染出的第二场景图更多样化。本申请中第二拍摄视角可以是与第一拍摄视角不同的任意拍摄视角同理，在此不予赘述。

[0167] 在一些实施例中，上述渲染方法可以通过基于物理的渲染方式实现。例如，可采用物理着色模型(如Cook‑Torrance)进行渲染。该模型是建立在微表面模型上的、基于物理的双向反射分布函数(Bidirectional ReflectanceDistribution Function，BRDF)光照模型，表达式为：

[0168] fr＝kdflambert+ksfcook‑torrance  公式(1)

[0169] 该公式用于表示：物体由一系列微表面构成，每个微表面都与光线发生折射或反射。其中折射进入物体后可能有一部分能量被吸收，体现在反射率albedo上。反射是微观层面的严格反射，能量集中在镜面反射方向，在宏观上体现为一定程度的散射。因此，总的BRDF被分为两部分，第一部分能量(kd)被折射，第二部分能量(ks)被反射，各部分的行为因子由BRDF来描述。

[0170] 第一部分能量进入物体后再散发出来，可以用漫反射模型来近似，漫反射flambert的计算公式为：

[0171]

[0172] 其中，c表示表面颜色。

[0173] 第二部分能量在物体表面发生反射，可以用微表面模型的镜面反射表示，镜面反射f(wi,wo)cook‑torrance的计算公式为：

[0174]

[0175] 其中，wi是输入模型中的入射方向，是指从着色点指向光源的单位向量。

[0176] wo是输入模型中的出射方向，是指从着色点指向摄像头的单位向量。

[0177] n是输入模型中的法线，是垂直于物体表面向外的单位向量。

[0178] h是半程向量，h＝(wi+wo)/||wi+wo||，如公式所示，半程向量是将光的方向向量和视线向量相加，再将相加的结果归一化得到的单位向量。半程向量与法线夹角的余弦值能够反应高光反射的强度。

[0179] 菲涅尔项F：跟观察的方向和法线方向有关，例如当从接近90度的掠射角度观察时，看到的反射现象就明显。

[0180] 几何项G：考虑微表面之间相互作用的结果，当光线斜着照(即i比较小)或者人眼斜着观察(o比较小)时，分别容易产生微表面之间的阴影、遮挡现象，从而削弱亮度。

[0181] 法线分布函数D：描述各个微表面法线的分布是更加集中，还是更加分散。

[0182] 分别将flambert以及f(wi,wo)cook‑torrance代入公式(1)中得到反射率方程为：

[0183]

[0184] 其中，Li和wi分别表示入射光和入射方向，L0和w0分别表示出射光和出射光方向，P是指入射光到物体表面点的位置，即发生反射的坐标点。

[0185] 示例性的，采用Cook‑Torrance的物理着色模型着色得到的图像如图11所示，图11中包含了从同一视角拍摄的融合图，其中，图11中的(a)为直接以未作处理的第一场景图与背景相融合得到的第一融合图，图11中的(b)为采用本申请技术方案处理得到的第二场景图与背景相融合得到的第二融合图。二者区别在于加入的光照信息不同，两张图相对比可以明显看到图11中的(b)图中，重光照后的第二场景图与场景画面进行融合得到的场景画面与场景图中物体的阴影朝向相同，表明二者受到同一光照方向的照射，因此图11中的(b)图渲染得到的第二场景图更为真实，那么以重光照后得到的第二场景图与场景画面进行融合，得到的融合图效果会协调自然。

[0186] 且值得注意的是，在其他实施例中还可以通过光线追踪渲染器如渲染器BRAY、渲染器MENTALRAY，或者物理渲染器如渲染器MAXWELL，或其他渲染器，以SVBRDF参数、光能见度、法向作为输入并结合新引入的第二光照条件进行渲染得到第二渲染图像。而相比于上述提到的渲染器，采用Cook‑Torrance物理着色模型进行渲染时候模型能充分利用SVBRDF参数中的粗糙度特征，从而能够基于空间变化的粗糙度特征来提高渲染结果的真实性。

[0187] 在一些实施例中，本申请实施例提供的图像处理方法还可以进一步包括：VR设备将第二场景图输入增强网络进行图像增强，得到目标场景图，其中，增强网络是以多组增强前图像以及增强后图像作为训练样本训练得到的，其中增强后图像的图像质量高于增强前图像。

[0188] 具体的，虽然在渲染过程中获得并使用了修正后的光照参数(如法向和光能见度)，但在重建过程中可能存在失真现象。也就是说即使是渲染器中的光照模型也不能完美地模拟真实的光照效果，为此会导致渲染后的图像往往会丢失大量细节纹理信息。因此，本申请实施例使用一个图像到图像的增强网络对渲染图像进行细节和语义修复，保证增强结果的真实性。

[0189] 举例来说，增强网络结构可采用U‑net网络架构，如图10所示，增强网络包括编码器和解码器。将第二场景图输入增强网络结构中，经过编码器的下采样编码，得到比第二场景图更小的特征，再通过解码器对该特征进行上采样解码，使特征恢复到第二场景图的尺寸。

[0190] 具体的，U‑net的特点是左右对称，即U‑net的高层(U型的左上和右上部分)能够获取图形的细节信息，在网络的底层(U型的下部分)，由于感受野很大，便于获取图像的低频信息。再通过保留各个层次的信息，使得整个U‑net网络可以很好记住图像的特征。

[0191] 在本申请中增强网络具备细节修复和图像增加的能力。具体的，该增强网络是以多组第二训练集作为训练样本训练得到的。每组第二训练集包括一张增强前的图像以及一张增强后的图像，其中增强后的图像的细节表达比增强前的图像更准确以及清楚。将每组第二训练集的增强前的图像作为U‑net网络的输入样本，将每组第二训练集的增强后的图像作为U‑net网络的输出样本，来训练U‑net网络。如此，经过多次训练，U‑net网络具备细节修复和图像增强的能力，故将训练得到的U‑net网络作为增强网络。

[0192] 在另外一些实施例中，采用神经网络代替物理渲染器和增强网络。具体的，神经网络以入射方向、出射方向、SVBRDF参数、光能见度、法向以及第二光照条件作为输入，以增强后的图像作为输出，经过端到端的训练能够直接对渲染过程进行映射学习，无需再额外设计增强网络来进行图像细节修复和图像增强。

[0193] 综上，本申请实施例提供了一种结合新视角合成以及重光照技术的图像处理方法，首先本申请采用神经辐射场进行视角合成。在神经辐射场的第一处理阶段本申请采用物体表面点作为输入，得到的是表面点的体密度信息。相比于传统神经辐射场从视角光线上采集多个三维点的坐标信息而言，本申请选用了更少的点，因此后续计算体密度信息以及计算物体的各个特征值的计算成本大大降低。再次，本申请通过神经辐射场提取物体的材质信息，并将材质信息以粗糙度来表示。而结合粗糙度和反射信息能够能到物体不同粗糙度的表面对光的反射程度，也就更为真实的还原了物体自身的各个位置对光线的反射分布情况。其次，本申请在渲染物体图像时加入的光照条件是可以任意编辑的，即，正因为本方案考虑了材质对反射程度的影响，因此能够随意变换光照条件(如光照方向或强度)使得渲染出的图像的光影会随着光照条件的变化而自适应变化；如此，当本申请需要将场景图像与周围场景画面进行融合时，可以以场景画面的实际光照条件来渲染出物体的第二场景图，使得场景图像(即生成的第二场景图)与周围场景画面是在同一光照条件下的，那么当二者相融合时，整体呈现的画面效果会更加协调自然。

[0194] 请参考图9，其示出本申请实施例提供的另一种图像处理方法的流程图。VR设备可以执行图9所示的S901，采集第一场景图，该第一场景图为VR设备中内置的摄像头在未知环境光照条件下通过调整位姿从不同视角采集的多视角图。

[0195] 图9所示的S901之后，VR设备执行S902，获取多视角图以及摄像头的第一拍摄视角，其中，图9所示的S902相当于上述S301。

[0196] 图9所示的S902之后，VR设备执行S903，采用神经辐射场对第一场景图的场景属性进行分解。具体的，神经辐射场的处理阶段包含第一处理阶段及第二处理阶段：在第一处理阶段通过MLP网络估计第一场景图在三维空间中各三维点体密度信息，并根据体密度信息的大小从三维点坐标中提取出表面点，记录表面点坐标。在第二处理阶段通过五个MLP网络分别隐式估计表面各点的光能见度、反射率、法向、材质粗糙度以及反馈参数(以ZBRDF表示)。其中，图9所示的S903相当于上述S302‑S305。

[0197] 图9所示的S903之后，VR设备执行S904，采用Cook‑Torrance的物理着色模型进行渲染，得到渲染出的第二场景图。应理解，该Cook‑Torrance是上述进行图像渲染所采用的算法。其中，图9所示的S904相当于S306。

[0198] 在另一些实施例中，为了进一步提升模型的渲染效果，VR设备采用第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度。VR设备通过第一组多层感知器中内置的损失函数，对原始反射信息、原始粗糙度、原始法向及原始光能见度进行约束，得到反射信息、粗糙度、法向及光能见度。

[0199] 在另一些实施例中，为了进一步提升模型的渲染效果，VR设备执行S905，使用一个图像到图像的增强网络对渲染得到的图像进行细节和语义修复，保证增强结果的真实性。示例性的，增强网络采用U‑net结构，以增强前的图像作为输入，运行增强网络，得到增强后的图像。使得相比于直接以渲染结果作为最终结果来说，对图像进行增强有利于修复细节纹理信息，从而改善了渲染结果的图片质量。

[0200] 在另一些实施例中，从三维点中采集物体的表面点，获取表面点的体密度信息并输入神经辐射场网络中。其中，关于获取表面点的手段的说明可参见上述实施例中的具体描述，不予赘述。

[0201] 以上是以VR设备举例对本申请实施例提供的图像处理方法进行的具体描述，其他电子设备如手机也可以实现如上实施例所述的内容。

[0202] 在另一些实施例中，电子设备采用第二神经网络对物体进行渲染和图像增强，得到第二场景图，其中，第二神经网络是以入射方向、出射方向、反射变化分布信息、光能见度、法向以及第二光照条件作为输入，以增强后图像作为监督训练得到的。

[0203] 在另一些实施例中，该方法还包括：电子设备在获取第一场景图之后，显示第一场景图与预设场景画面融合得到的第一融合图。电子设备在生成第二场景图之后，显示第二场景图与预设场景画面进行融合得到的第二融合图，其中，该预设场景画面在第二光照条件下被获取。

[0204] 本申请实施例提供了一种图像的新视角合成方法，应用于电子设备，该方法包括：电子设备获取多个第一场景图，其中，多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到。电子设备通过神经辐射场网络计算第一场景图在三维空间中各三维点的体密度信息，根据体密度信息确定物体的表面点。电子设备采用神经辐射场网络，根据表面点、体密度信息及第一拍摄视角得到物体的反射信息、粗糙度、法向及光能见度。
电子设备将反射信息、粗糙度和法向输入第一神经网络中，预测出物体表面的反射变化分布信息，其中，反射变化分布信息用于表示物体的任一粗糙度的表面受光照影响的反射变化分布情况。电子设备生成物体的第二场景图，其中，第二场景图与至少一个第二拍摄视角对应。第二拍摄视角与第一拍摄视角不同。第二场景图基于反射变化分布信息、法向及光能见度渲染得到。

[0205] 关于反射变化分布信息的计算过程可参见上述实施例中的具体描述，不予赘述。需要说明的是，该实施例中，通过反射变化分布信息反应不同材质的物体对光线的反射变化分布情况，因此相比于现有的神经辐射场不考虑材质对反射变化分布情况的影响导致新视角合成后的图像并不真实的问题，本申请实施例合成后的新视角下的第二场景图的图像质量和真实性都更高。也就是说，相比于现有的新视角合成方法，本实施例中引入物体粗糙度特征来预测物体表面的反射变化分布信息，使得新视角合成得到的图像能够更真实、自然。

[0206] 本申请实施例提供了一种电子设备，该电子设备可以包括：上述处理器以及存储器。该电子设备提供摄像以及根据拍摄的图像进行新视角合成及重光照的功能。在一些实施例中，该电子设备还可以包括摄像头。处理器、摄像头以及存储器间耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机或VR设备执行的各个功能或者步骤。该电子设备的结构可以参考图1所示的电子设备的结构。

[0207] 本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。

[0208] 本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。

[0209] 通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

[0210] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0211] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0212] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0213] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0214] 以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。