城市场景空间可变环境光照的数据采集与估计方法及装置

摘要

本发明公开了一种城市场景空间可变环境光照的数据采集与估计方法及装置，通过将室外空间可变光照表示为解耦空间中的不同光照成分，光照估计的效果得到了提升，并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源，同时光照成分的解耦特性也支持了具有物理含义的光照编辑。此外，本发明使用深度学习的方法，结合新提出的解耦空间光照表示设计编码网络与光照估计网络，实现了端到端的室外场景空间可变环境光照估计，并且从视觉效果和定量评价上较现有技术有较大改善。

权利要求

1.一种城市场景空间可变环境光照的数据采集与估计方法，其特征在于，包括以下步骤：

S1、将室外场景空间可变光照表示为以下解耦空间中相互独立且具有明确物理含义的光照成分：全局光照的解耦：按全局光照的解耦公式将全局光照环境光图Pglobal分解为来自天空的背景环境光照和来自太阳的近似平行光照，分别表示为天空环境光图Psky和太阳环境光图Psun：Pglobal＝Psky+zvis(Psun⊙Msun)

其中zvis表示太阳的能见度编码，Msun表示太阳光照方向掩码；

局部光照的解耦：按局部光照的解耦公式将局部光照环境光图Plocal分解为地上内容的反射光Papp和全局光照环境光图Pglobal：Plocal＝Pglobal⊙(1‑Msil)+Papp⊙Msil

其中Msil表示地上内容轮廓的掩码，Papp为地上内容在全局光照下的表观，表示为：

Papp＝Φ(zlocal,Pglobal)

其中zlocal为空间可变的局部地上内容编码，Φ表示由光照因素影响的渲染函数；

S2、全局光照编码‑解码：以HDR的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图′P′sky和重建的太阳环境光图Ps un，根据步骤S1中全局光照的解耦公式得到重建的全局光照′环境光图Pglobal；

S3、局部光照编码‑渲染：以HDR的局部光照环境光图Plocal作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内容′在全局光照下的表观Pa pp；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输′入，解码得到地上内容轮廓的掩码Msil，根据步骤S1中局部光照的解耦公式得到重建的局′部光照环境光图Plocal；

S4、基于解耦空间光照表示的端到端光照估计：以LDR的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

2.根据权利要求1所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，步骤S4中的天空光照编码zsky和太阳光照编码zsun是通过使用编码器结构的神经网络将天空环境光图Psky和太阳环境光图Psun进一步进行压缩得到。

3.根据权利要求1所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，步骤S4中太阳光照方向掩码Msun的估计使用一个8×32类分类网络进行。

4.根据权利要求1所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，步骤S4中，一个太阳能见度估计分支网络预测场景图片中每一点位置的太阳能见度构成的太阳能见度掩码Mvis，当给定场景图片中的指定像素位置l时，该位置太阳能见度编码zvis从太阳能见度掩码Mvis的对应位置提取，同时提取图像深层特征F对应位置的局部特征，经过一个局部地上内容编码估计网络得到局部地上内容编码zlocal，从而得到了在解耦空间中的指定位置的空间可变光照估计。

5.根据权利要求1所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，神经网络的训练数据采用在大型3D城市仿真模型中的增强合成数据，神经网络的测试数据采用在室外真实场景中采集的真实数据。

6.根据权利要求5所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，训练数据的采集方案包括以下步骤：a)获取大型3D城市仿真模型，使用网上收集的若干物体类别的PBR材质模型，按照语义对应的原则进行材质增强；

b)从网上收集不同天气条件下的无截断的全局光照环境光图m张，包含不同光照条件；

c)在Blender软件中采样n个视野有限的虚拟相机，以步骤b)不同的环境光图作为光照条件，其中每张环境光图均按照p个随机采样的方位角偏置量进行增强，共渲染得到m×n×p张视野有限的LDR场景图像；

d)在每张场景图像中采样q个不同的位置，并且在这些位置对应放置全景的虚拟相机，以和步骤c)中相同的光照条件设置进行局部光照环境光图的渲染，共得到m×n×p×q张HDR局部光照环境光图。

7.根据权利要求5所述的城市场景空间可变环境光照的数据采集与估计方法，其特征在于，测试数据的采集方案包括以下步骤：a)寻找具有空间可变光照特性的室外真实场景，先使用已知焦距和传感器尺寸的单反相机拍摄一张视野有限的LDR场景图像；

b)在该图像中标记一处位置，随后将全景相机架设至对应位置进行HDR全景图片的拍摄，得到一张被截断的HDR全景图；再使用单反相机架设在全景相机的相同位置，使用3.0中性滤光片，将曝光时间调至1/1000秒，ISO调至100，将镜头对准太阳位置进行拍摄，从而得到未过曝的太阳区域的光照强度信息；通过已知的相机内外参，将单反拍摄到的太阳区域的光照强度信息与全景相机拍摄到的HDR全景图进行位置与强度上的融合，从而得到该位置处的完整的无截断的HDR局部光照环境光图采集；

c)重复上述步骤，最终共采集r个场景的数据，每个场景中进行了s个图像位置点的标注，共得到r×s张局部光照环境光图。

8.一种城市场景空间可变环境光照的数据采集与估计装置，其特征在于，包括以下模块以实现权利要求1‑7任一项所述的方法：全局光照编码‑解码模块：以HDR的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图′ ′P′sky和重建的太阳环境光图Psun，进而得到重建的全局光照环境光图Pglobal；

局部光照编码‑渲染模块：以HDR的局部光照环境光图Plocal作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内′容在全局光照下的表观Pa pp；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输′ ′入，解码得到地上内容轮廓的掩码Msil，进而得到重建的局部光照环境光图Plocal；

基于解耦空间光照表示的端到端光照估计模块：以LDR的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

9.一种设备，其特征在于，包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；其特征在于，所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1‑7任一项所述的方法。

说明书

城市场景空间可变环境光照的数据采集与估计方法及装置

技术领域

[0001] 本发明涉及计算机视觉技术领域，尤其涉及一种基于解耦表示的城市场景空间可变环境光照的数据采集与估计方法及装置。

背景技术

[0002] 随着计算机技术发展，计算机算力逐渐加强，机器学习、深度学习技术快速进步，计算机视觉相关技术逐渐应用到各个场景，例如手机相机的人脸检测、修图美图、夜间拍照等功能，无人驾驶中的行人检测、道路识别，移动支付与车站身份检测的人脸识别，或是机器人的同步定位与建图任务等。随着大数据、智能化时代的来临，越来越多的应用场景需要计算视觉技术的支持，海量的视频、图像数据亟待处理，更凸显底层视觉任务的重要意义。由此，底层图像处理技术的不可替代性及其对于更高语义层次任务的重要意义，受到社会广泛关注。

[0003] 作为计算摄像学的基础任务，从图像中估计环境光照，其发展对于其他高层计算机视觉技术来说极其重要，如三维物体的重建，虚拟物体插入等AR/VR领域。光照决定了场景中的明暗变化、色彩色调、阴影交错。在基于物理的成像模型中，场景的外观由许多成分所共同组成，如物体材质的反射率，物体形状，光照，相机参数等等。从图片中估计这些成分也被称为逆向渲染过程，求解逆向渲染是一个高度欠定的问题，因为同样场景外观的效果可以由不同的反射率和不同的光源强度的组合作用形成。因此，在现实环境中，仅仅通过场景表现出的外观推断它所处环境的光照是一个相当具有挑战性的问题。

[0004] 过去典型的传统方法是在场景中放置一个形状和材质已知的物体，然后捕捉其反射强度进而根据已知信息进行光照信息求解，然而这种做法受限于昂贵的专业拍摄设备和大量的时间成本很难大规模推广至实际应用。

[0005] 近些年，随着计算机技术的发展和深度学习方法的提出，光照估计领域开始使用深度模型结合数据驱动的方式进行该问题的求解。对于深度模型而言，为了达到高性能，需要大规模的标注数据集作为支撑，现有的光照估计数据集大都集中在室内场景光照的估计上，针对室外场景的数据较少。相对于室内场景存在大型虚拟3D场景作为仿真平台的支撑，可以用于仿真光照的室外大型3D虚拟场景几乎没有。另外，室外的光照强度相较于室内要高上几个量级，并且呈现出高频特征(太阳位置集中了大量光照能量)。因此，室外真实场景的光照捕捉步骤相较于室内要更加严苛，为室外场景下的光照估计工作带来了困难。

[0006] 为了解决这一痛点，需要构建一种大型虚拟3D城市模型，配合相应的数据增强方法，以完成基于该模型进行完备的仿真光照数据合成；同时，也需要设计一套能够在室外场景下克服极端高强度和高频率光照特性难点的真实环境光照采集相机系统与方法。

[0007] 现有的室外光照估计的方法大都将室外光照建模为一个全局一致的天空光照，即图片中所有位置对应着同一个环境光照，并假设这些环境光照都来自无穷远位置的光线照射。对于开阔地带，场景中的每一处位置都能够较完整的看见天空穹顶，这样的假设不会引入较大的问题。然而，对于城市场景这一类遮挡物(楼房、树木等)较多的室外场景，全局一致的光照假设表示明显无法解释场景中因遮挡或反射产生的阴影或亮斑等局部可变的光照特性，即不具有物理意义上的可解释性，也不支持编辑操作，因此这种假设在实际应用的时候会出现一定问题。例如在AR应用中有时候会需要将虚拟物体插入场景中不同的位置，这个时候就需要对场景中这些不同位置的空间可变光照做出正确的估计。此外。由于采用的是全景图补全的方案，该技术同样也在可编辑性上具有缺陷，并不能够单独编辑光照中的某一部分。

[0008] 在室内场景光照估计的方法中，虽然已经有支持空间可变光照的光照模型被提出，该模型使用低频的参数化球谐光源表示空间中不同位置的光照(局部光照)，在室内场景也取得了不错的效果。但是，使用环境光图中的每一个像素作为非参数化的光照表示，整体网络参数量较大，不便于在移动设备上的推广使用。因此，考虑到室外光源的特性，低频的球谐光源表示在室外效果较差。另外，该技术也依赖于准确的本征属性分解预测，但这在真实场景中是较难拆解为具有直观物理意义的属性表示的。因此，室内空间可变光照的光照模型并不适用于室外的城市场景。

[0009] 综上，考虑到现有室外非参数化空间可变光照表示的缺陷，需要针对室外空间可变光照的特性设计一个全新的光照表示模型。

发明内容

[0010] 本发明针对上述问题，提出一种基于解耦表示的城市场景空间可变环境光照的数据采集与估计方法及装置。

[0011] 为了实现上述目的，本发明提供如下技术方案：

[0012] 一方面，本发明提供了一种城市场景空间可变环境光照的数据采集与估计方法，包括以下步骤：

[0013] S1、将室外场景空间可变光照表示为以下解耦空间中相互独立且具有明确物理含义的光照成分：

[0014] 全局光照的解耦：按全局光照的解耦公式将全局光照环境光图Pglobal分解为来自天空的背景环境光照和来自太阳的近似平行光照，分别表示为天空环境光图Psky和太阳环境光图Psun：

[0015] Pglobal＝Psky+zvis(Psun⊙Msun)

[0016] 其中zvis表示太阳的能见度编码，Msun表示太阳光照方向掩码；

[0017] 局部光照的解耦：按局部光照的解耦公式将局部光照环境光图Plocal分解为地上内容的反射光Papp和全局光照环境光图Pglobal：

[0018] Plocal＝Pglobal⊙(1‑Msil)+Papp⊙Msil

[0019] 其中Msil表示地上内容轮廓的掩码，Papp为地上内容在全局光照下的表观，表示为：

[0020] Papp＝Φ(zlocal，Pglobal)

[0021] 其中zlocal为空间可变的局部地上内容编码，Φ表示由光照因素影响的渲染函数；

[0022] S2、全局光照编码‑解码：以HDR(High Dynamic Range，高动态范围)的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图P′sky和重建的太阳环境光图P′sun，根据步骤S1中全局光照的解耦公式得到重建的全局光照环境光图P′global；

[0023] S3、局部光照编码‑渲染：以HDR的局部光照环境光图Plocal作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内容在全局光照下的表观P′app；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输入，解码得到地上内容轮廓的掩码M′sil，根据步骤S1中局部光照的解耦公式得到重建的局部光照环境光图P′local；

[0024] S4、基于解耦空间光照表示的端到端光照估计：以LDR(Low Dynamic Range，低动态范围)的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

[0025] 进一步地，步骤S4中的天空光照编码zsky和太阳光照编码zsun是通过使用编码器结构的神经网络将天空环境光图Psky和太阳环境光图Psun进一步进行压缩得到。

[0026] 进一步地，步骤S4中太阳光照方向掩码Msun的估计使用一个8×32类分类网络进行。

[0027] 进一步地，步骤S4中，一个太阳能见度估计分支网络预测场景图片中每一点位置的太阳能见度构成的太阳能见度掩码Mvis，当给定场景图片中的指定像素位置l时，该位置太阳能见度编码zvis从太阳能见度掩码Mvis的对应位置提取，同时提取图像深层特征F对应位置的局部特征，经过一个局部地上内容编码估计网络得到局部地上内容编码zlocal，从而得到了在解耦空间中的指定位置的空间可变光照估计。

[0028] 进一步地，神经网络的训练数据采用在大型3D城市仿真模型中的增强合成数据，神经网络的测试数据采用在室外真实场景中采集的真实数据。

[0029] 进一步地，训练数据的采集方案包括以下步骤：

[0030] a)获取大型3D城市仿真模型，使用网上收集的若干物体类别的基于物理的渲染(Physics‑Based Rendering，PBR)材质模型，按照语义对应的原则进行材质增强；

[0031] b)从网上收集不同天气条件下的无截断的全局光照环境光图m张，包含不同光照条件；

[0032] c)在Blender软件中采样n个视野有限的虚拟相机，以步骤b)不同的环境光图作为光照条件，其中每张环境光图均按照p个随机采样的方位角偏置量进行增强，共渲染得到m×n×p张视野有限的LDR场景图像；

[0033] d)在每张场景图像中采样q个不同的位置，并且在这些位置对应放置全景的虚拟相机，以和步骤c)中相同的光照条件设置进行局部光照环境光图的渲染，共得到m×n×p×q张HDR局部光照环境光图。

[0034] 进一步地，测试数据的采集方案包括以下步骤：

[0035] a)寻找具有空间可变光照特性的室外真实场景，先使用已知焦距和传感器尺寸的单反相机拍摄一张视野有限的LDR场景图像；

[0036] b)在该图像中标记一处位置，随后将全景相机架设至对应位置进行HDR全景图片的拍摄，得到一张被截断的HDR全景图；再使用单反相机架设在全景相机的相同位置，使用3.0中性滤光片，将曝光时间调至1/1000秒，ISO调至100，将镜头对准太阳位置进行拍摄，从而得到未过曝的太阳区域的光照强度信息；通过已知的相机内外参，将单反拍摄到的太阳区域的光照强度信息与全景相机拍摄到的HDR全景图进行位置与强度上的融合，从而得到该位置处的完整的无截断的HDR局部光照环境光图采集；

[0037] c)重复上述步骤，最终共采集r个场景的数据，每个场景中进行了s个图像位置点的标注，共得到r×s张局部光照环境光图。

[0038] 另一方面，本发明还提供了一种城市场景空间可变环境光照的数据采集与估计装置，包括以下模块以实现上述任一项所述的方法：

[0039] 全局光照编码‑解码模块：以HDR的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图P′sky和重建的太阳环境光图P′sun，进而得到重建的全局光照环境光图P′global；

[0040] 局部光照编码‑渲染模块：以HDR的局部光照环境光图Plocal作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内容在全局光照下的表观P′app；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输入，解码得到地上内容轮廓的掩码M′sil，进而得到重建的局部光照环境光图P′local；

[0041] 基于解耦空间光照表示的端到端光照估计模块：以LDR的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

[0042] 又一方面，本发明还提供了一种设备，包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；其中：

[0043] 所述存储器，用于存放计算机程序；

[0044] 所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一项所述的方法。

[0045] 与现有技术相比，本发明的有益效果为：

[0046] 本发明提出的基于解耦表示的城市场景空间可变环境光照的数据采集与估计方法和装置，具备传统参数化模型的可解释性以及紧凑表达的能力，同时每个解耦空间下的光照成分又具有明确的物理含义，具有较好的可编辑性，只需以单张视野有限的LDR室外场景图片为输入，估计给定的像素位置处对应的空间可变环境光照(局部光照)，解决了全局光照条件在部分场景中不够合理的问题，达到了较先前方法更好的室外空间可变环境光照估计效果。此外，本发明还提出了大规模3D城市仿真数据集的增强合成方法，以及在室外真实场景中采集空间可变环境光照测试数据的方法，为数据驱动的神经网络训练以及定量的效果分析提供数据基础。

附图说明

[0047] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

[0048] 图1为本发明实施例提供的城市场景空间可变环境光照的数据采集与估计方法流程图。图中，(a)为全局光照编码‑解码器；(b)为局部光照编码‑解码器；(c)为光照估计网络。白色倒三角表示监督信号，灰色倒三角表示自监督信号。

[0049] 图2为本发明实施例提供的增强合成数据示意图。图中，(a)为材质增强前，(b)为PBR物体材质，(c)为材质增强后。

[0050] 图3为本发明实施例提供的真实场景数据采集示意图。图中，(a)为LDR室外场景图像+图像位置标注，(b)为HDR全景采集，(c)为HDR太阳光照采集，(d)为融合处理得到对应位置的HDR局部环境光图。

[0051] 图4为本发明实施例提供的光照估计流程图。图中，(a)为输入RGB图像与指定图像位置，(b)为全局光照估计，(c)为局部表观估计，(d)为局部光照估计与虚拟物体插入。

[0052] 图5为本发明实施例提供的局部光照估计效果图。图中，(a)为输入图像，(b)为真值标注(HDR)，(c)为本发明方法(HDR)，(d)为对比方法(HDR)，(e)为真值标注(LDR)，(f)为本发明方法(LDR)，(g)为对比方法(LDR)。

[0053] 图6为本发明实施例提供的光照编辑效果图。

[0054] 图7为本发明实施例提供的虚拟物体插入效果图。

具体实施方式

[0055] 为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。

[0056] 本发明的城市场景空间可变环境光照的数据采集与估计方法，如图1所示，包括步骤具体如下：

[0057] S1、本发明针对室外场景空间可变光照的特点，将室外场景空间可变光照表示为以下解耦空间中相互独立且具有明确物理含义的光照成分：

[0058] (1)全局光照(空间不变光照)的解耦：

[0059] 在光照估计的相关工作中，全局光照通常可以采用天空半球面对应的环境光图Pglobal来进行表示(以下P均表示环境光图)，本发明按以下全局光照的解耦公式将全局光照环境光图Pglobal分解为来自天空的背景环境光照Psky和来自太阳的近似平行光照Psun：

[0060] Pglobal＝Psky+zvis(Psun⊙Msun)

[0061] 其中zvis表示太阳的能见度编码(以下z均表示编码)，Msun表示太阳位置的掩码(可用方位角、俯仰角2个独立参数zpos表示，以下M均表示掩码)；

[0062] (2)局部光照(空间可变光照)的解耦：

[0063] 空间可变光照具体也可以分解为变化的部分如地上内容(地面和建筑等)的反射光，以及相对固定的部分如来自天空和太阳的光照(距离较远在场景中小范围移动时可以认为不变)。因此本发明按以下局部光照的解耦公式将局部光照环境光图Plocal分解为地上内容的反射光Papp和全局光照环境光图Pglobal：

[0064] Plocal＝Pglobal⊙(1‑Msil)+Papp⊙Msil

[0065] 其中Msil表示地上内容轮廓的掩码，Papp为地上内容在全局光照下的表观(反射光)，表示为：

[0066] Papp＝Φ(zlocal，Pglobal)

[0067] 其中zlocal为空间可变的地上内容对应的编码，Φ表示由光照因素影响的渲染函数；

[0068] S2、全局光照编码‑解码：

[0069] 本发明以HDR的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图P′sky和重建的太阳环境光图P′sun，根据步骤S1中全局光照的解耦公式得到重建的全局光照环境光图P′global。

[0070] S3、局部光照编码‑渲染：

[0071] 本发明以HDR的局部光照环境光图Plocal作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器承担空间可变表观Papp的解耦公式中渲染函数Φ的功能，该渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内容在全局光照下的表观P′app；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输入，解码得到地上内容轮廓的掩码M′sil，根据步骤S1中局部光照的解耦公式得到重建的局部光照环境光图P′local。

[0072] S4、基于解耦空间光照表示的端到端光照估计：

[0073] 本发明以LDR的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

[0074] 其中光照方向掩码的估计使用一个8×32类分类网络进行。同时一个太阳能见度估计分支网络预测场景图片中每一点位置的太阳能见度构成的太阳能见度掩码Mvis。当给定场景图片中的指定像素位置l时，该位置太阳能见度编码zvis可从太阳能见度掩码Mvis的对应位置提取，而此时也提取图像深层特征F对应位置的局部特征，经过一个局部地上内容编码估计网络得到局部地上内容编码zlocal，从而得到了在解耦空间中的指定位置的空间可变光照估计。

[0075] 本发明在大型3D城市仿真模型中的增强合成数据作为神经网络的训练数据，采用在室外真实场景中采集的真实数据作为测试数据，具体的数据采集方案如下：

[0076] (1)增强合成数据

[0077] a)获取大规模3D城市仿真模型，使用网上收集的若干物体类别的PBR材质模型，按照语义对应的原则进行材质增强(如图2所示)，提升仿真模型的真实感。

[0078] b)从网上收集不同天气条件下的无截断的全局光照环境光图108张，包含晴天、多云、阴天等不同光照条件，增强对本专利方法对不同天气条件下的光照的鲁棒性。

[0079] c)在Blender软件中采样234个视野有限的虚拟相机，以步骤b)不同的环境光图作为光照条件，其中每张环境光图均按照6个随机采样的方位角偏置量进行增强，共渲染得到234*108*6＝151632张视野有限的LDR场景图像。

[0080] d)在每张场景图像中采样4个不同的位置，并且在这些位置对应放置(距离最近的表面留出10cm间隙)全景的虚拟相机，以和步骤c)中相同的光照条件设置进行局部光照环境光图的渲染，共得到234*108*6*4＝606528张HDR局部光照环境光图。

[0081] (2)采集真实数据

[0082] a)寻找典型的具有空间可变光照特性的室外真实场景，先使用已知焦距和传感器尺寸的单反相机拍摄一张视野有限的LDR场景图像。

[0083] b)在该图像中标记一处位置，随后将全景相机架设至对应位置进行HDR全景图片的拍摄，此时由于太阳光的极高强度的特性，这张HDR全景图中太阳部分的像素是过曝的，因此得到的是一张被截断的HDR全景图，不能作为环境光图使用。因此，使用单反相机架设在全景相机的相同位置，使用3.0中性滤光片，将曝光时间调1/1000秒，ISO调至100，将镜头对准太阳位置进行拍摄，从而得到未过曝的太阳区域的光照强度信息。通过已知的相机内外参，将单反拍摄到的太阳区域的光照强度信息与全景相机拍摄到的HDR全景图进行位置与强度上的融合，从而得到该位置出的完整的无截断的HDR局部光照环境光图采集(如图3所示)。

[0084] c)重复上述步骤，最终共采集20个场景的数据，每个场景中进行了2个图像位置点的标注，共40张局部光照环境光图。

[0085] 本发明采用了监督损失和自监督损失结合的方式对神经网络进行训练，使用三个神经网络递进式训练的方案，具体训练方案如下：

[0086] (1)递进式网络训练方案

[0087] 由于三个神经网络之间有着先后依赖的关系，本专利采用递进式网络训练的方式对技术方案中的神经网络依次进行训练：

[0088] a)全局光照编码‑解码网络的训练

[0089] 训练该网络时真值的太阳位置作为输入提供，当该网络训练完成后，将数据集中所有的全局光照环境光图Pglobal都使用该网络中的编码器网络编码为对应的天空光照编码zsky和太阳光照编码zsun。

[0090] b)局部光照编码‑渲染网络的训练

[0091] 训练该网络时真值的太阳位置被转化为余弦值掩码Mcos作为额外提供，当该网络训练完成后，将数据集中所有的局部光照环境光图Plocal中的地上内容部分都使用该网络中的编码器编码为对应的局部地上内容编码zlocal。

[0092] c)光照估计网络的训练

[0093] 在上述两个网络训练完成后，可以进行光照估计网络的训练，此时真值的太阳位置、上述两个网络编码后的天空光照编码zsky、太阳光照编码zsun、局部地上内容编码zlocal和数据预处理得到的太阳能见度编码zvis作为网络的学习目标。

[0094] (2)网络训练中使用的监督信号

[0095] 训练神经网络时需要使用合适的监督信号进行反向传播，才能够收敛到较好的效果，本专利方法结合了监督损失和自监督损失(图1中白色和灰色的倒三角)：

[0096] a)监督损失

[0097] 由于本专利方法使用仿真合成数据进行训练，大部分网络输入输出成分都有真值标签可以利用，本专利方法对网络输出的P′sky、P′sun、M′sil成分计算L1损失，对P′sun、M′vis、z′sky、z′sun、z′local成分计算L2损失，对M′sun成分计算交叉熵(cross‑entropy，CE)损失。

[0098] b)自监督损失

[0099] 为了更好地分离全局光照中的天空光照与太阳光照成分，我们参照现有技术对z′sky和z′sun计算了IF损失：

[0100]

[0101] 其中 和 是两个与全局光照编码器网络结构一致的编码器网络。

[0102] 对于局部地上内容编码，数据集中不存在现成的真值标签，需要通过外加自监督约束的方式使其满足解耦要求，即仅编码与光照无关的地上内容属性，而不包含光照信息，本专利使用一对地上内容相同但全局光照条件不同的局部环境光图 进行自监督约束，尽管 和 中地上内容的表观不同，但表观的不同仅仅源自于外加的全
局光照不同，编码得到的地上内容的信息应当是一致的，据此本专利方法设计了身份(IDentity，ID)损失和交叉渲染(Cross‑Rendering，CR)损失：

[0103]

[0104]

[0105] 其中， 表示网络编码后的对应 的局部地上内容编码，而表示使用 对应的全局光照成分编码和 对应的局部地上内容编码进行地上内容
表观的渲染，即交叉渲染。

[0106] 相应于上述本发明实施例提供的方法，本发明提供了一种城市场景空间可变环境光照的数据采集与估计装置，包括以下模块以实现上述实施例任一项所述的方法：

[0107] 全局光照编码‑解码模块：以HDR的全局光照环境光图Pglobal作为输入，分别使用两个独立的编码器网络将其分别编码为解耦空间中的天空光照编码zsky和太阳光照编码zsun，天空光照编码zsky和太阳光照编码zsun随后各自经过一个解码器网络得到重建的天空环境光图P′sky和重建的太阳环境光图P′sun，进而得到重建的全局光照环境光图P′global；

[0108] 局部光照编码‑渲染模块：以HDR的局部光照环境光图P′local作为输入，经过一个编码器网络将其得到局部地上内容编码zlocal，使用一个渲染器以局部地上内容编码zlocal和步骤S2中的解耦空间中的天空光照编码zsky和太阳光照编码zsun作为共同输入，辅以全景空间中的各方向与太阳光方向余弦值的掩码Mcos作为额外输入表示太阳光方向，渲染得到地上内容在全局光照下的表观P′app；同时还有一个解码器网络仅以局部地上内容编码zlocal作为输入，解码得到地上内容轮廓的掩码M′sil，进而得到重建的局部光照环境光图P′local；

[0109] 基于解耦空间光照表示的端到端光照估计模块：以LDR的视野有限的室外场景图片I作为输入，经过一个全卷积的骨干网络提取图像深层特征F，随后三个独立的分支网络分别以天空光照编码zsky、太阳光照编码zsun和太阳光照方向掩码Msun这三个独立成分的形式估计场景对应的全局光照，由全局光照解码器网络重建出对应的环境光图；当指定图像中的像素位置l后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码，最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。

[0110] 本发明的方法或装置在应用场景下，实施流程如下(以下展示的具体参数仅为其中一种可行参数，其他参数设置下本发明方法也可以正常进行工作，需要根据具体应用场景进行微调)：

[0111] a)确定光照编码表示的维度：解耦空间下的光照编码表示共使用128个参数进行紧凑表示。其中zsky为16维编码，zsun为45维编码，Msun使用太阳方位角和俯仰角两个参数(zpos)可以描述，zvis为1维编码，zlocal为64维编码。

[0112] b)训练神经网络：按照上文中提到的训练神经网络的方法进行训练。输入的视野有限的场景图片分辨率为320×240，所有全局环境光图的分辨率为128×32，所有的局部环境光图的分辨率为128×64。所有的HDR图像在输入网络之前均采用以下公式对数值范围进行压缩：

[0113]

[0114] 其中μ代表压缩程度，实验中选取μ为16。

[0115] 训练时使用Adam优化器，学习率最开始设置为4×10‑3并每过5个轮次减半。全局光照编码‑解码网络共训练35个轮次，局部光照编码‑渲染网络共训练20个轮次，光照估计网络共训练20个轮次。

[0116] c)光照估计流程(如图4所示)：进行光照估计时，首先输入一张视野有限的LDR场景图像，光照估计网络对场景的全局光照的不同成分编码即天空光照编码zsky、太阳光照编码zsun和太阳方位角和俯仰角参数zpos分别进行估计，随后由全局光照解码器网络重建出对应的环境光图。当指定图像中的位置后，光照估计网络估计对应位置处的局部地上内容编码zlocal，由局部光照网络解码和渲染得到局部地上内容表观和对应的轮廓掩码。最终按照光照解耦的逆过程将其还原为一张完整的局部光照环境光图。本发明方法得到的环境光图相较于相关技术得到的结果具有更好的视觉效果和准确性(如图5所示)，此时可以进行具有高度真实感的虚拟物体插入应用，比如往场景中插入本不存在的两只金属材质的虚拟兔子，最终呈现的视觉效果接近场景中对应位置真实存在金属兔子的效果(如图7所示)。

[0117] d)光照编辑应用(如图6所示)：由于本发明使用的光照表示方法将光照的不同独立成分在作为独立的解耦编码表示，并且对应较明确的物理含义，因此可以通过编辑或交换部分光照成分的方式进行光照编辑，如组合不同的全局光照编码成分以及局部地上内容编码成分可以得到物理含义对应的局部光照环境光图。

[0118] 综上，本发明通过将室外空间可变光照表示为解耦空间中的不同光照成分，光照估计的效果得到了提升，并且该光照表示相较于非参数化的表示更加紧凑从而节约计算资源，同时光照成分的解耦特性也支持了具有物理含义的光照编辑。同时，本发明使用深度学习的方法，结合新提出的解耦空间光照表示设计编码网络与光照估计网络，实现了端到端的室外场景空间可变环境光照估计，并且从视觉效果和定量评价上较现有技术有较大改善。此外，本发明还提出了在大型3D仿真城市模型中的增强合成数据方法，得到的训练数据相较现有技术的仿真数据更加贴近真实室外城市场景，有效改善了训练数据与测试场景差异较大的问题，并提高了合成数据上训练的网络在真实场景下光照估计的质量。以及首次采集到了室外真实场景下的无截断HDR的局部可变光照数据集，有助于更加全面且定量地对光照估计方法在真实场景下的应用效果进行评估。

[0119] 相应于上述本发明实施例提供的方法，本发明实施例还提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

[0120] 存储器，用于存放计算机程序；

[0121] 处理器，用于执行存储器上所存放的程序时，实现上述本发明实施例提供的方法流程。

[0122] 上述控制设备设备中提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0123] 通信接口用于上述电子设备与其他设备之间的通信。

[0124] 存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non‑Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0125] 上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0126] 在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述本发明实施例提供的任一方法的步骤。

[0127] 在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述本发明实施例提供的任一方法的步骤。

[0128] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字终端设备线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

[0129] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0130] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0131] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。