一种基于生成对抗网络的立体高动态范围成像方法

摘要

本发明公开了一种基于生成对抗网络的立体高动态范围成像方法，考虑到立体高动态范围成像是将立体成像技术与高动态范围成像技术相结合，假设目标视点是左视点，且左视点属于欠曝光，右视点属于过曝光，其核心在于生成左视点的多曝光序列；将生成的左视点过曝光图像与原始的左视点欠曝光图像组成多曝光序列，利用构建的视点融合生成对抗网络来完成高动态范围图像融合任务；采用三幅不同曝光图像生成标签图像，以使视点融合生成对抗网络学习低质量融合图像与高质量融合图像之间的转换关系；优点是其既能降低传统方法中多步骤处理的复杂性，并减少误差累积，又能提高生成图像的整体对比度和细节保真度。

权利要求

1.一种基于生成对抗网络的立体高动态范围成像方法，其特征在于，包括以下步骤：

步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；

a.构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成

像数据库包括多视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签图像为三幅同一视点不同曝光的图像合成而来；

b.构建的第一级生成对抗网络为视点曝光传递生成对抗网络，该视点曝光传递生成对

抗网络包括生成网络和判别网络，所述生成网络包括内容编码器、曝光编码器和重建解码器，其中：

所述内容编码器是通过卷积核对输入的左视点图像进行卷积提取出内容特征图；

所述曝光编码器是通过卷积核对输入的右视点图像进行卷积提取出曝光特征图；

所述重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解

码，重构输出与原始输入图像同尺寸的目标图像；

所述判别网络是通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概

率，该判别网络的输入为重建解码器的输出结果和曝光传递标签图像；

c.构建的第二级生成对抗网络为视点融合生成对抗网络，该视点融合生成对抗网络包

括融合生成网络和融合判别网络，其中：

所述融合生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图

像，该融合生成网络的输入为原始左视点图像和视点曝光传递生成对抗网络的输出的级联结果；

所述融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概

率，该融合判别网络的输入为融合生成网络的输出和融合标签图像；

步骤二：训练步骤一中构建的两个级联的生成对抗网络；

步骤三：测试步骤二中训练好的级联的生成对抗网络。

2.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征

在于，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次是内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第三扩张卷积层、内容第四扩张卷积层,将输入左视点图像记为Fcontent,0，令i表示卷积层的索引号，i＝1,2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为Fcontent,i-1，将索引号为i的卷积层的输出记为Fcontent,i，Fcontent,i＝A(Wcontent,i*Fcontent,i-1+bcontent,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通道数为mcontent,i，索引号为i的卷积层输出的通道数为ncontent,i，Wcontent,i表示索引号为i的卷积层的卷积核，Wcontent,i的维数为kcontent,i×kcontent,i，符号“*”为卷积操作符号，bcontent,i表示维数为1×ncontent,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即Fcontent,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张卷积层，索引号为j的扩张卷积层的输入为Fcontent,j+1，将索引号为j的扩张卷积层的输出记为Fcontent,j+2，其中，索引号为j的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为j的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为mcontent,j+2，索引号为j的扩张卷积层输出的通道数为ncontent,j+2，Wcontent,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为Dcontent,j+2，Wcontent,j+2的维数为kcontent,j+2×kcontent,j+2，符号 为扩张卷积操作符号，bcontent,j+2表示维数为1×ncontent,j+2的偏置项；

所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次为曝光第一卷积层、曝光

第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第三扩张卷积层、曝光第四扩张卷积层,将输入右视点图像记为Fexposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为Fexposure,p-1，将索引号为p的卷积层的输出记为Fexposure,p，Fexposure,p＝A(Wexposure,p*Fexposure,p-1+bexposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷积层输入的通道数为mexposure,p，索引号为p的卷积层输出的通道数为nexposure,p，Wexposure,p表示索引号为p的卷积层的卷积核，Wexposure,p的维数为kexposure,p×kexposure,p，符号“*”为卷积操作符号，bexposure,p表示维数为1×nexposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即Fexposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4时代表曝光第四扩张卷积层，索引号为q的扩张卷积层的输入为Fexposure,q+1，将索引号为q的扩张卷积层的输出记为Fexposure,q+2， 其中，索引号为q的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为q的扩张卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为mexposure,q+2，索引号为q的扩张卷积层输出的通道数为nexposure,q+2，Wexposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为Dexposure,q+2，Wexposure,q+2的维数为kexposure,q+2×kexposure,q+2，符号 为扩张卷积操作符号，bexposure,q+2表示维数为1×nexposure,q+2的偏置项；

所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第

一反卷积层、重建第二卷积层,重建第一卷积层的输入是内容编码器和曝光编码器中扩张卷积层的输出的级联结果，记为 其中，concat

[]表示级联算子，∑表示求和算子，l表示特征图索引，将重建第一卷积层的输出记为

Rrec,1，Rrec,1＝A(Wrec,1*Frec+brec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一卷积层的卷积步长为1，重建第一卷积层输入的通道数为mrec,1，重建第一卷积层输出的通道数为nrec,1，Wrec,1表示重建第一卷积层的卷积核，Wrec,1的维数为krec,1×krec,1，符号“*”为卷积操作符号，brec,1表示维数为1×nrec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即Rrec,1，将重建第一反卷积层的输出记为Rrec,2，Rrec,2＝A(Wrec,2⊙Rrec,1+brec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反卷积层输入的通道数为mrec,2，重建第一反卷积层输出的通道数为nrec,2，Wrec,2表示重建第一反卷积层的卷积核，Wrec,2的维数为krec,2×krec,2，符号“⊙”为反卷积操作符号，brec,2表示维数为1×nrec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝光第一卷积层的相加输出，记为R'rec,2＝Rrec,2+Fcontent,1+Fexposure,1，将重建第二卷积层的输出记为Rrec,3，Rrec,3＝S(Wrec,3*R'rec,2+brec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道数为mrec,3，重建第二卷积层输出的通道数为nrec,3，Wrec,3表示重建第二卷积层的卷积核，Wrec,3的维数为krec,3×krec,3，brec,3表示维数为1×nrec,3的偏置项；

所述判别网络是依次由判别第一卷积层、判别第二卷积层、判别第三卷积层、判别第四

卷积层、判别第五卷积层构成,该判别网络的第一卷积层输入为重建解码器的输出结果和曝光传递标签图像，将输入图像记为Ft_disc,0，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判别第四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为Ft_disc,h-1，将索引号为h的卷积层的输出记为Ft_disc,h，Ft_disc,h＝A(Wt_disc,h*Ft_disc,h-1+bt_disc,h)，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为h＝1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h的卷积层输入的通道数为mt_disc,h，索引号为h的卷积层输出的通道数为nt_disc,h，Wt_disc,h表示索引号为h的卷积层的卷积核，Wt_disc,h的维数为kt_disc,h×kt_disc,h，符号“*”为卷积操作符号，bt_disc,h表示维数为1×nt_disc,h的偏置项。

3.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征

在于，所述融合生成网络依次由第一卷积层、第二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层构成,视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗网络的输出的级联结果，记为Ffusion,0＝concat[Fcontent,0,Rrec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为Ffusion,s-1，将索引号为s的卷积层的输出记为Ffusion,s，Ffusion,s＝A(Wfusion,s*Ffusion,s-1+bfusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷积层输入的通道数为mfusion,s，索引号为s的卷积层输出的通道数为nfusion,s，Wfusion,s表示索引号为s的卷积层的卷积核，Wfusion,s的维数为kfusion,s×kfusion,s，符号“*”为卷积操作符号，bfusion,s表示维数为1×nfusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即Ffusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g的扩张卷积层的输入为Ffusion,g+1，将索引号为g的扩张卷积层的输出记为Ffusion,g+2，其中，索引号为g的扩张卷积层的

激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层的卷积步长为1，索引号为g的扩张卷积层输入的通道数为mfusion,g+2，索引号为g的扩张卷积层输出的通道数为nfusion,g+2，Wfusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为Dfusion,g+2，Wfusion,g+2的维数为kfusion,g+2×kfusion,g+2，符号 为扩张卷积操作符号，bfusion,g+2表示维数为1×nfusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即Ffusion,6，将第三卷积层的输出记为Ffusion,7，Ffusion,7＝A(Wfusion,7*Ffusion,6+bfusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积层的卷积步长为1，第三卷积层输入的通道数为mfusion,7，第三卷积层输出的通道数为nfusion,7，Wfusion,7表示第三卷积层的卷积核，Wfusion,7的维数为kfusion,7×kfusion,7，符号“*”为卷积操作符号，bfusion,7表示维数为1×nfusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'fusion,7＝Ffusion,7+Ffusion,2，将第一反卷积层的输出记为Ffusion,8，Ffusion,8＝A(Wfusion,8⊙F'fusion,7+bfusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层输入的通道数为mfusion,8，第一反卷积层输出的通道数为nfusion,8，Wfusion,8表示第一反卷积层的卷积核，Wfusion,8的维数为kfusion,8×kfusion,8，符号“⊙”为反卷积操作符号，bfusion,8表示维数为1×nfusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'fusion,8＝Ffusion,8+Ffusion,1，将第四卷积层的输出记为Ffusion,9，Ffusion,9＝S(Wfusion,9*F'fusion,8+bfusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion,9，第四卷积层输出的通道数为nfusion,9，Wfusion,9表示第四卷积层的卷积核，Wfusion,9的维数为kfusion,9×kfusion,9，bfusion,9表示维数为1×nfusion,9的偏置项；

所述融合判别网络依次由融合判别第一卷积层、融合判别第二卷积层、融合判别第三

卷积层、融合判别第四卷积层、融合判别第五卷积层组成，且该融合判别网络的输入为融合生成网络的输出和融合标签图像,视点融合生成对抗网络中的判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，将输入图像记为Ff_disc,0，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别第四卷积层，w＝5时代表融合判别第五卷积层，索引号为w的卷积层的输入为Ff_disc,w-1，将索引号为w的卷积层的输出记为Ff_disc,w，Ff_disc,w＝A(Wf_disc,w*Ff_disc,w-1+bf_disc,w)，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为w＝1,2,3,4的卷积层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号为w的卷积层输入的通道数为mf_disc,w，索引号为w的卷积层输出的通道数为nf_disc,w，Wf_disc,w表示索引号为w的卷积层的卷积核，Wf_disc,w的维数为kf_disc,w×kf_disc,w，符号“*”为卷积操作符号，bf_disc,w表示维数为1×nf_disc,w的偏置项。

4.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，其特征

在于，所述步骤二中具体的训练方法如下：

选取 个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像

属于过曝光，其中， 然后将左视点欠曝光图像、右视点过曝光图像和对应的左视点过

曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点欠曝光图像记为

Fcontent,0并作为输入，将右视点过曝光图像记为Fexposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点过曝光图像，即Rrec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR图像构成视点融合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′rec,3，即Rrec,3为R′rec,3，并将左视点欠曝光图像Fcontent,0和左视点过曝光图像R′rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网络和判别网络迭代训练，训练得到对应的预测左视点HDR图像，记为Ileft_hdr，即Ffusion,9为Ileft_hdr，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的最佳参数，即得到了训练好的级联生成对抗网络。

5.根据权利要求1所述的一种基于生成对抗网络的立体高动态范围成像方法，所述步

骤三中具体的测试方法如下：

选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图

像记为Itest,left_under，右视点过曝光图像记为Itest,right_over；接着将Itest,left_under和Itest,right_over作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为Itest,left_hdr。

说明书

一种基于生成对抗网络的立体高动态范围成像方法

技术领域

[0001] 本发明涉及高动态范围成像技术领域，具体为一种基于生成对抗网络的立体高动态范围成像方法。

背景技术

[0002] 大部分商用相机仅能捕获自然场景的有限动态范围，这不可避免地导致捕获图像在场景过暗区域出现曝光不足现象，在场景过亮区域出现曝光过度现象；高动态范围(High 
dynamic range，HDR)成像技术的出现有效地解决了这个问题。HDR成像技术是利用同一场
景的多曝光图像估计出相机响应函数(Camera response function，CRF)，然后将多曝光图
像转换到辐照域进行融合，以得到反映真实场景动态范围的图像。但由于在捕获多曝光图
像时，相机每次曝光存在时间间隔，所以对于具有移动物体或背景复杂的场景，融合的HDR
图像会产生鬼影伪像。

[0003] 随着立体视觉技术的发展，对高质量立体图像的需求也在增加。将HDR成像技术与立体视觉系统相结合的立体HDR成像(Stereo HDR imaging，SHDRI)可以为用户提供更高质
量的双目体验，此外，由于立体多曝光图像是无时间延时拍摄，所以SHDRI能够缓解由于移
动物体带来的鬼影伪像问题。

[0004] 目前关于SHDRI的研究并不多，传统的SHDRI方法是简单结合双目成像技术和高动态范围成像技术，主要包括以下步骤：CRF估计，立体匹配，图像绘制，空洞填补，以及图像融合；由于CRF估计针对单视点多曝光图像，立体匹配针对多视点单曝光图像，所以有研发员
通过尺度不变特征(scale-invariant feature transform，SIFT)描述符来提取匹配点以
估计CRF，然后将图像转换到同一曝光下进行立体匹配。也有研发员认为SIFT描述符无法保
证匹配点对应图像的整个强度范围，所以提出利用累积分布函数来提取匹配点；另外，也有
人则假设CRF是预先通过单个相机进行多次曝光获得的，这限制了该方法的实用性。以上三
种方法是首先估计CRF，然后将立体多曝光图像转换为相同曝光或初始HDR图像以进行立体
匹配，与此相反，有些研发人员首先使用归一化互相关来计算初始视差图，然后使用所获得
的视差图来估计CRF，但是，上述所有方法都包含多个处理步骤，最终图像质量受每个处理
步骤的性能限制，容易造成误差累积。

[0005] 虽然相关研究已经取得了较好的SHDRI效果，但是在方法的复杂性和提高生成图像的细节上仍存在一定的不足。

发明内容

[0006] 本发明的目的在于提供一种基于生成对抗网络的立体高动态范围成像方法，以解决上述背景技术中提出的现有的高动态范围成像方法步骤复杂，成像细节存在不足的问
题。

[0007] 为实现上述目的，本发明提供如下技术方案，一种基于生成对抗网络的立体高动态范围成像方法，包括以下步骤：

[0008] 步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；

[0009] a.构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成像数据库包括多视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签
图像为三幅同一视点不同曝光的图像合成而来，另外，假定输入图像为左视点欠曝光图像
和右视点过曝光图像，则对应曝光传递生成对抗网络的标签图像为左视点过曝光图像，称
为曝光传递标签图像；

[0010] b.构建的第一级生成对抗网络为视点曝光传递生成对抗网络，该视点曝光传递生成对抗网络包括生成网络和判别网络，所述生成网络包括内容编码器、曝光编码器和重建
解码器，其中：

[0011] 所述内容编码器是通过卷积核对输入的左视点图像进行卷积提取出内容特征图；

[0012] 所述曝光编码器是通过卷积核对输入的右视点图像进行卷积提取出曝光特征图；

[0013] 所述重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解码，重构输出与原始输入图像同尺寸的目标图像；

[0014] 所述判别网络是通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该判别网络的输入为重建解码器的输出结果和曝光传递标签图像；

[0015] c.构建的第二级生成对抗网络为视点融合生成对抗网络，该视点融合生成对抗网络包括融合生成网络和融合判别网络，其中：

[0016] 所述融合生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，该融合生成网络的输入为原始左视点图像和视点曝光传递生成对抗网络的输出的
级联结果；

[0017] 所述融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该融合判别网络的输入为融合生成网络的输出和融合标签图像。

[0018] 步骤二：训练步骤一中构建的两个级联的生成对抗网络；

[0019] 步骤三：测试步骤二中训练好的级联的生成对抗网络。

[0020] 优选的，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次是内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第三扩张卷积
层、内容第四扩张卷积层,将输入左视点图像记为Fcontent,0，令i表示卷积层的索引号，i＝1,
2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为
Fcontent,i-1，将索引号为i的卷积层的输出记为Fcontent,i，Fcontent,i＝A(Wcontent,i*Fcontent,i-1+bcontent,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通道数为
mcontent,i，索引号为i的卷积层输出的通道数为ncontent,i，Wcontent,i表示索引号为i的卷积层的卷积核，Wcontent,i的维数为kcontent,i×kcontent,i，符号“*”为卷积操作符号，bcontent,i表示维数为1×ncontent,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即
Fcontent,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝
2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张
卷积层，索引号为j的扩张卷积层的输入为Fcontent,j+1，将索引号为j的扩张卷积层的输出记为Fcontent,j+2， 其中，索引号为j的
扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为j
的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为mcontent,j+2，索引号为j的扩张卷积层输出的通道数为ncontent,j+2，Wcontent,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为Dcontent,j+2，Wcontent,j+2的维数为kcontent,j+2×kcontent,j+2，符号 为扩张卷积操作符号，bcontent,j+2表示维数为1×ncontent,j+2的偏置项；

[0021] 所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次为曝光第一卷积层、曝光第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第三扩张卷积层、曝光
第四扩张卷积层,将输入右视点图像记为Fexposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为
Fexposure,p-1，将索引号为p的卷积层的输出记为Fexposure,p，Fexposure,p＝A(Wexposure,p*Fexposure,p-1+bexposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷积层输入的通道数为
mexposure,p，索引号为p的卷积层输出的通道数为nexposure,p，Wexposure,p表示索引号为p的卷积层的卷积核，Wexposure,p的维数为kexposure,p×kexposure,p，符号“*”为卷积操作符号，bexposure,p表示维数为1×nexposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即
Fexposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4时代表曝光第四扩
张卷积层，索引号为q的扩张卷积层的输入为Fexposure,q+1，将索引号为q的扩张卷积层的输出记为Fexposure,q+2， 其中，索
引号为q的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，
索引号为q的扩张卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为
mexposure,q+2，索引号为q的扩张卷积层输出的通道数为nexposure,q+2，Wexposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为Dexposure,q+2，Wexposure,q+2的维数为kexposure,q+2×kexposure,q+2，符号 为扩张卷积操作符号，bexposure,q+2表示维数为1×nexposure,q+2的偏置项；

[0022] 所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第一反卷积层、重建第二卷积层,重建第一卷积层的输入是内容编码器和曝光编码器中
扩张卷积层的输出的级联结果，记为 其中，concat
[]表示级联算子，∑表示求和算子，l表示特征图索引，将重建第一卷积层的输出记为
Rrec,1，Rrec,1＝A(Wrec,1*Frec+brec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一卷积层的卷积步长为1，重建第一卷积层输入
的通道数为mrec,1，重建第一卷积层输出的通道数为nrec,1，Wrec,1表示重建第一卷积层的卷积核，Wrec,1的维数为krec,1×krec,1，符号“*”为卷积操作符号，brec,1表示维数为1×nrec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即Rrec,1，将重建第一反卷积层的输出记为Rrec,2，Rrec,2＝A(Wrec,2⊙Rrec,1+brec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反
卷积层输入的通道数为mrec,2，重建第一反卷积层输出的通道数为nrec,2，Wrec,2表示重建第一反卷积层的卷积核，Wrec,2的维数为krec,2×krec,2，符号“⊙”为反卷积操作符号，brec,2表示维数为1×nrec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝
光第一卷积层的相加输出，记为R'rec,2＝Rrec,2+Fcontent,1+Fexposure,1，将重建第二卷积层的输出记为Rrec,3，Rrec,3＝S(Wrec,3*R'rec,2+brec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道
数为mrec,3，重建第二卷积层输出的通道数为nrec,3，Wrec,3表示重建第二卷积层的卷积核，Wrec,3的维数为krec,3×krec,3，brec,3表示维数为1×nrec,3的偏置项；

[0023] 所述判别网络是依次由判别第一卷积层、判别第二卷积层、判别第三卷积层、判别第四卷积层、判别第五卷积层构成,该判别网络的输入为重建解码器的输出结果和曝光传
递标签图像，将输入图像记为Ft_disc,0，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判
别第四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为Ft_disc,h-1，将索引号为h的卷积层的输出记为Ft_disc,h，Ft_disc,h＝A(Wt_disc,h*Ft_disc,h-1+bt_disc,h)，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号
为h＝1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h
的卷积层输入的通道数为mt_disc,h，索引号为h的卷积层输出的通道数为nt_disc,h，Wt_disc,h表示索引号为h的卷积层的卷积核，Wt_disc,h的维数为kt_disc,h×kt_disc,h，符号“*”为卷积操作符号，bt_disc,h表示维数为1×nt_disc,h的偏置项。

[0024] 优选的，所述融合生成网络依次由第一卷积层、第二卷积层、第一扩张卷积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层构成,视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特
征，最终得到融合图像，第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗网
络的输出的级联结果，记为Ffusion,0＝concat[Fcontent,0,Rrec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为Ffusion,s-1，将索引号为s的卷积层的输出记为Ffusion,s，Ffusion,s＝A(Wfusion,s*Ffusion,s-1+bfusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷积
层输入的通道数为mfusion,s，索引号为s的卷积层输出的通道数为nfusion,s，Wfusion,s表示索引号为s的卷积层的卷积核，Wfusion,s的维数为kfusion,s×kfusion,s，符号“*”为卷积操作符号，bfusion,s表示维数为1×nfusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即Ffusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g
的扩张卷积层的输入为Ffusion,g+1，将索引号为g的扩张卷积层的输出记为Ffusion,g+2，
其中，索引号为g的扩张卷积层的
激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层
的卷积步长为1，索引号为g的扩张卷积层输入的通道数为mfusion,g+2，索引号为g的扩张卷积层输出的通道数为nfusion,g+2，Wfusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为Dfusion,g+2，Wfusion,g+2的维数为kfusion,g+2×kfusion,g+2，符号 为扩张卷积操作符号，bfusion,g+2表示维数为1×nfusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即Ffusion,6，将第三卷积层的输出记为Ffusion,7，Ffusion,7＝A(Wfusion,7*Ffusion,6+bfusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积
层的卷积步长为1，第三卷积层输入的通道数为mfusion,7，第三卷积层输出的通道数为
nfusion,7，Wfusion,7表示第三卷积层的卷积核，Wfusion,7的维数为kfusion,7×kfusion,7，符号“*”为卷积操作符号，bfusion,7表示维数为1×nfusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'fusion,7＝Ffusion,7+Ffusion,2，将第一反卷积层的输出记为Ffusion,8，Ffusion,8＝A(Wfusion,8⊙F'fusion,7+bfusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层
输入的通道数为mfusion,8，第一反卷积层输出的通道数为nfusion,8，Wfusion,8表示第一反卷积层的卷积核，Wfusion,8的维数为kfusion,8×kfusion,8，符号“⊙”为反卷积操作符号，bfusion,8表示维数为1×nfusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'fusion,8＝Ffusion,8+Ffusion,1，将第四卷积层的输出记为Ffusion,9，Ffusion,9＝S(Wfusion,9*F'fusion,8+bfusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion,9，第四卷积层输出的通道数为nfusion,9，Wfusion,9表示第四卷积层的卷积核，Wfusion,9的维数为kfusion,9×kfusion,9，bfusion,9表示维数为1×nfusion,9的偏置项；

[0025] 所述融合判别网络依次由融合判别第一卷积层、融合判别第二卷积层、融合判别第三卷积层、融合判别第四卷积层、融合判别第五卷积层组成，且该融合判别网络的输入为
融合生成网络的输出和融合标签图像,视点融合生成对抗网络中的判别网络通过卷积核对
输入的图像进行卷积，最终得到对图像真假判断的概率，将输入图像记为Ff_disc,0，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第
二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别第四卷积层，w＝5时代表
融合判别第五卷积层，索引号为w的卷积层的输入为Ff_disc,w-1，将索引号为w的卷积层的输出记为Ff_disc,w，Ff_disc,w＝A(Wf_disc,w*Ff_disc,w-1+bf_disc,w)，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为w＝1,2,3,4的卷积
层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号为w的卷积层输入的通道
数为mf_disc,w，索引号为w的卷积层输出的通道数为nf_disc,w，Wf_disc,w表示索引号为w的卷积层的卷积核，Wf_disc,w的维数为kf_disc,w×kf_disc,w，符号“*”为卷积操作符号，bf_disc,w表示维数为
1×nf_disc,w的偏置项。

[0026] 优选的，所述步骤二中具体的训练方法如下：

[0027] 选取 个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像属于过曝光，其中， 然后将左视点欠曝光图像、右视点过曝光图像和对应的左
视点过曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点欠曝光图像记为
Fcontent,0并作为输入，将右视点过曝光图像记为Fexposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，生成网络和判别
网络迭代训练，训练得到对应的预测左视点过曝光图像，即Rrec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR图像构成视点融
合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′rec,3，即Rrec,3为R′rec,3，并将左视点欠曝光图像Fcontent,0和左视点过曝光图像R′rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网络和判别网络迭
代训练，训练得到对应的预测左视点HDR图像，记为Ileft_hdr，即Ffusion,9为Ileft_hdr，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的
最佳参数，即得到了训练好的级联生成对抗网络。

[0028] 优选的，所述步骤三中具体的测试方法如下：

[0029] 选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图像记为Itest,left_under，右视点过曝光图像记为Itest,right_over；接着将Itest,left_under和Itest,right_over作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为Itest,left_hdr。

[0030] 与现有技术相比，本发明的有益效果是：

[0031] 1)本发明方法考虑到现有技术都是遵循固定的图像处理流程，包括相机响应函数求取，立体匹配，图像绘制，空洞填补以及图像融合，但多步骤处理过程会产生误差累积，从而导致生成图像质量降低，因此采用生成对抗网络来端到端学习图像间的转换，能够有效
克服现有技术步骤繁琐以及误差累积的缺点。

[0032] 2)本发明方法为避免左右视点图像在拍摄过程中，由于曝光间距过大而导致融合图像出现细节丢失现象，采用三幅不同曝光图像来生成标签图像，使视点融合生成对抗网
络学习两个映射过程，即简单的两图像融合过程和低质量融合图像到高质量融合图像的转
换过程，能够有效提高生成图像的整体对比度和细节保真度。

附图说明

[0033] 图1为本发明方法的总体实现流程框图和网络的结构示意图；

[0034] 图2a为Laundry序列中的图像；

[0035] 图2b为采用SHDRI_CNN对图2a所示的图像进行处理得到的左视点过曝光图像；

[0036] 图2c为采用本发明方法对图2a所示的图像进行处理得到的左视点过曝光图像；

[0037] 图2d为图2a所示的图像对应的左视点过曝光图像；

[0038] 图3a为Moebius序列中的图像；

[0039] 图3b为采用SHDRI_CNN对图3a所示的图像进行处理得到的左视点过曝光图像；

[0040] 图3c为采用本发明方法对图3a所示的图像进行处理得到的左视点过曝光图像；

[0041] 图3d为图3a所示的图像对应的左视点过曝光图像；

[0042] 图4a为Dolls序列中的图像；

[0043] 图4b为两图像融合得到的左视点HDR图像；

[0044] 图4c为采用本发明方法对图4a所示的图像进行处理得到的左视点HDR图像；

[0045] 图4d为图4a所示的图像对应的高质量的左视点HDR图像。

[0046] 图5a为Art序列中的图像；

[0047] 图5b为两图像融合得到的左视点HDR图像；

[0048] 图5c为采用本发明方法对图5a所示的图像进行处理得到的左视点HDR图像；

[0049] 图5d为图5a所示的图像对应的高质量的左视点HDR图像。

[0050] 备注：本申请说明书附图采用带有灰度图片才能表达本申请方法达到的效果，故本申请说明书附图带有灰度。

具体实施方式

[0051] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0052] 自然场景的动态范围高达9个数量级，而普通消费相机拍摄的图像的动态范围小于3个数量级，这会导致成像在场景过亮区域泛白，造成信息丢失现象，此外，现有立体成像技术愈发成熟，将立体视觉系统与高动态范围成像技术有机结合，可以为用户提供更高质
量的双目体验，针对此，本发明提出了一种基于生成对抗网络的立体高动态范围成像方法，
其首先考虑到立体高动态范围成像的核心在于生成主视点下的额外曝光图像，因此在假定
左视点为主视点的条件下，将右视点的曝光信息传递给左视点以生成左视点额外曝光图
像，并与原始左视点图像构成多曝光序列；再利用视点融合生成对抗网络提取融合特征，生
成最终的高质量左视点HDR图像。

[0053] 本发明方法的总体实现流程框图和网络的结构示意图如图1所示，本发明方法包括以下步骤：

[0054] 步骤一：构建两个级联的生成对抗网络和立体高动态范围成像数据库；构建立体高动态范围成像数据库，用以输入并存储标签图像，该立体高动态范围成像数据库包括多
视点多曝光图像、曝光传递标签图像和融合标签图像，所述融合标签图像为三幅同一视点
不同曝光的图像合成而来；其中，假定输入图像为左视点欠曝光图像和右视点过曝光图像，
则对应曝光传递生成对抗网络的标签图像为左视点过曝光图像，称为曝光传递标签图像；
所述第一级生成对抗网络为视点曝光传递生成对抗网络，所述第二级生成对抗网络为视点
融合生成对抗网络；

[0055] 如图1所示，视点曝光传递生成对抗网络包括生成网络和判别网络，其中生成网络包括三部分，分别为内容编码器，曝光编码器和重建解码器，其中：

[0056] 视点曝光传递生成对抗网络中生成网络的内容编码器通过卷积核对输入的图像进行卷积提取出内容特征图，所述内容编码器由两层卷积层和四层扩张卷积层构成，依次
为内容第一卷积层、内容第二卷积层、内容第一扩张卷积层、内容第二扩张卷积层、内容第
三扩张卷积层、内容第四扩张卷积层，将输入左视点图像记为Fcontent,0，令i表示卷积层的索引号，i＝1,2，i＝1时代表内容第一卷积层，i＝2时代表内容第二卷积层，索引号为i的卷积层的输入为Fcontent,i-1，将索引号为i的卷积层的输出记为Fcontent,i，Fcontent,i＝A(Wcontent,i*Fcontent,i-1+bcontent,i)，其中，索引号为i的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为i的卷积层的卷积步长为i，索引号为i的卷积层输入的通
道数为mcontent,i，索引号为i的卷积层输出的通道数为ncontent,i，Wcontent,i表示索引号为i的卷积层的卷积核，Wcontent,i的维数为kcontent,i×kcontent,i，符号“*”为卷积操作符号，bcontent,i表示维数为1×ncontent,i的偏置项；内容第一扩张卷积层的输入是内容第二卷积层的输出，即
Fcontent,2，令j表示扩张卷积层的索引号，j＝1,2,3,4，j＝1时代表内容第一扩张卷积层，j＝
2时代表内容第二扩张卷积层，j＝3时代表内容第三扩张卷积层，j＝4时代表内容第四扩张
卷积层，索引号为j的扩张卷积层的输入为Fcontent,j+1，将索引号为j的扩张卷积层的输出记为Fcontent,j+2， 其中，索引号为j
的扩张卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号
为j的扩张卷积层的卷积步长为1，索引号为j的扩张卷积层输入的通道数为mcontent,j+2，索引号为j的扩张卷积层输出的通道数为ncontent,j+2，Wcontent,j+2表示索引号为j的扩张卷积层的卷积核，扩张系数记为Dcontent,j+2，Wcontent,j+2的维数为kcontent,j+2×kcontent,j+2，符号 为扩张卷积操作符号，bcontent,j+2表示维数为1×ncontent,j+2的偏置项；扩张卷积支持指数扩展图像感受野，且不降低图像分辨率，因此能够充分利用图像的上下文信息以提高生成图像
的质量；

[0057] 视点曝光传递生成对抗网络中生成网络的曝光编码器通过卷积核对输入的图像进行卷积提取出曝光特征图，所述曝光编码器由两层卷积层和四层扩张卷积层构成，依次
为曝光第一卷积层、曝光第二卷积层、曝光第一扩张卷积层、曝光第二扩张卷积层、曝光第
三扩张卷积层、曝光第四扩张卷积层，将输入右视点图像记为Fexposure,0，令p表示卷积层的索引号，p＝1,2，p＝1时代表曝光第一卷积层，p＝2时代表曝光第二卷积层，索引号为p的卷积层的输入为Fexposure,p-1，将索引号为p的卷积层的输出记为Fexposure,p，Fexposure,p＝A(Wexposure,p*Fexposure,p-1+bexposure,p)，其中，索引号为p的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为p的卷积层的卷积步长为p，索引号为p的卷
积层输入的通道数为mexposure,p，索引号为p的卷积层输出的通道数为nexposure,p，Wexposure,p表示索引号为p的卷积层的卷积核，Wexposure,p的维数为kexposure,p×kexposure,p，符号“*”为卷积操作符号，bexposure,p表示维数为1×nexposure,p的偏置项；曝光第一扩张卷积层的输入是曝光第二卷积层的输出，即Fexposure,2，令q表示扩张卷积层的索引号，q＝1,2,3,4，q＝1时代表曝光第一扩张卷积层，q＝2时代表曝光第二扩张卷积层，q＝3时代表曝光第三扩张卷积层，q＝4
时代表曝光第四扩张卷积层，索引号为q的扩张卷积层的输入为Fexposure,q+1，将索引号为q的扩张卷积层的输出记为Fexposure，q+2，
其中，索引号为q的扩张卷
积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为q的扩张
卷积层的卷积步长为1，索引号为q的扩张卷积层输入的通道数为mexposure,q+2，索引号为q的扩张卷积层输出的通道数为nexposure,q+2，Wexposure,q+2表示索引号为q的扩张卷积层的卷积核，扩张系数记为Dexposure,q+2，Wexposure,q+2的维数为kexposure,q+2×kexposure,q+2，符号 为扩张卷积操作符号，bexposure,q+2表示维数为1×nexposure,q+2的偏置项；

[0058] 视点曝光传递生成对抗网络中生成网络的重建解码器是通过卷积核对内容编码器和曝光编码器的输出的级联结果进行解码，重构输出与原始输入图像同尺寸的目标图
像，所述重建解码器由两层卷积层和一层反卷积层构成，依次为重建第一卷积层、重建第一
反卷积层、重建第二卷积层，判别网络由五层卷积层构成，依次为判别第一卷积层、判别第
二卷积层、判别第三卷积层、判别第四卷积层、判别第五卷积层，该重建第一卷积层的输入
是内容编码器和曝光编码器中扩张卷积层的输出的级联结果，通过聚合4层扩张卷积层的
输出能够充分利用图像的上下文信息 ，以丰富输出图像的 细节，记为
其中，concat[]表示级联算子，∑表示求和算
子，l表示特征图索引，将重建第一卷积层的输出记为Rrec,1，Rrec,1＝A(Wrec,1*Frec+brec,1)，其中，重建第一卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重
建第一卷积层的卷积步长为1，重建第一卷积层输入的通道数为mrec,1，重建第一卷积层输出的通道数为nrec,1，Wrec,1表示重建第一卷积层的卷积核，Wrec,1的维数为krec,1×krec,1，符号“*”为卷积操作符号，brec,1表示维数为1×nrec,1的偏置项；重建第一反卷积层的输入是重建第一卷积层的输出，即Rrec,1，将重建第一反卷积层的输出记为Rrec,2，Rrec,2＝A(Wrec,2⊙Rrec,1+brec,2)，其中，重建第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，重建第一反卷积层的步长为2，重建第一反卷积层输入的通道数为mrec,2，重建第一反卷积层输出的通道数为nrec,2，Wrec,2表示重建第一反卷积层的卷积核，Wrec,2的维数为krec,2×krec,2，符号“⊙”为反卷积操作符号，brec,2表示维数为1×nrec,2的偏置项；重建第二卷积层的输入是重建第一反卷积层，内容第一卷积层和曝光第一卷积层的相加输出，记为
R'rec,2＝Rrec,2+Fcontent,1+Fexposure,1，将重建第二卷积层的输出记为Rrec,3，Rrec,3＝S(Wrec,3*R'rec,2+brec,3)，其中，重建第二卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，重建第二卷积层的卷积步长为1，重建第二卷积层输入的通道数为mrec,3，重建第二卷积层输出的通道数为nrec,3，Wrec,3表示重建第二卷积层的卷积核，Wrec,3的维数为krec,3×krec,3，brec,3表示维数为1×nrec,3的偏置项；

[0059] 视点曝光传递生成对抗网络中的判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，该判别网络的输入为重建解码器的输出结果和曝光传递标
签图像，将输入图像记为Ft_disc,0，令h表示卷积层的索引号，h＝1,2,3,4,5，h＝1时代表判别第一卷积层，h＝2时代表判别第二卷积层，h＝3时代表判别第三卷积层，h＝4时代表判别第
四卷积层，h＝5时代表判别第五卷积层，索引号为h的卷积层的输入为Ft_disc,h-1，将索引号为h的卷积层的输出记为Ft_disc,h，Ft_disc,h＝A(Wt_disc,h*Ft_disc,h-1+bt_disc,h)，其中，索引号为h的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为h＝
1,2,3,4的卷积层的卷积步长为2，索引号为h＝5的卷积层的卷积步长为1，索引号为h的卷
积层输入的通道数为mt_disc,h，索引号为h的卷积层输出的通道数为nt_disc,h，Wt_disc,h表示索引号为h的卷积层的卷积核，Wt_disc,h的维数为kt_disc,h×kt_disc,h，符号“*”为卷积操作符号，bt_disc,h表示维数为1×nt_disc,h的偏置项；

[0060] 所述视点融合生成对抗网络中的生成网络通过卷积核对输入的图像进行卷积提取融合特征，最终得到融合图像，该视点融合生成对抗网络包括融合生成网络和融合判别
网络，其中所述融合生成网络包括九层，依次分别为第一卷积层、第二卷积层、第一扩张卷
积层、第二扩张卷积层、第三扩张卷积层、第四扩张卷积层、第三卷积层、第一反卷积层、第四卷积层，具体来说，所述第一卷积层的输入是原始左视点图像和视点曝光传递生成对抗
网络的输出的级联结果，记为Ffusion,0＝concat[Fcontent,0,Rrec,3]，其中，concat[]表示级联算子，令s表示卷积层的索引号，s＝1,2，s＝1时代表第一卷积层，s＝2时代表第二卷积层，索引号为s的卷积层的输入为Ffusion,s-1，将索引号为s的卷积层的输出记为Ffusion,s，Ffusion,s＝A(Wfusion,s*Ffusion,s-1+bfusion,s)，其中，索引号为s的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为s的卷积层的卷积步长为s，索引号为s的卷
积层输入的通道数为mfusion,s，索引号为s的卷积层输出的通道数为nfusion,s，Wfusion,s表示索引号为s的卷积层的卷积核，Wfusion,s的维数为kfusion,s×kfusion,s，符号“*”为卷积操作符号，bfusion,s表示维数为1×nfusion,s的偏置项；第一扩张卷积层的输入是第二卷积层的输出，即Ffusion,2，令g表示扩张卷积层的索引号，g＝1,2,3,4，g＝1时代表第一扩张卷积层，g＝2时代表第二扩张卷积层，g＝3时代表第三扩张卷积层，g＝4时代表第四扩张卷积层，索引号为g
的扩张卷积层的输入为Ffusion,g+1，将索引号为g的扩张卷积层的输出记为Ffusion,g+2，
其中，索引号为g的扩张卷积层的激
活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引号为g的扩张卷积层的
卷积步长为1，索引号为g的扩张卷积层输入的通道数为mfusion,g+2，索引号为g的扩张卷积层输出的通道数为nfusion,g+2，Wfusion,g+2表示索引号为g的扩张卷积层的卷积核，扩张系数记为Dfusion,g+2，Wfusion,g+2的维数为kfusion,g+2×kfusion,g+2，符号 为扩张卷积操作符号，bfusion,g+2表示维数为1×nfusion,g+2的偏置项；第三卷积层的输入是第四扩张卷积层的输出，即Ffusion,6，将第三卷积层的输出记为Ffusion,7，Ffusion,7＝A(Wfusion,7*Ffusion,6+bfusion,7)，其中，第三卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第三卷积
层的卷积步长为1，第三卷积层输入的通道数为mfusion,7，第三卷积层输出的通道数为
nfusion,7，Wfusion,7表示第三卷积层的卷积核，Wfusion,7的维数为kfusion,7×kfusion,7，符号“*”为卷积操作符号，bfusion,7表示维数为1×nfusion,7的偏置项；第一反卷积层的输入是第三卷积层和第二卷积层的相加输出，记为F'fusion,7＝Ffusion,7+Ffusion,2，将第一反卷积层的输出记为Ffusion,8，Ffusion,8＝A(Wfusion,8⊙F'fusion,7+bfusion,8)，其中，第一反卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，第一反卷积层的步长为2，第一反卷积层
输入的通道数为mfusion,8，第一反卷积层输出的通道数为nfusion,8，Wfusion,8表示第一反卷积层的卷积核，Wfusion,8的维数为kfusion,8×kfusion,8，符号“⊙”为反卷积操作符号，bfusion,8表示维数为1×nfusion,8的偏置项；第四卷积层的输入是第一反卷积层和第一卷积层的相加输出，记为F'fusion,8＝Ffusion,8+Ffusion,1，将第四卷积层的输出记为Ffusion,9，Ffusion,9＝S(Wfusion,9*F'fusion,8+bfusion,9)，其中，第四卷积层的激活函数为sigmoid函数，S()表示sigmoid函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion,9，第四卷积层输出的通道数为nfusion,9，Wfusion,9表示第四卷积层的卷积核，Wfusion,9的维数为kfusion,9×kfusion,9，bfusion,9表示维数为1×nfusion,9的偏置项；

[0061] 视点融合生成对抗网络中的融合判别网络通过卷积核对输入的图像进行卷积，最终得到对图像真假判断的概率，所述融合判别网络的输入为融合生成网络的输出结果和融
合标签图像，该融合判别网络包括五层，依次为融合判别第一卷积层、融合判别第二卷积
层、融合判别第三卷积层、融合判别第四卷积层、融合判别第五卷积层；具体来说，将输入图像记为Ff_disc,0，令w表示卷积层的索引号，w＝1,2,3,4,5，w＝1时代表融合判别第一卷积层，w＝2时代表融合判别第二卷积层，w＝3时代表融合判别第三卷积层，w＝4时代表融合判别
第四卷积层，w＝5时代表融合判别第五卷积层，索引号为w的卷积层的输入为Ff_disc,w-1，将索引号为w的卷积层的输出记为Ff_disc,w，Ff_disc,w＝A(Wf_disc,w*Ff_disc,w-1+bf_disc,w)，其中，索引号为w的卷积层的激活函数为带泄露线性整流函数，A()表示带泄露线性整流函数，索引
号为w＝1,2,3,4的卷积层的卷积步长为2，索引号为w＝5的卷积层的卷积步长为1，索引号
为w的卷积层输入的通道数为mf_disc,w，索引号为w的卷积层输出的通道数为nf_disc,w，Wf_disc,w表示索引号为w的卷积层的卷积核，Wf_disc,w的维数为kf_disc,w×kf_disc,w，符号“*”为卷积操作符号，bf_disc,w表示维数为1×nf_disc,w的偏置项；

[0062] 步骤二：选取 个左右视点多曝光序列，假定训练和测试的左视点图像属于欠曝光，右视点图像属于过曝光，其中， 在本实施例中取 左右视点多曝光序列可
以自行用立体相机拍摄，也可采用现有的多视点多曝mexposure,2＝16光序列来构造，高质量的HDR图像采用软件photomatix Pro 6.1.1合成；然后将左视点欠曝光图像、右视点过曝光
图像和对应的左视点过曝光图像构成曝光传递训练集；接着将曝光传递训练集中的左视点
欠曝光图像记为Fcontent,0并作为输入，将右视点过曝光图像记为Fexposure,0并作为输入，将左视点过曝光图像作为标签图像，输入到构建好的视点曝光传递生成对抗网络中进行训练，
生成网络和判别网络迭代训练，训练得到对应的预测左视点过曝光图像，即Rrec,3；之后将左右视点多曝光序列中的左视点欠曝光图像、左视点过曝光图像和对应的高质量左视点HDR
图像构成视点融合训练集；然后将视点融合训练集中的左视点过曝光图像记为R′rec,3，即
Rrec,3为R′rec,3，并将左视点欠曝光图像Fcontent,0和左视点过曝光图像R′rec,3作为输入，将高质量左视点HDR图像作为标签，输入到构建好的视点融合生成对抗网络中进行训练，生成网
络和判别网络迭代训练，训练得到对应的预测左视点HDR图像，记为Ileft_hdr，即Ffusion,9为Ileft_hdr，训练结束后得到了视点曝光传递生成对抗网络和视点融合生成对抗网络中的各卷积核和偏置项的最佳参数，即得到了训练好的级联生成对抗网络；

[0063] 步骤三：选取一组左右视点不同曝光图像作为测试序列；然后将测试序列中的左视点欠曝光图像记为Itest,left_under，右视点过曝光图像记为Itest,right_over；接着将
Itest,left_under和Itest,right_over作为输入，输入到训练好的级联生成对抗网络中，网络输出对应的左视点HDR图像，记为Itest,left_hdr。

[0064] 在本实施例的步骤一中，取kcontent,1＝3，mcontent,1＝3，ncontent,1＝16；kcontent,2＝3，mcontent,2＝16，ncontent,2＝32；kcontent,3＝3，mcontent,3＝32，ncontent,3＝32，Dcontent,3＝1；kcontent,4＝3，mcontent,4＝32，ncontent,4＝32，Dcontent,4＝2；kcontent,5＝3，mcontent,5＝32，ncontent,5＝32，Dcontent,5＝4；kcontent,6＝3，mcontent,6＝32，ncontent,6＝32，Dcontent,6＝8；kexposure,1＝3，mexposure,1＝3，nexposure,1＝16；kexposure,2＝3，，nexposure,2＝32；kexposure,3＝3，mexposure,3＝32，nexposure,3＝32，Dexposure,3＝1；kexposure,4＝3，mexposure,4＝32，nexposure,4＝32，Dexposure,4＝2；kexposure,5＝3，mexposure,5＝32，nexposure,5＝32，Dexposure,5＝4；kexposure,6＝3，mexposure,6＝32，nexposure,6＝32，Dexposure,6＝8；krec,1＝3，mrec,1＝64，nrec,1＝32；krec,2＝3，mrec,2＝32，nrec,2＝16；krec,3＝3，mrec,3＝16，nrec,3＝3；kt_disc,1＝4，mt_disc,1＝3，nt_disc,1＝64；kt_disc,2＝4，mt_disc,2＝64，nt_disc,2＝128；kt_disc,3＝4，mt_disc,3＝128，nt_disc,3＝256；kt_disc,4＝4，mt_disc,4＝256，nt_disc,4＝512；kt_disc,5＝4，mt_disc,5＝512，nt_disc,5＝1。取kfusion,1＝3，mfusion,1＝3，nfusion,1＝16；
kfusion,2＝3，mfusion,2＝16，nfusion,2＝32；kfusion,3＝3，mfusion,3＝32，nfusion,3＝32，Dfusion,3＝1；
kfusion,4＝3，mfusion,4＝32，nfusion,4＝32，Dfusion,4＝2；kfusion,5＝3，mfusion,5＝32，nfusion,5＝32，Dfusion,5＝4；kfusion,6＝3，mfusion,6＝32，nfusion,6＝32，Dfusion,6＝8；kfusion,7＝3，mfusion,7＝32，nfusion,7＝32；kfusion,8＝3，mfusion,8＝32，nfusion,8＝16；kfusion,9＝3，mfusion,9＝16，nfusion,9＝3；
kf_disc,1＝4，mf_disc,1＝3，nf_disc,1＝64；kf_disc,2＝4，mf_disc,2＝64，nf_disc,2＝128；kf_disc,3＝4，mf_disc,3＝128，nf_disc,3＝256；kf_disc,4＝4，mf_disc,4＝256，nf_disc,4＝512；kf_disc,5＝4，mf_disc,5＝512，nf_disc,5＝1；

[0065] 为了进一步说明本发明方法的可行性和有效性，进行如下实验。

[0066] 本发明方法采用TensorFlow框架实现。训练和测试采用的左右视点不同曝光图像来自Middlebury数据库，该数据库为每个场景提供了7个视点图像，并且每个视点包括三种
照度和三种曝光，所以以视点间隔为1来选择左右视点图像，即将视点0作为左视点，视点1
作为右视点，以此类推，将视点5作为左视点，视点6作为右视点，同时假定左视点图像属于
欠曝光，右视点图像属于过曝光，共收集到540组图像，按照7:1:2的比率随机划分训练集，
验证集和测试集，即训练集图像数目为378，验证集图像数目为54，测试集图像数目为108。
为增加训练样本，将训练集中所有图像进行颜色通道转换和翻转，其中，颜色通道转换有6
种组合，翻转包括水平，垂直以及水平垂直三种方向，因此共产生18种不同组合的增强方
式，将所有图像裁剪为128×128的非重叠图像块。

[0067] 视点曝光传递生成对抗网络和视点融合生成对抗网络的初始学习率均设置为10-4，并在完成一次训练后，以0.95的衰减系数衰减学习率。网络中的所有卷积核的参数和偏
置项的初始值均采用均值为0、标准差为0.02的截断正态分布的随机值。

[0068] 为稳定生成对抗网络的训练，采用最小二乘损失。此外，为保证生成图像的内容保持不变，视点曝光传递生成对抗网络中生成网络的损失分为两项，第一项为内容损失，包括
结构相异性损失和由水平以及竖直梯度滤波器产生的高频细节损失；第二项为由判别网络
产生的对抗损失，第一项的权重设置为10。视点融合生成对抗网络中生成网络的损失也分
为两项，第一项为内容损失，其中，由于高动态范围图像的像素变换很大，很难利用网络学
习精确的映射关系，所以计算色调映射后图像的损失，采用结构相异性损失，色调映射采用
Gamma色调映射算子；第二项为由判别网络产生的对抗损失，第一项的权重设置为10。利用
ADAM优化器训练网络。

[0069] 为测试本发明方法的有效性和普适性，采用不同于训练样本的图像进行测试。使用的测试图像的基本信息如表1所示，图像分辨率均采样到1390×1110。

[0070] 表1测试图像信息

[0071]

[0072]

[0073] 为了说明本发明方法的性能，采用PSNR、SSIM和FSIM三种图像质量客观评价方式来评价视点曝光传递生成对抗网络生成的图像质量，其中，PSNR衡量生成图像与参考图像
的像素级差异，SSIM和FSIM从视觉感知角度出发，衡量生成图像与参考图像的结构差异和
细节差异。对比算法一是本发明方法，二是将本发明方法去除判别网络，即基于卷积神经网
络的立体HDR成像，简称为SHDRI_CNN。表2给出了对比结果，对所有测试图像的质量分数取
均值显示。从表2所列的数据可以看出，采用本发明方法在PSNR和FSIM指标上均高于SHDRI_
CNN，其中，本发明方法在PSNR值上提升了显著的3.3612dB，而在SSIM指标上接近SHDRI_
CNN。

[0074] 表2采用本发明方法与SHDRI_CNN在图像客观质量评价指标上的对比

[0075]

[0076] 图2a-2d和图3a-3d给出了视点曝光传递生成对抗网络的性能的主观对比。图2a给出了Laundry序列中的测试图像，图2b给出了SHDRI_CNN对图2a所示的图像进行处理得到的
左视点过曝光图像，图2c给出了本发明方法对图2a所示的图像进行处理得到的左视点过曝
光图像，图2d给出了标签图像，即Ground Truth；图3a给出了Moebius序列中的测试图像，图
3b给出了SHDRI_CNN对图3a所示的图像进行处理得到的左视点过曝光图像，图3c给出了本
发明方法对图3a所示的图像进行处理得到的左视点过曝光图像，图3d给出了标签图像，即
Ground Truth；从图2a至图3d中可以看出，本发明方法得到的图像在亮度和细节上更接近
标签图像，而SHDRI_CNN得到的图像在亮度上有偏差，如图2b窗户的周边区域，颜色偏灰，但在参考图像中由于过曝光导致颜色为纯白，此外，SHDRI_CNN得到的图像会有过多的细节增
强效果，如图3b的右下方放大区域。

[0077] 图4a-4d和图5a-5d给出了视点融合生成对抗网络的性能的主观对比。图4a给出Dolls序列中的测试图像，图4b给出了两图像融合得到的左视点HDR图像，图4c给出了本发
明方法对图4a所示的图像进行处理得到的左视点HDR图像，图4d给出了标签图像；图5a给出
了Art序列中的测试图像，图5b给出了两图像融合得到的左视点HDR图像，图5c给出了本发
明方法对图5a所示的图像进行处理得到的左视点HDR图像，图5d给出了标签图像；从图4a至
图5d中可以看出，本发明方法得到的图像在主观质量上更接近标签图像，且不存在由于视
差导致的鬼影伪像，而两图像融合结果是直接采用单视点多曝光图像，虽然不存在鬼影伪
像，但出现了明显的细节丢失和亮度失真现象，如图5b的左侧区域，这证明了本发明方法学
习了低质量融合图像到高质量融合图像的转换过程。

[0078] 本发明方法的创新性主要体现如下：传统的SHDRI方法是简单结合立体成像技术和HDRI技术，处理步骤较多，且容易产生误差累积问题，本发明方法通过曝光传递跳过了复
杂的立体匹配和空洞填补处理，并利用HDR图像合成软件融合三幅不同曝光图像以产生高
质量的标签图像，使视点融合生成对抗网络不仅执行左右视点不同曝光图像的融合任务，
也执行低质量融合图像到高质量融合图像的转换任务。

[0079] 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等
同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。