基于条件生成对抗网络的多域图像转换方法、系统及介质转让专利
申请号 : CN201910808016.8
文献号 : CN110675316B
文献日 : 2021-07-09
发明人 : 邓楚富 , 肖侬 , 卢宇彤 , 陈志广 , 瞿毅力 , 苏婉琪 , 王莹
申请人 : 中山大学
摘要 :
权利要求 :
1.一种基于条件生成对抗网络的多域图像转换方法,其特征在于,实施步骤包括:
1)输入待转换的x模态的原图x、y模态的原图y;
2)针对原图x采用预先训练好的条件提取器来生产x模态条件Cx,针对原图y采用预先训练好的条件提取器来生产y模态条件Cy;
3)将原图x、原图y、x模态条件Cx、y模态条件Cy输入预先训练好的条件生成对抗网络得到对应的图像转换结果;
步骤2)的详细步骤包括:针对原图x采用预先训练好的条件提取器提取图像特征,再对图像特征进行上采样放大成原图大小然后再与零矩阵进行通道上的拼接得到x模态条件Cx;针对原图y采用预先训练好的条件提取器提取图像特征,再对图像特征进行上采样放大成原图大小然后再与零矩阵进行通道上的拼接得到y模态条件Cy;
所述条件生成对抗网络包括几何信息编码器Encodersame、细节信息编码器Encoderdiff以及解码器Decoder,步骤3)中条件生成对抗网络得到对应的图像转换结果的详细步骤包括:
3.1)针对原图x,通过几何信息编码器Encodersame编码得到x模态几何空间特征xsame,将x模态几何空间特征xsame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y模态几何空间特征ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩阵进行通道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条件Cx进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征xdiff,将x模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态细节特点图xdic;
3.2)重用x模态几何空间特征xsame、y模态细节语义特征ydiff进行通道上的拼接后输入解码器Decoder得到y模态生成图yfake;重用y模态几何空间特征ysame、x模态细节语义特征xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake。
2.根据权利要求1所述的基于条件生成对抗网络的多域图像转换方法,其特征在于,所述条件提取器为用于将输入的原图进行下采样到指定大小的多层卷积神经网络。
3.根据权利要求2所述的基于条件生成对抗网络的多域图像转换方法,其特征在于,步骤2)之前还包括训练条件提取器的步骤,详细步骤包括:A1)初始化条件提取器;
A2)输入指定数据集的任意一张图像;
A3)针对输入的图像通过条件提取器进行卷积处理得到图像特征;
A4)计算条件提取器的损失lossce;
A5)对条件提取器的损失lossce求导,并通过反向传播计算出条件提取器的各层参数的梯度值,根据梯度值更新参数,完成本轮迭代;
A6)判断是否满足预设的退出迭代条件,如果满足则结束迭代并退出;否则,跳转执行步骤A2)继续进行下一轮迭代。
4.根据权利要求3所述的基于条件生成对抗网络的多域图像转换方法,其特征在于,步骤A4)计算条件提取器的损失lossce的函数表达式如式(1)所示;
lossce=||Conditinal_extractor(a)‑alabel||2 (1)式(1)中,||Conditinal_extractor(a)‑alabel||2表示图像特征、标签alabel之间的距离,其中a表示数据集内的任一模态的图像,Conditinal_extractor(a)表示图像a提取得到的图像特征,alabel表示训练条件提取器时使用的标签,所述数据集有n个模态,第i个模态的标签的数值为i/n,大小为h/2×w/2×1,其中h为图像的高度,w为图像的宽度。
5.根据权利要求1所述的基于条件生成对抗网络的多域图像转换方法,其特征在于,步骤3)之前还包括训练条件生成对抗网络的步骤,详细步骤包括:B1)输入训练集中的任意一组x模态的原图x、y模态的原图y;
B2)针对原图x采用预先训练好的条件提取器来生产x模态条件Cx,针对图像y采用预先训练好的条件提取器来生产y模态条件Cy;
B3)针对原图x,通过几何信息编码器Encodersame编码得到x模态几何空间特征xsame,将x模态几何空间特征xsame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y模态几何空间特征ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩阵进行通道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条件Cx进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征xdiff,将x模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态细节特点图xdic;将图像x与x模态条件Cx进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征x'diff,将原图y与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到y模态细节语义特征y'diff;
B4)重用x模态几何空间特征xsame、y模态细节语义特征ydiff进行通道上的拼接后输入解码器Decoder得到y模态生成图yfake;重用y模态几何空间特征ysame、x模态细节语义特征xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake;
B5)将原图x、原图y,x模态生成图xfake、y模态生成图yfake输入鉴别器Discriminator进行对抗学习;
B6)计算条件生成对抗网络的网络总损失;
B7)对网络总损失求导,开启反向传播逐层计算出条件生成对抗网络各层参数的梯度值,然后根据各层参数梯度更新这些参数,完成本轮迭代;
B8)判断是否满足预设的退出迭代条件,如果满足则结束迭代并退出;否则,跳转执行步骤B1)继续进行下一轮迭代。
6.根据权利要求5所述的基于条件生成对抗网络的多域图像转换方法,其特征在于,步骤B6)中生成对抗网络GAN的网络总损失由鉴别器损失、生成对抗损失、特征编码损失、一致性损失求和得到,所述鉴别器损失的计算函数表达式如式(2)所示,所述生成对抗损失的计算函数表达式如式(3)所示,所述特征编码损失的计算函数表达式如式(4)所示,所述一致性损失的计算函数表达式如式(5)所示;
式(2)中,lossdis表示鉴别器损失,||Discriminator(xfake)||2表示鉴别器对生成图xfake的鉴别损失,||Discriminator(yfake)||2表示鉴别器对生成图yfake的鉴别损失,||Discriminator(x)‑xlabel||2表示鉴别器对原图x的鉴别损失,||Discriminator(y)‑ylabel||2表示鉴别器对原图y的鉴别损失,Discriminator(xfake)表示鉴别器对生成图xfake的鉴别结果,Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminator(x)表示鉴别器对原图x的鉴别结果,Discriminator(y)表示鉴别器对原图y的鉴别结果,xlabel表示原图x的标签,ylabel表示原图y的标签,w1是鉴别器损失的权重;
式(3)中,lossadv表示生成对抗损失,||Discriminator(yfake)‑ylabel||2表示生成图yfake与原图y的对抗损失,||Discriminatonr(xfake)‑xlabel||2表示生成图xfake与原图x的对抗损失,Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminatonr(xfake)表示鉴别器对生成图xfake的鉴别结果,xlabel表示原图x的标签,ylabel表示原图y的标签,w2是生成对抗损失的权重;
式(4)中,losscode表示特征编码损失,||xsame‑ysame||2是x模态和y模态几何特征之间的距离,||xdiff‑x'diff||2+||ydiff‑y'diff||2是计算不同模态的原图转换至同一模态时得到的细节信息特征间的损失,(1‑||xdiff‑ydiff||2)+(1‑||x'diff‑y'diff||2)是计算同一模态的原图转换至不同模态时得到的细节信息特征的损失,w31是几何信息损失的权重,w32是同一转换方向的细节损失的权重,w33是不同转换方向的细节损失的权重;xsame为x模态几何空间特征、ysame为y模态几何空间特征,xdiff为x模态细节语义特征,ydiff为y模态细节语义特征,x'diff为原图x与x模态条件Cx通过细节信息编码器Encoderdiff编码得到y模态细节语义特征,y'diff为原图y与y模态条件Cy通过细节信息编码器Encoderdiff编码得到y模态细节语义特征;
式(5)中,lossconsistency表示一致性损失,||xmask‑ymask||2表示x模态掩膜图与y模态掩膜图之间的距离损失,||x‑xfake||2表示原图x与生成图xfake之间的距离损失,||y‑yfake||2表示原图y与生成图yfake之间的距离损失,||xdic‑ydic||2表示x模态细节特点图与y模态细节特点图的距离损失,w41是几何信息编码器Encodersame、解码器Decoder之间的训练路径的损失权重,w42是几何信息编码器Encodersame、细节信息编码器Encoderdiff、解码器Decoder之间的训练路径的损失权重,w43是细节信息编码器Encoderdiff、解码器Decoder之间的训练路径的损失权重;xmask为x模态掩膜图,ymask为y模态掩膜图,xfake为x模态生成图,yfake为y模态生成图,xdic为x模态细节特点图,ydic为y模态细节特点图。
7.一种基于条件生成对抗网络的多域图像转换系统,包括计算机设备,其特征在于,该计算机设备被编程或配置以执行权利要求1~6中任意一项所述基于条件生成对抗网络的多域图像转换方法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行权利要求1~6中任意一项所述基于条件生成对抗网络的多域图像转换方法的计算机程序。
8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有被编程或配置以执行权利要求1~6中任意一项所述基于条件生成对抗网络的多域图像转换方法的计算机程序。
说明书 :
基于条件生成对抗网络的多域图像转换方法、系统及介质
技术领域
背景技术
卷积运算操作,擅长矩阵运算,而图像的通道一般可以表示为二维矩阵,因此卷积神经网络
在与图像相关的任务上表现优异。
自适应等方向的工作都有了超过state of art的研究结果。GAN是一种网络结构,也属于是
一种网络的训练方法。最原始的GAN包括一个生成器(Generator)和一个鉴别器
(Discriminator),其目的是为了生成类似真实图像的图像。首先,生成器根据随机噪声(通
常是符合高斯分布的)生成一个假图,然后鉴别器要区分出假图和真图的真假性。根据损失
函数的设计,生成器在一步步迭代的过程中生成越来越接近真实图片的假图,最终使鉴别
器不能区分假图和真图。但是,由于GAN难训练的特点,很容易出现模式崩溃(如鉴别器训练
不够好,把假图加大概率地判别为真图,不能很好地指导生成器,导致生成假图的效果很
差)和梯度消失的问题。为此,相继有相关的研究,如DCGAN、WGAN和WGAN‑GP等的提出,大大
地促进了GAN的发展。
的汽车一定是我们所指定的颜色的。为了解决这一问题,条件生成对抗网络被提出
(Conditional GAN,简称CGAN)。不同于原始的GAN结构,CGAN多了一个one‑hot编码的条件
y,在训练时,随机噪声z与条件y进行拼接,组成一个新的一维向量作为生成器的输入;图像
x平铺为一维向量,与条件y共同作为鉴别器的输入。因为存在条件y的约束,我们就能让生
成器生成我们想要的图片了,目前最成功的基于条件生成对抗网络的要属 StarGAN了,
StarGAN是用于人脸图像的生成,它能实现不同人脸属性间的互换(如黑发变白发),为多域
转换提供了新思路。
CT以及超声波等。越多的模态意味着越多的信息,也意味着能为医生提供更多的帮助。而现
如今太多数公开数据集包含配对的多模态图像还是比较少的,若是能实现不同模态的医学
图像的转换,提供更多的配对数据,那对于医学图像处理领域的其他问题,如分割、分类、可
视化、图像配准和信息融合等,都能提供相应的帮助。
置来说,几何结构基本是一样的。所以医学图像的跨模态转换的难点在于对细节的精确转
换,使用卷积神经网络来捕捉细节特征是有效果的。因此,越来越多的相关研究基于神经网
络,提出新的解决方法,推动医学图像处理的发展。
发明内容
采样及与零矩阵在通道上的拼接得到条件矩阵,在具有较高的独立性情况下,又保有每个
模态输入自身的语义信息;本发明训练灵活,且对要转换的域的数量没有限制,所需参数
少。
x模态条件Cx;针对原图y采用预先训练好的条件提取器提取图像特征,再对图像特征进行
上采样放大成原图大小然后再与零矩阵进行通道上的拼接得到y模态条件Cy。
得到的图像特征, alabel表示训练条件提取器时使用的标签,所述数据集有n个模态,第i个
模态的标签的数值为i/n,大小为h/2×w/2×1,其中h为图像的高度,w为图像的宽度。
的详细步骤包括:
态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y模态几何空间特征
ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模
态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器
Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩阵进行通
道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条件Cx进行
通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征xdiff,将x
模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态细节
特点图xdic;
征xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake;
态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y模态几何空间特征
ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模
态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器
Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩阵进行通
道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条件Cx进行
通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征xdiff,将x
模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态细节
特点图xdic;将图像x与x模态条件Cx进行通道上的拼接,然后通过细节信息编码器
Encoderdiff编码得到x 模态几何空间特征x'diff,将原图y与y模态条件Cy进行通道上的拼
接,然后通过细节信息编码器Encoderdiff编码得到y模态细节语义特征y'diff;
xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake;
述生成对抗损失的计算函数表达式如式(3)所示,所述特征编码损失的计算函数表达式如
式 (4)所示,所述一致性损失的计算函数表达式如式(5)所示;
Discriminator(x)‑xlabel||2表示鉴别器对原图x的鉴别损失,||Discriminator(y)‑ylabel|
|2表示鉴别器对原图y的鉴别损失,Discriminator(xfake)表示鉴别器对生成图xfake的鉴别
结果,Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminator(x)表示
鉴别器对原图x的鉴别结果,Discriminator(y)表示鉴别器对原图y的鉴别结果,xlabel表示
原图x的标签,ylabel表示原图y的标签,w1是鉴别器损失的权重;
对抗损失, Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminatonr
(xfake)表示鉴别器对生成图xfake的鉴别结果,xlabel表示原图x的标签,ylabel表示原图y的标
签,w2是生成对抗损失的权重;
到的细节信息特征间的损失,(1‑||xdiff‑ydiff||2)+(1‑||x'diff‑y'diff||2)是计算同一
模态的原图转换至不同模态时得到的细节信息特征的损失,w31是几何信息损失的权重,w32
是同一转换方向的细节损失的权重,w33是不同转换方向的细节损失的权重;xsame为x模态几
何空间特征、ysame为y 模态几何空间特征,xdiff为x模态细节语义特征,ydiff为y模态细节语
义特征,xdiff为原图x 与x模态条件Cx通过细节信息编码器Encoderdiff编码得到y模态细节
语义特征,y'diff为原图 y与y模态条件Cy通过细节信息编码器Encoderdiff编码得到y模态细
节语义特征;
表示原图 y与生成图yfake之间的距离损失,||xdic‑ydic‖2表示x模态细节特点图与y模态细节
特点图的距离损失,w41是几何信息编码器Encodersame、解码器Decoder之间的训练路径的损
失权重, w42是几何信息编码器Encodersame、细节信息编码器Encoderdiff、解码器Decoder之
间的训练路径的损失权重,w43是细节信息编码器Encoderdiff、解码器Decoder之间的训练路
径的损失权重;xmask为x模态掩膜图,ymask为y模态掩膜图,xfake为x模态生成图,yfake为y模态
生成图,xdic为x模态细节特点图,ydic为y模态细节特点图。
法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行所述基于条件生成
对抗网络的多域图像转换方法的计算机程序。
并通过特征编码损失和一致性损失将编码的特征约束到同一空间。
附图说明
具体实施方式
上的拼接得到x模态条件Cx;针对原图y采用预先训练好的条件提取器提取图像特征,再对
图像特征进行上采样放大成原图大小然后再与零矩阵进行通道上的拼接得到y模态条件
Cy。
参见图 2,步骤2)可分为条件特征的生成与条件矩阵的生成。
对整个数据集的训练,用于为后续转换训练中图像提供标志性高的条件;本实施例中,条件
提取器为用于将输入的原图进行下采样到指定大小的多层卷积神经网络,具体包括层卷积
层,用于将不同模态的图像(h×w×c)下采样到(h/2)×(w/2)×1大小的矩阵,其中c为模
态,h为高度, w为宽度,该矩阵代表着输入图像的语义特征。通过对不同模态的图像设计标
签,神经网络能学习将不同模态图像下采样到特定的特征空间。该方法的优点是能让不同
模态图像对应的特征矩阵之间的距离相对较远,而同一模态里的图像对应的特征矩阵距离
相对较近,且又保留一定的自身信息。
插值上采样并与零矩阵拼接为条件矩阵,用于后续的转换训练。假设要对n个模态的数据进
行互转,提取的条件作为神经网络的一个输入,需通过上采样方法(线性插值),放大成与原
始图像相同的大小(h×w×1),然后与(n‑1)个零矩阵(h×w×1)在通道上进行相应位置的
叠加,最终形成(h×w×n)大小的条件矩阵,其中n为模态数量。例如要将原始图(无论是哪
个模态) 转换为第二个模态,那么从条件提取器提取并上采样得到的条件作为生成的条件
矩阵的第二个通道,其余通道则是由零矩阵组成。这样做的一个目的是为了使生成的条件
能作为生成对抗网络的输入,更重要的是,与零矩阵在相应位置的通道叠加,能进一步提高
不同模态的条件矩阵之间的独立性,利于网络的训练。
解码器(Decoder)和鉴别器(Discriminator)。其中,因为不同模态之间的几何空间信息相
似,而细节语义信息差异较大,所以编码器又分为提取几何空间特征的几何信息编码器
Encodersame,以及提取细节语义特征的细节信息编码器Encoderdiff。编码器和解码器都使用
2D 卷积核进行卷积操作,编码器为下采样路径,解码器为上采样路径。几何信息编码器
Encodersame的输入为要转换的原图,细节信息编码器Encoderdiff的输入为原图和相应的条
件矩阵,将几何信息编码器Encodersame与细节信息编码器Encoderdiff输出的特征进行通道
上的叠加,作为Decoder的输入。细节信息编码器Encoderdiff与解码器Decoder之间形成U‑
net结构,以加强细节信息转换部分的训练。由于输入的不同,Decoder的输出也具有不同的
意义。鉴别器采用Resnet‑50网络,作为n类别分类器,输出是维度为n的向量,向量的数值表
示属于某一类的概率。鉴别器的主要功能为:判别输入图像属于n类中的某一类的概率,对
于生成器生成的假图,鉴别器应将其判别为假,既输出n维零向量。
Decoder得到x模态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y 模
态几何空间特征ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器
Decoder得到x模态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信
息编码器Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩
阵进行通道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条
件Cx进行通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征
xdiff,将x模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到 x
模态细节特点图xdic;
模态细节语义特征xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake;
态掩膜图xmask;针对原图y,通过几何信息编码器Encodersame编码得到y模态几何空间特征
ysame,将y模态几何空间特征ysame与零矩阵进行通道上的拼接后输入解码器Decoder得到x模
态掩膜图ymask;将原图x与y模态条件Cy进行通道上的拼接,然后通过细节信息编码器
Encoderdiff编码得到y模态细节语义特征ydiff,将y模态细节语义特征ydiff与零矩阵进行通
道上的拼接后输入解码器Decoder得到y模态细节特点图ydic;将图像y与x模态条件Cx进行
通道上的拼接,然后通过细节信息编码器Encoderdiff编码得到x模态几何空间特征xdiff,将x
模态几何空间特征xdiff与零矩阵进行通道上的拼接后输入解码器Decoder得到x模态细节
特点图xdic;将图像x与x模态条件Cx进行通道上的拼接,然后通过细节信息编码器
Encoderdiff编码得到x 模态几何空间特征x'diff,将原图y与y模态条件Cy进行通道上的拼
接,然后通过细节信息编码器Encoderdiff编码得到y模态细节语义特征y'diff;
xdiff进行通道上的拼接后输入解码器Decoder得到x模态生成图xfake;
习不同尺度的细节信息,细节信息编码器和解码器形成一种U‑net结构,在一次完整训练
中,输入图像与条件矩阵进行排列组合,作为细节信息编码器的输入;辅助部分主要包括两
个训练路径,几何信息编码器到解码器、细节信息编码器到解码器,分别对应图5的上侧虚
线框部分和绿下侧虚线框部分。本实施例中,步骤B4)对应系统的条件训练部分,抽象出来
的架构如图6所示,不同于辅助训练部分,该部分是将几何信息编码器的输出特征与细节信
息的输出特征进行排列组合,以此作为解码器的输入。在早期迭代过程中条件训练与辅助
训练同步进行,到了中后期的迭代时,相应的会线性减少辅助训练的次数,迫使整个网络集
中于两个编码器的组合训练,提高假图的质量。
也可以a、b和c中的任何一种模态,基于前面提到条件生成方法对CGAN进行改进,则x生成y
的过程中条件矩阵Cy生成过程:
在这个过程中,为了能融合几何信息特征和细节语义特征,生成更加真实的转换图,将xsame
与ydiff进行了通道上的拼接,并通过鉴别器Discriminator对原图与转换图进行对抗学习。
y'diff,最终结果xmask、ymask、xdic和ydic,我们希望几何空间特征xsame与ysame能约束到同一空
间,xdiff 和x'diff能约束到同一空间,ydiff和y'diff能约束到同一空间;从上述过程我们可以
看出,xmask与 ymask是原图经过Encodersame→Decoder这条路径的结果,是对原图几何信息的
重建,通过损失函数的指导使相互之间能尽可能的相似,进而指导编码器对几何信息特征
的解码。而xdic与 ydic是原图经过Encoderdiff→Decoder这条路径的结果,是对不同转换方
向的细节信息特征的重建,应尽可能的不相似,进而指导编码器对细节信息特征的解码。
yfake是原图进过 (Encodersame⊕Encoderdiff)→Decoder这条训练路径的结果,通过监督学
习和对抗学习,进而与真实图像y越来越接近。
分别是几何信息编码器、细节信息编码器和解码器。xsame和ysame是Encodersame分别对对x和y
编码的特征结果, 表示在通道上的拼接操作,xdiff、ydiff、x'diff和y'diff是Encoderdiff对不
同组合输入的结果,x、y、xfake、yfake、xmask、ymask、xdic、ydic分别为x模态原图、y模态原图、 x模
态生成图、y模态生成图、x模态掩膜图、y模态掩膜图、x模态细节特点图、y模态细节特点图。
习准则,约束模型的优化方向。
得到的图像特征, alabel表示训练条件提取器时使用的标签,数据集有n个模态,第i个模态
的标签的数值为i/n,大小为h/2×w/2×1,其中h为图像的高度,w为图像的宽度。
成对抗损失的计算函数表达式如式(3)所示,特征编码损失的计算函数表达式如式(4)所
示,一致性损失的计算函数表达式如式(5)所示;
Discriminator(x)‑xlabel||2表示鉴别器对原图x的鉴别损失,||Discriminator(y)‑ylabel|
|2表示鉴别器对原图y的鉴别损失, Discriminator(xfake)表示鉴别器对生成图xfake的鉴别
结果,Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminator(x)表示
鉴别器对原图x的鉴别结果,Discriminator(y)表示鉴别器对原图y的鉴别结果,xlabel表示
原图x的标签,ylabel表示原图y的标签,w1是鉴别器损失的权重;鉴别器Discriminator是所
有模态共用的,可以实现n分类,鉴别器的损失由原图损失和生成图损失组成。不同于条件
提取器,鉴别器对x、y、xfake、yfake进行鉴别,输出n维数值在0到1 之间的向量,相应的xlabel、
ylabel也为n维向量,且模态对应坐标的向量元素的值为1,其余为0。假设x 对应为第一个模
态,则xlabel[0]为1,xlabel[1,...,n‑1]为0。由于鉴别器应当将xfake、yfake判别为假,既 xfake、
yfake的标签为n维0向量。
对抗损失, Discriminator(yfake)表示鉴别器对生成图yfake的鉴别结果,Discriminatonr
(xfake)表示鉴别器对生成图xfake的鉴别结果,xlabel表示原图x的标签,ylabel表示原图y的标
签,w2是生成对抗损失的权重;生成器的损失由生成图的对抗损失组成,所有模态共用生成
器的编码部件和解码部件。因生成器与鉴别器是一种“博弈”的关系,生成器希望自己生成
的图能够被鉴别器判别为真,所以需要最小化假图判别结果与真实标签的距离,使损失结
果能指导生成器,生成出越来越真实的图片。
的细节信息特征间的损失,(1‑‖xdiff‑ydiff||2)+(1‑‖x'diff‑y'diff||2)是计算同一模态
的原图转换至不同模态时得到的细节信息特征的损失,w31是几何信息损失的权重,w32是同
一转换方向的细节损失的权重,w33是不同转换方向的细节损失的权重;xsame为x模态几何空
间特征、ysame为y 模态几何空间特征,xdiff为x模态细节语义特征,ydiff为y模态细节语义特
征,x'diff为原图x 与x模态条件Cx通过细节信息编码器Encoderdiff编码得到y模态细节语义
特征,y'diff为原图 y与y模态条件Cy通过细节信息编码器Encoderdiff编码得到y模态细节语
义特征;特征编码损失由各个模态之间的几何信息特征与细节信息特征组成,公式中的‖
xsame‑ysame‖2是x模态和y模态几何特征之间的距离,由此约束几何信息编码器Encodersame能
将x、y编码至同一特征空间;公式中的 (||xdiff‑x'diff‖2+||ydiff‑y'diff||2)是计算不同模态
的原图转换至同一模态时得到的细节信息特征间的损失,由此约束细节信息编码器
Encoderdiff将同一转换方向的特征编码到同一空间;公式中的 ((1‑||xdiff‑ydiff||2)+
(1‑||x'diff‑y'diff||2))是计算同一模态的原图转换至不同模态时得到的细节信息特征
的损失,由此约束Encoderdiff将不同转换方向的特征编码到不同的空间。
||2表示原图 y与生成图yfake之间的距离损失,||xdic‑ydic||2表示x模态细节特点图与y模态
细节特点图的距离损失,w41是几何信息编码器Encodersame、解码器Decoder之间的训练路径
的损失权重, w42是几何信息编码器Encodersame、细节信息编码器Encoderdiff、解码器
Decoder之间的训练路径的损失权重,w43是细节信息编码器Encoderdiff、解码器Decoder之
间的训练路径的损失权重;xmask为x模态掩膜图,ymask为y模态掩膜图,xfake为x模态生成图,
yfake为y模态生成图,xdic为x模态细节特点图,ydic为y模态细节特点图。一致性损失是由三
条不同训练路径所得结果间的距离组成的,w41是训练路径Encodersame→Decoder的损失权
重,w42是训练路径 的损失权重,w43是训练路径
Encoderdiff→Decoder的损失权重。最终,网络总损失可表达为式(6):
图像转换方法的步骤,或者该计算机设备的存储介质上存储有被编程或配置以执行本实施
例前述基于条件生成对抗网络的多域图像转换方法的计算机程序。
机程序。
的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也
应视为本发明的保护范围。