基于渐进式对抗生成网络的多目标草图生成图像的方法

摘要

本发明提供了一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其通过将实例和整个图像的生成过程解耦，促进实例纹理颜色的生成，以及促进整体图像关系的生成。并且使用判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。本发明提供的方法，解决了现存网络由于学习整个图像的分布而忽略了图像中实例部分的分布并由此导致的在不同的实例上产生相同的纹理和颜色的问题，在MS-COCO数据集中获取了较高的Inception Score和较低的Fre′chet inception distance，即本发明的方法在生成数据的质量和多样性上都取得了很好的结果。

权利要求

1.一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其特征在于，所述的方法包括步骤：

1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对＜Iimage，Smsk＞，为网络训练提供数据；

1.1)使用语义分割的Ground Truth或语义分割算法来获得语义掩码；

1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；

1.3)对于步骤1.2)中获取的不同类别的真实实例图像，采用边缘检测算法提取粗略草图SHed；

1.4)使用预训练好的类激活映射网络，获得每个真实实例图像类别的最具辨别力的判别区域；

1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；

1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCam组合，获取不同实例的精细草图Sinstance，Sinstance＝SHed+SCam   (1)

进而获得＜Iinstance，Sinstance＞实例草图图像对；

1.7)采用判别性草图扩增方法产生额外的＜Iinstance，Sinstance＞实例草图图像对，获得n×＜Iinstance，Sinstance＞的扩增实例草图图像对；

1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对＜Iimage，Smsk＞，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；

2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像；

2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；

2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×＜Iinstance，Sinstance＞扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；

2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数 和实例判别器损失函数 来训练每一类别的子生成器和子判别器，其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失使得生成图像多样，并且快速收敛；

其中，λ0是超参数， 是对抗损失， 是感知损失， 衡量了真实图像

和生成图像卷积特征图之间的差异，由于 能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，其中，P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；

3)通过训练图像生成对抗网络得到训练好的图像生成器，采用训练好的图像生成器获得最终完整图像；

以步骤2)中的实例生成器获得的多实例图像Min和步骤1.8)中获得的多目标精细草图Smsk为条件，通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，通过保留步骤2)中的实例生成器获取不同的多实例图像Min的颜色纹理信息，引入全局特征网络，为图像生成对抗网络提供高级语义信息，用以助于草图生成图像具有对应类别的实例图像；

其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以步骤2)中获得的多实例图像Min和步骤1)中获得的多目标精细草图Smsk为条件，图像生成对抗网络通过优化图像生成器损失函数 和图像判别器损失函数 来训练图像生成器Gim和图像判别器Dim，其中Min和Iimage服从真实分布Pdata，z是噪声信息；

其中 能够学习到不同图像在某些特征图上的分布差异，λ1是超参数， 是对抗损失。

说明书

基于渐进式对抗生成网络的多目标草图生成图像的方法

技术领域

[0001] 本发明属于计算机图像生成领域，涉及一种基于渐进式对抗生成网络的多目标草图生成图像的方法。

背景技术

[0002] 绘画作品设计过程涉及大量创造性工作。这个过程通常以在纸上画草图开始，借此设计师和工程师分享他们的想法，以草图为基础创造出能够还原真实场景的艺术作品。描绘现实世界中的图像中通常包含多个目标实例，因此，从多实例的草图生成图像是一个有吸引力的研究课题。过去在多目标草图生成图像领域，利用每个草图的特征信息进行跨域检索是研究重点，利用检索获取的参考图像替换草图中的实例目标，然后通过融合各部分实例目标得到合成的真实图像。然而，利用草图特征检索不能够获取检索数据库中不存在的实例目标。

[0003] 如今，随着图像生成技术的发展，使得草图生成图像有了实质的改进，生成对抗网络能够生成数据集中不存在的实例目标。随着基于数据驱动的智能时代的发展，获取含标注的仿真样本数据可有效弥补真实训练数据的不足，因此如何自动的获取含有标注的多目标草图图像是非常重要的。而且，现有的生成网络通常会在一张图像的不同实例上产生相似的纹理或颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。对于多目标的草图生成方案，一方面，需要解决人工标注草图数据费时费力的难题，另一方面，需要解决如何利用生成网络生成多目标的真实图像，从而辅助艺术从业人员的创造性工作。

[0004] 草图生成图像技术的相关研究现状如下：

[0005] Chen T等人首次提出由草图生成图像的方案(Chen T,Cheng M M,Shamir A,et al.Sketch2Photo:internet image montage.ACM SIGGRAPH Asia.ACM,2009)。其方案为每张草图赋予相应的文本描述，从而使用文本描述在网络中检索纹理和颜色空间一致的参考图像，利用参考图像中的目标内容替换草图中目标，通过融合各部分目标得到合成的真实图像。但是利用文本描述在网络中检索图像，这对与图像的标签信息是强依赖的，若出现网络中图像标签与图像不一致，会直接导致最终合成结果错误。除此之外，利用检索方案获取的实例目标，要求数据集中包含与草图图像对应的实例目标。

[0006] 随着生成对抗网络的出现，使得生成数据集中没见过的实例图像成为可能，Pix2Pix(Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation with Conditional Adversarial Networks.CVPR,2017)提出了直接利用生成对抗网络对草图跨域生成。方案使用条件对抗生成网络(Conditional Adversarial network)，以草图信息作为条件，生成真实图像。CycleGan(Zhu J,Park T,Isola P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks.CVPR,2017)解决了非成对数据下的草图生成图像任务，解决了成对数据集不充足的问题。Pix2PixHD(Wang T C,Liu M Y,Zhu J Y,et al.High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs.CVPR,2017)提出了利用生成对抗网络生成高清图像的任务。以上的生成网络通常会在一张多目标图像产生相似的纹理或者颜色，这是由于这些方法主要是学习整个图像的分布而忽略了图像中实例部分的分布。

发明内容

[0007] 本发明的目的是提供一种基于渐进式对抗生成网络(MS-PGAN)模型的草图生成图像的方法，可以解决现有网络的对于多目标草图生成出现一致的纹理和颜色的缺点，通过将实例目标的生成和整个图像的生成解耦，能够渐进优化生成效果。此外，例如眼睛，耳朵等是动物整体中最显著的部分，准确的显著区域草图能够帮助生成更加合理的实例图像。因此，本发明提出了判别草图扩增技术，通过获取判别区域的草图信息使得图像生成过程中具有更加准确的结构约束。

[0008] 本发明的技术方案：

[0009] 一种基于渐进式对抗生成网络的多目标草图生成图像的方法，其包括步骤：

[0010] 1)通过判别性草图扩增方法获取多目标图像对应的多目标的精细草图，即获得多目标实例草图图像对，为网络训练提供数据；

[0011] 1.1)使用语义分割的Ground Truth或语义分割算法来获得语义掩码；

[0012] 1.2)通过步骤1.1)获得的语义掩码获取不同类别的真实实例图像Iinstance；

[0013] 1.3)对于步骤1.2)中获取的不同类别的实例图像，采用边缘检测算法提取粗略草图SHed；

[0014] 1.4)使用预训练好的类激活映射网络，获得每个实例图像类别的最具辨别力的判别区域；

[0015] 1.5)在步骤1.4)中得到的判别区域内应用OpenCV中的自适应阈值边缘检测算法，得到判别区域草图SCam；

[0016] 1.6)通过将步骤1.3)中的粗略草图SHed和步骤1.5)中的判别区域草图SCa组合，获取不同实例的精细草图Sinstance，

[0017] Sinstance＝SHed+SCam  (1)

[0018] 进而获得实例草图图像对；

[0019] 1.7)采用判别性草图扩增方法产生额外的实例草图图像对，获得n×的扩增实例草图图像对；

[0020] 1.8)对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对，Iimage是真实的多目标真实图像，Smsk是多目标精细草图；

[0021] 2)通过训练实例生成对抗网络得到训练好的实例生成器，使用实例生成器获得多实例图像

[0022] 2.1)将步骤1.8)中获得的赋予颜色的多目标精细草图Smsk输入渐进式生成对抗网络，对于给定带颜色标注的多目标精细草图Smsk，使用分离块，根据多目标精细草图Smsk的颜色将图像分解为n个类别，其中每种颜色代表一个类别；

[0023] 2.2)对于步骤2.1)中获得的每个颜色类别，为防止网络过拟合，使用步骤1.7)获得的n×扩增实例草图图像对作为扩增训练数据，训练一个子生成器，子生成器为对应的类别生成基本实例纹理和颜色分布；

[0024] 2.3)通过训练实例生成对抗网络得到训练好的实例生成器，采用该训练好的实例生成器根据赋予颜色的多目标精细草图Smsk，输出一组包含对应类别的多实例图像Min，[0025] 其中，实例生成对抗网络包含实例生成器Gin和实例判别器Din，实例生成对抗网络以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数 和实例判别器损失函数 来训练每一类别的子生成器和子判别器，

[0026]

[0027] 其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失使得生成图像多样，并且快速收敛；

[0028]

[0029] 其中，λ0是超参数， 是对抗损失， 是感知损失， 衡量了真实图像和生成图像卷积特征图之间的差异，由于 能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，

[0030]

[0031]

[0032] 其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；

[0033] 3)通过训练图像生成对抗网络得到训练好的图像生成器，采用训练好的图像生成器获得最终完整图像。

[0034] 以步骤2)中的实例生成器获得的多实例图像Min和步骤1.8)中获得的多目标精细草图Smsk为条件，通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，通过保留步骤2)中的实例生成器获取不同的多实例图像Min的颜色纹理信息，引入全局特征网络，为图像生成对抗网络提供高级语义信息，用以助于草图生成图像具有对应类别的实例图像；

[0035] 其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以步骤2)中获得的多实例图像Min和步骤1)中获得的多目标精细草图Smsk为条件，图像生成对抗网络通过优化图像生成器损失函数 和图像判别器损失函数 来训练图像生成器Gim和图像判别器Dim，

[0036]

[0037] 其中Min和Iimage服从真实分布Pdata，z是噪声信息；

[0038]

[0039] 其中 能够学习到不同图像在某些特征图上的分布差异，λ1是超参数，是对抗损失。

[0040] 在本发明的技术方案中，输入渐进式生成对抗网络MS-PGAN的是彩色草图，这个彩色多实例目标草图是由判别性草图扩增技术(DSA)方法获得的。通过获取判别性的多目标草图作为训练数据，具有判别性的草图信息能够为生成图像提供很好的结构约束，能够帮助网络生成结构合理的多目标图像。利用渐进式网络将实例目标和整个图像的生成过程分离，保证网络生成更高质量的多目标图像。并在MS-COCO数据集中获取了较高的Inception Score(IS)和较低的Fre′chet inception distance(FID)，这意味着本发明的方案在生成数据的质量和多样性上都取得了很好的结果。

[0041] 渐进式生成对抗网络由两部分组成：实例生成对抗网络和图像生成对抗网络，首先，第一阶段是实例生成对抗网络，它为每一类草图生成初始的颜色分布和细节纹理，然后，第二阶段将第一阶段生成的实例图像组合作为图像生成对抗网络的输入，从而生成了保留了实例细节纹理的完整图像。本发明的基于渐进式生成对抗网络的多草图图像的生成方案，其利用了生成对抗网络的创造能力，为多目标草图生成图像任务提出了一个渐进式对抗生成网络(MS-PGAN)，它能够根据草图信息学习到数据集中不同实例图像的分布，将实例生成过程与图像生成过程解耦，这既能够促进实例纹理颜色的生成，又促进了整体图像关系的生成，进而能够生成数据集中没有见过的多实例目标图像，保证生成数据的多样性。同时，本发明的方法采用了类激活映射(CAM)，它能够获取图像中最具有判别性的区域，进而获取多目标的判别性草图。

[0042] 本发明的有益效果：本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法使用MS-PGAN解决多实例的草图生成图像任务，通过解耦整体图像和实例图像的拟合，从而可以保留生成图像中的纹理和颜色，并能够促进全局图像的生成。DSA技术可以防止网络过度拟合并生成更可靠的图像。并且，获取了一个包含44670个草图图像对的高质量数据集，这个数据集对草图相关的其他任务同样具有有帮助。本发明提供了多目标草图生成图像的一种新方法，可以有效提高多目标草图生成图像质量，为草图生成图像工作提供了一种新的解决方案。

附图说明

[0043] 图1为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法的网络结构图，其中，网络结构中展示了实例生成器和图像生成器。

[0044] 图2为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法收集的数据集样本多目标实例草图图像对的样例图。

[0045] 图3为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中判别性草图扩增方法的示意图。

[0046] 图4为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中实例生成对抗网络结构示意图。

[0047] 图5为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中的图像生成对抗网络结构示意图。

[0048] 图6为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法生成图像示例的示意图。

[0049] 图7为本发明的基于渐进式对抗生成网络的多目标草图生成图像的方法中的判别性草图与原始草图的生成图像效果对比图。

[0050] 图8为比较基于渐进式对抗生成网络的多目标草图生成图像的方法中的渐进式结构MS-PGAN和其他生成器的多目标草图生成结果。

[0051] 图9为由Mask R-CNN可视化的生成图像和真实图像的语义分割结果对比示意图。

具体实施方式

[0052] 为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一步的详细描述。

[0053] (1)判别性草图扩增方法

[0054] 当观察一张图像时，通常会注意到图像中各个目标的最具有判别力的区域。然而，由于草图和照片之间固有差异，利用边缘检测算法(HED)(Xie S and Tu Z,Holistically-nested edge detection.IJCV,2017)获得的草图在复杂上下文中往往缺乏一些显著性边缘信息，例如：动物的眼睛，耳朵等对于动物而言具有判别力的区域。除此之外，复杂场景中，HED能够获取到场景的边缘信息，这些边缘信息对于多实例目标的生成是有抑制作用的，它使得网络去关注场景的生成而忽略了实例本身的生成。因此本发明提出一种判别性草图扩增方法获取多目标图像对应的合理草图，除此之外，通过对草图信息的扩增，增强了网络对噪声的鲁棒性。

[0055] 类激活映射网络(CAM)(Zhou B,Khosla A,Lapedriza A,et al.Learning Deep Features for Discriminative Localization.CVPR,2015)获取的类激活图是能够将这张图像标注为某一类的最具有判别性的区域。基于对CAM的效果观察，由此可以通过CAM提取真实图像中具有判别力的区域。然而，在自然场景中的图像中存在很多干扰(复杂背景、无关物体)。为了避免这些干扰的影响，首先使用语义分割的Ground Truth或语义分割算法来获得语义掩码。理想情况下，通过语义掩码获取得到的是不同类别的实例图像。接下来，对于不同类别的实例图像，首先采用HED技术提取粗略草图SHed。然后，使用预训练好的CAM网络，获得每个实例类别的最具辨别力的区域。最后，在得到的判别区域内应用自适应阈值边缘检测算法，得到判别区域中的判别区域草图SCam。通过将粗略草图和判别区域草图组合来获取最终的精细草图Sinstance，

[0056] Sinstance＝SHed+SCam  (1)。

[0057] 由于训练数据量有限，这会导致网络过拟合。因此提出DSA技术通过产生额外的图像对来缓解这个问题。然后，去除一定数量的单独分散的像素，并在判别区域中删除具有较小的连通分量的草图Sinstance，移除的小型连通分量的比率在设置为n个级别。通过增加判别区域草图SCam，判别性草图扩增方法将草图图像对的数量增加到n×图像对为多实例草图到图像合成提供合理数据集。对于不同类别的精细草图Sinstance，赋予指定的颜色，不同颜色表示不同类别的草图信息，根据原多目标图像中的实例的位置分布，构成最终的多目标实例草图图像对，Iimage是真实的多目标真实图像，Smsk是多目标精细草图。

[0058] (2)实例生成对抗网络

[0059] 实例生成对抗网络细节如下：给定带颜色标注多目标精细草图Smsk，首先使用分离块，根据草图的颜色将图像分解为n个类别。将带彩色多目标精细草图Smsk多实例草图作为输入，其中每种颜色代表一个特定类别。对于每个类别，实例生成对抗网络为其训练一个子生成器以生成对应的实例图像。在模型中，实例生成对抗网络为n个的不同类别的草图训练了n个独立的子生成器。对于每类草图，相应的子生成器为其生成基本实例纹理和颜色分布。最后，实例生成器根据输入草图类别的不同，输出一组包含不同类别的实例图像，如图1中的实例生成器所示。

[0060] 实例生成对抗网络包含实例生成器Gin和实例判别器Din，以每一个类别的精细草图Sinstance为条件，通过优化实例生成器损失函数 和实例判别器损失函数 来训练每一类别的子生成器和子判别器，

[0061]

[0062] 其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失能够使得生成图像多样，并且能够快速收敛。

[0063]

[0064] 其中，λ0是超参数， 是对抗损失， 是感知损失， 衡量了真实图像和生成图像卷积特征图之间的差异，由于 能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，

[0065]

[0066]

[0067] 其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异。实例生成对抗网络结构如图4所示。

[0068] (3)图像生成对抗网络

[0069] 实例生成器的输出定义实例的纹理，颜色，位置和类别信息。训练单个生成对抗网络直接应用于多实例草图图像生成任务，通常会导致在图像中的所有实例上生成一致的纹理或颜色。这是因为单个的生成网络通常是分布逼近与整个图像级的分布，对于多目标图像，利用单个网络结构会忽略不同实例目标之间的差异，但是同样，仅仅学习实例的分布是不够的，因此设计的图像生成对抗网络和实例生成对抗网络，互相补偿学习不同分布的缺失。图像生成对抗网络还解决了以下问题：数据集中的一些图像的分割结果包含重叠区域，这导致直接合成实例图像会出现的明显人工组合痕迹。此外，实例生成器生成的图像不包含背景。考虑到这些问题，提出了一个图像生成对抗网络，它以实例生成器结果和原始多实例草图为条件，可以通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，而且通过保留实例生成器获取不同实例的颜色纹理信息。此外，引入了一个全局特征网络，为图像生成对抗网络提供高级语义信息，这有助于生成具有对应类别的实例图像。

[0070] 图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以多实例图像Min和多目标精细草图Smsk为条件，然后通过优化 和 来训练生成器Gim和判别器Dim，

[0071]

[0072] 其中Min和Iimage服从真实分布Pdata，z是噪声信息；

[0073]

[0074] 其中 能够学习到不同图像在某些特征图上的分布差异，λ1是超参数，是对抗损失。图像生成对抗网络结构如图5所示。

[0075] 实施例

[0076] 在本实施例中，在GTX Titan X，12G显卡的服务器上，使用XShell,Xftp终端模拟器以及Jupyter notebook交互式界面,采用较为稳定的深度学习框架tensorflow-GPU版本1.8.0,cuda版本为9.0.176。采用本发明提出的渐进式对抗生成网络，结合草图判别性扩增技术获得的草图图像对，完成整个多目标草图生成图像的过程。

[0077] 本实施例中，收集了21个类别的MS-COCO图像数据(包括背景)，这些图像类别是与Pascal VOC数据集中的图像类别重叠，为了统一网络的输入，将获取的包含这20类(不包含背景)的图像进行裁剪，获得尺寸大小为size＝256*256。通过语义掩码获取得到的是不同类别的实例图像，在本实施例中，使用了MS-COCO数据集的语义分割的Ground Truth作为不同类别的语义掩码。接下来，对于20个类别的实例图像，首先采用HED技术提取粗略草图SHed。然后，使用预训练好的CAM网络，获得每个实例类别的最具辨别力的区域。最后，在得到的判别区域内应用自适应阈值边缘检测算法，得到判别区域中的草图SCam。通过将粗略草图和判别区域草图组合来获取最终的精细草图Sinstance：

[0078] Sinstance＝SHed+SCam  (1)。

[0079] 对于不同类别的草图，对其赋予了指定的颜色，不同颜色表示不同类别的草图信息。由于训练数据量有限，这会导致网络过拟合。因此提出DSA技术通过产生额外的图像对来缓解这个问题。然后，去除一定数量的单独分散的像素，并在判别区域中删除具有较小的连通分量的草图Sinstance，移除的小型连通分量的比率在设置为n＝5个级别。对于每一个草图类别，通过去除SCam连通区域的个数来调节训练数据的规模，在本实施例的实验中，OpenCV设置自适应阈值边缘检测方法的参数是b＝5，c＝7，其中是b用于计算阈值的像素邻域的数量，c是偏差。在本实施例中，设置去除的小连通分量的等级参数n＝5，con＝2，其中n表示按照5个等级调节联通区域的个数，con＝2表示以八连通模式获取连通分量，α是一个随机参数，选取范围从{0～0.7}，表示应删除小对象的比例，在本实施例中，选取5次来获得不同稀疏程度的草图。通过增加判别区域草图SCam，判别性草图扩增方法将草图图像对的数量增加到5×图像对，为多实例草图到图像合成提供合理数据集。

[0080] 输入渐进式生成对抗网络MS-PGAN的输入是彩色草图，这个彩色多实例目标草图是由前述的判别性草图扩增技术(DSA)方法获得的，如图3中判别性草图扩增方法所示。渐进式生成对抗网络由两部分组成，实例生成对抗网络和图像生成对抗网络所示，首先，第一阶段是图像生成对抗网络，它为每一类草图生成初始的颜色分布和细节纹理，然后，第二阶段将第一阶段生成的实例图像组合作为图像生成对抗网络的输入，从而生成了保留了实例细节纹理的完整图像。

[0081] 具体的，在本实施例中，在MS-PGAN中，实例生成对抗网络训练得到了20个类别的子生成器，给定带标注多实例草图，首先使用分离块，根据草图的颜色将图像分解为20个类别。将彩色多实例草图作为输入，其中每种颜色代表一个特定类别。对于每个类别，为其训练一个子生成器以生成对应的实例图像。在本实施例中，为20个的不同类别的草图训练了20个独立的子生成器。对于每类草图，相应的子生成器为其生成基本实例纹理和颜色分布。
最后，实例生成器根据输入草图类别的不同，输出一组包含不同类别的多实例图像Min，如图
1中实例生成器所示。实例生成对抗网络包含实例生成器Gin和实例判别器Din，以每一个类别的精细草图Sinstance为条件，实例生成对抗网络通过优化实例生成器损失函数 和实例判别器损失函数 来训练每一类别的子生成器和子判别器，

[0082]

[0083] 其中，Sinstance是精细草图，真实实例图像Iinstance符合分布Pdata，z为噪声向量，感知损失能够使得生成图像多样，并且能够快速收敛；

[0084]

[0085] 其中，λ0是超参数， 是对抗损失， 是感知损失， 衡量了真实图像和生成图像卷积特征图之间的差异，由于 能够学习到不同图像的卷积特征层的差异，因此使得生成图像的分布趋近于真实图像的分布，

[0086]

[0087]

[0088] 其中P表示了在MS-COCO数据集上预训练好的特征提取器，取相同的特征层优化差异；使用了预先训练好的VGG19分类网络提取真实图像和生成图像在池化层的第五层提取特征，最小化两者差异。实例生成对抗网络的主要结构如图4所示。实例生成器Gin遵循U型结构。由于提供更多辅助信息以生成更多照片般逼真的图像。为了提供足够的草图细节，通过向编码器添加额外的辅助草图，输入草图的大小随卷积特征图的尺寸一起变化。例如，第一个卷积C0接收草图Ssketch，尺寸为w0＝256，h0＝256，将其作为网络输入并生成新的特征图F0(该特征图的大小是下采样到w0/2，h0/2)。同时，原始草图Sinstance同样下采样到w0/2，h0/2并与新特征映射F0连接。实例判别器Din可以看作为一个二分类网络，真实图像认为是正例，生成图像为负例。通过调节网络中卷积核的个数，使得在如图4所示的实例生成对抗网络中的卷积块的个数增多，也即深度增加，卷积块的个数从11到19，加深网络深度，使得生成效果更好。

[0089] 图像生成对抗网络以实例生成器的结果多实例图像Min和多目标精细草图Smsk为条件，可以通过学习整个图像的分布来合成合理的全局信息，平滑人工痕迹并生成图像背景，而且通过保留实例生成器获取的不同多实例图像Min的颜色纹理信息。此外，引入了一个全局特征网络，为图像生成对抗网络提供高级语义信息，这有助于草图生成图像具有对应类别的实例图像。

[0090] 其中，图像生成对抗网络包含图像生成器Gim和图像判别器Dim，图像生成对抗网络以多实例图像Min和多目标精细草图Smsk为条件，通过优化图像生成器损失函数 和图像判别器损失函数 来训练图像生成器Gim和图像判别器Dim，

[0091]

[0092] 其中Min和Iimage服从真实分布Pdata，z是噪声信息；

[0093]

[0094] 其中 能够学习到不同图像在某些特征图上的分布差异，感知损失函数是使用预先训练好的VGG19分类网络提取真实图像和生成图像在池化层的第五层提取特征。λ1是超参数，本实施例中λ1＝10， 是对抗损失。

[0095] 图像生成对抗网络的主要结构如图5所示。通过在卷积块中添加辅助草图来修改图像生成对抗网络结构，这增强了对草图生成的约束能力。同样，卷积C0接收多目标草图Smsk，尺寸为w0＝256，h0＝256，将其作为输入并生成新的特征图F0。同时，原始草图Ssmk同样下采样到w0/2，h0/2并与新特征映射F0连接。图像判别器结构Dim可以看作为一个二分类网络，将真实图像标签设为真，生成图像标签设置为假。通过图像生成器和图像判别器之间的相互制约，从而达到生成图像的分布与真实图像的分布接近的效果。添加额外的全局辅助信息能够帮助图像生成上下文合理的图像，图像生成对抗网络通过引入全局特征网络以提取给定类别的语义信息从而约束所生成图像的类别信息，本实施例中所采用的全局辅助信息是VGG19分类网络获取全连接层的特征表示作为图像的特征表示。

[0096] 现有图像质量和多样性指标通常包含以下几个标准，包含Inception Score(IS)(Salimans,T.,Goodfellow,I.,Zaremba,W.,Cheung,V.,Radford,A.,&Chen,X.(2016).Improved techniques for training gans.In Advances in Neural Information Processing Systems.)和FréchetInception distance(FID)(Heusel,M.,Ramsauer,H.,Unterthiner,T.,Nessler,B.,&Hochreiter,S.(2017).Gans trained by a two time-scale update rule converge to a local nash equilibrium.In Advances in Neural Information Processing Systems.)，以及用于语义分割的交并比分数(IOU)，以及定性评估图像质量。

[0097] 表1为实例生成器在收集的猫实例图像数据集上使用不同技巧下的IS和FID评估。

[0098]

[0099]

[0100] 表2为MS-COCO数据集不同生成方案的多实例草图生成图像的IS和FID评估表。

[0101]

[0102] 表3为20个不同类别的语义分割的IOU评估分数评测表。

[0103]

[0104] 参见表1至表3以及图7至图9，可见本发明的方案在生成数据的质量和多样性上都取得了很好的结果。

[0105] 以上所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。