一种基于卷积神经网络域适应的图像缩小方法及系统转让专利

申请号 : CN202110244689.2

文献号 : CN112927136B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 潘昌琴林涵阳王力军张生生刘国辉俞伟明刘刚陈钥琨

申请人 : 江苏实达迪美数据处理有限公司

摘要 :

本发明涉及一种基于卷积神经网络域适应的图像缩小方法及系统,该方法包括以下步骤:步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;步骤S2:构建域适应模块与特征重构模块;步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;步骤S4:构建图像缩小网络的损失函数;步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。该方法及系统有利于提高图像缩小后小图的质量。

权利要求 :

1.一种基于卷积神经网络域适应的图像缩小方法,其特征在于,包括以下步骤:步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;

步骤S2:构建域适应模块与特征重构模块;

步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;

步骤S4:构建图像缩小网络的损失函数;

步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;

步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像;

所述步骤S2具体包括以下步骤:

步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:式中,FDA(·)为域适应模块, 为输入域适应模块的高分辨率图像块,w1i、b1i分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数;

步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:

Freconstruct(Fin)=ReLU(w23(ReLU(w22(ReLU(w21(Fi)+b21))+b22))+b23)式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块 w2i、b2i分别为特征重构模块中第i层卷积层采用的卷积核的权重和偏置;

所述步骤S3具体包括以下步骤:

步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;

首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征, 表示按照通道拼接特征操作,w3i、b3i分别为密集连接模块中第i层卷积层采用的卷积核的权重和偏置;

然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:

Fres(Fin)=ReLU(w42(ReLU(w41(Fin)+b41))+b42)式中,Fres(·)为残差模块的输出,w4i、b4i分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;

而后,计算通道注意力模块的输出,其表达式如下:式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;

最后,通过一个卷积层计算特征缩小模块的输出:LR

式中,I 为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;

步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络;

所述步骤S4具体包括以下步骤:

步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:式中,||·||1为1范数,则 为所述图像缩小网络输出预测的特征重构结果图像块, 为输入网络的高分辨率位图图像块,i表示第i个图像块;

步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:式中, 为输入网络的高分辨率矢量图图像块;

步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:其中, 分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,其表达式如下:

式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度和宽度;

步骤C4:构建域适应损失Ldomain,其表达式如下:式中, 表示核函数, 表示H范数;

步骤C5:所述图像缩小网络的目标损失函数为:式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、分别为损失的参数。

2.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。

3.根据权利要求1所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤S5具体包括以下步骤:

步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;

步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预测结果;

步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;

步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。

4.根据权利要求3所述的一种基于卷积神经网络域适应的图像缩小方法,其特征在于,所述步骤D2具体包括以下步骤:

步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征, 表示第i个高分辨率位图图像块, 表示第i个高分辨率矢量图图像块;

步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:

式中,Freconstruct(·)为特征重构模块, 表示特征重构输出的第i个高分辨率位图图像块, 表示特征重构输出的第i个高分辨率矢量图图像块:步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:

式中, 表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。

5.一种基于卷积神经网络域适应的图像缩小系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1‑4任一项所述的方法步骤。

说明书 :

一种基于卷积神经网络域适应的图像缩小方法及系统

技术领域

[0001] 本发明属于图像和视频处理技术领域,具体涉及一种基于卷积神经网络域适应的图像缩小方法及系统。

背景技术

[0002] 大数据时代,互联网上的图像无论是数量还是尺寸都呈爆炸式增长,这不可避免地对通信过程中的带宽以及图像存储所需要的硬件设备产生了极大的压力。在实际应用场
景中,受限于网络传输速率以及硬件设备存储空间,往往不能完整地传输所有的图像,这些
图像大多需要不同程度的压缩,无法呈现出纹理丰富、边缘锐利的清晰图像,导致用户观看
图像的直观感受较差,也给用户对图像的后续处理带来了很大的困难。近年来移动互联网
的发展更是增加了用户对图像质量的需求。
[0003] 图像缩小算法的目的是在减小图像尺寸的情况下尽可能保留原始高分辨率图像的细节,生成高质量的低分辨率图像。图像缩小作为图像处理的一个关键性问题,目前已有
大量的研究人员从事相关工作。
[0004] 图像缩小已被广泛地运用到工程领域,目前图像缩小领域所使用的方法主要可以分为传统图像缩小方法和基于卷积神经网络的图像缩小方法。传统的图像缩小方法,包括
基于插值的图像缩小算法、基于池化的图像缩小方法、基于先验的图像缩小方法等。这些方
法或者性能一般或者耗时长且依赖于特定的图像先验。
[0005] 近年来计算机硬件设备的发展也使基于卷积神经网络的方法在图形图像处理领域得到了普及,基于卷积神经网络的图像缩小方法利用卷积神经网络强大的特征提取能力
从图像中提取图像特征,再将特征转化为缩小后的图像。由于卷积神经网络的特性,需要特
定的数据作为训练集训练网络,使网络能够收敛,输出质量稳定的目标图像。
[0006] 由于在自然场景中,并不存在真实的小图标签,这也导致已有的基于卷积神经网络的图像缩小方法必须间接的使用图像超分辨率网络将小图放大到原始图像尺寸来完成
图像缩小的端到端训练。而目前并没有工作表明,适合图像超分辨率的小图的直观视觉质
量是可靠的,还需要进一步的探讨。因此基于卷积神经网络的图像缩小方法的研究仍处于
起步阶段,需要更加高效的图像缩小网络以及更加明确的训练目标。
[0007] 矢量图是目前商业领域常用的一种特殊图像,其特性在于可以实现无损缩放,这与图像缩小的目标十分契合。但矢量图通常由较为简单的曲线以及线段构成,纹理细节不
如自然图像丰富,而对位图进行矢量化的操作也会使得位图图像丢失细节,出现颜色失真、
图像纹理消失等问题,这也使得使用矢量图作为训练数据训练得到的图像缩小卷积神经网
络输出的图像与自然图像仍有一定的差距。
[0008] 因此,在发挥矢量图无损缩放特点的同时使其能够训练出符合自然图像分布的图像缩小卷积神经网络是一个值得进一步探究的问题。

发明内容

[0009] 本发明的目的在于提供一种基于卷积神经网络域适应的图像缩小方法及系统,该方法及系统有利于提高图像缩小后小图的质量。
[0010] 为实现上述目的,本发明采用的技术方案是:一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
[0011] 步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集;
[0012] 步骤S2:构建域适应模块与特征重构模块;
[0013] 步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络;
[0014] 步骤S4:构建图像缩小网络的损失函数;
[0015] 步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络;
[0016] 步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
[0017] 进一步地,所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图
图像块进行旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
[0018] 进一步地,所述步骤S2具体包括以下步骤:
[0019] 步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
[0020]
[0021] 式中,FDA(·)为域适应模块, 为输入域适应模块的高分辨率图像块,wi、bi分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数;
[0022] 步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
[0023] Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
[0024] 式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块 wi、bi分别为特征
重构模块中第i层卷积层采用的卷积核的权重和偏置。
[0025] 进一步地,所述步骤S3具体包括以下步骤:
[0026] 步骤B1:构建特征缩小模块Ffeature_down(·),所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成;
[0027] 首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
[0028]
[0029] 式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征, 表示按照通道拼接特征操作,wi、bi分别为密集连接模块中第i层卷积层采用的卷积
核的权重和偏置;
[0030] 然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
[0031] Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
[0032] 式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置;
[0033] 而后,计算通道注意力模块的输出,其表达式如下:
[0034]
[0035] 式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数;
[0036] 最后,通过一个卷积层计算特征缩小模块的输出:
[0037]
[0038] 式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置;
[0039] 步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成图像缩小网络。
[0040] 进一步地,所述步骤S4具体包括以下步骤:
[0041] 步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
[0042]
[0043] 式中,·1为1范数,则 为所述图像缩小网络输出预测的特征重构结果图像块, 为输入网络的高分辨率位图图像块,i表示第i个图像块;
[0044] 步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
[0045]
[0046] 式中, 为输入网络的高分辨率矢量图图像块;
[0047] 步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
[0048]
[0049] 其中, 分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,
其表达式如下:
[0050]
[0051]
[0052] 式中,VGG163表示VGG16网络的前三层;adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度
和宽度;
[0053] 步骤C4:构建域适应损失Ldomain,其表达式如下:
[0054]
[0055] 式中, 表示核函数, 表示H范数;
[0056] 步骤C5:所述图像缩小网络的目标损失函数为:
[0057]
[0058] 式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、 分别为损失的
参数。
[0059] 进一步地,所述步骤S5具体包括以下步骤:
[0060] 步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块;
[0061] 步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预
测结果;
[0062] 步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数;
[0063] 步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
[0064] 进一步地,所述步骤D2具体包括以下步骤:
[0065] 步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
[0066]
[0067]
[0068] 式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征, 表示第i个高分辨率位图图像块, 表示第i
个高分辨率矢量图图像块;
[0069] 步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
[0070]
[0071]
[0072] 式中,Freconstruct(·)为特征重构模块, 表示特征重构输出的第i个高分辨率位图图像块, 表示特征重构输出的第i个高分辨率矢量图图像块:
[0073] 步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
[0074]
[0075] 式中, 表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。
[0076] 本发明还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程
序时,实现所述的方法步骤。
[0077] 与现有技术相比,本发明具有以下有益效果:本发明将高分辨率矢量图与位图训练图像块作为输入,利用域适应模块提取不同分布域图像之间的共性特征,然后使用特征
缩小模块对共性特征进行缩小,转化为缩小后的图像输出,使得网络在学习到矢量图图像
无损缩放的特点的同时,也学习到位图图像细节丰富的优势,具有较高的图像缩小性能。本
发明针对图像缩小问题构建了一个独立的图像缩小卷积神经网络,能够在保证缩小后图像
质量的同时较为快速地完成图像缩小操作,具有较高的使用价值。

附图说明

[0078] 图1为本发明实施例的方法实现流程示意图。
[0079] 图2为本发明实施例的模型架构图。
[0080] 图3为本发明实施例中特征缩小模块的结构示意图。

具体实施方式

[0081] 下面结合附图及实施例对本发明做进一步说明。
[0082] 应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常
理解的相同含义。
[0083] 需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式
也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包
括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0084] 如图1所示,本实施例提供了一种基于卷积神经网络域适应的图像缩小方法,包括以下步骤:
[0085] 步骤S1:对原始高分辨率的矢量图图像和位图图像进行预处理,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
[0086] 步骤S2:构建域适应模块与特征重构模块。
[0087] 步骤S3:构建特征缩小模块,结合域适应模块与特征重构模块,构成图像缩小网络。
[0088] 步骤S4:构建图像缩小网络的损失函数。
[0089] 步骤S5:使用图像块数据集训练图像缩小网络,得到训练好的图像缩小网络。
[0090] 步骤S6:将原始高分辨率的测试位图图像输入到训练好的图像缩小网络,经过域适应模块和特征缩小模块,预测其缩小后的图像。
[0091] 本发明使用域适应模块,将矢量图图像与位图图像提取到同一特征空间,并利用特征缩小模块有效地将共性特征信息转化为缩小后的图像输出,充分发挥卷积神经网络的
拟合能力,对比现有的图像缩小模型,该方法能显著提高图像缩小的性能。
[0092] 所述步骤S1中,将原始高分辨率的矢量图图像和位图图像进行无重叠的切块,得到初始的矢量图图像块和位图图像块,然后将得到的初始矢量图图像块和位图图像块进行
旋转和翻转,得到用于训练的矢量图图像块和位图图像块,组成图像块数据集。
[0093] 在本实施例中,所述步骤S2具体包括以下步骤:
[0094] 步骤A1:构建域适应模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
[0095]
[0096] 式中,FDA(·)为域适应模块, 为输入域适应模块的高分辨率图像块,wi、bi分别为域适应模块中第i层卷积层采用的卷积核的权重和偏置,ReLU为线性激活函数。
[0097] 步骤A2:构建特征重构模块,包含三个卷积层和三个ReLU线性激活函数,其表达式如下:
[0098] Freconstruct(Fin)=ReLU(w3(ReLU(w2(ReLU(w1(Fi)+b1))+b2))+b3)
[0099] 式中,Freconstruct(·)为特征重构模块,Fin为输入特征重构模块的特征,是高分辨率图像块输入域适应模块得到的输出,对于输入的高分辨率图像块 wi、bi分别为特征
重构模块中第i层卷积层采用的卷积核的权重和偏置。
[0100] 在本实施例中,所述步骤S3具体包括以下步骤:
[0101] 步骤B1:构建特征缩小模块Ffeature_down(·),如图3所示,所述特征缩小模块由密集连接模块、残差模块以及通道注意力模块构成。
[0102] 首先,计算密集连接模块的输出,所述密集连接模块包含k个卷积层,其表达式如下:
[0103]
[0104] 式中,Hi(·)表示密集连接模块中第i个卷积层的输出,Fin为输入特征缩小模块的特征, 表示按照通道拼接特征操作,wi、bi分别为密集连接模块中第i层卷积层采用的卷积
核的权重和偏置。
[0105] 然后,计算残差模块的输出,所述残差模块包含两个卷积层和两个ReLU线性激活函数,其表达式如下:
[0106] Fres(Fin)=ReLU(w2(ReLU(w1(Fin)+b1))+b2)
[0107] 式中,Fres(·)为残差模块的输出,wi、bi分别为残差模块中第i层卷积层采用的卷积核的权重和偏置。
[0108] 而后,计算通道注意力模块的输出,其表达式如下:
[0109]
[0110] 式中,Fchannel(·)为通道注意力模块的输出,Ψchannel(·)为通道注意力模块,k为密集连接模块中卷积层的个数。
[0111] 最后,通过一个卷积层计算特征缩小模块的输出:
[0112]
[0113] 式中,ILR为特征缩小模块的低分辨率图像块输出,w1和b1为所述卷积层中采用的卷积核的权重和偏置。
[0114] 步骤B2:结合特征缩小模块、域适应模块与特征重构模块,构成如图2所示的图像缩小网络。
[0115] 在本实施例中,所述步骤S4具体包括以下步骤:
[0116] 步骤C1:构建位图重构损失Lbitmap_reconstruct,其表达式如下:
[0117]
[0118] 式中,||·||1为1范数,则 为所述图像缩小网络输出预测的特征重构结果图像块, 为输入网络的高分辨率位图图像块,i表示第i个图像块。
[0119] 步骤C2:构建矢量图重构损失Lsvg_reconstruct,其表达式如下:
[0120]
[0121] 式中, 为输入网络的高分辨率矢量图图像块。
[0122] 步骤C3:构建特征缩小损失Lfeature_down,其表达式如下:
[0123]
[0124] 其中, 分别表示特征缩小模块输出的矢量图小图图像块与网络输入的高分辨率矢量图图像块经过自适应池化和VGG16网络后提取到的特征,
其表达式如下:
[0125]
[0126]
[0127] 式中,VGG163表示VGG16网络的前三层。adaptivepool(,)表示自适应池化模块,第一个参数为目标池化尺寸,第二个参数为输入的特征,size(·)表示图像的尺寸,包括高度
和宽度。
[0128] 步骤C4:构建域适应损失Ldomain,其表达式如下:
[0129]
[0130] 式中, 表示核函数, 表示H范数。
[0131] 步骤C5:所述图像缩小网络的目标损失函数为:
[0132]
[0133] 式中Ldomain_down为目标函数值,Lbitmap_reconstruct为位图重构损失、Lsvg_reconstruct为矢量图重构损失、Lfeature_down为特征缩小损失,Ldomain为域适应损失,α、β、γ、 分别为损失的
参数。
[0134] 在本实施例中,所述步骤S5具体包括以下步骤:
[0135] 步骤D1:将用于训练的矢量图图像块和位图图像块分别随机分成一个以上的批次,每个批次分别包含N个图像块。
[0136] 步骤D2:将每个批次的矢量图图像块和位图图像块分别输入到图像缩小网络,得到各个位图图像块和矢量图图像块的特征重构结果以及各个矢量图图像块的图像缩小预
测结果。其具体包括以下步骤:
[0137] 步骤D21:将高分辨率图像块输入到域适应模块,按如下公式提取图像特征:
[0138]
[0139]
[0140] 式中,FDA(·)表示域适应模块,F0为经过域适应模块提取后的位图特征,F1为经过域适应模块提取后的矢量图特征, 表示第i个高分辨率位图图像块, 表示第i
个高分辨率矢量图图像块。
[0141] 步骤D22:将得到的特征F0、F1,按如下公式输入到特征重构模块,得到高分辨率的矢量图图像块和位图图像块输出:
[0142]
[0143]
[0144] 式中,Freconstruct(·)为特征重构模块, 表示特征重构输出的第i个高分辨率位图图像块, 表示特征重构输出的第i个高分辨率矢量图图像块:
[0145] 步骤D23:将得到的特征F1,按如下公式输入到特征缩小模块,得到缩小后的矢量图图像输出:
[0146]
[0147] 式中, 表示特征缩小模块输出的低分辨率矢量图图像块,Ffeature_down(·)表示特征缩小模块。
[0148] 步骤D3:根据图像缩小网络的目标损失函数Ldomain_down,利用反向传播方法计算所述图像缩小网络中各参数的梯度,并利用随机梯度下降方法更新参数。
[0149] 步骤D4:以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值,保存网络参数,完成图像缩小网络的训练过程。
[0150] 本实施例还提供了一种基于卷积神经网络域适应的图像缩小系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机
程序时,实现所述的方法步骤。
[0151] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产
品的形式。
[0152] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0153] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0154] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0155] 以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等
效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所
作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。