图像超分辨率方法及装置

摘要

本发明涉及一种图像超分辨率方法及装置。所述图像超分辨率方法包括：获取训练数据集，训练数据集中包括多个图像数据对，每个图像数据对包括对应于源域的源图像和对应于目标域的目标图像；使用训练数据集对循环生成对抗网络模型进行训练：循环生成对抗网络模型包括用于将图像从源域转换为目标域的第一域转换模块，用于将图像从目标域转换为源域的第二域转换模块；在训练完成后，将第一待处理图像输入至第一域转换模块，通过第一域转换模块输出第二待处理图像；将第二待处理图像输入至预先训练好的超分辨率模型，通过超分辨率模型输出超分辨率图像。

权利要求

1.一种图像超分辨率方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括多个图像数据对，每个图像数据对包括对应于源域的源图像和对应于目标域的目标图像，所述源域是第一待处理图像的域，所述目标域是超分辨率模型的训练数据的域，所述源图像和所述目标图像的像素尺寸相同；其中，所述源图像和所述目标图像基于第一待处理图像生成；

使用所述训练数据集对循环生成对抗网络模型进行训练：所述循环生成对抗网络模型包括用于将图像从源域转换为目标域的第一域转换模块，以及用于将图像从目标域转换为源域的第二域转换模块；

在所述训练完成后，将第一待处理图像输入至第一域转换模块，通过第一域转换模块输出第二待处理图像；

将第二待处理图像输入至预先训练好的超分辨率模型，通过超分辨率模型输出超分辨率图像。

2.根据权利要求1所述的方法，其特征在于，

所述获取训练数据集，包括：

从第一待处理图像中裁切出多个原始图像，使用多个原始图像构建出多个图像组，其中，每个图像组分别包括第一原始图像和第二原始图像，第一原始图像的像素尺寸小于第二原始图像的像素尺寸；

将第二原始图像输入至退化模型，通过退化模型输出退化图像，其中，所述退化图像的域是超分辨率模型的训练数据的域，退化图像的像素尺寸和第一原始图像的像素尺寸相同；

将所述第一原始图像作为源图像，将所述退化图像作为目标图像，构建出图像数据对。

3.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络模型包括第一域鉴别器和第二域鉴别器；所述第一域鉴别器用于鉴别第二域转换模块将图像从目标域转换为源域的能力，所述第二域鉴别器用于鉴别第一域转换模块将图像从源域转换为目标域的能力；

所述使用所述训练数据集对循环生成对抗网络模型进行训练，包括：将源图像输入至第一域转换模块，得到第一中间图像；

将第一中间图像输入至第二域转换模块，得到第二中间图像；

将目标图像输入至第二域转换模块，得到第三中间图像；

将第三中间图像输入至第一域转换模块，得到第四中间图像；

将源图像和第三中间图像输入至第一域鉴别器；

将目标图像和第一中间图像输入至第二域鉴别器。

4.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络模型的总损失根据以下式子确定：Lall＝Lgan+λ1*Lcycle+λ2*Lcll其中，Lald为总损失，Lgan为对抗损失，Lcycle为循环一致性损失，Lcll为循环对比损失，λ1和λ2为预设的超参数。

5.根据权利要求4所述的方法，其特征在于，所述对抗损失根据以下式子确定：

2 2

Lgan＝E[DT(xt)‑1]+E[DS(xs)‑1]其中，E表示求期望运算，DS表示第一域鉴别器，DT表示第二域鉴别器，xs表示源图像，xt表示目标图像。

6.根据权利要求4所述的方法，其特征在于，所述循环一致性损失包括源图像和第二中间图像之间的逐像素损失，以及目标图像和第四图像之间的逐像素损失。

7.根据权利要求4所述的方法，其特征在碍于：所述循环一致性损失根据以下式子确定：Lcycle＝||xt‑DAM1(DAM2(xt))||1+||xs‑DAM2(DAM1(xs))||1其中，“|| ||1”表示L1损失函数或L2损失函数，DAM1表示第一域转换模块，DAM2表示第二域转换模块，xs表示源图像，xt表示目标图像。

8.根据权利要求4所述的方法，其特征在于，所述循环对比损失根据以下式子确定：其中，“|| ||F”为矩阵范数；Fi为深度卷积神经网络的第i层的特征提取函数；xs表示源图像，xt表示目标图像， 表示第一中间图像， 表示第二中间图像， 表示第三中间图像， 表示第四中间图像。

9.根据权利要求1所述的方法，其特征在于，所述第一域转换模和所述第二域转换模块采用相同结构的第一卷积神经网络；

所述第一卷积神经网络的每个卷积层采用ReLU函数作为激活函数。

10.一种图像超分辨率装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据权利要求1‑9中任一项所述的图像超分辨率方法。

说明书

图像超分辨率方法及装置

技术领域

[0001] 本发明涉及图像处理技术领域，更具体地，涉及一种图像超分辨率方法及一种图像超分辨率装置。

背景技术

[0002] 在图像传输中，为了提高传输速度，降低对传输网络的要求，通常会在发送装置一侧压缩待传输的原始图像，以降低原始图像的分辨率，进而降低需要传输的像素量，然后将压缩后的低分辨率图像发送至接收装置；接收装置在接收到低分辨率图像后，再利用图像超分辨率技术对接收到的低分辨率图像进行重建，恢复出高分辨率的原始图像。

[0003] 图像超分辨率技术是人工智能、计算机视觉中一项重要任务，其目的是从低分辨率图像中恢复真实的高分辨率图像。近年来随着深度学习技术的发展，许多基于深度学习的图像超分辨率方法被提出，并取得良好的性能。现有基于深度学习的方法，通常采用固定的退化方式从高清图像生成低分辨率图像，以生成“低分辨图像‑高分辨率图像”的图像对，用于超分辨率模型的训练。然而，真实世界的图像往往包含复杂退化，比如运动、压缩、噪声等结合的复杂情况，当待处理图像的域(数据分布)与超分辨率模型之前训练中的低分辨率图像的域(数据分布)不同，超分辨率模型性能会急剧下降，难以适应真实场景中的复杂退化。因此，有必要提供一种新的图像超分辨率方法。

发明内容

[0004] 本发明的目的是提供一种关于图像超分辨率的新的技术方案，可以适应真实场景中的复杂退化。

[0005] 根据本发明的第一方面，提供了一种图像超分辨率方法，其包括：

[0006] 获取训练数据集，所述训练数据集中包括多个图像数据对，每个图像数据对包括对应于源域的源图像和对应于目标域的目标图像，所述源域是第一待处理图像的域，所述目标域是超分辨率模型的训练数据的域，所述源图像和所述目标图像的像素尺寸相同；

[0007] 使用所述训练数据集对循环生成对抗网络模型进行训练：所述循环生成对抗网络模型包括用于将图像从源域转换为目标域的第一域转换模块，以及用于将图像从目标域转换为源域的第二域转换模块；

[0008] 在所述训练完成后，将第一待处理图像输入至第一域转换模块，通过第一域转换模块输出第二待处理图像；

[0009] 将第二待处理图像输入至预先训练好的超分辨率模型，通过超分辨率模型输出超分辨率图像。

[0010] 根据本发明的第二方面，还提供了一种图像超分辨率装置，其包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本发明的第一方面所述的图像超分辨率方法。

[0011] 本发明的图像超分辨率方法及装置，可以基于循环生成对抗网络对待处理图像的域进行转换，以适应已经训练好的超分辨率模型，以此有效提高已经训练好的超分辨率模型的性能。

[0012] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

[0013] 被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

[0014] 图1是本公开实施例的图像超分辨率方法的一个应用场景示意图；

[0015] 图2是根据一实施例的图像超分辨率方法的步骤图；

[0016] 图3是根据一实施例的循环生成对抗网络模型的示意图；

[0017] 图4(a)‑4(b)是根据一实施例的循环对比学习过程的示意图；

[0018] 图5是根据一实施例的图像超分辨过程的示意图；

[0019] 图6是根据一实施例的图像超分辨率装置的硬件结构示意图。

具体实施方式

[0020] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

[0021] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

[0022] 对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

[0023] 在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

[0024] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

[0025] <硬件配置>

[0026] 图1是可应用本公开实施例的图像超分辨率方法的应用场景示意图。

[0027] 如图1所示，该应用场景包括图像发送设备1000和图像接收设备2000，图像发送设备1000与图像接收设备2000通过有线或者无线的方式通信连接，以进行图像传输。

[0028] 图像发送设备1000在传输图像时，可以压缩待传输的原始图像，得到压缩后的低分辨率图像，以降低需要传输的像素量；然后再将压缩后的低分辨率图像发送至图像接收装置2000。图像接收装置2000在接收到低分辨率图像后，基于本公开实施例的图像超分辨率方法，从低分辨率图像重建出高分辨率的原始图像，完成图像恢复。

[0029] 图像发送设备1000发送的图像可以是视频的各帧图像，也可以是任意的其他图像，在此不做限定。图像发送设备1000在传输视频文件的情况下，其中，视频文件包括多帧图像，图像接收装置2000在完成图像恢复后，就能得到高分辨率的视频文件进行播放。

[0030] 图像发送设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400。

[0031] 图像接收设备2000也可以包括处理器2100、存储器2200、接口装置2300、通信装置2400。

[0032] 处理器1100、1200用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200、2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300、2300例如包括USB接口、视频接口、网络接口等。通信装置1400、2400例如能够进行有线或无线通信，通信装置1400可以包括至少一种短距离通信模块，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z‑Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意模块，通信装置1400也可以包括远程通信模块，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意模块。

[0033] 图像发送设备1000的存储器1200用于存储计算机程序，该计算机程序用于控制处理器1100进行操作以至少执行如下步骤：压缩待传输的原始图像，得到压缩后的低分辨率图像；以及，将压缩后的低分辨率图像发送至图像接收装置。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。

[0034] 图像接收设备2000的存储器2200用于存储计算机程序，该计算机程序用于控制处理器2100进行操作以执行根据本公开任意实施例的图像超分辨率方法，以从接收到的低分辨率图像重建出高分辨率的原始图像，完成图像恢复。技术人员可以根据该方法步骤设计计算机程序，而且计算机程序如何控制处理器进行操作，这是本领域公知技术，故在此不再详细描述。

[0035] 以上图像发送设备1000和图像接收设备2000可以是任意的具有图像处理能力的电子设备，例如可以是任意类型的用户终端设备，也可以是服务器等，在此不做限定。

[0036] <方法实施例>

[0037] 在本公开实施例中提供了一种图像超分辨率系统，图像超分辨率系统包括循环生成对抗网络模型和预先训练好的超分辨率模型两部分。利用该图像超分辨率系统，可以对低分辨率的第一待处理图像进行恢复，得到与第一待处理图像对应的超分辨率图像。

[0038] 首先参照图3所示，介绍本公开实施例提供的循环生成对抗网络模型。

[0039] 循环生成对抗网络模型包括第一域转换模块、第二域转换模块、第一域鉴别器以及第二域鉴别器。

[0040] 第一域转换模块的输出和第二域转换模块的输入连接，第二域转换模块的输出和第一域转换模块的输入连接，形成循环网络。第一域转换模块用于将图像从源域转换为目标域，第二域转换模块用于将图像从目标域转换为源域。

[0041] 第一域鉴别器的输入与第一域转换模块的输入和第二域转换模块的输出连接，第二域鉴别器的输入与第一域转换模块的输出和第二域转换模块的输入连接。第一域鉴别器用于鉴别第二域转换模块将图像从目标域转换为源域的能力。第二域鉴别器用于鉴别第一域转换模块将图像从源域转换为目标域的能力。

[0042] 在一个例子中，第一域转换模和第二域转换模块采用相同结构的第一卷积神经网络。例如，第一卷积神经网络包括10个卷积层，其中前9个卷积层有64个3x3x64卷积核，最后1个卷积层有1个3x3x64卷积核。第一卷积神经网络的每个卷积层均采用ReLU(Leaky Rectified Linear Unit，线性整流)函数作为激活函数。第一域转换模块和第二域转换模块在训练中不共享参数，训练完成后的第一域转换模块将用于对第一待处理图像进行域转换。

[0043] 在一个例子中，第一域鉴别器和第二域鉴别器采用相同结构的第二卷积神经网络。例如，第二卷积神经网络包括5个卷积层，步长为1。第二卷积神经网络的除最后一层以外的卷积层均采用Leaky ReLU(Leaky Rectified Linear Unit，带泄露线性整流)函数作为激活函数。

[0044] 下面参照图2、图3以及图5所示，说明本公开实施例的提供的图像超分辨率方法。该图像超分辨率方法包括步骤S210‑S240。

[0045] 步骤S210，获取训练数据集。该训练数据集中包括多个图像数据对，每个图像数据对包括对应于源域的源图像和对应于目标域的目标图像，源域是第一待处理图像的域，目标域是超分辨率模型的训练数据的域，源图像和目标图像的像素尺寸相同。

[0046] 在一个例子中，源图像和目标图像是基于第一待处理图像生成的。在一个例子中，所述获取训练数据集，包括步骤S310‑314。

[0047] 步骤S310，从第一待处理图像中裁切出多个原始图像，使用多个原始图像构建出多个图像组。

[0048] 在一个例子中，可以用随机剪裁的方式中从第一待处理图像中裁切出多个原始图像，并且对原始图像进行数据增广从而得到数量更多的原始图像。数据增广方式包括随机选择90°、180°、270°进行旋转、随机左右翻转、随机上下翻转等。

[0049] 每个图像组分别包括第一原始图像和第二原始图像，同组的第一原始图像的像素尺寸小于第二原始图像的像素尺寸。在一个例子中，同组的第一原始图像和第二原始图像的长宽比相同。

[0050] 步骤S312，将第二原始图像输入至退化模型，通过退化模型输出退化图像。退化图像的域是超分辨率模型的训练数据的域，退化图像的像素尺寸和第一原始图像的像素尺寸相同。

[0051] 在一个例子中，该退化模型是生成超分辨率模型的训练数据时所使用的退化模型，因此，该退化模型输出的退化图像的域就是超分辨率模型的训练数据的域。

[0052] 步骤S314，将第一原始图像作为源图像，将退化图像作为目标图像，构建出图像数据对。

[0053] 最终，源图像和目标图像构成的图像数据对可由式(1)描述：

[0054]

[0055] 其中，Di表示训练数据集中第i个图像数据对， 表示第i个退化图像， 表示第i个源图像，N表示训练数据集中的图像数据对的总个数。

[0056] 步骤S220，使用所述训练数据集对循环生成对抗网络模型进行训练。

[0057] 图像域分布可以通过图像自身的大量内部块对抗学习得到。本公开实施例采用循环生成对抗网络模型，将第一域转换模块用于将图像从源域转换为目标域，将第二域转换模块用于将图像从目标域转换为源域，第一域转换模块和第二域转换模块采用循环对抗的方式进行训练。

[0058] 在一个例子中，所述使用所述训练数据集对循环生成对抗网络模型进行训练，包括步骤S410‑414。

[0059] 步骤S410，将源图像输入至第一域转换模块，得到第一中间图像。然后，将第一中间图像输入至第二域转换模块，得到第二中间图像。

[0060] 步骤S412，将目标图像输入至第二域转换模块，得到第三中间图像。然后，将第三中间图像输入至第一域转换模块，得到第四中间图像。

[0061] 步骤S414，将源图像和第三中间图像输入至第一域鉴别器，将目标图像和第一中间图像输入至第二域鉴别器。

[0062] 计算循环生成对抗网络模型的总损失，在总损失降低到预设阈值以下时停止训练。

[0063] 在一个例子中，对循环生成对抗网络模型的训练首先用对抗损失Lgan进行约束。在一个例子中，对抗损失Lgan根据式(2)确定：

[0064] Lgan＝E[DT(xt)‑1]2+E[DS(xs)‑1]2             式(2)

[0065] 其中，E表示求期望运算，DS表示第一域鉴别器，DT表示第二域鉴别器，xs表示源图像，xt表示目标图像。

[0066] 在计算对抗损失Lgan之前，需要先完成第一域鉴别器DS和第二域鉴别器DT的训练。

[0067] 其中，训练第一域鉴别器所用的损失函数 可以用式(3)表示：

[0068]

[0069] 其中，训练第二域鉴别器所用的损失函数 可以用式(4)表示：

[0070]

[0071] 其中，E表示求期望运算，DS表示第一域鉴别器，DT表示第二域鉴别器，DAM1表示第一域转换模块，DAM2表示第二域转换模块，xs表示源图像，xt表示目标图像。

[0072] 仅仅使用对抗损失Lgan会导致第一域转换模块和第二域转换模块愈趋扭曲，需要进一步约束第一域转换模块和第二域转换模块来保持图像结构的完整性，因此本公开实施例进一步引入循环一致性损失Lcycle。

[0073] 在一个例子中，循环一致性损失Lcycle包括源图像和第二中间图像之间的逐像素损失，以及目标图像和第四中间图像之间的逐像素损失，也就是这两个损失的和值。在一个例子中，采用L1损失(平均绝对误差损失)或L2损失(绝对均方误差损失)去约束第一域转换模块和第二域转换模块的直接输出，也就是说，源图像和第二中间图像之间的逐像素损失为平均绝对误差损失或绝对均方误差损失，目标图像和第四中间图像之间的逐像素损失为平均绝对误差损失或绝对均方误差损失。

[0074] 在一个例子中，循环一致性损失Lcycle根据式(5)确定：

[0075] Lcycle＝||xt‑DAM1(DAM2(xt))||1+||xs‑DAM2(DAM1(xs))||1   式(5)[0076] 其中，“||||1”表示L1损失函数或L2损失函数，DAM1表示第一域转换模块，DAM2表示第二域转换模块，xs表示源图像，xt表示目标图像。

[0077] 在一个例子中，还进一步引入循环对比损失Lcll。循环对比损失Lcll是因对比学习造成的损失，对比学习的目的是在向量表征空间中将正样本与当前输出结果之间的距离拉近，将负样本与当前输出结果之间的距离拉远。参见图4(a)和图4(b)所示，2个域转换模块的输入输出进行循环对比训练。第一域转换模块输入第三中间图像输出第四中间图像，第二域转换模块输入第一中间图像输出第二中间图像，在循环对比损失Lcll的约束下，可以使第四中间图像远离第三中间图像(负样本)并且靠近目标图像(正样本)，以及可以使得第二中间图像远离第一中间图像(负样本)并且靠近目标图像(正样本)。

[0078] 在一个例子中，循环对比损失Lcll根据式(6)确定：

[0079]

[0080] 其中，“||||F”为矩阵范数。Fi为预先训练好的深度卷积神经网络的第i层的特征提取函数，用于提取深度特征以区分不同图像之间的域区别。该深度卷积神经网络是另一个已经训练好的网络，与本公开实施例的循环生成对抗网络模型无关。本领域技术人员可以根据实际需求确定深度卷积神经网络和第i层。在本公开实施例中，该深度卷积神经网络例如可以是VGG19网络，第i层例如可以是VGG19网络的第5‑10层。xs表示源图像，xt表示目标图像， 表示第一中间图像， 表示第二中间图像， 表示第三中间图像， 表示第四中间图像。

[0081] 在一个例子中，循环生成对抗网络模型的总损失Lall根据式(7)确定：

[0082] lall＝Lgan+λ1*Lcycle+λ2*Lcll                    式(7)

[0083] 其中，Lall为循环生成对抗网络模型的总损失，Lgan为对抗损失，Lcycle为循环一致性损失，Lcll为循环对比损失，λ1和λ2为预设的超参数。

[0084] 步骤S230，在所述训练完成后，将第一待处理图像输入至第一域转换模块，通过第一域转换模块输出第二待处理图像。

[0085] 在经过训练后，第一域转换模块具有将第一待处理图像从其源域转换至目标域的能力，也就是将第一待处理图像从其源域转换至超分辨率模型的训练数据的域的能力。因此，第一域转换模块输出的第二待处理图像的域为目标域。

[0086] 步骤S240，将第二待处理图像输入至预先训练好的超分辨率模型，通过超分辨率模型输出超分辨率图像。

[0087] 第二待处理图像的域为目标域，也就是超分辨模型的训练数据的域，因此，超分辨率模型能够很好的将第二待处理图像重建成超分辨率图像。

[0088] 本公开实施例的图像超分辨方法，基于循环生成对抗网络对待处理图像的域进行转换，以适应已经训练好的超分辨率模型，以此有效提高已经训练好的超分辨率模型的性能。

[0089] 本公开实施例的图像超分辨方法，在循环生成式对抗网络的训练过程中，将待处理图像的源域与目标域进行对抗训练，并且引入循环对比损失，保证域转换的准确性。

[0090] 本公开实施例的图像超分辨方法，可以使用待处理图像本身作为自监督，将待处理图像以不损失信息的情况转换为目标域。

[0091] 本公开实施例的图像超分辨方法，对真实世界的待处理图像具有很好的超分辨效果。本公开实施例的图像超分辨率方法，对于人工退化得到的待处理图像，在该退化方式与超分辨率模型的训练数据的退化方式不同时，循环生成式对抗网络也能够将这种不同退化方式得到的待处理图像转换成目标域(超分辨模型的训练数据的域)，进而适应已经训练好的超分辨率模型，得到良好的恢复效果。

[0092] 通过大量的实验证明，本公开实施例的超分辨方法能广泛提升现有超分辨率模型的性能和超分辨率图像的视觉质量。发明人使用大量测试图像在YCbCr空间的Y通道上对本公开实施例的超分辨方法进行测试，评测指标使用峰值信噪比和结构相似度，在这两个测评指标上均取得较好效果。此外，经对测试图像和使用超分辨方法最后输出的超分辨率图像进行视觉效果测试，本公开实施例的超分辨方法可以取得良好的视觉效果。本公开实施例的超分辨方法，对于图像中的带状边缘信息的恢复具有良好的效果。本公开实施例的超分辨方法，能有效恢复清晰自然的纹理，同时不会引入明显的视觉不对齐和伪造信息。

[0093] 在一个实施例中，可以将以上任意实施例的图像超分辨率方法可以应用于但不局限于应用在图像传输领域。在图像传输领域应用该方法，可在图像发送设备一端压缩原始高清图像，通过压缩原始高清图像的分辨率得到低分辨率图像，再将低分辨率图像通过有线或者无线方式传输至图像接收设备，并在图像接收设备一侧实施以上任意实施例的图像超分辨率方法，得到低分辨率图像恢复出的超分辨率图像，可以使得超分辨率图像非常近似于原始高清图像。这样，可以提高传输速度，而且还不影响在图像接收设备一侧使用所传输图像的效果。

[0094] <装置实施例>

[0095] 图6是根据一个实施例的图像超分辨率装置的方框原理图。如图6所示，该图像超分辨率装置800可以包括处理器810和存储器820，存储器820用于存储计算机程序，处理器810用于在该计算机程序的控制下，执行根据本公开任意实施例的图像超分辨率方法。

[0096] 该图像超分辨率装置800可以包含于图1所示的图像接收设备2000中，也可以是任意的有能力进行图像处理的其他设备，在此不做限定。

[0097] 本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

[0098] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD‑ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

[0099] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

[0100] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

[0101] 这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

[0102] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

[0103] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

[0104] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

[0105] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。