本公开提供用于图像超分辨率、图像增强及卷积神经网络(CNN)模型训练的方法及图像处理装置。用于图像超分辨率的方法包括以下步骤。接收原始图像，以及从原始图像提取特征图。将原始图像切割成原始子图像块。根据特征图分别将每个原始子图像块分类到子图像块集群中的一个子图像块集群中。由不同的经预先训练的卷积神经网络模型根据原始子图像块所属于的子图像块集群来分别处理原始子图像块，以获得预测子图像块。基于预测子图像块产生预测图像。
1.一种用于图像超分辨率的方法，其特征在于，包括：接收原始图像；
根据所述特征图分别将每个所述原始子图像块分类到多个子图像块集群中的一个子图像块集群中；
根据所述原始子图像块所属于的所述子图像块集群，由多个不同的经预先训练的卷积神经网络(CNN)模型来分别处理所述原始子图像块，以获得多个预测子图像块；以及基于所述预测子图像块产生预测图像。
2.根据权利要求1所述的方法，其特征在于，从所述原始图像提取所述特征图的步骤包括：对所述原始图像应用特征提取器，其中所述原始图像中的每一像素在所述特征图中的同一坐标处具有特征值。
3.根据权利要求2所述的方法，其特征在于，原始子图像块中的子图像块的中心像素的所述特征值代表所述子图像块的所述特征值。
4.根据权利要求2所述的方法，其特征在于，根据所述特征图分别将每个所述原始子图像块分类到子图像块集群中的一个子图像块集群中的步骤包括：将具有相同的所述特征值的原始子图像块分类到一个子图像块集群中，其中每个所述集群对应于所述经预先训练的卷积神经网络模型中的不同的一个经预先训练的卷积神经网络模型。
5.根据权利要求1所述的方法，其特征在于，由所述不同的经预先训练的卷积神经网络模型分别处理所述原始子图像块的步骤包括：由对应的所述经预先训练的卷积神经网络模型，分别处理所述多个原始子图像块以获得所述预测子图像块。
6.根据权利要求2所述的方法，其特征在于，所述特征提取器是二进制自适应性动态范围编码器(ADRC)。
7.根据权利要求2所述的方法，其特征在于，所述特征提取器是边缘检测器。
8.根据权利要求1所述的方法，其特征在于，所述经预先训练的卷积神经网络模型中的每一者包括多个卷积层。
9.根据权利要求1所述的方法，其特征在于，根据所述原始子图像块所属于的所述子图像块集群，由所述不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块的步骤包括：将所述原始子图像块升级到目标分辨率；以及将经升级的所述原始子图像块送入所属于的所述子图像块集群对应的所述经预先训练的卷积神经网络模型来进行处理。
10.根据权利要求1所述的方法，其特征在于，所述经预先训练的卷积神经网络模型中的每一例包括多个卷积层及升级层，且其中所述经预先训练的卷积神经网络模型中的每一例中的所述升级层将所述卷积层中的一者的输出升级到目标分辨率。
11.根据权利要求1所述的方法，其特征在于，基于所述预测子图像块产生所述预测图像的步骤包括：将所述预测子图像块组合成所述预测图像。
12.根据权利要求1所述的方法，其特征在于，所述原始图像的分辨率低于所述预测图像的分辨率。
13.根据权利要求1所述的方法，其特征在于，所述原始子图像块中的每一例的分辨率低于所述预测子图像块中的每一例的分辨率。
14.一种用于卷积神经网络(CNN)模型训练的方法，其特征在于，包括：接收多个高分辨率训练图像；
对所述高分辨率训练图像进行降采样，以产生分别与所述高分辨率训练图像对应的低分辨率训练图像；
将所述低分辨率训练图像及所述高分辨率训练图像切割成多个低分辨率训练子图像块及多个高分辨率训练子图像块；以及根据所述特征图将所述低分辨率子图像块与高分辨率子图像块对分类到多个子图像块集群中的一个子图像块集群中；以及使用所述子图像块集群的所有所述低分辨率子图像块与高分辨率子图像块对来学习多个卷积神经网络模型例的映射函数，以产生对应的多个预先训练的卷积神经网络模型。
15.一种用于图像增强的方法，其特征在于，包括：接收原始图像；
由多个不同的经预先训练的卷积神经网络(CNN)模型基于与所述原始子图像块对应的特征信息来分别处理所述原始子图像块，以获得多个增强的子图像块；以及基于所述增强的子图像块产生增强的图像。
16.一种用于卷积神经网络(CNN)模型训练的方法，其特征在于，包括：接收多个高品质训练图像；
将所述高品质训练图像降级，以产生分别与所述高品质训练图像对应的多个低品质训练图像；
将所述低品质训练图像及所述高品质训练图像分割成多个低品质训练子图像块及多个高品质训练子图像块；以及使用所述低品质训练子图像块及所述高品质训练子图像块来学习多个卷积神经网络模型的映射函数，以产生对应的多个预先训练的卷积神经网络模型。
17.一种图像处理装置，其特征在于，包括：存储器电路，被配置成存储数据及多个不同的经预先训练的卷积神经网络(CNN)模型；
根据所述特征图将所述原始子图像块分类到多个子图像块集群中的一个子图像块集群中；
根据所述原始子图像块所属于的所述子图像块集群，由所述不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块，以获得多个预测子图像块；以及基于所述预测子图像块产生所述预测图像。
18.一种图像处理装置，其特征在于，包括：存储器电路，被配置成存储数据；以及
对所述高分辨率训练图像进行降采样，以产生与所述高分辨率训练图像对应的低分辨率训练图像；
将所述低分辨率训练图像及所述高分辨率训练图像切割成多个低分辨率训练子图像块及多个高分辨率训练子图像块；
根据所述特征图将所述低分辨率子图像块与高分辨率子图像块对分类到多个子图像块集群中的一个子图像块集群中；以及使用所述子图像块集群的所有所述低分辨率子图像块与高分辨率子图像块对来学习多个卷积神经网络模型的映射函数，以产生对应的多个预先训练的卷积神经网络模型。
19.一种图像处理装置，其特征在于，包括：存储器电路，被配置成存储数据及多个不同的经预先训练的卷积神经网络(CNN)模型；
由多个不同的经预先训练的卷积神经网络模型基于与所述原始子图像块对应的特征信息来分别处理所述原始子图像块，以获得多个增强的子图像块；以及基于所述增强的子图像块产生增强的图像。
20.一种图像处理装置，其特征在于，包括：存储器电路，被配置成存储数据；以及
将所述高品质训练图像降级，以产生分别与所述高品质训练图像对应的低品质训练图像；
将所述低品质训练图像及所述高品质训练图像分割成多个低品质训练子图像块及多个高品质训练子图像块；以及使用所述低品质训练子图像块及所述高品质训练子图像块来学习多个卷积神经网络模型的映射函数，以产生对应的多个经预先训练的卷积神经网络模型。
用于图像超分辨率、图像增强及模型训练的方法及装置
技术领域
[0001] 本公开涉及用于图像超分辨率、图像增强及卷积神经网络(CNN)模型训练的方法及图像处理装置。
背景技术
[0002] 单图像超分辨率(Single image super resolution，SISR)是一个逆问题，其目的在于恢复图像由于降采样过程而丢失的高频细节。在学术界及工业界，SISR一直受到极大关注。最近，基于学习的方法已显示出巨大潜力。
发明内容
[0003] 本公开提出用于图像超分辨率、图像增强及卷积神经网络(convolutional neural network，CNN)模型训练的方法及图像处理装置。
[0004] 根据其中一个示范性实施例，用于图像超分辨率的方法包括以下步骤。接收原始图像，以及从所述原始图像提取特征图。将所述原始图像分割成原始子图像块。根据所述特征图分别将所述原始子图像块分类到子图像块集群中的一个子图像块集群中。根据所述原始子图像块所属于的所述子图像块集群，由不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块，以获得预测子图像块。基于所述预测子图像块产生预测图像。
[0005] 根据其中一个示范性实施例，所述用于卷积神经网络模型训练的方法包括以下步骤。接收高分辨率训练图像，以及对所述高分辨率训练图像进行降采样(down-sample)，以产生分别与所述高分辨率训练图像对应的低分辨率训练图像。从所述低分辨率训练图像提取特征图。将所述低分辨率训练图像及所述高分辨率训练图像切割成低分辨率训练子图像块及高分辨率训练子图像块。根据所述特征图将所述低分辨率子图像块与高分辨率子图像块对分类到子图像块集群中的一个子图像块集群中。使用所述子图像块集群的所有所述低分辨率子图像块与高分辨率子图像块对来学习卷积神经网络模型的映射函数，以产生对应的所述卷积神经网络模型。
[0006] 根据其中一个示范性实施例，所述用于图像增强的方法包括以下步骤。接收原始图像，以及将所述原始图像分割成原始子图像块。由不同的经预先训练的卷积神经网络模型基于与所述原始子图像块对应的特征信息来分别处理所述原始子图像块，以获得多个增强的子图像块。基于所述增强的子图像块产生增强的图像。
[0007] 根据其中一个示范性实施例，所述用于卷积神经网络模型训练的方法包括以下步骤。接收高品质训练图像，以及将所述高品质训练图像降级，以产生分别与所述高品质训练图像对应的低品质训练图像。将所述低品质训练图像及所述高品质训练图像切割成低品质训练子图像块及高品质训练子图像块。使用所述低品质训练子图像块及所述高品质训练子图像块来学习卷积神经网络模型的映射函数，以产生对应的经预先训练的卷积神经网络模型。
[0008] 根据其中一个示范性实施例，所述图像处理装置包括存储器电路以及处理电路。所述存储器电路被配置成存储数据及经预先训练的卷积神经网络模型。所述处理电路被配置成：接收原始图像；从所述原始图像提取特征图；将所述原始图像切割成原始子图像块；
根据所述特征图将所述原始子图像块分类到子图像块集群中的一个子图像块集群中；根据所述原始子图像块所属于的所述子图像块集群，由所述不同的经预先训练的卷积神经网络模型来分别处理所述原始子图像块，以获得预测子图像块；以及基于所述预测子图像块产生所述预测图像。
[0009] 根据其中一个示范性实施例，所述图像处理装置包括存储器电路以及处理电路。所述存储器电路被配置成存储数据。所述处理电路被配置成：接收高分辨率训练图像；对所述高分辨率训练图像进行降采样，以产生分别与所述高分辨率训练图像对应的低分辨率训练图像；从所述低分辨率训练图像提取特征图；将所述低分辨率训练图像及所述高分辨率训练图像切割成低分辨率训练子图像块及高分辨率训练子图像块；根据所述特征图将所述低分辨率子图像块与高分辨率子图像块对分类到子图像块集群中的一个子图像块集群中；
以及使用所述子图像块集群的所有所述低分辨率子图像块与高分辨率子图像块对来学习多个卷积神经网络模型的映射函数，以产生对应的所述卷积神经网络模型。
[0010] 根据其中一个示范性实施例，所述图像处理装置包括存储器电路以及处理电路。所述存储器电路被配置成存储数据及经预先训练的卷积神经网络模型。所述处理电路被配置成：接收原始图像；将所述原始图像切割成原始子图像块；由所述不同的经预先训练的卷积神经网络模型基于与所述原始子图像块对应的特征信息来分别处理所述原始子图像块，以获得增强的子图像块；以及基于所述增强的子图像块产生增强的图像。
[0011] 根据其中一个示范性实施例，所述图像处理装置包括存储器电路以及处理电路。所述存储器电路被配置成存储数据。所述处理电路被配置成：接收高品质训练图像；将所述高品质训练图像降级，以产生分别与所述高品质训练图像对应的低品质训练图像；将所述低品质训练图像及所述高品质训练图像切割成低品质训练子图像块及高品质训练子图像块；以及使用所述低品质训练子图像块及所述高品质训练子图像块来学习多个卷积神经网络模型的映射函数，以产生对应的经预先训练的卷积神经网络模型。
[0012] 为使本公开的上述特征及优点易于理解，以下详细阐述附有图式的优选实施例。应理解，前述大体说明及以下详细说明二者均为示范性的，且旨在提供对提出申请的本公开的进一步阐释。
[0013] 然而应理解，本发明内容可能不包含本公开的所有方面及实施例，且因此不旨在以任何方式进行限制或限定。另外，本公开还将包括对所属领域中的技术人员来说显而易见的改进及修改。
附图说明
[0014] 包括附图是为了提供对本公开的进一步理解，且附图被并入本说明书中并构成本说明书的一部分。图式示出本公开的实施例，且与本说明一起用于阐释本公开的原理。
[0015] 图1示出根据本公开的其中一个示范性实施例的一种所提出的图像处理装置的示意图。
[0016] 图2示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的流程图。
[0017] 图3示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的功能图。
[0018] 图4示出根据本公开的其中一个示范性实施例的一种所提出的图像处理装置的示意图。
[0019] 图5示出根据本公开的其中一个示范性实施例的一种所提出的用于图像超分辨率的方法的流程图。
[0020] 图6示出根据本公开的其中一个示范性实施例的一种所提出的用于图像超分辨率的方法的功能图。
[0021] 图7示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的流程图。
[0022] 图8示出根据本公开的其中一个示范性实施例的一种所提出的用于图像增强的方法的流程图。
[0023] 为使本申请的以上特征及优点更容易理解，以下详细阐述附有图式的若干实施例。
[0024] 附图标记列表
[0025] 100、400：图像处理装置
[0026] 110、410：存储器电路
[0027] 120、420：处理电路
[0028] S202、S204、S206、S208、S210、S212、S502、S504、S506、S508、S510、S512、S702、S704、S706、S708、S802、S804、S806、S808：步骤
[0029] 300：CNN模型
[0030] 301A、601：特征提取器
[0031] 302A、302B：子图像块分离器
[0032] 602：子图像块分离器
[0033] 605：混合过程
[0034] HRI’：预测高分辨率图像
[0035] HRS：高分辨率样本
[0036] LRI：低分辨率图像
[0037] LRS：低分辨率样本
[0038] LRP：低分辨率子图像块
[0039] HRP’：预测高分辨率子图像块
[0040] HRP：高分辨率子图像块
具体实施方式
[0041] 基于学习的超分辨率方法的目标是通过外部数据集(dataset)来学习从低分辨率到高分辨率的映射函数。这种方法包括训练阶段及预测阶段。在训练阶段中，将低分辨率图像及原始(ground-truth)高分辨率子图像块发送到学习内核(learning kernel)以确定映射模型。在预测阶段中，将经预先训练的映射模型应用于低分辨率图像以估计高分辨率图像，所述高分辨率图像被称为预测高分辨率图像。这种方法几年来得到迅速发展，从线性回归一直发展到CNN。
[0042] 基于线性回归的方法是一种低层次学习方法，这种方法可将二维(two dimensional，2D)滤波器构造成映射函数，例如方程式(1)：
[0043] Y＝W1×X1+W2×X2+W3×X3+…+Wn×Xn 方程式(1)
[0044] 其中Y表示高分辨率像素，X1～n表示子图像块内的低分辨率像素，W1～n表示2D滤波器的权重。
[0045] 在训练阶段中，根据从低分辨率子图像块提取的手工(hand-crafted)特征来将具有低分辨率及高分辨率对的子图像块划分到集群中。在本文中，每一集群对应于唯一的2D滤波器，所述2D滤波器通过求解方程式(1)或方程式(1)的变体来确定。在预测阶段中，根据低分辨率特征图来应用2D滤波器。
[0046] 基于线性回归的方法在边缘重构(edge reconstruction)上表现良好，但在大倍率(scalingratio)的超分辨率上，细节的恢复无法得到解决。由于2D滤波器的限制，方程式(1)仅代表低分辨率子图像块与高分辨率子图像块之间的线性关系。此外，线性回归的均方误差(mean square error，MSE)目标函数等会引起模糊的或过度平滑的结果，而这些结果由于高频细节不足而在人眼感知上无法令人满意。
[0047] 另一方面，基于CNN的方法学习低分辨率图像与高分辨率图像之间的端到端映射模型(end-to-end mapping model)，这通常被理解为特征提取、非线性映射及重构。每一功能块由一个或几个卷积层组成并包含多个滤波器。
[0048] 在训练阶段中，将低分辨率子图像块馈送到正向网络(forward network)中，且输出预测高分辨率子图像块。损失函数(被称为损失层(loss layer))评估预测高分辨率子图像块与目标子图像块的误差，然后将误差反馈回网络以更新其滤波器(例如滤波器的权重)。在大量的正向迭代及反向迭代后，误差将降到全局最小值。这意味着滤波器的权重已经过良好的训练。在预测阶段中，在正向网络处理之后，将从低分辨率图像恢复出预测高分辨率图像。
[0049] 由级联卷积层构成的CNN架构适合于在病态问题(ill-pose problem)中拟合复杂的非线性关系。最近，在基于CNN的超分辨率中已引入一种新的感知损失函数(perceptual loss function)，且所述新的感知损失函数表现得显著优于MSE，尤其是在高频细节方面。
[0050] 然而，由于CNN架构可容易地对高层次特征进行提取及分类，因此在计算机视觉领域引入CNN架构来解决例如手写识别及人脸识别等高层次问题。另一方面，图像超分辨率是一个低层次问题，且更多关注低层次特征。在训练数据集中存在大量的低层次特征类型，例如各种噪声、纹理及边缘。这将需要大量的滤波器来学习提取及恢复这些特征，其中在层中可能存在许多无效的或类似的滤波器。同时，输入不同类型的子图像块用于训练会导致折衷(trade-off)状态，例如更多的纹理样本会导致更差的边缘表现等等。
[0051] 为解决上述问题，现在将在下文中参照附图更全面地阐述本公开的一些实施例，附图中示出本申请的一些但不是所有实施例。事实上，本公开的各种实施例可实施为许多不同的形式，而不应被解释为仅限于本文中所述的实施例；相反，提供这些实施例是为了使本公开将满足适用的法律要求。相同的参考编号自始至终指代相同的元件。
[0052] 图1示出根据本公开的其中一个示范性实施例的一种所提出的图像处理装置的示意图。图像处理装置的所有组件及其配置首先在图1中进行介绍。组件的功能则结合图2进行更详细地公开。
[0053] 参照图1，在本示范性实施例中，图像处理装置100包括存储器电路110及耦合到存储器电路110的处理电路120。图像处理装置100可被实施成集成电路(integrated circuit，IC)或计算机系统。存储器电路110被配置成存储编程代码、装置配置、数据等，且可使用任何存储器技术来实施存储器电路110。处理电路120被配置成实施在以下示范性实施例中所提出的方法的功能要素。
[0054] 与线性回归相比，CNN架构中的非线性关系描述能力是高级版本，此种架构主要反映在级联滤波及灵活的目标函数中。另一方面，线性回归中高效且成熟的特征提取及分离将有助于CNN架构减少冗余并专注于解决特定的恢复问题。在以下实施例中，提出一种用于基于集群特定CNN的图像超分辨率(cluster-specific CNN-based image super resolution)的方法以及一种用于CNN模型训练的方法，这两种方法将手工特征提取与CNN超分辨率处理相结合。
[0055] 首先，图2示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的流程图。图2的步骤可由如图1中所示的所提出的图像处理装置100来实施。
[0056] 参照图1及图2，图像处理装置100的处理电路120接收高分辨率训练图像(步骤S202)并对高分辨率训练图像进行降采样，以产生分别与高分辨率训练图像对应的低分辨率训练图像(步骤S204)。在此，高分辨率训练图像为具有高分辨率的原始图片，且低分辨率训练图像是通过以本身已知的任何现有的降采样算法对高分辨率图像进行降采样来获得。
[0057] 接下来，处理电路120通过对低分辨率训练图像应用特征提取器来从低分辨率训练图像提取特征图(步骤S206)，其中特征图代表分别与低分辨率训练图像对应的特征信息。特征提取器可为手工特征提取器，例如二进制自适应性动态范围编码器(adaptive dynamic range coder，ADRC)、边缘探测器等等。处理电路120然后根据特征图将低分辨率训练图像及高分辨率训练图像切割成低分辨率训练子图像块及高分辨率训练子图像块(步骤S208)。
[0058] 处理电路120根据特征图将低分辨率子图像块与高分辨率子图像块对分类到子图像块集群中的一个子图像块集群中(步骤S210)，其中子图像块集群中的每一集群对应于唯一的CNN并被单独训练。也就是说，处理电路120使用子图像块集群的所有低分辨率子图像块与高分辨率子图像块对来学习每一CNN模型的映射函数，以产生对应的CNN模型(步骤S212)。请注意，每个CNN模型包括多个卷积层以及一个升级层(upscaling layer)。CNN模型中的卷积层的数目可相同或不同，且CNN模型中的升级层可将卷积层的输出升级到目标分辨率。在完成学习过程之后，所产生的CNN模型将被视为经预先训练的CNN模型，且可随时使用。
[0059] 为更好地理解，图3示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的功能图。
[0060] 参照图3，将低分辨率样本LRS及高分辨率样本HRS视为输入，其中高分辨率样本为具有高分辨率的原始图像，且低分辨率样本LRS为高分辨率样本HRS的降采样版本。接下来，将低分辨率样本LRS及高分辨率样本HRS分割成低分辨率子图像块LRP及高分辨率子图像块HRP，并由子图像块分离器302A及子图像块分离器302B将低分辨率子图像块LRP及高分辨率子图像块HRP分别分类到子图像块集群中。所述分类可根据由特征提取器301A计算的手工特征图来执行。在本此中，特征提取器还可为手工特征提取器，例如二进制自适应性动态范围编码器(ADRC)、边缘探测器等。对于每一集群，结构定制式CNN模型(structure-customized CNN model)从低分辨率子图像块LRP与高分辨率子图像块HRP学习映射函数。在对内部集群进行训练之后，即可使用CNN模型300。
[0061] 图4示出根据本公开的其中一个示范性实施例的一种所提出的图像处理装置的示意图。图像处理装置的所有组件及其配置首先在图4中进行介绍。组件的功能则结合图5进行更详细地公开。
[0062] 参照图4，在本示范性实施例中，图像处理装置400包括存储器电路410及耦合到存储器电路410的处理电路420。图像处理装置400可被实施成集成电路(IC)或计算机系统。存储器电路410被配置成存储编程代码、装置配置、数据等等，且可使用任何存储器技术来实施存储器电路410。处理电路420被配置成实施在以下示范性实施例中所提出的方法的功能要素。应注意，在一个示范性实施例中，图像处理装置400及图像处理装置100可为同一装置。本公开并非仅限于此。
[0063] 图5示出根据本公开的其中一个示范性实施例的一种所提出的用于图像超分辨率的方法的流程图。图5的步骤可由如图4中所示的所提出的图像处理装置400来实施。在本示范性实施例中，在存储器电路410中预先存储经预先训练的CNN模型，例如图2中阐述的CNN模型。
[0064] 参照图4及图5，处理电路420接收原始图像(步骤S502)并从原始图像提取特征图(步骤S504)。在此，处理电路420对原始图像在特征空间中应用特征提取器以产生特征图，其中在特征图中的同一坐标处，原始图像中的每一像素可具有至少一个特征值。在此，特征提取器还可为手工特征提取器，例如二进制自适应性动态范围编码器(ADRC)、边缘探测器等。
[0065] 接下来，处理电路420根据特征图将原始图像分割成原始子图像块(步骤S506)，且根据特征图将原始子图像块分类到子图像块集群中的一个子图像块集群中(步骤S508)。假设子图像块的特征值是所述子图像块的中心像素的特征值。处理电路420将具有相同特征值的原始子图像块分类到一个子图像块集群中，其中每个集群应于经预先训练的CNN模型中的不同的一个经预先训练的CNN模型。
[0066] 接下来，处理电路420使用不同的经预先训练的CNN模型根据原始子图像块所属于的子图像块集群来分别处理原始子图像块，以获得预测子图像块(步骤S510)。在此，处理电路420使用对应的经预先训练的CNN模型来分别处理原始子图像块，以获得预测子图像块。在本示范性实施例中，处理电路420将原始子图像块升级到目标分辨率，且根据经升级的原始子图像块属于哪一集群来用经预先训练的CNN模型处理经升级的子图像块。
[0067] 处理电路420通过例如将预测子图像块组合成预测图像来基于预测子图像块产生预测图像(步骤S512)。应注意，原始子图像块的分辨率低于预测子图像块的分辨率，且原始图像的分辨率低于预测图像的分辨率。
[0068] 为更好地理解，图6示出根据本公开的其中一个示范性实施例的一种所提出的用于图像超分辨率的方法的功能图。
[0069] 参照图6，将低分辨率图像LRI视为输入。接下来，将低分辨率图像LRI分割成低分辨率子图像块LRP，并由子图像块分离器602根据由特征提取器601计算的手工特征图来将低分辨率子图像块LRP分类到子图像块集群中。对于每一集群，由对应的CNN模型来处理低分辨率子图像块LRP，并输出对应的预测高分辨率子图像块HRP’。预测高分辨率图像HRI’是通过混合过程605获得并作为最终结果被输出，在混合过程605中，预测高分辨率子图像块HRP’被通过本身已知的任何现有的图像混合算法根据手工特征图进行混合。
[0070] 基于上述示范性实施例，所述用于基于集群特定CNN的图像超分辨率的方法及所述用于CNN模型训练的方法将手工特征提取与CNN超分辨率处理相结合。在训练阶段中，通过参照特征图(例如，手工特征图)将低分辨率子图像块划分到多个集群中，且每个集群对应于被单独训练的唯一的CNN模型。在预测阶段中，根据基于低分辨率图像产生的特征图来选择集群特定CNN模型。所提出的方法会在例如两个方面改善当前的架构。首先，以高效且成熟的手工特征设计技术取代CNN中的低层次特征提取。其次，对整个问题域及集群特定训练(cluster-specific training)进行分解来学习形态学特定CNN(morphology-specific CNN)，这将有益于误差回归及效率提高。
[0071] 作为附带说明，所提出的用于CNN模型训练及图像超分辨率的方法可扩展到如图7及图8中所示的另一层次。
[0072] 图7示出根据本公开的其中一个示范性实施例的一种所提出的用于CNN模型训练的方法的流程图。图7的步骤可由如图1中所示的所提出的图像处理装置100来实施。
[0073] 参照图1及图7，图像处理装置100的处理电路120接收高品质训练图像(步骤S702)。接下来，处理电路120将高品质训练图像降级，以产生分别与高品质训练图像对应的低品质训练图像(步骤S704)。处理电路120将低品质训练图像及高品质训练图像切割成低品质训练子图像块及高品质训练子图像块(步骤S706)。处理电路120使用低品质训练子图像块及高品质训练子图像块来学习多个CNN模型中的映射函数，以产生对应的经预先训练的CNN模型(步骤S708)。应注意，图7与图2到图3之间的主要区别在于，以高品质训练图像取代高分辨率训练图像作为初始输入，以及通过将高品质训练图像降级来产生低品质训练图像。高品质训练图像可为(但不限于)高分辨率训练图像。类似地，低品质训练图像可为(但不仅限于)低分辨率训练图像。所属领域中的技术人员可根据图2到图3的说明推断出步骤S702到步骤S708的细节。
[0074] 图8示出根据本公开的其中一个示范性实施例的一种所提出的用于图像增强的方法的流程图。图8的步骤可由如图1中所示的所提出的图像处理装置400来实施。
[0075] 参照图4及图8，图像处理装置400的处理电路420将接收原始图像(步骤S802)并将原始图像分割成原始子图像块(步骤S804)。接下来，处理电路420使用不同的经预先训练的CNN模型基于与原始子图像块对应的特征信息来分别处理原始子图像块，以获得增强的子图像块(步骤S806)。处理电路420基于增强的子图像块产生增强的图像(步骤S808)。应注意，图8与图5到6之间的主要区别在于，最终所得到的是基于增强的子图像块产生的增强的图像，所述增强的图像可为(但不仅限于)具有超分辨率的图像。所属领域中的技术人员可根据图5到图6的说明推断出步骤S802到步骤S808的细节。
[0076] 综上所述，所提出的用于图像超分辨率、图像增强及CNN模型训练的方法及图像处理装置利用高效且成熟的技术来改善当前架构，这还有益于误差回归及效率提高。
[0077] 在本申请所公开的实施例的详细说明中所使用的元件、动作或指令均不应被视为对于本公开来说是绝对关键或必不可少的，除非明确地如此阐述。另外，在本文中使用的不定冠词“一(a及an)”中的每一者可包括多于一个项。如果打算表示仅一个项，则将使用用语“单个(a single)”或类似语言。此外，本文中所用的位于一系列多个项和/或多个类别的项之后的用语“中的任意者(any of)”旨在包括所述项和/或所述类别的项中的“任意者”、“任意组合”、“任意多个”和/或“多个的任意组合”(各别地或与其他项和/或其他类别的项相结合)。此外，本文中所用用语“组(set)”旨在包括任意数目的项(包括0个)。此外，本文中所用的用语“数目(number)”旨在包括任意数目(包括0)。
[0078] 对于所属领域中的技术人员来说将显而易见的是，在不背离本公开的范围或精神的条件下，可对所公开的实施例的结构作出各种修改及变化。综上所述，本公开旨在涵盖本公开的修改及变化，只要其落于随附权利要求书及其等效范围的范围内即可。
