一种单幅图像超分辨重建方法

摘要

本发明公开了一种单幅图像超分辨重建方法，该方法利用相互对应的高、低分辨率图像块作为训练数据集，利用交替方向法从训练数据库中训练高分辨率字典和低分辨率字典，然后将输入的低分辨率图像，划分得到原始图像低分辨图像块的集合；而后利用高分辨率字典和低分辨率字典将原始图像低分辨图像块转换成对应高分辨率图像块，将高分辨率图像块组合成为高分辨率图像，最后将高分辨率图像重建获得超分辨率图像。该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可以实现单幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。

权利要求

1.一种单幅图像超分辨重建方法，其特征在于，包括如下步骤：S1：收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块Yh和低分辨率图像块Yl；

S2：利用交替方向法，从所述训练数据库中训练高分辨率字典Dh和低分辨率字典Dl；

S3：将输入的低分辨率图像，划分得到原始图像低分辨图像块Xl的集合；

S4：利用所述高分辨率字典Dh和所述低分辨率字典Dl将所述原始图像低分辨图像块Xl转换成对应高分辨率图像块Xh；

S5：将所述高分辨率图像块Xh组合成为高分辨率图像；

S6：将所述高分辨率图像重建获得超分辨率图像；

所述步骤S2，包括如下步骤：

S21：建立训练模型：

其中，Yh是高分辨率图像块，Yl是低分辨率图像块，N是所述高分辨率图像块表达为一维向量的长度，M是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字典，Dl为待求的低分辨率字典，α为稀疏表示的系数；

S22：利用交替方法，将所述训练模型分裂成3个子问题求解：α-子问题求解、Dh-子问题求解、Dl-子问题求解，求解直到收敛；

所述3个子问题求解方法包括：

S22a：α-子问题求解：

固定Dh和Dl，α-子问题的求解为：其中，符号[]+表示矩阵的Moore-Penrose广义逆，I表示单位矩阵；

S22b：Dh-子问题求解：

固定α和Dl，Dh-子问题的求解为：S22c：Dl-子问题求解：

固定α和Dh，Dl-子问题的求解为：

2.根据权利要求1所述的单幅图像超分辨重建方法，其特征在于，在步骤S3中，将所述低分辨率图像从左到右、从上到下以步长s提取p×p大小的图像块，得到所述低分辨率图像的原始图像低分辨率的图像块Xl的集合。

3.根据权利要求2所述的单幅图像超分辨重建方法，其特征在于，在步骤S4中，将所述原始图像低分辨率图像块Xl转换成对应高分辨率图像块Xh的方法如下：Xh＝Dh(DlTXl)

其中，

Xl——原始低分辨率的图像块；

Xh——高分辨率的图像块；

Dl——低分辨率字典；

Dh——高分辨率字典。

4.根据权利要求3所述的单幅图像超分辨重建方法，其特征在于，在步骤S5中，重建获*得超分辨率图像X采用以下方法：

其中，H为模糊算子，S为迭代计算中相邻的下一个采样算子，c为正的经验参数，X为超分辨率图像块。

说明书

一种单幅图像超分辨重建方法

技术领域

[0001] 本发明涉及图像处理领域，特别是涉及一种单幅图像超分辨重建方法。

背景技术

[0002] 视觉信息是人类从客观世界获得信息的主要来源，也是人类认知世界的重要功能手段，它占人类依靠五官由外界获得的信息总量的大约80％。因此，长期以来图像处理都受到研究人员的广泛关注。随着信息技术的飞速发展，在遥感成像、医学图像、视频监控等领域，图像超分辨技术占据了越来越重要的地位。在图像超分辨技术的研究中，单幅图像超分辨重建方法在实际应用中体现出了特有的优势。

[0003] 单幅图像的超分辨方法主要分为插值方法、基于图像先验的重建方法和基于学习的方法。基于插值的方法，如最邻近插值法和立方插值法，进行超分辨率重建时会造成图像表面比较模糊，高频信息会丢失严重，尤其是边缘锯齿化现象明显，严重影响图像质量。基于重建的方法，由于人为强加的图像先验，导致高分辨图像边缘有锯齿化现象出现，并且在高放大因子条件下重建图像的质量严重退化。这些图像超分辨方法虽然存在过平滑、边缘有锯齿化现象等缺陷，但在技术上取得了一定突破，已经趋于成熟并在电子图像、互联网视频、数字电视等多个领域获得广泛应用。基于学习的图像超分辨方法，是近年来由Freeman等人首先提出的一种图像分辨方法，其内容是从大量的训练样本集中获取先验知识作为超分辨率的依据。训练样本都是与输入图像包含同类信息的图像，以输入图像为依据，用学习过程中获得的知识对输入图像中的信息进行补充，基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下，仍能产生新的高频细节，获得比基于重建的算法更好的复原结果，并能够较好地运用于人脸和文字等图像的复原。因此基于学习的超分辨重建方法成为了研究的热点。

[0004] 为了克服传统学习方法计算开销过大的不足，近年来稀疏学习方法成为了主流。稀疏学习方法通过学习一个过完备字典，并使得图像在该字典上具有稀疏表示，从而显著减小运算规模。

[0005] 现有的基于稀疏表示的超分辨重建方法，在使用训练数据集学习字典的过程中，模型求解主要采用梯度下降类算法，求解效率不高，并且计算复杂度较大，影响了整个单幅图像超分辨重建方法的实际应用。

发明内容

[0006] 本发明的目的是针对上述现有技术的不足，而提供一种在保证收敛性的前提下改善计算效率的单幅图像超分辨重建方法。

[0007] 为解决上述技术问题，本发明所采取的技术方案是：

[0008] 一种单幅图像超分辨重建方法，包括以下步骤：

[0009] S1：收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块Yh和低分辨率图像块Yl；

[0010] S2：利用交替方向法，从该训练数据库中训练高分辨率字典Dh和低分辨率字典Dl；

[0011] S3：将输入的低分辨率图像，划分得到原始图像低分辨图像块Xl的集合；

[0012] S4：利用该高分辨率字典Dh和该低分辨率字典Dl将该原始图像低分辨图像块Xl转换成对应高分辨率图像块Xh；

[0013] S5：将该高分辨率图像块Xh组合成为高分辨率图像；

[0014] S6：将高分辨率图像重建获得超分辨率图像。

[0015] 在本发明一种单幅图像超分辨重建方法的另一个实施例中，所述步骤S2，包括如下步骤：

[0016] S21：建立训练模型：

[0017]

[0018] 其中，Yh是高分辨率图像块，Yl是低分辨率图像块，N是所述高分辨率图像块表达为一维向量的长度，M是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字典，Dl为待求的低分辨率字典，α为稀疏表示的系数；

[0019] S22：利用交替方法，将该模型分裂成3个子问题α-子问题求解、Dh-子问题求解、Dl-子问题求解，求解直到收敛。

[0020] 在一种单幅图像超分辨重建方法的另一个实施例中，所述利用交替方法对所述训练模型分裂成3个子问题求解方法包括：

[0021] S22a：α-子问题求解：

[0022] 固定Dh和Dl，α-子问题的求解为：

[0023]

[0024] 其中，符号[]+表示矩阵的Moore-Penrose广义逆，I表示单位矩阵；

[0025] S22b：Dh-子问题求解：

[0026] 固定α和Dl，Dh-子问题的求解为：

[0027]

[0028] S22c：Dl-子问题求解：

[0029] 固定α和Dh，Dl-子问题的求解为：

[0030]

[0031] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S3中，将所述低分辨率图像从左到右、从上到下以步长s提取p×p大小的图像块，得到所述低分辨率图像的原始图像低分辨率的图像块Xl的集合。

[0032] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S4中，将该原始图像低分辨率图像块Xl转换成对应高分辨率图像块Xh的方法如下：

[0033] Xh＝Dh(DlTXl)

[0034] 其中，

[0035] Xl——原始低分辨率的图像块；

[0036] Xh——高分辨率的图像块；

[0037] Dl——低分辨率字典；

[0038] Dh——高分辨率字典。

[0039] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S5中，重建获得超分*辨率图像X采用以下方法模型：

[0040]

[0041] 其中，H为模糊算子，S为迭代计算中相邻的下一个采样算子，c为正的经验参数，X为超分辨率图像块。

[0042] 本发明的有益效果是：通过本发明提供了一种单幅图像超分辨交替方向重建方法，该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可以实现单幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。

附图说明

[0043] 图1是根据本发明单幅图像超分辨重建方法的一实施例的流程图；

[0044] 图2是原始输入的低分辨率图像实施例；

[0045] 图3是图2所示低分辨率图像实施例经过本发明单幅图像超分辨重建方法一实施例重建后得到的超分辨率图像。

具体实施方式

[0046] 为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

[0047] 需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。

[0048] 图1是根据本发明一实施方式进行单幅图像超分辨重建方法的流程图。从图1可以看出，该流程始于开始，然后继续执行以下步骤，

[0049] 步骤S1：收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块Yh和低分辨率图像块Yl。

[0050] 步骤S2：利用交替方向法，从该训练数据库中训练高分辨率字典Dh和低分辨率字典Dl。

[0051] 步骤S3：将输入的低分辨率图像，划分得到原始图像低分辨图像块Xl的集合。

[0052] 步骤S4：利用该高分辨率字典Dh和该低分辨率字典Dl将该原始图像低分辨图像块Xl转换成对应高分辨率图像块Xh。

[0053] 步骤S5：将该高分辨率图像块Xh组合成为高分辨率图像。

[0054] 步骤S6：将高分辨率图像重建获得超分辨率图像。

[0055] 优选的，对于步骤S2，训练高分辨率字典Dh和低分辨率字典Dl，首先先建立训练模型：

[0056]

[0057] 其中，Yh是高分辨率图像块，Yl是低分辨率图像块，N是所述高分辨率图像块表达为一维向量的长度，M是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字典，Dl为待求的低分辨率字典，α为稀疏表示的系数。

[0058] 然后利用交替方法，将该模型分裂成3个子问题α-子问题求解、Dh-子问题求解、Dl-子问题求解，求解直到收敛，优选的求解公式如下：

[0059] α-子问题求解：

[0060] 固定Dh和Dl，α-子问题的求解为：

[0061]

[0062] 其中，符号[......]+表示矩阵的Moore-Penrose广义逆，I表示单位矩阵。

[0063] Dh-子问题求解：

[0064] 固定α和Dl，Dh-子问题的求解为：

[0065]

[0066] Dl-子问题求解：

[0067] 固定α和Dh，Dl-子问题的求解为：

[0068]

[0069] 通过上述公式迭代收敛求得高分辨率字典Dh和低分辨率字典Dl，以及稀疏表示的系数α。

[0070] 优选的，在步骤S3中，输入128Χ128的低分辨率图像，将该低分辨率图像从左到右，从上到下以步长s＝1提取一维向量长度＝7的7Χ7大小的图像块，得到原始图像低分辨率的图像块Xl的集合。

[0071] 优选的，在步骤S4中，将该原始图像低分辨率图像块Xl转换成对应高分辨率图像块Xh的公式如下：

[0072] Xh＝Dh(DlTXl)

[0073] 其中，

[0074] Xl——原始低分辨率的图像块；

[0075] Xh——高分辨率的图像块；

[0076] Dl——低分辨率字典；

[0077] Dh——高分辨率字典。

[0078] 优选的，在步骤S5中，重建获得超分辨率图像X*采用以下模型：

[0079]

[0080] 其中H采用了大小为5Χ5的，方差为1的高斯矩阵的模糊算子，S为迭代计算中相邻的下一个采样算子，c为正的经验参数，X为超分辨率图像块。

[0081] 通过以上方法最终获得分辨率为252Χ252的超分辨率的图像如图3所示。

[0082] 本发明的有益效果是：通过本发明提供了一种单幅图像超分辨交替方向重建方法，该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可以实现单幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。

[0083] 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。