一种基于新型模板的图像超分辨率增强方法

摘要

本发明涉及基于新型模板的图像超分辨率技术，包括：获取原始图像集，对图像集中的每幅图像做0.5倍降采样，得到低分辨率图像；对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；对高分辨参考图像和低分辨率图像做新型模板增强；过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像。新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。

权利要求

1.一种基于新型模板的图像超分辨率增强方法，其特征在于，包括如下步骤：步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；

步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；

步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，步骤3.1，先采取0.01为步长，分别单独对高分辨参考图像和低分辨率图像做v取范围

0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值 得到清晰度在 附近时的参数v；

一幅大小为m×n的图像k的清晰度计算方式为：

其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；

步骤3.2，通过步骤3.1的参数v确定新型模板如下：

步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；

步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，步骤5.1，利用新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：步骤5.2，将高分辨参考图像上所有点的残差值按顺序合成为一幅图像，即为残差图像；

步骤5.3，残差图像经点扩散函数，每个点变为l×l大小的窗，l为新型模板的维数，得到与高分辨参考图像同等大小的残差图像，将此时的残差图像叠加到高分辨参考图像的对应点上，得到最终的图像。

2.如权利要求1所述的一种基于新型模板的图像超分辨率增强方法，其特征在于：所述步骤2中得到高分辨参考图像的实现方式如下，步骤2.1，设定一个轮廓模板集合，包含57种轮廓特征模板；

步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，以轮廓模板值选择对应的轮廓模板；

步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。

3.如权利要求2所述的一种基于新型模板的图像超分辨率增强方法，其特征在于：所述步骤4中计算低分辨率图像与高分辨参考图像间的运动矩阵的实现方式如下，步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点；

步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法确定两者间的仿射矩阵；

步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。

说明书

一种基于新型模板的图像超分辨率增强方法

技术领域

[0001] 本发明涉及基于新型模板的图像超分辨率技术，特别涉及基于新型模板和点扩散函数叠加的，端到端的单幅图像超分辨率重建方法。

背景技术

[0002] 图像分辨率的调整是应用中经常需求的操作。当面对各类图像时，一些经典的图像处理技术往往无法实现较好的效果，尤其是有图像纹理细节或者边缘稳定性需求高时，由于分辨率的改变往往会伴随着高频信息丢失和信息量减少，因此图像的超分辨率结果往往较差，无法达到令人满意的目的。因此，设计一种良好的图像的超分辨率方法，提高图像的超分辨率的效果是一个值得研究的课题。

[0003] 随着计算机技术和机器视觉技术的发展，关于图像超分辨率的该方法有了长足的发展，并在许多领域有着重要的应用，如多媒体、安防监控和医学领域。

[0004] 目前，图像超分辨率算法主要可分为三类：第一类是基于插值理论的，不考虑图像的先验知识，仅通过图像上的像素点信息来计算目标点像素值。此类方法计算量小，速度快，可以很方便的在各种场合下使用。但是这类方法不能回复出较好的图片，往往会伴随着大量的信息丢失和模糊，在图像的超分辨率中无法较好完成目标。第二类是基于学习的方法，将图像的降质模型使用一定的网络结构进行模拟，通过数据库训练将网络收敛到目标范围，就可以使用此网络结构完成图像超分辨率过程。此类算法的优点在于可以较好地恢复图像信息，缺点在于对数据库的依赖较大，且运算量很大，在各种场合下的运用受到一定的限制。第三类算法是基于重建和增强理论的方法，通过一个或者多个数学模型，对图像降质过程进行建模，通过计算或者假设模型中的参数，逆向运算得到图像超分辨率的结果。此类算法基本都是建立在图像降质模型的基础上，通过一定的先验知识，保证在超分辨率过程中尽可能地保护图片信息，达到较好的超分辨率效果。

[0005] 新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。该新型模板则可以在完成图像高频噪声去除的同时，较好地保留图像低频信息，在去噪领域有着一定的应用。

发明内容

[0006] 基于学习的图像超分辨率效果虽然较好，但是其对外部数据库的依赖较大，在没有良好且充足的数据库的情况下不能有效达成目的，其运算量也使其应用受到限制。而现有的基于重建或增强的方法大多对于图像的超分辨率都没有足够优秀的效果。针对以上问题，本发明的目的是提出一种基于新型模板的图像超分辨率方法。

[0007] 为实现上述目的，本发明采取以下技术方案：

[0008] 一种基于新型模板的图像超分辨率增强方法，包括如下步骤：

[0009] 步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；

[0010] 步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；

[0011] 步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，

[0012] 步骤3.1，先采取0.01为步长，分别单独对高分辨参考图像和低分辨率图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值 得到清晰度在 附近时的参数v；

[0013] 一幅大小为m×n的图像k的清晰度计算方式为：

[0014]

[0015] 其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；

[0016] 步骤3.2，通过步骤3.1的参数v确定新型模板如下：

[0017]

[0018] 步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；

[0019] 步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，[0020] 步骤5.1，利用新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：

[0021]

[0022] 步骤5.2，将高分辨参考图像上所有点的残差值按顺序合成为一幅图像，即为残差图像；

[0023] 步骤5.3，残差图像经点扩散函数，每个点变为l×l大小的窗，l为新型模板的维数，得到与高分辨参考图像同等大小的残差图像，将此时的残差图像叠加到高分辨参考图像的对应点上，得到最终的图像。

[0024] 而且，所述步骤2中得到高分辨参考图像的实现方式如下，

[0025] 步骤2.1，设定一个轮廓模板集合，包含57种轮廓特征模板；

[0026] 步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，以轮廓模板值选择对应的轮廓模板；

[0027] 步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。

[0028] 而且，所述步骤4中计算低分辨率图像与高分辨参考图像间的运动矩阵的实现方式如下，

[0029] 步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点；

[0030] 步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法确定两者间的仿射矩阵；

[0031] 步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。

[0032] 本发明由于采取了以上的技术方案，与现有技术相比，其具有以下优势：

[0033] (1)与基于学习的图像超分辨率算法相比，尤其是基于深度学习的SRCNN卷积神经网络超分辨率算法相比，本发明利用新型模板增强算子有效弥补了图像超分辨率过程中的高频信息减少，同时避免了对于外部训练数据库的依赖，在实现方法和理论上有较高的自由度和适应性。

[0034] (2)与现有的基于重建的图像超分辨率方法相比，本发明引入的轮廓模板插值很好的保持了图像边缘轮廓信息；使用的新型模板增强算子立足于增强图片纹理信息，提高算法对于各类图像的适应性；基于新型模板的点扩散函数立足于改善图像的边缘质量；引入的SIFT匹配过程立足于增加重建过程的精度，从而获得较好的重建结果。相较传统算法，获得了较好的重建结果。

附图说明

[0035] 图1为本发明的整体流程图。

具体实施方式

[0036] 下面结合附图和实施例对本发明的技术方案作进一步说明。

[0037] 本发明的整体流程图如图1所示，具体包含以下步骤(包括测试)：

[0038] 步骤1，获取标准数据库和一些额外的图像库作为原始图像集，并作为测试和验证本发明有效性的数据集，包括获取Set5、Set14、B100等标准库和USC-SIPI等图像库的图像；选取任意一幅图像做0.5倍降采样，得到低分辨率图像，即为实际的输入图像。

[0039] 步骤2，对输入图像，进行轮廓模板插值放大2倍，得到高分辨参考图像。

[0040] 步骤2.1，经由一定的图像集合，预先设定一个轮廓模板集合，包含57种轮廓特征模板，轮廓模板集合的生成为现有成熟技术，本发明不予撰述，具体参见文献[1]；

[0041] [1]肖进胜,庞观林,唐路敏,钱超,邹白昱.基于轮廓模板和自学习的图像纹理增强超采样算法[J].自动化学报,2016,42(8):1248-1258.；

[0042] 步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，用此值选择对应的轮廓模板；

[0043] 步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。

[0044] 步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，具体的增强模板由设定的参数v和根据v生成的模板计算得出；

[0045] 图像的增强可以有效提升其纹理细节信息，对于图像超分辨率来讲，一个预先的增强可以很好地帮助后续超分辨过程中恢复图像质量。由于不同参数v的新型模板处理效果各异，为了较好地增强图像，我们选取一定方式确定增强时所使用的参数；

[0046] 步骤3.1，先采取0.01为步长，分别单独对高分辨参考图像和低分辨率图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值 得到清晰度在 附近时的参数v；

[0047] 图像评价指标清晰度又被称为图像平均梯度，可以有效地评价图像的微小细节，一幅大小为m×n的图像k的清晰度计算方式为：

[0048]

[0049] 其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值，图像清晰度越高，就可以认为图像边缘细节越多，当清晰度过高时，图像会出现过曝现象；

[0050] 步骤3.2，通过步骤3.1的参数v确定新型模板如下,在本实施例中计算得到的参数v为0.7：

[0051]

[0052] 步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点。

[0053] 步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点，SIFT特征提取为现有技术，本发明不予撰述，具体参见文献[2]；

[0054] [2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.[0055] 步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法(随机N次取最佳)确定两者间的仿射矩阵，其中的RANSAC法为现有技术，本发明不予撰述；

[0056] 步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。

[0057] 步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像；

[0058] 步骤5.1，利用参数v＝-0.7，大小为5×5的新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：

[0059]

[0060] 步骤5.2，将所有残差值按顺序合成为一幅图像，即为残差图像；

[0061] 步骤5.3，投影叠加过程为，残差图像经点扩散函数，每个点变为5×5大小的窗，从而图像变大，与高分辨参考图像同等大小，将此时的残差图像叠加到参考图像的对应点上；

[0062] 步骤5.4，对于多通道的彩色图像，以上过程为在各个通道中依次处理；

[0063] 步骤6，修正后的参考图像就是最终得到的高分辨率图像，即本发明的输出结果。

[0064] 为了验证本发明所提出方法的有效性，分别选取Set5、Set14等标准库和USC-SIPI等图像库中的图像进行验证，从图像库中任意选取一副图像进行以上步骤的处理，并和其他经典算法bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA处理获得的效果进行对比，以PSNR、Entropy、Clarity、SSIM、EPI等客观指标说明本发明的优势：

[0065] (1)表1为Set5图片集中baby图在bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA，proposed(本发明提出的基于新型模板的图像超分辨率增强方法)的超分辨结果，各经典算法可参考文献[1,3-5]，综合PSNR、Entropy、Clarity等客观评价指标，可以看出，本发明提出的方法效果最好；

[0066] 表1 Set5中baby的客观评价指标对比

[0067]

[0068] (2)表2为Set14图片集中comic图像在bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA，proposed(本发明提出的基于新型模板的图像超分辨率增强方法)的超分辨结果，综合PSNR、Entropy、Clarity等客观评价指标，可以看出，本发明提出的方法效果最好；

[0069] 表2 Set14中comic的客观评价指标对比

[0070]

[0071] (3)超分辨率时所使用的图片往往不是清晰的，所以本发明还用了一些人工加入模糊的图片来进行测试。选取USC-SIPI图像库的某个地面纹理图片，对其加入高斯模糊，并下采样得到低分辨率图片，将不同算法的重建结果与原始清晰图片进行对比。表3为一系列俯拍地图1的重建结果客观评价指标，需要指出的是，所有的有参客观评价指标均是以原始清晰图像为参考，而不是以加模糊后图像为参考。

[0072] 表3地图1人工模糊后处理结果的客观指标对比

[0073]

[0074] 表中，图像序号的后缀即模糊高斯函数的标准差，可以看出，在标准差较小时本发明方法具有明显优势。

[0075] [3]Wang Z,Liu D,Yang J,et al.Deep networks for image super-resolution with sparse prior[C].Proceedings of the IEEE International Conference on Computer Vision.2015:370-378.

[0076] [4]Yang J,Wright J,Huang T S,et al.Image super-resolution via sparse representation[J].IEEE transactions on image processing,2010,19(11):2861-2873.

[0077] [5]Xiao J,Liu E,Zhao L,et al.Detail enhancement of image super-resolution based  on  detail synthesis[J].Signal  Processing:Image Communication,2017,50:21-33.

[0078] 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。