基于稀疏域选取的单帧图像超分辨重建方法转让专利

申请号 : CN201510967335.5

文献号 : CN105631807B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 高新波高传清路文何立火宁贝佳王海军孙互兴

申请人 : 西安电子科技大学

摘要 :

本发明公开了一种基于稀疏域选取的单帧图像超分辨重建方法,主要解决现有重建方法进行联合字典训练所导致重建结果较差的问题。其步骤为:根据图像集构建低分辨和高分辨图像训练集;根据图像训练集构建低分辨和高分辨特征训练集;对低分辨特征训练集进行稀疏表示;根据高分辨特征训练集和低分辨特征编码系数求解出高分辨字典的迭代初始值;建立稀疏域选取的优化目标公式,迭代求解高分辨字典、高分辨特征编码系数、映射矩阵;根据输入的测试图像、高分辨字典、高分辨特征编码系数和映射矩阵重构输出高分辨图像。实验仿真表明,本发明的重建结果具有更高的主客观质量评价,可用于医学成像、高清影视成像、遥感监测、交通及安全监控。

权利要求 :

1.一种基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:包括:(1)根据图像训练集分别构建低分辨率图像训练集 和高分辨率图像训练集(2)根据低分辨率图像训练集 构建低分辨率特征训练集XS,按如下步骤进行:(2a)定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为:GX=[1,0,-1],GY=[1,0,-1]T,

其中T表示矩阵的转置运算;

(2b)将低分辨率图像训练集 分别与水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板进行卷积运算,获得原始低分辨率特征训练集 表示第i项原始低分辨率特征,Nsn表示原始低分辨率特征的数量;

(2c)将原始低分辨率特征训练集ZS使用主成分分析方法PCA进行维度约减后,获得投影矩阵Vpca和低分辨率特征训练集 表示第i项的低分辨率特征,Nsn表示低分辨率特征的数量;

(3)根据高分辨率图像训练集 构建高分辨率特征训练集YS;

(4)根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl;

(5)根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0;

(6)建立稀疏域选取的优化目标公式:

其中,α是稀疏域映射误差项系数,取值为0.1;β是L1范数优化正则项系数,取值为0.01;

γ是映射矩阵正则项系数,取值为0.01;Φh是待求的高分辨率字典,Bh是待求的高分辨率特征编码系数,M是待求的低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵,表示高分辨率字典Φh的第i项原子,||·||1表示1范数,||·||2表示2范数,||·||F表示F范数, 表示对任意i项字典原子操作;

(7)根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0,交替迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M,其实现步骤如下:(7a)以步骤5中的Φh0作为高分辨率字典的迭代初始值,将高分辨率特征编码系数的迭代初始值设为Bh0=Bl,将映射矩阵的迭代初始值设为M0=E,其中E是单位矩阵,YS是高分辨率特征训练集,Bl是低分辨率特征编码系数,T表示矩阵转置运算,(·)-1表示矩阵求逆运算;

(7b)固定高分辨率特征编码系数Bh和映射矩阵M,使其保持不变,使用二次约束二次规划方法求解高分辨率字典Φh:其中 表示高分辨率字典Φh的第i项原子,||·||2表示2范数,||·||F表示F范数,表示对任意i项字典原子操作;

(7c)固定映射矩阵M和高分辨率字典Φh,使其保持不变,使用稀疏编码方法求解高分辨率特征编码系数Bh:其中, 表示高分辨率特征的增广矩阵, YS表示高分辨率特征训练集,表示高分辨率字典的增广矩阵, α是稀疏域映射误差项系数,取值为0.1,β是L1范数优化正则项系数,取值为0.01,M是映射矩阵,E是与M同阶的单位矩阵,||·||1表示1范数,||·||F表示F范数;

(7d)固定高分辨率字典Φh和高分辨率特征编码系数Bh,使其保持不变,使用岭回归优化方法求解第t次迭代的映射矩阵M(t):其中,μ表示迭代的步长,取值0.05,α是稀疏域映射误差项系数,取值为0.1,γ是映射矩阵正则项系数,取值为0.01,T表示矩阵转置运算,(·)-1表示矩阵求逆运算;

(7e)重复步骤(7b)-(7d),直到相邻两次稀疏域选取的优化目标值的变化量小于阈值

0.01时,停止迭代,得到最终的高分辨率字典Φh、高分辨率特征编码系数Bh和映射矩阵M;

(8)输入低分辨率测试图像 并根据低分辨率测试图像 低分辨率字典Φl、映射矩阵M和高分辨率字典Φh,获得高分辨率特征YR;

(9)根据高分辨率特征YR和低分辨率测试图像 重构输出高分辨率图像

2.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(1)中的步骤如下:(1a)收集多幅彩色高分辨率的自然图像作为图像训练集;

(1b)将图像训练集从红、绿、蓝三色度的RGB颜色空间转换到亮度、蓝色、红色的YCbCr颜色空间;

(1c)从亮度、蓝色、红色的YCbCr颜色空间的图像集中取出亮度图像集作为高分辨率图像训练集 其中 表示第p幅高分辨率图像,Ns表示高分辨率图像的数量;

(1d)将高分辨率图像训练集 先进行3倍下采样,再通过双立方插值方法进行3倍上采样,获得低分辨图像训练集 其中 表示第p幅低分辨率图像,Ns表示低分辨率图像的数量。

3.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(3)中根据高分辨率图像训练集 构建高分辨率特征训练集YS,按如下步骤进行:(3a)将高分辨率图像训练集 与对应的低分辨率图像训练集 相减获得残差图像集其中ep表示第p幅残差图像,Ns表示残差图像的数量;

(3b)以单位矩阵作为算子模板,与残差图像集ES进行卷积运算,获得高分辨率特征训练集 表示第i项的高分辨率特征,Nsn表示高分辨特征的数量。

4.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(4)中根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl,是通过K-SVD方法求解如下优化式:其中,λl表示L1范数优化的正则项系数,||·||F表示F范数,||·||1表示1范数。

5.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(5)中根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0,其计算公式如下:其中,Bl表示低分辨率特征编码系数,YS表示高分辨率特征训练集,T表示矩阵转置运算,(·)-1表示矩阵求逆运算。

6.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(6)中建立稀疏域选取的优化目标公式,按如下步骤进行:(6a)对高分辨率特征的稀疏表示与稀疏域的映射关系建立初始优化目标式:其中,YS是高分辨率特征训练集,Φh是高分辨率字典,Bh是高分辨率特征编码系数,Bl是低分辨率特征编码系数,M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵,ED是高分辨率特征的稀疏表示误差项,EM是稀疏域映射误差项,α是映射误差项系数,取值0.1;

(6b)将高分辨率特征的稀疏表示误差项ED进一步表示为:

其中,β是L1范数优化正则项系数,取值为0.01,||·||1表示1范数,||·||F表示F范数;

(6c)将稀疏域映射误差项EM进一步表示为:

其中,γ是映射矩阵正则项系数,取值为0.01;

(6d)将步骤(6b)中的高分辨率特征的稀疏表示误差项ED与步骤(6c)中的稀疏域映射误差项EM代入步骤(6a)中的初始优化目标式,得到稀疏域选取的优化目标公式:其中, 表示高分辨率字典Φh的第i项原子, 表示对任意i项字典原子操作。

7.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(8)的实现步骤如下:(8a)输入低分辨率彩色测试图像,将低分辨率彩色测试图像用双立方插值方法上采样

3倍,得到低分辨率彩色插值图像;

(8b)将低分辨率彩色插值图像从红、绿、蓝三色度的RGB颜色空间转化到亮度、蓝色、红色的YCbCr颜色空间,分别得到低分辨率亮度测试图像 蓝色色度测试图像 和红色色度测试图像(8c)将低分辨率亮度测试图像 分别与步骤(2a)中的水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板做卷积运算,得到原始低分辨率测试特征ZR;

(8d)将原始低分辨率测试特征ZR与步骤(2c)中的投影矩阵Vpca做投影运算,得到低分辨率测试特征XR;

(8e)将低分辨率特征XR在步骤(5)中的低分辨率字典Φl上用正交匹配追踪方法进行编码,得到低分辨率测试特征编码系数B′l;

(8f)将低分辨率测试特征编码系数B′l与步骤(7e)中的映射矩阵M做投影运算,得到高分辨率测试特征编码系数B′h;

(8g)将步骤(7e)中的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算,得到高分辨率测试特征YR。

8.根据权利要求1所述的基于稀疏域选取的单帧图像超分辨重建方法,其特征在于:所述步骤(9)中的步骤如下:(9a)将高分辨率测试特征YR与单位矩阵做反卷积操作,得到残差目标图像eR;

(9b)将残差目标图像eR与低分辨率亮度测试图像 做相加运算,得到高分辨率亮度测试图像(9c)将高分辨率亮度测试图像 蓝色色度测试图像 和红色色度测试图像 合成YCbCr颜色空间的高分辨率彩色测试图像(9d)将高分辨率彩色测试图像 转化到红、绿、蓝三色RGB颜色空间,输出高分辨率测试图像

说明书 :

基于稀疏域选取的单帧图像超分辨重建方法

技术领域

[0001] 本发明属于图像处理技术领域,具体涉及一种单帧图像的超分辨重建方法,可应用于医学成像、高清影视成像、遥感监测、交通及安全监控等领域。

背景技术

[0002] 图像作为人类记载客观世界信息的载体,在人类生产生活中发挥着重要作用。然而受成像系统设备状况、成像环境和有限网络数据传输带宽等条件的限制,成像过程往往存在运动模糊、下采样和噪声污染等退化过程,使得实际得到的图像分辨率底、细节纹理丢失、视觉质量差。为此,图像的超分辨重建技术作为提高图像分辨率、恢复图像纹理细节、提高图像视觉效果的有效手段具有重要的理论和应用价值。
[0003] 目前,图像超分辨重建技术可以分为三类:基于插值、基于重建和基于实例学习的方法。
[0004] 基于插值的方法,是图像超分辨重建技术中最为基础的技术,该方法利用确定的插值核函数或者自适应的插值核函数估计图像网格上的未知像素值,常见的方法有最近邻插值、双立方插值和自适应核插值等。此类方法简单高效并且计算复杂度低,但是较难以选择合适的插值函数获得高质量的重建图像。
[0005] 基于重建的方法,假设观测到的低分辨率图像是原始图像经过退化模型得到的结果,通常结合图像的平滑边缘、冗余自相似等先验知识来构造正则项,从而使得原始的病态逆问题具有可行解。典型的基于重建的算法包括最大后验概率方法和迭代反投影法等。该类方法虽然可以重建出高频纹理和抑制虚假轮廓,但是在图像放大倍数较高时,重建结果并不理想。
[0006] 基于实例学习的方法首先在学习阶段通过学习低分辨率图像和高分辨率图像的映射关系,然后在重建阶段将学好的映射关系应用于低分辨率输入图像来重建高分辨率输出图像。Chang等人在“H.Chang,D.Y.Yeung and Y.Xiong,"Super-resolution through neighbor embedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,2004,pp.275-282.”一文中假设对应的高低分辨率图像块在各自 特征空间形成相似的局部流形,将低分辨率特征上计算的局部权值应用到高分辨率特征,进行超分辨重建。该类方法需要在大规模的训练数据集中寻找相似模式,计算效率较低;Yang等人在“J.Yang,J.Wright,T.Huang,and Y.Ma,"Image super-resolution via sparse representation,"IEEE Trans.Image Process.,vol.19,no.11,pp.2861-2873,Nov.2010.”一文中将稀疏表示理论应用于图像超分辨重建,通过联合训练过完备的低分辨率和高分辨率字典对低分辨率和高分辨率图像空间进行建模。假设对应的低分辨率和高分辨率图像块在低分辨率和高分辨率的字典上具有相同的重建系数,将输入的测试图像在低分辨率字典上进行编码后,应用该编码系数在高分辨率字典上进行重建,该方法可以获得丰富的纹理和边缘细节,在图像的重建质量上取得了里程碑式的进展;Zeyde等人在“R.Zeyde,M.Elad,and M.Protter,“On single image scale-up using sparse-representations,”in Proc.Int.Conf.Curves and Surfaces,2010,pp.711-730.”一文中改进了Yang等人基于联合字典学习的框架,并提升了算法执行速度。目前该类基于稀疏编码和字典学习的方法框架在训练阶段首先假设高分辨率和低分辨率图像块之间具有相同的重建系数,然后联合训练高分辨率和低分辨率的字典。但是考虑到在重建阶段仅可以获得低分辨率图像的信息,通过联合训练得到的字典对并不能确保重建的低分辨率和高分辨率图像块之间的映射关系,所以该假设一定程度上限制住了此类方法对复杂图像块映射关系建模的灵活性和准确性,表现在重建的图像边缘细节具有一定的振铃效应和人工痕迹。

发明内容

[0007] 本发明的目的在于针对目前基于稀疏编码和字典学习图像超分辨重建技术中的不足,提出一种基于稀疏域选取的单帧图像超分辨重建方法,以更灵活准确地在低分辨率图像特征与高分辨率图像特征之间建立稀疏域映射关系,从而提高图像重建质量,恢复更多的细节纹理信息。
[0008] 为解决上述技术问题,本发明采用的技术方案包括以下步骤:
[0009] (1)根据图像训练集分别构建低分辨率图像训练集 和高分辨率图像训练集[0010] (2)根据低分辨率图像训练集 构建低分辨率特征训练集XS;
[0011] (3)根据高分辨率图像训练集 构建高分辨率特征训练集YS;
[0012] (4)根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl;
[0013] (5)根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0;
[0014] (6)建立稀疏域选取的优化目标公式:
[0015]
[0016] 其中,α是稀疏域映射误差项系数,取值为0.1;β是L1范数优化正则项系数,取值为0.01;γ是映射矩阵正则项系数,取值为0.01;Φh是待求的高分辨率字典,Bh是待求的高分辨率特征编码系数,M是待求的低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵, 表示高分辨率字典Φh的第i项原子,||·||1表示1范数,||·||2表示2范数,||·||F表示F范数, 表示对任意i项字典原子操作;
[0017] (7)根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0,交替迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M;
[0018] (8)输入低分辨率测试图像 并根据低分辨率测试图像 低分辨率字典Φl、映射矩阵M和高分辨率字典Φh,获得高分辨率特征YR;
[0019] (9)根据高分辨率特征YR和低分辨率测试图像 重构输出高分辨率图像[0020] 本发明与现有技术相比,具有以下优点:
[0021] 1)对低分辨率字典的训练更加准确
[0022] 本发明通过对低分辨率字典的训练与高分辨率字典的训练去耦合,保证了低分辨率字典训练的准确性。
[0023] 2)对具有复杂纹理和锐利边缘的图像具有更好的重建质量
[0024] 本发明通过对高分辨率特征的稀疏表示误差和稀疏域映射误差建立优化目标式,不仅能够保证高分辨率字典的训练质量,而且更准确地描述稀疏域的映射关系,从而在对具有复杂纹理和锐利边缘的图像进行超分辨重建时,具有较更高的重建质量。

附图说明

[0025] 图1是本发明的总体流程图;
[0026] 图2是本发明在仿真实验中使用的2幅高分辨率图像;
[0027] 图3是使用本发明和现有的四种经典方法对蝴蝶图像进行超分辨重建得到的结果图像;
[0028] 图4是使用本发明和现有的四种经典方法对帽子图像进行超分辨重建得到的结果图像。

具体实施方式

[0029] 下面结合具体实例对本发明的技术方案作详细说明。
[0030] 参照图1,本发明的具体实施步骤如下:
[0031] 步骤1.根据图像训练集分别构建低分辨率图像训练集 和高分辨率图像训练集[0032] (1a)收集多幅彩色高分辨率的自然图像作为图像训练集;
[0033] (1b)使用实验软件MATLAB中的rgb2ycbcr函数将图像训练集从红、绿、蓝RGB颜色空间转换到亮度、蓝色色度、红色色度的YCbCr颜色空间;
[0034] (1c)从亮度、蓝色、红色的YCbCr颜色空间的图像集中取出亮度图像集作为高分辨率图像训练集 其中 表示第p幅高分辨率图像,Ns表示高分辨率图像的数量;
[0035] (1d)将高分辨率图像训练集 先进行3倍下采样,再通过双立方插值方 法进行3倍上采样,获得低分辨图像训练集 其中 表示第p幅低分辨率图像,Ns表示低分辨率图像的数量。
[0036] 步骤2.根据低分辨率图像训练集 构建低分辨率特征训练集XS。
[0037] 构建低分辨率特征训练集的典型方法有以下三种:一是以低分辨率图像的像素值作为低分辨率特征训练集;二是对图像分块,将图像块与水平、竖直方向的一阶梯度算子模板做卷积运算,卷积结果作为低分辨率特征训练集;三是对图像分块,将图像块与水平、竖直方向的一阶、二阶梯度算子模板做卷积运算,卷积结果作为低分辨率特征训练集。本实例选用第三种构建方法,其实现步骤如下:
[0038] (2a)定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为:
[0039] GX=[1,0,-1],GY=[1,0,-1]T,
[0040]
[0041] 其中T表示矩阵的转置运算;
[0042] (2b)将低分辨率图像训练集 分别与水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板进行卷积运算,获得原始低分辨率特征训练集 表示第i项原始低分辨率特征,Nsn表示原始低分辨率特征的数量;
[0043] (2c)将原始低分辨率特征训练集ZS使用主成分分析方法PCA进行维度约减后,获得投影矩阵Vpca和低分辨率特征训练集 表示第i项的低分辨率特征,Nsn表示低分辨率特征的数量。
[0044] 步骤3.根据高分辨率图像训练集 构建高分辨率特征训练集YS。
[0045] 构建高分辨率特征训练集的典型方法有以下两种:一是以高分辨率图像的像素值作为高分辨率特征训练集;二是以高分辨率图像和低分辨率图像的残差值作 为高分辨率特征训练集。本实例采用第二种构建方法,其实现步骤如下:
[0046] (3a)将高分辨率图像训练集 与对应的低分辨率图像训练集 相减获得残差图像集 其中ep表示第p幅残差图像,Ns表示残差图像的数量;
[0047] (3b)以单位矩阵作为算子模板,与残差图像集ES进行卷积运算,获得高分辨率特征训练集 表示第i项的高分辨率特征,Nsn表示高分辨特征的数量。
[0048] 步骤4.根据低分辨率特征训练集XS求解出低分辨率字典Φl和低分辨率特征编码系数Bl,即通过实验软件MATLAB的K-SVD工具箱的ksvd函数求解如下优化式:
[0049]
[0050] 其中,λl表示L1范数优化的正则项系数,取值0.05,||·||F表示F范数,||·||1表示1范数。
[0051] 步骤5.根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的迭代初始值Φh0,其计算公式如下:
[0052]
[0053] 其中,Bl表示低分辨率特征编码系数,YS表示高分辨率特征训练集,T表示矩阵转置运算,(·)-1表示矩阵求逆运算。
[0054] 步骤6.建立稀疏域选取的优化目标公式。
[0055] (6a)对高分辨率特征的稀疏表示与稀疏域的映射关系建立初始优化目标式:
[0056]
[0057] 其中,YS是高分辨率特征训练集,Φh是高分辨率字典,Bh是高分辨率特征编码系数,Bl是低分辨率特征编码系数,M是低分辨率特征编码系数到高分 辨率特征系数的映射矩阵,ED是高分辨率特征的稀疏表示误差项,EM是稀疏域映射误差项,α是映射误差项系数,取值为0.1;
[0058] (6b)将高分辨率特征的稀疏表示误差项ED进一步表示为:
[0059]
[0060] 其中,β是L1范数优化正则项系数,取值为0.01,||·||1表示1范数,||·||F表示F范数;
[0061] (6c)将稀疏域映射误差项EM进一步表示为:
[0062]
[0063] 其中,γ是映射矩阵正则项系数,取值0.01;
[0064] (6d)将步骤(6b)中的高分辨率特征的稀疏表示误差项ED与步骤(6c)中的稀疏域映射误差项EM代入步骤(6a)中的初始优化目标式,得到稀疏域选取的优化目标公式:
[0065]
[0066] 其中, 表示高分辨率字典Φh的第i项原子, 表示对任意i项字典原子操作。
[0067] 步骤7.根据稀疏域选取的优化目标公式和高分辨率字典的初始值Φh0,迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M。
[0068] (7a)以步骤5中的Φh0作为高分辨率字典的迭代初始值,将高分辨率特征编码系数的迭代初始值设为Bh0=Bl,将映射矩阵的迭代初始值设为M0=E,其中E表示单位矩阵,YS是高分辨率特征训练集,Bl是低分辨率特征编码系数,T表示矩阵转置运算,(·)-1表示矩阵求逆运算;
[0069] (7b)固定高分辨率特征编码系数Bh和映射矩阵M,使其保持不变,使用 二次约束二次规划方法求解高分辨率字典Φh:
[0070]
[0071] 其中 表示高分辨率字典Φh的第i项原子,||·||2表示2范数,||·||F表示F范数, 表示对任意i项字典原子操作;
[0072] (7c)固定映射矩阵M和高分辨率字典Φh,使其保持不变,使用实验软件MATLAB的稀疏编码SPAMS工具箱的mexLasso函数,通过如下稀疏编码优化式,求解高分辨率特征编码系数Bh:
[0073]
[0074] 其中, 表示高分辨率特征的增广矩阵, YS表示高分辨率特征训练集, 表示高分辨率字典的增广矩阵, α是稀疏域映射误差项系数,取值为0.1,β是L1范数优化正则项系数,取值为0.01,M是映射矩阵,E是与M同阶的单位矩阵,||·||1表示1范数,||·||F表示F范数;
[0075] (7d)固定高分辨率字典Φh和高分辨率特征编码系数Bh,使其保持不变,使用岭回(t)归优化方法求解第t次迭代的映射矩阵M :
[0076]
[0077] 其中,μ表示迭代的步长,取值为0.05,α是稀疏域映射误差项系数,取值为0.1,γ是映射矩阵正则项系数,取值为0.01,T表示矩阵转置运算,(·)-1表示矩阵求逆运算;
[0078] (7e)重复步骤(7b)-(7d),直到相邻两次稀疏域选取的优化目标值的变化量小于阈值0.01时,停止迭代,得到最终的高分辨率字典Φh、高分辨率特征编码系数Bh和映射矩阵M。
[0079] 步骤8.输入低分辨率测试图像 并根据低分辨率测试图像 低分辨率字典Φl、映射矩阵M和高分辨率字典Φh,获得高分辨率特征YR。
[0080] (8a)输入低分辨率彩色测试图像,将低分辨率彩色测试图像用双立方插值方法上采样3倍,得到低分辨率彩色插值图像;
[0081] (8b)使用实验软件MATLAB的rgb2ycbcr函数将低分辨率彩色插值图像从红、绿、蓝三色度的RGB颜色空间转化到亮度、蓝色、红色的YCbCr颜色空间,分别得到低分辨率亮度测试图像 蓝色色度测试图像 和红色色度测试图像
[0082] (8c)将低分辨率亮度测试图像 分别与步骤(2a)中的水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板做卷积运算,得到原始低分辨率测试特征ZR;
[0083] (8d)将原始低分辨率测试特征ZR与步骤(2c)中的投影矩阵Vpca做投影运算,得到低分辨率测试特征XR;
[0084] (8e)将低分辨率特征XR在步骤4中的低分辨率字典Φl上用实验软件MATLAB的OMP工具箱的omp函数进行编码,得到低分辨率测试特征编码系数B′l;
[0085] (8f)将低分辨率测试特征编码系数B′l与步骤(7e)中的映射矩阵M做投影运算,得到高分辨率测试特征编码系数B′h;
[0086] (8g)将步骤(7e)中的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算,得到高分辨率测试特征YR。
[0087] 步骤9.根据高分辨率特征YR和低分辨率测试图像 重构输出高分辨率图像[0088] (9a)用实验软件MATLAB的deconv函数将高分辨率测试特征YR与单位矩 阵做反卷积运算,得到残差目标图像eR;
[0089] (9b)将残差目标图像eR与低分辨率亮度测试图像 做相加运算,得到高分辨率亮度测试图像
[0090] (9c)将高分辨率亮度测试图像 蓝色色度测试图像 和红色色度测试图像合成YCbCr颜色空间的高分辨率彩色测试图像
[0091] (9d)用实验软件MATLAB的ycbcr2rgb函数将高分辨率彩色测试图像  转化到红、绿、蓝三色RGB颜色空间,输出高分辨率测试图像
[0092] 本发明的优点通过以下仿真实验进一步说明:
[0093] 1.仿真条件:
[0094] CPU:Intel(R)Core(TM)i7-4770,主频:3.4GHZ,内存:8G,操作系统:WIN7,仿真平台:MATLAB2014b。
[0095] 仿真图像选择图2所示的2幅原始高分辨测试图像,其中,图2中(a)为蝴蝶图像,图2中(b)为帽子图像。
[0096] 仿真采用的方法为:本发明方法与现有的四种方法,分别是Bicubic方法、ANR方法、ScSR方法和Zeyde方法。
[0097] 其中Bicubic方法是双立方插值方法;ANR方法指文献“R.Timofte,V.De,and L.Van Gool,“Anchored neighborhood regression for fast example-based super-resolution,”in Proc.IEEE Int.Conf.Comput.Vis.,Dec.2013,pp.1920–1927.”提出的方法;ScSR方法指文献“Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,Nov.2010.”提出的方法;Zeyde方法指文献“R.Zeyde,M.Elad,and M.Protter,“On single  image scale-up  using sparse-representations,”in  Proc.7th Int.Conf.Curves Surf.,2010,pp.711–730.”提出的方法。
[0098] 2.实验内容及结果分析:
[0099] 实验一:用本发明和上述四种现有的方法对具有复杂纹理的蝴蝶图像进行重建,结果如图3所示,其中图3中(a)是用现有的Bicubic方法超分辨重建的结果;图3中(b)是用现有的ANR方法超分辨重建的结果;图3中(c)是用现有的ScSR 方法超分辨重建的结果;图3中(d)是用现有的Zeyde方法超分辨重建的结果;图3中(e)是本发明超分辨重建的结果;图3中(f)是蝴蝶原始高分辨图像。每幅图像有两个局部放大的矩形区域以便于观察重建的效果差别。
[0100] 从图3可见,即将图3中(a)、图3中(b)、图3中(c)、图3中(d)、图3中(e)与图3中(f)进行对比,明显可看出本发明结果中局部细节丰富,纹理清晰,且在边缘和平滑区域有效地减少人工痕迹,减弱了振铃效应,具有非常自然的视觉效果。相比较而言,Bicubic的重建结果纹理模糊,且存在振铃效应;ANR方法可以重建出相对清晰的纹理,但在平滑区域却具有非常明显的人工痕迹;ScSR方法的重建图像的纹理细节具有一定的振铃效应和锯齿痕迹;Zeyde的方法的重建结果在平滑区域一定程度上抑制了振铃效应,却在纹理细节处产生了一定的模糊。
[0101] 将本发明和现有的四种方法对蝴蝶图像进行重建,得到的峰值信噪比PSNR和结构相似度SSIM,如表1所示:
[0102] 表1.蝴蝶图像重建结果的PSNR和SSIM对比表格
[0103]蝴蝶图像 Bicubic ANR ScSR Zeyde 本发明
PSNR 24.083 25.901 25.718 26.056 26.369
SSIM 0.823 0.871 0.863 0.879 0.887
[0104] 从表1可见,在客观评价方面,本发明的方法均高于其它四种方法。
[0105] 实验二:用本发明和上述四种现有的方法对具有锐利边缘的帽子图像进行重建,结果如图4所示,其中图4中(a)是用现有的Bicubic方法超分辨重建的结果;图4中(b)是用现有的ANR方法超分辨重建的结果;图4中(c)是用现有的ScSR方法超分辨重建的结果;图4中(d)是用现有的Zeyde方法超分辨重建的结果;图4中(e)是本发明超分辨重建的结果;图4中(f)是帽子原始高分辨率图像。每幅图像有一个局部放大的矩形区域以便于观察重建的效果差别。
[0106] 从图4可见,即将图4中(a)、图4中(b)、图4中(c)、图4中(d)、图4中(e)与图4中(f)进行对比,明显可看出,本发明的结果中帽子边缘具有清晰明确的轮廓,且在锐利边缘处很好地抑制了锯齿效应。相比较而言,Bicubic方法的重建结果边缘模糊,视觉效果较差;ANR方法的重建结果的边缘相对清晰,却存在一条明显的虚假轮廓;ScSR方法的重建结果在边缘存在锯齿现象;Zeyde方法 的重建结果在边缘处较为模糊,视觉效果有待提高。
[0107] 本发明和四种对比方法对帽子图像进行重建,得到的峰值信噪比PSNR和结构相似度SSIM,如表2所示:
[0108] 表2.帽子图像重建结果的PSNR和SSIM对比表格
[0109]帽子图像 Bicubic ANR ScSR Zeyde 本发明
PSNR 29.395 30.605 30.614 30.755 31.005
SSIM 0.846 0.873 0.864 0.875 0.879
[0110] 从表2可见,在客观评价方面,本发明的方法均高于其它四种方法。