本发明公开了一种图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，包括：对图像进行上采样处理；对上采样图像进行重叠分块；为每个图像块搜索非局部相似块；将图像块和非局部相似块索引值作为数据流，建立数据池；并行方式对数据池中的数据流进行稀疏域残差补偿修正迭代处理；当迭代终止时，更新数据池，将图像块整合为一幅高分辨图像。本发明利用图像块间的非局部相似性及块内信号的稀疏性，较好克服了图像上采样过程的边缘锯齿效应、噪声细节丢失等，能够大幅度提高图像的边缘清晰度。
1.一种图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于对图像进行上采样处理，对上采样图像进行重叠分块，为每个图像块搜索非局部相似块，将图像块和非局部相似块索引值作为数据流，建立数据池，并行方式对数据池中的数据流进行稀疏域残差补偿修正迭代处理，当迭代终止时，更新数据池，将图像块整合为一幅高分辨图像，取出数据池中所有的图像块{xi}i＝1,2....(M-W)×(N-W)，将最终更新的图像块整合为一幅高分辨图像，M表示图像像素点的行数，N表示图像像素点的列数，W为图像块的边长大小。
2.根据权利要求1所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于对于图像上采样处理过程为，对一幅(M/S1)×(N/S2)大小的图像y进行上采样处理获得M×N的初始高分辨图像x；其中M表示图像像素点的行数、N表示图像像素点的列数；S1和S2表示图像行方向和列方向的上采样率，S1≥2，S2≥2。
3.根据权利要求1所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于图像重叠分块过程为，对图像x按照逐行扫描对图像的每一个像素，以此像素为分块的左上角的第1个像素，抽取一个大小为W×W的块，W的取值范围为区间[6，20]中的整数，合计抽取(M-W+1)×(N-W+1)个大小为W×W的块；
同样对原始图像y按照同样的方式抽取(M-W+1)×(N-W+1)个大小为 的块；
xi＝Rix，yi＝Riy，i＝1,2,.....(M-W+1)×(N-W+1)，其中：Ri(·)表示第i块的抽取算子。
4.根据权利要求1所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于非局部相似块搜索过程为，对每一个分块xi，在图像块集合{xi}i＝
1,2....(M-W+1)×(N-W+1)中搜索与xi最相似的T个块，记为xi,j，其中T的取值范围为区间[10，20]中的整数；建立与xi的相似块xi,j的索引表Ci，索引表Ci中存储相似块的索引值；图像块间的相似度通过图像块与图像块之间的欧式距离 度量，距离越小相似度越大；
5.根据权利要求1所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于数据池建立过程为，将初始上采样图像的所有分块{xi}i＝1,2....(M-W)×(N-W)以及对应原始图像的分块{yi}i＝1,2....(M-W)×(N-W)，各分块的相似块索引表Ci看作数据流{xi,yi,Ci}i＝1,2....(M-W)×(N-W)，形成大小为(M-W+1)×(N-W+1)个数据流的数据池。
6.根据权利要求1所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于分块并行稀疏域残差补偿修正过程为，将CPU分为(M-W+1)×(N-W+1)个计算线程，并行的对数据池中的(M-W+1)×(N-W+1)个数据流进行处理。
7.根据权利要求6所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于分块并行稀疏域残差补偿修正过程中，对第i个数据流的处理如下，其中
步骤1迭代初始设置：从数据池中取出第i个数据流，将第i个图像块xi进行稀疏表示，得到的稀疏表示系数矩阵记为αi＝DTxi；对低分辨率图像块yi计算稀疏表示系数矩阵αyi＝DTyi，其中DT(·)表示稀疏表示变换,D(·)表示稀疏表示反变换；
并设 为第k步迭代的稀疏表示系数矩阵，k≥1，第k步迭代的第i个图像块为 第k步迭代第i个图像块的稀疏域非局部均值信息 然后初始化数据：迭代系统参数0＜γ＜1/η，η≥80，尺度参数1＜h＜3，
步骤2稀疏域残差收缩：将第k次迭代的第i个图像块 进行下采样得到 对下采样块进行稀疏表示得到系数矩阵 其中S(·)表示下采样运算；进一步与初始图像块yi的稀疏表示系数矩阵αyi作差，然后进行阈值收缩得到步骤3稀疏域非局部均值信息修正：利用与第i个图像块 的非局部相似块信息进行加权计算得到第k次迭代第i个图像块非局部均值信息 然后将非局部均值信息对稀疏表示系数矩阵 进行进一步修正得到 其中稀疏域非局部均值信息修正的计算关系为：步骤4残差补偿：将非局部均值信息修正的稀疏表示系数进行重构更新第i个图像块得到 同时将第k次阈值收缩的稀疏表示系数残差矩阵 经过稀疏重构得到图像块残差 与第i个初始图像块yi作差；将差值图像 进行上采样处理得到与T
分辨率相同的差值图像 其中S(·)表示上采样处理；然后进行线性插值得到残差补偿后的图像块
步骤5采用2范数的平方 计算第k+1次迭代后第i个图像块 和第k次迭代后图像块 的误差，如果相邻两次迭代误差满足 则进行参数自适应校正，自适应调整系统参数，转至步骤1，k＝k+1；
步骤6更新数据池：如果相邻两次迭代误差满足 迭代算法结束，
8.根据权利要求7所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于步骤2中稀疏域残差收缩的计算关系为：T
其中：S(·)表示下采样处理，D(·)表示稀疏表示变换。
9.根据权利要求7所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于步骤4中残差补偿的计算关系为:T
其中：S(·)表示上采样处理，D(·)表示稀疏表示反变换。
10.根据权利要求7所述的图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，其特征在于步骤5中的参数调整方法如下：
其中：0＜ε≤1， σ 为图像中的噪声方差，var(·)表
2)非局部均值信息更新，对第i个图像块，在数据池中根据 的相似块索引表Ci，找到所有的相似块 根据 与 的图像内容计算非局部块的相似度权重 利用与第i个图像块的非局部相似块信息进行加权计算得到第k次迭代的第i块图像的非局部均值信息
图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法
技术领域
[0001] 本发明属于图像处理与显示技术领域，特别是一种图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法。
背景技术
[0002] 在图像处理和图像显示领域，经常需要在不同分辨率显示设备上显示图像，或者需要通过图像放大显示图像的局部细节，因此图像上采样是一种常用的技术。又例如在图像压缩和编码领域，为了减少图像的传输码率，一种有效做法是对图像先经下采样降低图像分辨率，后使用传统的视频编码技术压缩，而在解码端对解码图像进行上采样操作恢复到原始分辨率图像。这种方法可以大大减少传输码率，但必须精心设计下采样滤波器和上采样重建滤波器以最大限度地提高压缩质量。
[0003] 针对特定的应用，目前一般的图像上采样方法是基于图像内插和线性滤波的方法，这些方法已经集中在商业软件Photoshop，ENVI等，常用方法包括：最近邻域方法（Nearest Neighbor），双线性插值（Bilinear），双三次插值（Bicubic）等。这些方法速度较快，但是存在如下不足：1）在图像进行大比例放大时容易导致图像在边缘附近的锯齿现象；
2）当图像存在噪声时，容易放大噪声。如何提高图像上采样过程中图像的边缘清晰度，减少锯齿效应和噪声，是图像上采样方法需要解决的重要问题。
[0004] 中国授权发明专利[200680008665.0]“用于图像上采样的方法和系统”，发明了使用直接内插进行图像上采样的系统和方法，该发明的一些实施例提供了一种被
设计用于h.264/MPEG-4 AVC的可缩放视频编码扩展的上采样过程。中国发明专利
[201010531029.4]“一种用于三维立体电视的深度视频压缩的上采样方法”利用了深
度视频和彩色视频之间的关系，让恢复的深度视频具有更清晰的物体边缘和更好的局
部平滑特性，从而能够得到更好的三维立体视觉效果。这些方法都是特殊应用的上采
样方法，对于大尺度上采样情形容易导致图像的边缘锯齿现象严重，同时容易放大噪
声。目前，基于稀疏表示的(Sparse Representation)的图像超分辨技术为上采样边缘
清晰度提升提供新的思路，文献[Jianchao Yang，John Wright，Thomas Huang，and Yi Ma.Image Super-resolution via Sparse Representation.IEEE Transactions on Image Processing， 2010，19(11):2861-2873]在基于字典学习构造稀疏表示下的图像超分辨算法，提供了上采样边缘清晰度改善方法，但是需要同时学习高分辨和低分辨的两个字典。
发明内容
[0005] 本发明的目的在于提供一种图像上采样边缘清晰度提升的稀疏域残差补偿修正方法，充分利用图像内部块的非局部相似性及其块内信号的稀疏性，较好地解决了图像上采样过程的边缘锯齿效应和噪声抑制、同时可克服图像上采样中物体对象边缘模糊和细节丢失等，能够大幅度提高图像的边缘清晰度。
[0006] 本发明解决其技术问题所采用的技术方案为：一种图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，对图像进行上采样处理，对上采样图像进行重叠分块，为每个图像块搜索非局部相似块，将图像块和非局部相似块索引值作为数据流，建立数据池，并行方式对数据池中的数据流进行稀疏域残差补偿修正迭代处理，当迭代终止时，更新数据池，将图像块整合为一幅高分辨图像，取出数据池中所有的图像块{xi}i＝1,2....(M-W)×(N-W)，将最终更新的图像块整合为一幅高分辨图像。
[0007] 本发明与现有技术相比，其显著优点：充分利用图像内部块的非局部相似性及其图像块内的稀疏性，较好地解决了图像上采样过程的边缘锯齿效应和噪声抑制、同时可克服图像上采样中物体对象边缘模糊和细节丢失等，能够大幅度提高图像的边缘清晰度。本发明在基于高分辨图像显示的娱乐、虚拟现实、3D重建、3D监控、博览展示、医疗、教育等场合都有广泛的应用前景，同时也为超分辨重建提供了新的思路。
[0008] 下面结合附图对本发明作进一步详细描述。
附图说明
[0009] 图1是本发明整体结构图。
[0010] 图2是本发明在中第i个数据流的残差补偿修正迭代修正处理流程。
[0011] 图3是本发明在1.5并行式稀疏域残差补偿修正单元中步骤2的数据流程。
[0012] 图4是本发明在1.5并行式稀疏域残差补偿修正单元中步骤3的数据流程。
[0013] 图5是本发明在1.5并行式稀疏域残差补偿修正单元中步骤4的数据流程。
[0014] 图6是本发明与各种对比算法对遥感图像处理结果。
[0015] 图7是本发明与Bicubic算法对一幅”蝴蝶”图像上采样结果：(a)下采样图像，(b)Bicubic上采样方法，(c)本发明方法。
[0016] 图8是本发明与Bicubic算法对一幅”植物”图像上采样结果：(a)下采样图像，(b)Bicubic上采样方法，(c)本发明方法。
[0017] 图9是本发明与Bicubic算法对一幅”鹦鹉”图像上采样结果：(a)下采样图像，(b)Bicubic上采样方法，(c)本发明方法。
具体实施方式
[0018] 结合图1，本发明图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法，对图像进行上采样处理，对上采样图像进行重叠分块，为每个图像块搜索非局部相似块，将图像块和非局部相似块索引值作为数据流，建立数据池，并行方式对数据池中的数据流进行稀疏域残差补偿修正迭代处理，当迭代终止时，更新数据池，将图像块整合为一幅高分辨图像，取出数据池中所有的图像块{xi}i＝1,2....(M-W)×(N-W)，将最终更新的图像块整合为一幅高分辨图像，具体实施过程包括如下步骤：
[0019] 1.1 对图像进行上采样处理
[0020] 对一幅(M/S1)×(N/S2)大小的图像y进行上采样处理获得M×N的初始高分辨图像x；其中M表示图像像素点的行数、N表示图像像素点的列数；S1和S2表示图像行方向和列方向的下采样率，S1≥2，S2≥2；
[0021] 1.2 图像重叠分块
[0022] 对图像x按照逐行扫描对图像的每一个像素，以此像素为分块的左上角的第1个像素，抽取一个大小为W×W的块，W取值范围为区间[6，20]中的整数，合计抽取
(M-W+1)×(N-W+1)个大小为W×W的块。
[0023] 同样对原始图像y按照同样的方式抽取(M-W+1)×(N-W+1)个大小为 的块。
[0024] 其抽取关系表示为：
[0025] xi＝Rix，yi＝Riy，i＝1,2,.....(M-W+1)×(N-W+1)
[0026] 其中：Ri(·)表示第i块的抽取算子。
[0027] 1.3 非局部相似块搜索
[0028] 对每一个分块xi，在图像块集合{xi}i＝1，2....(M-W+1)×(N-W+1)中搜索与xi最相似的T个块，其中T的取值范围为区间[10，20]中的整数，记为xi,j；建立与xi的相似块xi,j的索引表Ci，索引表Ci中存储相似块的索引值。图像块间的相似度通过图像块与图像块之间的欧式距离 度量，距离越小相似度越大。
[0029] 1.4 数据池建立
[0030] 将初始上采样图像的所有分块{xi}i＝1，2....(M-W)×(N-W)以及对应原始图像的分块{yi}i＝1，2....(M-W)×(N-W)，各分块的相似块索引表Ci看作数据流{xi，yi,Ci}i＝1，2....(M-W)×(N-W)，形成大小为(M-W+1)×(N-W+1)个数据流的数据池。
[0031] 1.5 分块并行稀疏域残差补偿修正
[0032] 将CPU分 为(M-W+1)×(N-W+1)个 计 算 线 程，并 行 的 对 数 据 池 中 的(M-W+1)×(N-W+1)个数据流进行处理。其中，对第i（1≤i≤(M-W+1)×(N-W+1)）个数据
流的处理过程如图2所示，具体包括如下步骤：
[0033] 步骤1：对每块进行稀疏表示，迭代初始设置：从数据池中取出第i个数据流。将T第i块图像xi进行稀疏表示，得到的稀疏表示系数矩阵，记为αi＝Dxi；对低分辨率图像T
块yi计算稀疏表示系数矩阵 其中D(·)表示稀疏表示变换。稀疏表示变换可
以采取经典离散余弦变换，小波变换，框架，也可以采取稀疏表示字典。
[0034] 并设 为第k步（k≥1）迭代的稀疏表示系数矩阵，第k步迭代的第i个图像块为 第k步迭代第i个图像块的稀疏域非局部均值信息 然后初始化数据：
迭代系统参数，η≥80，0＜γ＜1/η，尺度参数h＞0，迭代阈
值参数 当前迭代次数k=1；
[0035] 步骤2：稀疏域残差收缩：如图3所示，该步骤的详细过程为：将第k次迭代的第i个图像块 进行下采样得到 对下采样块进行变换得到稀疏表示系数矩阵 进一步与初始图像块的稀疏表示系数矩阵 作差，然后进行阈值收缩。其计算关系为：
[0036]
[0037] 其中：S(·)表示下采样处理，DT(·)表示稀疏表示变换。
[0038] 步骤3：稀疏域非局部均值信息修正：如图4所示，该步骤的详细过程为：利用与第i个图像块的非局部相似块信息进行加权计算得到第k次迭代第i个图像块的非局部均值信息 然后将非局部均值信息对稀疏表示系数矩阵 进行进一步修正得到，其计
算关系为：
[0039]
[0040] 步骤4：残差补偿：如图5所示，该步骤的详细过程为：将非局部均值信息修正的稀疏表示系数进行重构得到第i个图像块得到 同时将第k次阈值收缩稀疏表示系数的残差矩阵 经过反变换重构得到图像块残差 与第i个初始图像块yi作差；将
差值图像 进行上采样处理得到与 分辨率相同的差值图像 然后
进行线性插值得到残差补偿后的图像块 计算关系为：
[0041]
[0042] 其中：ST(·)表示上采样处理，D(·)表示稀疏表示反变换。
[0043] 步骤5：采用2范数的平方 计算第k+1次迭代后第i块图像块 和第k次迭 代后图像块 的误差，如果 利用进行参数自适应校正，自适应调
整系统参数，转至步骤1，k=k+1。参数调整方法如下：
[0044] 1)阈值 更新。首先计算 然后计算标准差 定义2
[0045] 其中：0＜ε≤1， σ 为图像的噪声方差，var(·)表示方差计算。
[0046] 2）非局部均值信息更新。对第i个图像块，在数据池中根据 的相似块索引表Ci，找到所有的相似块 根据 与 的图像内容计算非局部块的相似度权重
利用与第i块图像的非局部相似块信息进行加权计算得到第k次迭代第i个图像块的
非局部均值信息
[0047]
[0048]
[0049] 步骤6：更新数据池。如果相邻两次迭代误差满足 迭代算法结束，将修正的图像块 放入第i个数据流，更新数据池。
[0050] 1.6 将图像块整合为高分辨图像：取出数据池中所有的图像块{xi}i＝1，2....(M-W)×(N-W)，将最终更新的图像块整合为一幅高分辨的图像，其计算关系为：
[0051]
[0052] 下面结合图6、图7、图8和图9，通过若干图像上采样实施例及其效果评价来说明通过本发明方法的后的技术效果。
[0053] 在本次实施例中，如图6(a)所示，实验图像为一幅清晰的512×370的光学遥感图 像。如图6(b)为图6(a)的下采样图像（大小为256×185）。本发明方法中的块大小设置W＝6，相似块的个数设置为13，高斯核函数中的尺度参数h＝75，算法中η＝80，γ＝
001， 迭代终止误差设置为0.0001。稀疏表示变换D通过字典学习的k-聚类PCA
方法获得。
[0054] 实验中对比算法包括：MATLAB7.1中最近邻(Nearest)、双线性插值(Bilinear)，双三次插值(Bicubic)插值和Lanczos2算法。本方案实施例在MATLAB7.1平台模拟仿真实现，计算环境为ThinkPad T410笔记本电脑、Intel2.53GHz CPU，4G内存。为了验证本发明方法的有效性，用于定量评估算法的性能指标采取图像处理中图像质量评价的峰值信噪比（PSNR）和结构相似度(SSIM)来评价。一般而言峰值信噪比PSNR和SSIM越大越好，而
SSIM能刻画图像的结构清晰度。如图6(a)所示为一幅原始清晰图像，图6(b)为下采样率
为2的缩小图像（缩小4倍）。图6(c)至图6(f)分别为Nearest、Lanczos2算法、双线性插值(Bilinear)和双三次插值(Bicubic)插值的结果，图6(g)为本发明方法的处理结果。本发明方法复原图像很好的克服了“边缘的抖动和锯齿效应”，并且图像的细节在对比算法中最清晰，视觉质量最高。
[0055] 表1分别给出了不同算法和本发明方法的复原结果图像的各项性能指标。
[0056] 从图像质量客观评价指标来看，本发明方法复原图像质量的客观评价指数在各种算法中最高，特别是当上采样率增加时本发明方法提高程度更高。例如当采样倍率为8时(图像放大64倍)，本发明方法的PSNR比其它方法提高近3dB。从结构相似度指标来看，本文方法的指标值明显优于其它方法，表明本文方法边缘清晰度提升效果很好。
[0057] 本发明方法的显著特点和好处是可以很好的保持图像中边缘的清晰度。图7、图8和图9分别给出了3个大小为64×64和含噪声方差为5的图像(图7(a)——蝴蝶图像、
图8(a)——植物图像、图9(a)—鹦鹉图像)，应用Bicubic上采样方法的结果如图7(b)、图
8(b)、图9(b)所示,可见。而本发明方法的结果为图7(c)、图8(c)和图9(c)所示。从视
觉效果来看，Bicubic上采样方法在图像进行大比例放大时容易导致图像在边缘附近的锯齿现象同时容易放大噪声和边缘失真。而本发明方法可以得到边缘清晰度高的上采样结
果。
[0058] 表1 各种方法对图像‘pentagon'的PSNR（dB）和SSIM的比较结果
[0059]。
