一种解码图像增强方法专利检索-分支预测器电脑零配件专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种解码图像增强方法

阅读：80发布：2021-03-01

IPRDB可以提供一种解码图像增强方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种解码图像增强方法，主要解决当前解码增强图像算法没有充分考虑人眼对图像不同区域的视觉和传输需求，无法达到纹理主观质量和边缘信号保真的平衡问题。该方法根据纹理区域和边缘区域的不同特性，分别设计基于边缘区域的解码增强方法和基于纹理区域的解码增强方法得到基础保真层和纹理增强层，然后使用区域自适应融合技术将基础保真层和纹理增强层进行自适应融合，从而得到纹理主观质量和边缘信号保真的平衡，更好地对解码图像进行增强，提高用户的主观体验和信号的保真传输。，下面是一种解码图像增强方法专利的具体信息内容。

权利要求

1.一种解码图像增强方法，其特征在于，包括如下步骤：

收集具有不同内容特性的原始图像，对原始图像使用标准图像或视频编码器进行压缩得到解码后的图像，将解码后的图像和原始图像形成图像对从而建立训练集；

将所述训练集输入基础保真层卷积网络，得到基础保真层；

将所述训练集输入纹理增强层对抗网络，得到纹理增强层；

在所述基础保真层上计算每一个像素的局部区域的梯度直方图，根据所述梯度直方图得到区域自适应掩模；

通过所述区域自适应掩模将所述基础保真层和纹理增强层进行融合得到最终的重建图像。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

从所述原始图像提取边缘先验，将边缘先验与预测的边缘特征求最小均方误差得到边缘保真损失函数，利用边缘保真损失函数和信号保真损失函数对所述基础保真层卷积网络进行训练；

利用局部纹理匹配损失函数，与对抗损失函数、特征保真损失函数共同构造的纹理损失函数对纹理增强层对抗网络进行训练。

3.根据权利要求2所述方法，其特征在于，根据深度学习算法设计残差卷积模块构成基础保真层卷积网络，在基础保真层卷积网络的预测分支中分为两个子分支，一个是包括特征的预测分支，另外一个是对边缘的预测分支。

4.根据权利要求3所述方法，其特征在于，从原始图像中利用边缘提取算子Sobel提取出边缘特征作为边缘先验。

5.根据权利要求1所述方法，其特征在于，根据深度学习算法设计残差卷积模块构成生成器卷积网络和鉴别器卷积网络。

6.根据权利要求5所述方法，其特征在于，所述生成器卷积网络和鉴别器卷积网络之间使用所述对抗损失函数进行训练。

7.根据权利要求2所述方法，其特征在于，利用预训练的VGG-19卷积神经网络的深度卷积特征，将增强的图像和原始图像投射到第四层池化层，得到最小均方误差，作为所述特征保真损失函数。

8.根据权利要求2所述方法，其特征在于，利用预训练的VGG-19卷积神经网络的ReLu-

1,Relu-2和Relu-3的激活层的特征，求得对应特征的格拉姆矩阵；分别求得增强图像和原始图像的格拉姆矩阵的对应值；计算局部块大小等于预设数值的对应区域的格拉姆矩阵的最小均方误差值从而得到所述局部纹理匹配损失函数。

9.根据权利要求1所述方法，其特征在于，如果所述像素局部区域的梯度方向直方图分布个数超过设定的阈值，则认为该像素属于纹理区域，否则属于其他区域。

说明书全文

一种解码图像增强方法

技术领域

[0001] 本发明涉及图像处理技术领域，且特别涉及一种基于深度神经网络的图像解码增强系统，属于解码图像重建技术。

背景技术

[0002] 国际上普遍采用有损编码标准对图像和视频进行编码压缩和传输。具体来说，图像编码标准如JPEG、视频编码标准如HEVC均采用基于块的编码压缩框架：将每帧图像划分成独立的编码块，变换到变换域，通过对变换域系数采取量化的方式减少变换域系数，从而降低码流。这种量化编码的方式一方面决定了码流的大小，另外一方面也直接影响到了图像的重构质量。采用较大的量化步长，虽然会带来极低的码流，但是同时会引入严重的模糊，振荡以及块效应等，使解码图像的质量大大降低，严重影响到用户的视觉观感体验。

[0003] 为了减少量化噪声对解码图像的影响，研究人员提出了一系列后处理的解码图像增强技术。传统的解码图像利用滤波、稀疏字典学习、变换等方式来进行增强。随着深度神经网络技术的发展，卷积神经网络(convolutional neural network,CNN)在解码图像增强中取得了远远高于传统方法的效果。2015年，Dong等人利用卷积神经网络实现了JPEG解码图像增强利用四层的卷积层进行学习，得到了超越传统方法的最好水平的增强解码图像。Svoboda等人提出利用更深的卷积神经网络来进行训练，可以得到更好的增强效果。但是这类方法只使用像素级别的均方误差作为训练网络的损失函数，图像的每个像素被赋予同样的处理方式而并没有考虑局部的特性，因此这类方法在纹理等区域的恢复重建中比较平滑,导致纹理区域的主观质量不理想。

[0004] 近两年，深度对抗生成网络(generative adversarial network,GAN)在图像生成方面取得了非常大的突破。对抗生成网络由两个网络构成，一个网络是生成器(generator)，利用噪声来生成图像；另外一个网络是鉴别器(discriminator)，判断生成的图像和真实的图像的真和假。鉴别器的目标函数是尽可能判别出生成图像和真实图像的真假，生成器的目标函数是尽可能生成接近真实图像。利用对抗训练的方式，从而达到纳什平衡，当鉴别器也无法对真实图像和生成图像进行很好地判别，此时生成器可以生成出欺骗判别器的图像的非常逼真的图像。现有使用对抗生成网络的主要思路是利用生成器对解码图像进行增强，同时引入鉴别器来判断增强的解码图像和原始图像的真和假。通过对抗训练的方式来进行训练，利用鉴别器去指导生成器的增强，当鉴别器无法判断出解码图像和原始图像的真和假时，我们认为此时产生的增强图像对于人眼视觉来说足够真实，此时能产生比较丰富的纹理。有些工作也考虑加入边缘先验来引导对抗生成网络的生成。尽管如此，由于使用对抗生成网络重建出来的纹理不是像素级别的一致，因此得到的解码增强图像的客观质量非常低，特别是在边缘等结构性较强的区域。

[0005] 综上所示，现有的技术都没有充分考虑到人眼对图像不同区域(即边缘和纹理)的视觉特性，无法达到主观质量和客观质量的平衡。

发明内容

[0006] 本发明的目的是通过以下技术方案实现的。

[0007] 本发明的目的是为了对解码图像进行更符合人眼视觉特性从而达到主观质量和信号保真度平衡的重建方式，提出的一种基于混合深度神经网络的区域自适应重建系统，对边缘区域和纹理区域按照其不同的特性分别进行增强重建。本发明提出的系统，既能够对解码增强图像恢复出主观质量较好的纹理，又能达到比较好的重建图像的峰值信噪比和结构相似度，特别是对边缘区域的信号能够得到较好的保真。

[0008] 为达到上述目的，本发明的构思是：通过将边缘先验融入到卷积神经网络重建出信号保真度特别是边缘保真度较好的基础保真层，利用深度对抗生成神经网络得到有丰富纹理区域的纹理增强层，根据区域自适应掩模将纹理增强层的纹理转换到基础保真层，使重建的解码图像既能有丰富的纹理又能达到有较高信号保真度的边缘。

[0009] 根据上述构思，本发明采用如下技术方案：

[0010] 根据本发明的第一个方面，提供了一种解码图像增强方法，包括如下步骤：收集具有不同内容特性的原始图像，对原始图像使用标准图像或视频编码器进行压缩得到解码后的图像，将解码后的图像和原始图像形成图像对从而建立训练集；将所述训练集输入基础保真层卷积网络，得到基础保真层；将所述训练集输入纹理增强层对抗网络，得到纹理增强层；在所述基础保真层上计算每一个像素的局部区域的梯度直方图，根据所述梯度直方图得到区域自适应掩模；通过所述区域自适应掩模将所述基础保真层和纹理增强层进行融合得到最终的重建图像。

[0011] 优选的，所述方法进一步包括：从所述原始图像提取边缘先验，将边缘先验与预测的边缘特征求最小均方误差得到边缘保真损失函数，利用边缘保真损失函数和信号保真损失函数对所述基础保真层卷积网络进行训练；利用局部纹理匹配损失函数，与对抗损失函数、特征保真损失函数共同构造的纹理损失函数对纹理增强层对抗网络进行训练。

[0012] 优选的，根据深度学习算法设计残差卷积模块构成基础保真层卷积网络，在基础保真层卷积网络的预测分支中分为两个子分支，一个是包括特征的预测分支，另外一个是对边缘的预测分支。

[0013] 优选的，从原始图像中利用边缘提取算子Sobel提取出边缘特征作为边缘先验。

[0014] 优选的，根据深度学习算法设计残差卷积模块构成生成器卷积网络和鉴别器卷积网络。

[0015] 优选的，所述生成器卷积网络和鉴别器卷积网络之间使用所述对抗损失函数进行训练。

[0016] 优选的，利用预训练的VGG-19卷积神经网络的深度卷积特征，将增强的图像和原始图像投射到第四层池化层，得到最小均方误差，作为所述特征保真损失函数。

[0017] 优选的，利用预训练的VGG-19卷积神经网络的ReLu-1,Relu-2和Relu-3的激活层的特征，求得对应特征的格拉姆矩阵；分别求得增强图像和原始图像的格拉姆矩阵的对应值；计算局部块大小等于预设数值的对应区域的格拉姆矩阵的最小均方误差值从而得到所述局部纹理匹配损失函数。

[0018] 优选的，如果所述像素局部区域的梯度方向直方图分布个数超过设定的阈值，则认为该像素属于纹理区域，否则属于其他区域。

[0019] 本发明的优点在于：本发明与现有技术相比能够得到比仅使用深度卷积神经网络重建的更好的纹理主观质量，同时又能够达到比仅使用深度对抗神经网络重建的更好的边缘信号峰值信噪比、峰值信噪比和结构相似度，从而达到视觉主观质量和信号保真度平衡的解码图像增强图像。

附图说明

[0020] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0021] 图1为本发明实施例提供的混合深度神经网络的区域自适应解码增强的系统框图；

[0022] 图2为本发明实施例提供的区域自适应掩模生成示意图；

[0023] 图3为本发明实例生成的在Urban100中的解码增强图像边缘细节对比图；

[0024] 图4为本发明实例生成的在BSDS500验证集中的解码增强图像纹理细节对比图；

[0025] 图5为本发明实例生成的在LIVE1中的解码增强图像纹理细节对比图。

具体实施方式

[0026] 下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

[0027] 本发明实施例公开了一种解码图像增强方法及系统，目的在于解决当前利用深度学习的解码增强方法中并没有考虑人眼对不同区域的视觉特性和传输需求，从而无法达到纹理主观质量和边缘信号保真的平衡问题。单纯使用卷积神经网络的算法虽然可以得到较高的保真度，但是纹理区域非常平滑，主观效果不理想。使用深度对抗生成网络的算法可以得到主观质量较好的纹理区域，但是客观质量诸如峰值信号噪声比等指标很低，边缘区域的保真度较低。

[0028] 本发明的系统针对不同区域的特性，设计如下方法：一、训练边缘区域设计边缘先验约束的深度卷积神经网络，得到边缘保真度高的基本保真层；二、训练由对抗损失、预训练的神经网络特征引导的特征最小均方误差和局部纹理匹配的特征格拉姆矩阵的最小均方误差约束的深度对抗生成网络，得到纹理区域丰富的纹理增强层；三、根据图像像素的邻域区域计算梯度直方图，根据梯度直方图的分布情况，得到该像素的结构复杂度，通过像素的结构复杂度判断是属于边缘还是纹理区域；四、具体对基本保真层的每个像素依次计算结构复杂度，并与设定阈值进行比较，得到区域自适应掩模。五、根据区域自适应融合的方式将基本保真层和纹理增强层进行自适应融合得到最终的解码增强图像。

[0029] 本实施方式的混合深度神经网络的区域自适应解码增强方法如图1所示，具体实施方式的详细步骤为：

[0030] 步骤一、训练数据集的建立：使用挑选的2060张滑铁卢勘探数据库(waterloo exploration database)图片使用Matlab JPEG编码器使用压缩质量(Quality Factor,QF＝10)进行压缩，得到解码图像，将解码图像和原始图像组成图像对作为训练集,本实例直接使用RGB三个通道进行训练。

[0031] 步骤二、基础保真层网络(对应图1中的边缘卷积神经网络)的建立：根据深度学习算法设计残差卷积模块构成卷积网络，在卷积网络的预测分支中分为两个子分支，一个包括特征的预测分支(特征数量为63个)，另外一个是对边缘的预测分支。从原始图像中利用边缘提取算子Sobel提取出边缘特征作为边缘先验，将边缘先验与预测的边缘特征求最小均方误差从而得到边缘保真损失。利用边缘保真损失和信号保真损失函数对基础保真层卷积网络进行训练。

[0032] 步骤三、纹理增强层网络(对应图1中的纹理深度对抗生成网络)的建立：根据深度学习算法设计残差卷积模块构成生成器卷积网络和鉴别器卷积网络。训练网络的损失函数包括以下几项：

[0033] 对抗损失函数：生成器和鉴别器之间使用对抗损失函数进行训练。

[0034] 特征保真损失函数：利用预训练的VGG-19卷积神经网络的深度卷积特征，将增强的图像和原始图像投射到第四层池化层，得到最小均方误差，作为特征保真损失函数。

[0035] 局部纹理匹配损失函数：利用预训练的VGG-19卷积神经网络的ReLu-1,Relu-2和Relu-3的激活层的特征，求得对应特征的格拉姆矩阵。分别求得增强图像和原始图像的格拉姆矩阵的对应值。为了达到局部的纹理的相似性，计算局部块(Patch size)大小等于预设数值P(P可以根据实际情况进行选择，优选16)的对应区域的格拉姆矩阵的最小均方误差值从而得到局部纹理匹配损失函数。

[0036] 使用对抗损失函数、特征保真损失函数和局部纹理匹配损失函数对纹理增强层网络的生成器进行训练。

[0037] 步骤四、根据步骤二和步骤三训练好的模型可以分别得到基础保真层和纹理增强层。

[0038] 步骤五、区域自适应掩模的导出：基于步骤四得到的基础保真层网络得到的基础保真层图像，如图2所示，使用方向复杂度计算模块计算每一个像素的局部区域的梯度直方图。使用梯度直方图的分布个数作为区域复杂度的值。当区域复杂度的值超过设定的阈值T，则认为该像素属于纹理区域，否则属于其他区域。根据此得到区域自适应掩模。

[0039] 步骤六、利用步骤五得到的区域自适应掩模将步骤四得到的基础保真层和纹理增强层进行融合得到最终的解码增强图像。

[0040] 本实施方式效果：

[0041] 下面在LIVE1和BSDS500的验证集这两个数据集进行实验来评估本发明所提出的混合深度神经网络的区域自适应解码图像增强系统。这两个数据集均包含自然图像。评价的标准主要是比较重建的主观质量和客观质量。表一比较峰值信噪比(Peak Signal to Noise Ratio,PSNR)、块效应-峰值信噪比(PSNR-B)和结构相似性系数(Structural Similarity Index,SSIM)等三种客观值的情况。黑色字体表示本发明提出的方法能够比较好的保持客观的质量。

[0042] 表1

[0043]

[0044]

[0045] 表2通过提取边缘区域计算边缘区域的峰值信噪比得到E-PSNR(dB)，进一步验证边缘的保真度。

[0046] 表2

[0047]

[0048] 图3表示Urban100数据集中边缘的保真情况，图4-5表示的是BSDS500和LIVE1数据集纹理的生成情况。由上述实验可知，本发明方法既可以生成主观质量较好的纹理区域，也可以保持边缘的保真度。

[0049] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

标题	发布/更新时间	阅读量
用于难预测分支的预测器-专利编号CN109213524A	2020-05-13	230
编码于分支指令中的双模态分支预测器-专利编号CN103238134B	2020-05-13	993
分支预测方法、分支预测单元及处理器核-专利编号CN111078296A	2020-05-12	788
处理器、分支预测器及其数据处理方法、分支预测方法-专利编号CN110347432A	2020-05-14	232
分支预测装置、分支预测方法以及处理器-专利编号CN1947093A	2020-05-12	273
分支预测装置、分支预测方法以及处理器-专利编号CN100520713C	2020-05-12	171
编码于分支指令中的双模态分支预测器-专利编号CN103238134A	2020-05-13	1003
分支预测器和用于操作分支预测器的方法-专利编号CN106406823B	2020-05-11	692
分支目标预测器-专利编号CN109219798A	2020-05-11	573
分支预测器和用于操作分支预测器的方法-专利编号CN106406823A	2020-05-11	196

一种解码图像增强方法

一种解码图像增强方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式