一种消除视频块效应的方法转让专利

申请号 : CN201610552360.1

文献号 : CN106204493B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨长水陈瑞贾惠柱解晓东高文

申请人 : 北京大学

摘要 :

本发明提供一种消除视频块效应的方法,涉及图像处理技术领域,旨在解决现有技术中去块效应的图像质量不高的问题。所述方法包括:特征提取步骤,对每帧图像进行块效应特征提取;平面滤波步骤,根据提取出的块效应特征的不同,对每帧图像进行平面去块效应滤波;三维滤波步骤,结合每帧图像及与其相邻的预设帧数的图像,对所述每帧图像进行三维去块效应滤波。

权利要求 :

1.一种消除视频块效应的方法,其特征在于,包括:

特征提取步骤,对每帧图像进行块效应特征提取;

平面滤波步骤,根据提取出的块效应特征的不同,对每帧图像进行平面去块效应滤波,具体包括特征划分子步骤,将提取出的块效应特征划分为水平方向块效应特征和垂直方向块效应特征;和平面滤波子步骤,对所述每帧图像分别进行水平方向的去块效应滤波和垂直方向的去块效应滤波,其中,平面滤波子步骤又包括模板设置子步骤,分别为水平方向的去块效应滤波和垂直方向的去块效应滤波设置滤波模板;频率划分子步骤,在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,使用所述滤波模板将所述每帧图像中的图像块分为高频特征块和低频特征块;和分频滤波子步骤,对所述高频特征块和所述低频特征块分别采用不同的滤波器进行频域滤波;

三维滤波步骤,结合每帧图像及与其相邻的预设帧数的图像,对所述每帧图像进行三维去块效应滤波。

2.根据权利要求1所述的消除视频块效应的方法,其特征在于,所述特征提取步骤包括:利用边缘检测算法对所述每帧图像进行块效应特征提取。

3.根据权利要求1所述的消除视频块效应的方法,其特征在于,所述分频滤波子步骤包括:使用第一高斯平滑滤波法对所述高频特征块进行平滑滤波,使用第二高斯平滑滤波法对所述低频特征块进行平滑滤波;其中,所述第一高斯平滑滤波法的方差大于第一预设阈值,所述第二高斯平滑滤波法的方差小于第二预设阈值,所述第一预设阈值大于或等于所述第二预设阈值。

4.根据权利要求1所述的消除视频块效应的方法,其特征在于,所述三维滤波步骤包括:运动帧检测子步骤,对每帧图像及与其相邻的预设帧数的图像进行运动帧检测;

时间维度滤波子步骤,根据检测结果,对所述每帧图像进行时间维度滤波。

5.根据权利要求4所述的消除视频块效应的方法,其特征在于,所述运动帧检测子步骤包括:帧差计算子步骤,对当前帧及与其相邻的预设帧数的图像进行帧差计算;

运动帧判别子步骤,在累计帧差值大于预设帧差的情况下,确定所述当前帧为运动不显著帧,在累计帧差值小于或等于所述预设帧差的情况下,确定所述当前帧为运动显著帧。

6.根据权利要求5所述的消除视频块效应的方法,其特征在于,所述时间维度滤波子步骤包括:对于运动不显著帧中的所述高频特征块,使用当前帧及其相邻帧进行加权求和平滑计算;

对于运动显著帧中的所述低频特征块,使用当前帧及其相邻帧进行加权求和平滑计算。

7.根据权利要求1至6中任一项所述的消除视频块效应的方法,其特征在于,所述预设帧数为4帧。

说明书 :

一种消除视频块效应的方法

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种消除视频块效应的方法。

背景技术

[0002] 基于块的变换编码在图像压缩编码中得到广泛应用。但随着码率的降低,量化变得也越来越粗糙,在块的边界会出现不连续,形成重建图像的明显缺陷,称为块效应。
[0003] 为了减少块效应,可以对图像运用一些块效应消除算法。如基于凸集投影(POCS)理论的迭代算法,空域滤波算法等,一定程度上去除了块效应。但如何使用尽量简单的算法来获得较高的图像质量是本领域技术人员亟待解决的问题。

发明内容

[0004] 本发明的主要目的在于提出一种消除视频块效应的方法,旨在解决现有技术中去块效应的图像质量不高的问题。
[0005] 为实现上述目的,本发明提供的一种消除视频块效应的方法,包括:特征提取步骤,对每帧图像进行块效应特征提取;平面滤波步骤,根据提取出的块效应特征的不同,对每帧图像进行平面去块效应滤波;三维滤波步骤,结合每帧图像及与其相邻的预设帧数的图像,对所述每帧图像进行三维去块效应滤波。
[0006] 可选的,所述特征提取步骤包括:利用边缘检测算法对所述每帧图像进行块效应特征提取。
[0007] 可选的,所述平面滤波步骤包括:特征划分子步骤,将提取出的块效应特征划分为水平方向块效应特征和垂直方向块效应特征;平面滤波子步骤,对所述每帧图像分别进行水平方向的去块效应滤波和垂直方向的去块效应滤波。
[0008] 可选的,所述平面滤波子步骤包括:频率划分子步骤,在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,将所述每帧图像中的图像块分为高频特征块和低频特征块;分频滤波子步骤,对所述高频特征块和所述低频特征块分别采用不同的滤波器进行频域滤波。
[0009] 可选的,所述频率划分子步骤之前,所述平面滤波子步骤还包括:模板设置子步骤,分别为所述水平方向的去块效应滤波和所述垂直方向的去块效应滤波设置滤波模板;所述频率划分子步骤,具体包括在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,使用所述滤波模板将所述每帧图像中的图像块分为高频特征块和低频特征块。
[0010] 可选的,所述分频滤波子步骤包括:使用第一高斯平滑滤波法对所述高频特征块进行平滑滤波,使用第二高斯平滑滤波法对所述低频特征块进行平滑滤波;其中,所述第一高斯平滑滤波法的方差大于第一预设阈值,所述第二高斯平滑滤波法的方差小于第二预设阈值,所述第一预设阈值大于或等于所述第二预设阈值。
[0011] 可选的,所述三维滤波步骤包括:运动帧检测子步骤,对每帧图像及与其相邻的预设帧数的图像进行运动帧检测;时间维度滤波子步骤,根据检测结果,对所述每帧图像进行时间维度滤波。
[0012] 可选的,所述运动帧检测子步骤包括:帧差计算子步骤,对当前帧及与其相邻的预设帧数的图像进行帧差计算;运动帧判别子步骤,在累计帧差值大于预设帧差的情况下,确定所述当前帧为运动不显著帧,在累计帧差值小于或等于所述预设帧差的情况下,确定所述当前帧为运动显著帧。
[0013] 可选的,所述时间维度滤波子步骤包括:对于运动不显著帧中的所述高频特征块,使用当前帧及其相邻帧进行加权求和平滑计算;对于运动显著帧中的所述低频特征块,使用当前帧及其相邻帧进行加权求和平滑计算。
[0014] 可选的,所述预设帧数为4帧。
[0015] 本发明实施例提供的消除视频块效应的方法,能够根据每帧图像中各图像块所具有的不同块效应特征来进行块效应特征提取,并针对不同的块效应特征对每帧图像进行平面去块效应滤波,从而使在同一帧图像中的去块效应更有针对性,再结合每帧图像及其相邻的若干帧图像之间的关系进行三维滤波,这样便能同时兼顾图像二维纹理信息和三维时空运动信息,保存更多图像细节特征,有效提高了图像质量。

附图说明

[0016] 图1为本发明实施例提供的消除视频块效应的方法的一种流程图。
[0017] 图2为本发明实施例提供的消除视频块效应的方法中一个步骤的具体流程图。
[0018] 图3为图2中一个步骤的一种具体流程图。
[0019] 图4为图2中一个步骤的另一种具体流程图。
[0020] 图5为本发明实施例提供的消除视频块效应的方法中另一个步骤的具体流程图。
[0021] 图6为本发明实施例提供的消除视频块效应的方法的一种详细流程图。

具体实施方式

[0022] 应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0023] 如图1所示,本发明的实施例提供一种消除视频块效应的方法,包括:
[0024] S11,特征提取步骤,对每帧图像进行块效应特征提取;
[0025] S12,平面滤波步骤,根据提取出的块效应特征的不同,对每帧图像进行平面去块效应滤波;
[0026] S13,三维滤波步骤,结合每帧图像及与其相邻的预设帧数的图像,对所述每帧图像进行三维去块效应滤波。
[0027] 本发明实施例提供的消除视频块效应的方法,能够根据每帧图像中各图像块所具有的不同块效应特征来进行块效应特征提取,并针对不同的块效应特征对每帧图像进行平面去块效应滤波,从而使在同一帧图像中的去块效应更有针对性,再结合每帧图像及其相邻的若干帧图像之间的关系进行三维滤波,这样便能同时兼顾图像二维纹理信息和三维时空运动信息,保存更多图像细节特征,有效提高了图像质量。
[0028] 需要说明的是,由于图像块效应产生时,对应的频域系数会产生明显的变化,因此,本发明实施例提供的消除视频块效应的方法都是将图像变换到频域后进行的,例如对原始图像信号进行离散余弦变换等变换到频域。
[0029] 具体而言,在步骤S11中,可以使用多种算法对图像进行块效应特征提取。由于从图像效果上看,块效应的出现意味着图像出现了新的边缘,因此,可选的,在本发明的一个实施例中,可以利用边缘检测算法对所述每帧图像进行块效应特征提取,将图像的边缘信息作为特征值。
[0030] 进行特征提取后即可对每帧图像进行平面滤波。具体的,如图2所示,在步骤S12中,平面滤波步骤可包括:
[0031] S121,特征划分子步骤,将提取出的块效应特征划分为水平方向块效应特征和垂直方向块效应特征;
[0032] S122,平面滤波子步骤,对所述每帧图像分别进行水平方向的去块效应滤波和垂直方向的去块效应滤波。
[0033] 也就是说,针对频域中特征块效应具有方向性的特点,将提取出的块效应特征分为水平方向和垂直方向,然后对这两个方向分别进行去块效应滤波,从而使平面滤波的针对性更强。
[0034] 可选的,平面滤波子步骤中,在对水平方向或垂直方向进行去块效应滤波时,可以进一步对图像特征进行区分,并针对不同的图像特征采取不同的滤波方法,以进一步提高滤波效果。
[0035] 例如,如图3所示,在本发明的一个实施例中,平面滤波子步骤可包括:
[0036] S1221,频率划分子步骤,在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,将所述每帧图像中的图像块分为高频特征块和低频特征块;
[0037] S1222,分频滤波子步骤,对所述高频特征块和所述低频特征块分别采用不同的滤波器进行频域滤波。
[0038] 可选的,可以通过使用滤波模板来对每帧图像进行滤波来实现高频特征块与低频特征块的分离。例如,如图4所示,在本发明的另一个实施例中,平面滤波子步骤可具体包括:
[0039] S1223,分别为所述水平方向的去块效应滤波和所述垂直方向的去块效应滤波设置滤波模板;
[0040] S1224,在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,使用所述滤波模板将所述每帧图像中的图像块分为高频特征块和低频特征块;
[0041] S1225,对所述高频特征块和所述低频特征块分别采用不同的滤波器进行频域滤波。
[0042] 可以理解的,由于不同图像块叠加了不同的量化误差,图像块之间的相关性被破坏,在块的边界处就会出现不连续,当量化误差过大,这种不连续超过了人眼识别的门限时,就产生了人眼可见误差。为了消除块效应,可以对图像进行平滑滤波,尽量使图像块边界上连续。
[0043] 可选的,可以使用高斯平滑滤波法对图像块进行平滑滤波。具体的,对于已经进行了高频特征块与低频特征块相区分的情况,可以使用不同参数或自适应系数的高斯平滑滤波器进行相应的滤波。
[0044] 例如,在分频滤波子步骤中,可以使用第一高斯平滑滤波法对高频特征块进行平滑滤波,使用第二高斯平滑滤波法对低频特征块进行平滑滤波;其中,所述第一高斯平滑滤波法的方差大于第一预设阈值,所述第二高斯平滑滤波法的方差小于第二预设阈值,所述第一预设阈值大于或等于所述第二预设阈值。
[0045] 也就是说,在消除水平方向块效应或者垂直方向块效应时,可以根据图像块在变换域中参数的特性设置滤波模板,将图像块划分为高频特征块和低频特征块,然后分别采用不同的自适应系数进行高斯平滑滤波效应,对于高频特征块,选取方差较大的高斯平滑滤波,对于低频特征块选取方差较小的高斯平滑滤波。
[0046] 在完成平面滤波后,进一步的,可以结合图像中的物体运动情况对每帧图像进行进一步滤波,从而完成三维滤波。其中,图像中物体的运动情况可以通过相邻几帧图像的动态变化来判断。
[0047] 例如,如图5所示,步骤S13可包括:
[0048] S131,运动帧检测子步骤,对每帧图像及与其相邻的预设帧数的图像进行运动帧检测;
[0049] S132,时间维度滤波子步骤,根据检测结果,对所述每帧图像进行时间维度滤波。
[0050] 其中,可以根据图像处理效果的要求来确定预设帧数,例如2~8帧,在本发明的一个实施例中为4帧,这样算上当前帧共有5帧图像参与运动帧检测。
[0051] 可选的,运动帧检测子步骤可具体包括:
[0052] 帧差计算子步骤,对当前帧及与其相邻的预设帧数的图像进行帧差计算;
[0053] 运动帧判别子步骤,在累计帧差值大于预设帧差的情况下,确定所述当前帧为运动不显著帧,在累计帧差值小于或等于所述预设帧差的情况下,确定所述当前帧为运动显著帧。
[0054] 相应的,时间维度滤波子步骤可具体包括:
[0055] 对于运动不显著帧中的所述高频特征块,使用当前帧及其相邻帧进行加权求和平滑计算;
[0056] 对于运动显著帧中的所述低频特征块,使用当前帧及其相邻帧进行加权求和平滑计算。
[0057] 下面通过具体实施例对本发明提供的消除视频块效应的方法进行详细说明。
[0058] 如图6所示,本实施例中,消除视频块效应的方法可包括如下步骤:
[0059] S201,对每帧图像进行块效应特征提取;
[0060] S202,将提取出的块效应特征划分为水平方向块效应特征和垂直方向块效应特征;
[0061] S203,分别为所述水平方向的去块效应滤波和所述垂直方向的去块效应滤波设置滤波模板;
[0062] S204,在进行水平方向的去块效应滤波或者垂直方向的去块效应滤波时,使用所述滤波模板将所述每帧图像中的图像块分为高频特征块和低频特征块;
[0063] S205,使用第一高斯平滑滤波法对高频特征块进行平滑滤波,使用第二高斯平滑滤波法对低频特征块进行平滑滤波;其中,所述第一高斯平滑滤波法的方差大于第一预设阈值,所述第二高斯平滑滤波法的方差小于第二预设阈值,所述第一预设阈值大于或等于所述第二预设阈值;
[0064] S206,对当前帧及与其相邻的预设帧数的图像进行帧差计算;
[0065] S207,在累计帧差值大于预设帧差的情况下,确定所述当前帧为运动不显著帧,在累计帧差值小于或等于所述预设帧差的情况下,确定所述当前帧为运动显著帧;
[0066] S208,对于运动不显著帧中的高频特征块,使用当前帧及其相邻帧进行加权求和平滑计算;对于运动显著帧中的低频特征块,使用当前帧及其相邻帧进行加权求和平滑计算。
[0067] 本实施例提供的消除视频块效应的方法,首先在二维空间进行块效应的不同特征检测,然后进行二维空间内平滑,然后结合三维空间运动信息,进一步进行不同特征块的平滑滤波,这样便能同时兼顾图像二维纹理信息和三维时空运动信息,保存更多图像细节特征,大大提高了图像质量。
[0068] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0069] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
[0070] 以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。