一种视频降噪处理中的三维块匹配方法

摘要

本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，该方法通过将位于视频序列中某一帧的当前二维块和搜索域分别向其相邻帧投影，将二维块扩展为三维块R3，将二维搜索域扩展为三维搜索域U3。在三维搜索域U3中可以按照预定规则构建出若干三维候选块S3。逐个计算三维候选块S3与所述三维块R3的相似度，选取最相似的NB个三维块。将三维块在时间轴上拆分为二维块后最终选取与当前二维块最相似的N个二维块。这种方法可以有效提高目前基于递归的二维块匹配的BM3D降噪算法的块匹配精度与视频降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问题。

权利要求

1.一种视频降噪处理中的三维块匹配方法，其特征在于，包括以下步骤：A.按预定大小划分第t0时刻的视频帧，从中选取大小为N1×N2的当前块B.以当前块 区域中的任一坐标为中心划分出Nσ×Nτ的搜索域 搜索域 内的每一个像素点均能够按照预定规则构建出大小为N1×N2候选块C.将位于第t0时刻的视频帧的当前块 向其相邻的前NFR帧和后NFR帧投影，将N1×N23

的当前块 扩展为N1×N2×(2NFR+1)大小的三维块R，将第t0时刻的视频帧的Nσ×Nτ的搜索域 向其相邻的前NFR帧和后NFR帧 投影，将Nσ×Nτ的二维搜索域 扩展为

3 3

Nσ×Nτ×(2NFR+1)大小的三维搜索域U，相应地，在三维搜索域U 中包含Nσ×Nτ个以所述3

候选块 扩展出的N1×N2×(2NFR+1)大小的三维候选块S ；

D.在三维搜索域U3中逐个计算三维候选块S3与所述三维块R3的相似度，选取最相似的NB个三维块；

E.将这NB个N1×N2×(2NFR+1)大小的三维块在时间轴上拆分为(2NFR+1)×NB个N1×N2的二维块，通过计算相似度，选取与当前块 最 相似的N个二维块组成维数为N1×N2×N的三维数组 ，并记录这N个二维块所在原始视频序列中的三维坐标。

2.如权利要求1所述的三维块匹配方法，其特征在于，步骤A中所述的视频帧为PAL或NTSC制式的视频帧。

3.如权利要求1所述的三维块匹配方法，其特征在于，步骤C中所述的当前块 向其相邻的前NFR帧和后NFR帧投影，是指在与所述第t0时刻的视频帧相邻的前NFR帧和后NFR帧中选取与当前块 具有相同二维坐标的二维块 x＝{-NFR，...，NFR}。

4.如权利要求1所述的三维块匹配方法，其特征在于，步骤D与步骤E中所述的相似度采用以下的方法计算：i i

其中运算符||·||2代表欧几里得范数，R 代表当前块，S 代表候选块，在这里i＝2时为二维块相似度的计算方法，i＝3时，为三维块相似度的计算方法，Psum代表二维或三维块中包含像素点数目。

5.如权利要求4所述的三维块匹配方法，其特征在于，步骤D中所述的最相似的NB个

3 3

三维块的选取按照以下方法进行：计算出所述三维候选块S 与所述三维块R 的相似度以3

后，将相似度从小到大顺序排列，前NB个即为与所述三维块R 最相似的NB个三维块。

6.如权利要求4所述的三维块匹配方法，其特征在于，步骤E中所述的选取与当前块最相似的N个二维块，按照以下方法进行：计算出所述(2NFR+1)×NB个N1×N2的二维块与所述当前块 的相似度以后，将相似度从小到大顺序排列，前N个即为与所述当前块最相似的N个二维块。

7.如权利要求1所述的三维块匹配方法，其特征在于，所述的N满足N＜(2NFR+1)×NB。

说明书

一种视频降噪处理中的三维块匹配方法

技术领域

[0001] 本发明涉及视频图像降噪处理，具体涉及一种视频降噪处理中的三维块匹配方法。

背景技术

[0002] BM3D算法是目前已知性能最高的通用图像/视频降噪算法，它能够利用图像的自相关特性，以及视频的时间相关性进行有效的降噪。BM3D由三个基本运算单元组成：块匹配，3D降噪以及集合，并可多次迭代运算，标准BM3D算法为两次迭代。

[0003] 在块匹配步骤中，BM3D在当前帧以及前后各NFR帧中搜索与当前二维块xR类似的块xm，并将相似块组成三维数组 3D降噪运算中对匹配过程中产生的三维数组 进行3D变换，并在变换域中进行降噪后再将其变回空域，并计算三维数组的权重。根据文献“Video denoising by sparse 3Dtransform-domain collaborative filtering”(Dabov，thK.et al，the 15 European Signal Processing Conference，2007)一文中的介绍，BM3D的块匹配算法可以分为两个步骤：在当前帧t0的穷举搜索和在前后帧t0+k的预测搜索(0＜|k|≤NFR)。

[0004] 当前帧穷举搜索是在当前帧t0中以当前二维块 (块大小为N1×N1)的左上角坐标为中心定义一个搜索范围NS×NS(一般为7×7)，此范围内的每一个像素点均可以作为候选块的左上角坐标构造出一个N1×N1大小的候选块。在此范围内逐个计算候选块与当前二维块 的相似度，并选取与当前二维块最相似的NB个候选块。当NB取2时，如图1所示，搜索到的两个块为 以及当前二维块

[0005] 在前后帧t0+k的预测搜索是一个递归的过程，搜索范围为NPR×NPR(一般为5×5)，其搜索范围的中心点坐标为第t0+k一sign(k)帧搜索到的与当前t0帧二维块 最相似的NB个块的左上角坐标在第t0+k帧的投影(其中sign(k)为取符号操作，当k＞0时为1，当k＜0时为负1)。如图1所示，当t0帧搜索到的两个相似块为 以及 时，这两块在第t0+1帧的投影分别为 和 分别以这两个块的左上角坐标为中心点构建两个NPR×NPR大小的搜索范围，此范围内的每一个像素点均可以做为候选块的左上角坐标构造出一个N1×N1大小的候选块。在此范围内逐个计算候选块与当前二维块 的相似度并选取与当前二维块 最相似的NB个块。类似地，这两块在第t0-1帧的投影分别为 和分别以这两个块的左上角坐标为中心点构建两个NPR×NPR大小的搜索范围。在此范围内逐个计算候选块与当前二维块 的相似度并选取与当前二维块 最相似的NB个块。

[0006] 对于第t0-2帧到第t0-NFR帧和第t0+2帧到第t0+NFR帧重复以上递归搜索，在每一帧搜索时都选取与当前二维块 最相似的NB个块，在完成对2NFR+1帧的搜索后，可以得到与当前二维块 相似的(2NFR+1)×NB个块，BM3D算法最终按照相似度从小到大的原则选取与当前二维块最相似的N个块组成三维数组 进行3D降噪以及集合运算(N＜(2NFR+1)×NB)。

[0007] 其中，BM3D的块匹配搜索中某一块Rx与当前块 之间的相似度按照如下公式计算：

[0008]

[0009] 运算符||.||2代表欧几里得范数，N1为块尺寸，相似度越小代表某一块Rx与当前块 相似程度越高。由于BM3D的块匹配搜索是一个递归的过程，即第t0+k帧的搜索结果取决于第t0+k-sign(k)帧的搜索结果，最终取决于当前帧t0的搜索结果。假如当前帧t0的搜索就存在误差，明显地，这种误差会随着递归次数传递下去，在经过2NFR次递归后，最终得到的相似块组 与当前块相差很大。相应地，经过3D降噪以及集合运算后得到的去噪输出块效果会很差。虽然这种块匹配方法在外界噪声环境较小的情况下仍可以应用。然而在中等强度和高强度噪声环境下，如处理装置在夜景、天气恶劣和外界干扰比较大的情况，这种二维块匹配方法经常会受到噪声干扰使得块匹配精度降低，进而直接影响降噪效果。

[0010] 同时，由于BM3D在前后帧搜索相似块时采用了递归的预测搜索，其搜索范围可能在NS×NS到(NS+NFR(NPR-1))×(NS+NFR(NPR-1))之间变化，导致搜索范围无法预知，这种算法的处理方式不利于实际硬件工程实现。

发明内容

[0011] 本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，使得在中等强度和高强度噪声环境下能够有效提高目前基于递归的二维块匹配的BM3D降噪算法的块匹配精度与降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问题。

[0012] 为解决上述技术问题，本发明的目的是提供一种视频降噪处理中三维块匹配的方法，包括以下步骤：

[0013] A.按预定大小划分第t0时刻的视频帧，从中选取大小为N1×N2的当前块[0014] B.以块 区域中的任一坐标为中心划分出Nσ×Nτ的搜索域 搜索域 内的每一个像素点均可以按照预定规则构建出大小为N1×N2候选块

[0015] C.将位于第t0帧的当前块 向其相邻的前NFR帧和后NFR帧投影，将N1×N2的二3
维块 扩展为N1×N2×(2NFR+1)大小的三维块R，将第t0帧的Nσ×Nτ的搜索域 向其相邻的前NFR帧和后NFR帧投影，将Nσ×Nτ的二维搜索域 扩展为Nσ×Nτ×(2NFR+1)大
3 3
小的三维搜索域U，相应地，在三维搜索域U 中包含Nσ×Nτ个以所述候选块 扩展出的
3
N1×N2×(2NFR+1)大小的三维候选块S ；

[0016] D.在三维搜索域U3中逐个计算三维候选块S3与所述三维块R3的相似度，选取最相似的NB个三维块；

[0017] E.将这NB个N1×N2×(2NFR+1)大小的三维块在时间轴上拆分为(2NFR+1)×NB个N1×N2的二维块，选取与当前二维块 最相似的N个二维块组成维数为N1×N2×N的三维数组 并记录这N个二维块所在原始视频序列中的三维坐标。

[0018] 进一步地，步骤A中所述的视频帧为PAL或NTSC制式的视频帧。步骤C中所述的当前块 向其相邻的前NFR帧和后NFR帧投影，是指在与当前帧相邻的前NFR帧和后NFR帧中选取与二维块 具有相同二维坐标的二维块 x＝{-NFR，...，NFR}。步骤E中所述的相似度采用以下的方法计算：

[0019]

[0020] 其中运算符||.||2代表欧几里得范数，Ri代表当前块，Si代表候选块，i取2时为二维块，取3时为三维块。Psum代表二维或三维块中包含像素点数目。

[0021] 步骤D中所述的最相似的NB个三维块的选取按照以下方法进行：计算出所述三维候选块S3与所述三维块R3的相似度以后，将相似度从小到大顺序排列，前NB个即为最相似的NB个三维块。步骤E中所述的选取与当前二维块 最相似的N个二维块，按照以下方法进行：计算出所述(2NFR+1)×NB个N1×N2的二维块与所述二维块 的相似度以后，将相似度从小到大顺序排列，前N个即为与所述二维块 最相似的N个二维块。所述的N满足N＜(2NFR+1)×NB。3

[0022] 本发明中，由于预先定义了Nσ×Nτ×(2NFR+1)大小的三维搜索域U，相应地，其中的三维候选块数目也固定为Nσ×Nτ个。因此不存在搜索范围不可预知的情况，便于实际硬件工程实现。同时，本发明在搜索候选块的过程中只存在针对Nσ×Nτ个三维候选块的穷举搜索，而没有使用BM3D的基于递归的预测搜索，因此不存在递归误差。

附图说明

[0023] 图1现有技术中二维块匹配方法。

[0024] 图2至图5为解释三维块匹配方法的过程。

具体实施方式

[0025] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

[0026] 为本实施例所提供的一种视频降噪处理中三维块匹配的方法，包括以下步骤：

[0027] 步骤一，按预定大小划分第t0时刻的视频帧，这里的视频制式可以取不同制式，如PAL和NTSC都可以，以像素为基本单位划分为若干个N1×N2二维像素块，其中每一块之间的步进为SP；

[0028] 步骤二，取二维像素块 如图2所示，以二维像素块 区域中的任一坐标为中心，在这里取左上角坐标为中心划分出Nσ×Nτ的搜索域 搜索域 内的每一个像素点均可以按照预定规则构建出大小为N1×N2候选二维像素块 如图3所示；

[0029] 步骤三，如图4所示，将位于第t0帧的当前块 向其相邻的前NFR帧和后NFR帧投3
影，将N1×N2的二维像素块 扩展为N1×N2×(2NFR+1)大小的三维像素块R，将第t0帧的Nσ×Nτ的搜索域 向其相邻的前NFR帧和后NFR帧投影，将Nσ×Nτ的二维搜索域 扩展
3 3
为Nσ×Nτ×(2NFR+1)大小的三维搜索域U，相应地，在三维搜索域U 中包含Nσ×Nτ个以所
3
述候选像素块 扩展出的N1×N2×(2NFR+1)大小的三维候选像素块S ；

[0030] 步骤四，在三维搜索域U3中采用以下的方法计算相似度：

[0031]

[0032] 其中运算符||.||2代表欧几里得范数，Ri代表当前块，Si代表候选块，这里i＝3，表示三维块。Psum代表三维块中包含像素点数目。逐个计算三维候选像素块S3与所述三维像素块R3的相似度，由于相似度d(Ri，Si)的值越小，模块之间就越相似，故将计算所得的相似度d(Ri，Si)结果按照从小到大排列，选取前NB个三维像素块即为最相似的NB个三维像素块；

[0033] 步骤五，如图5所示，将这NB个N1×N2×(2NFR+1)大小的三维像素块在时间轴上拆分为(2NFR+1)×NB个N1×N2的二维像素块，继续利用以下的方法计算相似度：

[0034]

[0035] 其中运算符||.||2代表欧几里得范数，Ri代表当前块，Si代表候选块，这里i＝2，表示二维块。Psum代表二维块中包含像素点数目。选取与当前二维像素块 最相似的N个二维像素块组成维数为N1×N2×N的三维数组 并记录这N个二维像素块所在原始视频序列中的三维坐标，所得的N满足N＜(2NFR+1)×NB，所得到的N个二维像素块所在原始视频序列中的三维坐标即为块匹配的结果，可以用于下一步视频处理的步骤中。

[0036] 在不偏离本发明的精神和范围的情况下还可以构成许多有很大差别的实施例。应当理解，除了如所附的权利要求所限定的，本发明不限于在说明书中所述的具体实施例。