本发明公开了一种基于时空相关性的快速屏幕内容编码方法。本发明基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类；然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分或者判定当前CU只做PLT模式预测；基于时空相关性的模式选择模块是利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式；基于编码比特的CU划分模块是先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分。本发明减少了CU划复杂度，简化了帧内预测模式的选择过程，提高了SCC编码效率。
1.一种基于时空相关性的快速屏幕内容编码方法，其特征在于包括基于时空相关性的编码单元(CU)划分模块、基于时空相关性的模式选择模块和基于编码比特的CU划分模块；
基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类；然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分，或者判定当前CU只做PLT模式预测；基于时空相关性的模式选择模块是利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式；基于编码比特的CU划分模块是先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分；
步骤(I)、计算当前CU与前一帧同位置CU的绝对帧差值AFD，以描述两者的相似度；AFD的计算公式如下：其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高；
步骤(II)、根据相似度大小将CU分为两类：I类和II类；I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低；具体分类规则如下：其中，η为调整参数，根据实验确定为1；因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸；
步骤(Ⅲ)对I类CU和II类CU进行相应划分优化，设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件；
针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
1)当前CU深度Depthcur小于前一帧同位置CU深度Depthcol，即Depthcur＜Depthcol，对当前CU只作PLT模式预测，跳过CIP模式和IBC模式；
2)当前CU深度Depthcur大于或等于当前一帧同位置CU深度Depthcol，即Depthcur≥Depthcol，且前一帧同位置CU的预测模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
2.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
1)获取时空相邻CU的深度信息，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol；并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式；当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
3.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于基于时空相关性的模式选择模块的实现过程如下：步骤(1)、对每个CU,获取时空相邻CU的帧内预测模式；
设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN；
步骤(3)、根据相邻CU的帧内预测模式、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式。
4.根据权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于基于编码比特的CU划分模块的实现过程如下：对于深度小于3的CU,若编码比特Biti小于阈值ti，则当前CU提前结束划分，否则继续划分CU。
5.如权利要求3所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于，步骤(2)中的边缘点数GN的计算方法为：a、根据Sobel边缘检测算子，分别计算每个像素梯度的水平分量和垂直分量，当前CU位置为(i,j)的像素P(i,j)的梯度分量计算公式如下：其中，i＝2,3,…,W-1,j＝2,3,…,H-1；W和H分别是CU的宽度和高度；
b、得到每个像素的梯度幅值G(i,j)，其简化计算公式如下：
G(i,j)＝|Gx(i,j)|+|Gy(i,j)| (7)c、统计当CU的梯度幅值大于阈值的像素点数目，即边缘点数目GN:
6.如权利要求3所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于，步骤(3)中的模式选择优化规则为：如下所示，给出了模式条件(3a)、(3b)、(3c)，若当前CU满足模式条件(3a)时，则预测模式选择时跳过IBC模式；若当前CU满足模式条件(3b)时，则预测模式选择时跳过CIP模式；若当前CU满足模式条件(3c)时，则预测模式选择时跳过IBC模式和CIP模式；
模式条件(3a) 跳过IBC模式，只做CIP模式预测和PLT模
模式条件(3b) 跳过CIP模式，只做IBC模式预测和PLT模
模式条件(3c) 跳过IBC模式和CIP模式，只做PLT模式预
其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10；W、H分别表示当前CU块的宽和高。
7.如权利要求1所述的一种基于时空相关性的快速屏幕内容编码方法，其特征在于不同深度CU的编码比特阈值是不同的；通过计算CU击中率与编码比特的关系来确定各深度的阈值ti(i＝0,1,2)；
CU击中率定义为：采用本发明提出的基于编码比特的CU划分方法,将获取的判定为提前结束划分的CU深度，与原始SCC编码得到的CU深度相比较，统计具有相同深度值的CU数目，然后将其除以提前结束划分的总CU数目，就得到CU的击中率；
CU各深度的阈值ti(i＝0,1,2)的具体计算方法如下：
①采用20帧视频格式为YUV 4:4:4的4个视频序列Kimono1、sc_robot、sc_programming和BasketballScreen序列，统计每个CU深度下当QP取22、27、32、37，编码比特位于[0,300]区间时的CU击中率，得到4个CU击中率与编码比特的曲线图；
②对于每一个深度的CU，将其对应在4个QP下的CU击中率与编码比特的曲线图数据进行平均，最后得到该深度下的平均CU击中率与编码比特的曲线图；根据这个平均CU击中率与编码比特的曲线图，选择一个最小的编码比特阈值ti，使得其对应的4个视频序列的CU击中率都大于90％；从而深度为i＝0,1,2下的CU的编码比特阈值ti就能够分别确定为40,25,
一种基于时空相关性的快速屏幕内容编码方法
技术领域
[0001] 本发明属于屏幕内容编码(SCC)技术领域，尤其涉及一种低复杂度的快速SCC帧内视频编码方法。
背景技术
[0002] 近年来，随着高清、超高清视频(分辨率达4K×2K、8K×4K)应用走进人们的视野，视频压缩技术受到了巨大的挑战。此外，各式各样的视频应用也随着网络和存储技术的发展不断涌现。视频应用的多样化和高清趋势对视频压缩性能提出了更高的要求。为此，2010年4月ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)成立了视频编码联合开发组(JCT-VC)，联手制定新一代视频编码标准，在2013年完成了高效视频编码HEVC(High Efficiency Video Coding)标准，也称为H.265。HEVC编码标准是根据自然采集图像序列在时间、空间上的相关性进行编码的。但是屏幕内容图像不仅包括相机捕获内容，还有大量计算机生成的图形和文字。这导致屏幕内容图像有不同的特性，包括高对比度，有限的色彩数目，较多的平整、重复区域，高频成分比较多等，使其采用HEVC标准编码达不到理想效果。对此，根据屏幕内容特性，在HEVC编码标准基础上扩展出了屏幕内容编码(SCC)标准，其标准化工作在2016年已经基本完成。HEVC标准的编码复杂度约为上一代编码标准H.264/AVC的2到3倍，而SCC标准新增帧内块复制(IBC)、调色板(PLT)模式、自适应色彩变换(ACT)、自适应运动矢量分辨率(AMVR)等编码工具，导致编码复杂度进一步增加。SCC的帧内编码复杂度主要集中在编码单元(CU)划分和帧内预测模式选择上。SCC同样采用灵活的块划分模式，包括编码单元(CU)、预测单元(PU)、变换单元(TU)。CU的尺寸有64×64，32×32、16×16、8×8，分别对应着划分深度为0、1、2、3。其中64×64的CU被定义为编码树单元(CTU),采用四叉树划分结构，每个CTU能够递归的划分成4个大小相等的CU，直到最小的CU(8×8)。为了找到最优化的CU划分方案，编码器必须要考虑所有的划分情况。图1表示了一个CTU如何被划分成子CU的过程。每个CU都有对应关联的PU和TU,其中PU是帧内预测、帧间预测的基本单元。一切与预测相关的信息都定义在PU中。对于一个2N×2N的CU，帧内预测单元PU的划分模式有两种：2N×2N和N×N，其中N×N模式，只有当CU尺寸为最小时才会采用。当SCC作帧内预测时，除了传统帧内预测模式(conventional intra prediction,CIP)，还包括帧内块复制模式(intra block copying,IBC)和调色板(palette,PLT)模式，在编码器中的使用顺序如图2所示。其中，CIP模式包括DC模式，Planar模式和33种角度预测模式。IBC模式是一种类似于运动补偿的方法，在当前帧内找到与当前CU匹配的已重建过的CU，并以块矢量(BV)来表示。因此，IBC适用于出现重复图案的CU。PLT模式适用于像素值数目有限的CU,其原理就是将有限的像素值进行编号并构造一个像素表，CU中的每个像素都会在像素表中有一个相对应的索引号，SCC对这些索引号和像素表进行编码。最后，SCC采用率失真优化(RDO)技术从众多模式中选取率失真代价最小的模式作为最佳模式。由于帧内编码时，SCC编码器需要遍历所有可能的CU划分组合和帧内预测模式，这个遍历过程的计算量太大了，这样大的计算负担对于很多需要实时编码的应用是不合适的。
发明内容
[0003] 本发明的目的是针对现有SCC视频编码复杂高的缺点，提出了一种基于时空相关性的快速屏幕内容编码方法，在保证编码质量的同时降低编码的复杂度，尤其适用于需要对屏幕视频实时压缩的场合，例如各种便携式移动终端设备。
[0004] 本发明提出了一种基于时空相关性的快速屏幕内容编码方法,具体实现包括基于时空相关性的CU划分模块、基于时空相关性的模式选择模块和基于编码比特的CU划分模块。
[0005] 基于时空相关性的CU划分模块是先计算当前帧CU与前一帧同位置的CU的绝对帧差，将CU划分为两类。然后根据当前帧CU与其时空相邻的CU在深度和帧内预测模式上的相关性，判定当前CU提前结束划分，或者判定当前CU只做PLT模式预测。
[0006] 基于时空相关性的模式选择模块，利用当前CU与其时空相邻CU的模式相关性，跳过特定的预测模式。
[0007] 基于编码比特的CU划分模块，先通过CU击中率与编码比特的曲线图得到各深度下CU编码比特的阈值，若当前CU的编码比特小于该阈值，则提前结束CU的划分。
[0008] 本发明利用屏幕内容图像中CU的深度和帧内预测模式在时空上的相关性，减少了CU划分的复杂度，简化了帧内预测模式的选择过程，有效地提高了SCC的编码效率。
[0009] 本发明解决其技术问题所采用的技术方案如下
[0010] (一)基于时空相关性的CU划分模块
[0011] 步骤(I)、计算当前CU与前一帧同位置CU的绝对帧差值AFD，以描述两者的相似度；AFD的计算公式如下：
[0012]
[0013] 其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高。
[0014] 步骤(II)、根据相似度大小将CU分为两类：I类和II类。I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低；具体分类规则如下：
[0015]
[0016] 其中，η为调整参数，根据实验确定为1。因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸。
[0017] 步骤(Ⅲ)对I类CU和II类CU进行相应划分优化。设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件。
[0018] 针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
[0019] 1)当前CU深度Depthcur小于前一帧同位置CU深度Depthcol，即Depthcur＜Depthcol，对当前CU只作PLT模式预测，跳过CIP模式和IBC模式。
[0020] 2)当前CU深度Depthcur大于或等于前一帧同位置CU深度Depthcol，即Depthcur≥Depthcol，且前一帧同位置CU的预测模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
[0021] 针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
[0022] 1)获取时空相邻CU的深度信息，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol。并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：
[0023] Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)
[0024] Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
[0025] 2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式。当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
[0026] (二)基于时空相关性的模式选择模块：
[0027] 步骤(1)、对每个CU,获取时空相邻CU的帧内预测模式。
[0028] 设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
[0029] 步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN。
[0030] 步骤(3)、根据相邻CU的帧内预测模式、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式。其中，模式选择优化规则为：
[0031] 模式条件(3a) 跳过IBC模式，只做CIP模式预测和PLT模式预测；
[0032] 模式条件(3b) 跳过CIP模式，只做IBC模式预测和PLT模式预测；
[0033] 模式条件(3c) 跳过IBC模式和CIP模式，只做PLT模式预测。
[0034] 其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10。
[0035] (三)基于编码比特的CU划分模块：
[0036] 对于深度小于3的CU,若编码比特Biti小于阈值ti，则当前CU提前结束划分，否则继续划分CU。
[0037] 本发明有益效果如下：
[0038] 本发明的基本原理是利用与当前帧CU时间相邻的CU，以及与当前帧CU空间相邻的CU在深度和帧内预测模式上的相关性，以时空相邻的CU深度和编码模式来判断当前帧CU的深度和帧内预测模式，提出了CU提前结束划分和跳过特定预测模式的算法；以及利用编码比特与CU深度和纹理的相关性，即当CU纹理简单的时候，所需的编码比特较少，因此CU被继续划分的可能性较小，据此提出了CU提前结束划分的算法，以降低屏幕内容编码的复杂性，大大节省SCC视频编码的时间。经过实验测定，在保持视频编码质量的前提下，使用本发明的低复杂度SCC编码方法比标准SCC编码方法能够在编码时间上节省50％以上，而编码码率仅仅提高了1.4％，大大提高了视频编码的效率，具有较强的实用性。
附图说明
[0039] 图1为SCC的CU划分模式示意图；
[0040] 图2为SCC的帧内预测模式示意图；
[0041] 图3为时空相邻CU的具体位置示意图；
[0042] 图4为本发明的方法流程图；
[0043] 图5为CU击中率与编码比特阈值的曲线图；
[0044] 图6为本发明的方法流程图；
具体实施方式
[0045] 下面结合附图和实施例子对本发明作进一步说明。
[0046] 如图1-6所示，一种基于时空相关性的快速屏幕内容编码方法，采用SCC视频编码的SCM2模型，测试条件参考JCT-VC的通用测试条件(JCTVC-R1015)，使用SCM2模型自带屏幕内容编码的全帧内编码配置文件encoder_intra_main_scc.cfg。
[0047] 一种基于时空相关性的快速屏幕内容编码方法，其流程图如图4所示，其中基于时空相关性的CU划分模块的具体步骤是：
[0048] 步骤(I)、计算当前CU与前一帧同位置CU的绝对误差和AFD以描述两者的图像相似度，AFD的计算公式如下：
[0049]
[0050] 其中，Pcur(i,j)表示在当前CU位置(i,j)的像素Y分量值,而Pcol(i,j)表示在前一帧同位置CU位置(i,j)的像素Y分量值，W和H分别表示当前CU的宽和高。
[0051] 步骤(II)、根据相似度大小将CU分为两类，I类和II类。I类CU与前一帧同位置CU的相似度比较高，而II类CU与前一帧同位置处CU的相似度较低，具体分类规则如下：
[0052]
[0053] 其中，η为调整参数，根据实验确定为1。因此上述式(2)中的AFD的阈值实际上就是当前CU的尺寸。
[0054] 对两类CU分别采用一定的规则进行划分优化，其中，设置标记Flag_ns并初始化为0，作为CU是否提前结束划分的条件。I类CU和II类CU的优化规则如下：
[0055] (i)针对I类CU，采用前一帧同位置CU的深度来对当前CU的划分进行优化，规则如下：
[0056] 1)当前CU深度小于前一帧同位置CU的深度，即Depthcur＜Depthcol，对当前CU只计算复杂度较低的PLT模式的率失真代价，跳过CIP模式和IBC模式。
[0057] 2)当前CU深度大于或等于当前一帧同位置CU深度，即Depthcur≥Depthcol，且前一帧同位置CU的模式不为PLT模式，则判定当前CU提前结束划分，设定标记Flag_ns为1。
[0058] (ii)针对II类CU，采用时空相邻CU的深度来对当前CU的划分规则进行优化，规则如下：
[0059] 1)获取时空相邻CU的深度信息。如图3所示，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的深度为Depthlef、Depthabv、Depthabl、Depthcol。并计算相邻CU的最大深度值Depthmax和最小深度值Depthmin：
[0060] Depthmax＝max(Depthlef,Depthabv,Depthabl,Depthcol) (3)
[0061] Depthmin＝min(Depthlef,Depthabv,Depthabl,Depthcol) (4)
[0062] 2)确定当前CU的深度范围，当Depthcur＜Depthmin，当前CU只做PLT模式预测，跳过CIP模式和IBC模式，当Depthcur＞Depthmax，判定当前CU提前结束划分，设定标记Flag_ns为1。
[0063] 基于时空相关性的模式选择模块的具体步骤是：
[0064] 步骤(1)、对每个CU,获取时空相邻CU的帧内模式。如图3所示，设当前帧Ft中的CU块CUcur的左邻CU、上邻CU、左上邻CU和其前一帧Ft-1同位置的CU分别表示为CUlef，CUabv，CUabl，CUcol，这四个CU对应的预测模式分别记为Mlef、Mabv、Mabl、Mcol；
[0065] 步骤(2)、对每个CU采用Sobel算子计算边缘点的数目GN，并统计具有不同亮度分量值的像素数目PVN。其中，边缘点数目GN的计算方法为：
[0066] a、根据Sobel边缘检测算子，分别计算每个像素梯度的水平分量和垂直分量，当前CU位置为(i,j)的像素P(i,j)的梯度分量计算公式如下：
[0067]
[0068]
[0069] 其中，i＝2,3,…,W-1,j＝2,3,…,H-1,W和H分别是CU的宽度和高度。
[0070] b、得到每个像素的梯度幅值G(i,j)，其简化计算公式如下：
[0071] G(i,j)＝|Gx(i,j)|+|Gy(i,j)| (7)
[0072] c、统计当CU的梯度幅值大于阈值的像素点数目，即边缘点数目GN:
[0073]
[0074] 其中，函数δ(G(i,j))定义为：
[0075]
[0076] 其中，λ为阈值，根据实验确定为128。
[0077] 步骤(3)、根据相邻CU的帧内模式情况、GN以及PVN，对当前CU的帧内模式选择进行相应的优化，跳过特定的预测模式，模式选择优化规则为：
[0078] 模式条件(3a) 跳过IBC模式，只做CIP模式预测和PLT模式预测；
[0079] 模式条件(3b) 跳过CIP模式，只做IBC模式预测和PLT模式预测；
[0080] 模式条件(3c) 跳过IBC模式和CIP模式，只做PLT模式预测。
[0081] 其中，α、β、γ为调整参数，根据实验确定为0.1、0.5、10；W、H分别表示当前CU块的宽和高。
[0082] 最后，对深度小于3的CU，采用基于编码比特的CU划分方法。对于深度小于3的CU,当编码比特Biti小于阈值ti时，当前CU提前结束划分，否则继续划分CU。阈值ti的计算方法如下：
[0083] 不同深度CU的编码比特阈值是不同的。通过计算CU击中率与编码比特的关系来确定各深度的阈值ti(i＝0,1,2)，这里CU击中率定义为：采用本发明提出的基于编码比特的CU划分方法，所得到的判定为提前结束划分的CU深度，与原始SCC编码得到的CU深度相比较，统计具有相同深度值的CU数目，然后将其除以提前结束划分的总CU数目，就得到CU的击中率。CU各深度的阈值ti(i＝0,1,2)的具体计算方法如下：
[0084] (1)采用20帧视频格式为YUV 4:4:4的4个视频序列Kimono1、sc_robot、sc_programming和BasketballScreen序列，统计每个CU深度下当QP取22、27、32、37，编码比特位于[0,300]区间时的CU击中率。这样就得到每个QP下，对应于3个CU深度的CU击中率与编码比特的曲线图，如图5的第1,2,3,4行所示。
[0085] (2)对于每一个CU深度，将其对应于4个QP下的CU击中率与编码比特的曲线图的数据进行平均，即对图5中的每一列第1行到第4行的曲线数据求平均，得到该深度下的平均CU击中率与编码比特的曲线图，即图5中最后1行的曲线图。在图5最后一行曲线图中，从左到右分别表示深度为0,1,2情况下的平均CU击中率与编码比特的曲线图。在每个平均CU击中率与编码比特的曲线图中，选择一个最小的编码比特阈值ti(i＝0,1,2)，使得其对应的图中4个序列Kimono1、sc_robot、sc_programming和BasketballScreen的CU击中率都大于90％。这样，深度为i＝0,1,2下的CU的编码比特阈值ti就可以分别确定为40,25,35。
