基于通用视频编码标准的帧内预测编码模式快速决策方法

摘要

基于通用视频编码标准的帧内预测编码模式快速决策方法，属于视频编码技术领域，本发明为解决现有通用视频编码技术中存在的编码复杂度高，未对编码模式相关性进行分析，未对帧内模式决策的两个过程中需要遍历计算代价值的编码模式进行自适应筛选的问题。它对构造的初始集合进行粗略模式决策处理，将保留的预测模式与其相邻预测模式组成新的预测模式集合，再对其进行粗略模式决策处理，比较哈德玛变换代价值，与最可能预测模式MPM合并，去除重复的预测模式，计算其最小哈德玛变换代价值，将其他哈德玛变换代价值大于1.5倍最小哈德玛变换代价值的预测模式去除；保留两个最小哈德玛变换代价值对应的编码模式。本发明用于视频编码技术。

权利要求

1.基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，它包括：S1、设上一编码深度CU的最优预测模式为A、次优预测模式为SA，构造初始集合S0；

构造初始集合S0的依据为：利用相邻深度帧内预测模式的相关性；

初始集合S0表示为：

集合P中的0表示帧内预测模式中的非角度预测模式Planar，1表示帧内预测模式中的非角度预测模式DC；

集合B中包含根据相关性设置的当前深度CU的候选模式：其中，min表示最优和次优编码模式中模式序号较小的编码模式，min+1表示模式序号比min的模式序号大1的编码模式，min‑1表示模式序号比min的模式序号小1的编码模式；

max表示最优和次优编码模式中模式序号较大的编码模式，max+1表示模式序号比max的模式序号大1的编码模式，max‑1表示模式序号比max的模式序号小1的编码模式；

S2、对S0进行粗略模式决策处理，保留M个预测模式，将保留下的M个预测模式与S(x)组成新的预测模式集合S1；所述S(x)表示与预测模式相邻的预测模式；

再对S1进行粗略模式决策处理，通过比较哈德玛变换代价值，保留最终M个预测模式，并将最终M个预测模式与最可能预测模式MPM合并，去除重复的预测模式，获得合并后预测模式集合S2；

S2所述预测模式相邻的预测模式S(x)表示为：

x表示已选定的预测模式编号；

S3、获取S2中最小哈德玛变换代价值，将S2中其他哈德玛变换代价值大于1.5倍最小哈德玛变换代价值的预测模式去除；

S4、判断候选列表中是否仅剩最小哈德玛变换代价值对应的编码模式，否则执行S5，是则执行S6；

S5、保留两个最小哈德玛变换代价值对应的编码模式，然后执行S6；

S6、对候选列表中的编码模式进行率失真优化，获得最优编码模式。

2.根据权利要求1所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，所述上一编码深度CU的最优预测模式为A和次优预测模式为SA均为角度预测模式。

3.根据权利要求2所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，当前编码深度的最优预测模式是A‑1、A、A+1、SA‑1、SA、SA+1、非角度预测模式DC、非角度预测模式Planar或MPM中的一个。

4.根据权利要求3所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，所述非角度预测模式DC是适用于大面积平坦区域的模式编号为1的非角度预测模式；

非角度预测模式DC的预测值通过计算左侧和上侧参考像素的平均值获得：当编码块的宽和高相等时，用左侧和上侧参考图像的平均值作为预测值，填充整个编码块；

当编码块的宽大于高时，用上侧参考像素的平均值作为预测值，填充整个编码块；

当编码块的宽小于高时，用左侧参考像素的平均值作为预测值，填充整个编码块。

5.根据权利要求3所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，所述非角度预测模式Planar是适用于像素值缓慢变换的模式编号为0的非角度预测模式；

非角度预测模式Planar的预测值通过计算横向和纵向的预测值获得。

6.根据权利要求3所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，所述MPM表示最可能预测模式。

7.根据权利要求1所述的基于通用视频编码标准的帧内预测编码模式快速决策方法，其特征在于，对候选列表中的编码模式进行率失真优化的依据为：下一代通用视频编码标准VVC。

说明书

基于通用视频编码标准的帧内预测编码模式快速决策方法

技术领域

[0001] 本发明涉及一种帧内预测编码模式快速决策方法，属于视频编码技术领域。

背景技术

[0002] 目前，为了满足主流的数字视频应用的压缩性能需求，国际电信联盟‑电信标准部ITU‑T(International Telecommunication Union‑Telecommunication Standardization Sector,ITU‑T)的视频编码专家组VCEG(Video Coding Experts Group,VCEG)和国际标准化组织/国际电工委员会ISO/IEC(International Standard Organized/International Electro Technical Commission,ISO/IEC)的运动图像专家组MPEG(Moving Pictures Experts Group,MPEG)继续合作，成立了联合视频探索组(Joint Video Exploration Team,JVET)，共同制定了下一代通用视频编码标准VVC(Versatile Video Coding,VVC)，于2020年7月6日定稿。与上一代HEVC(High Efficiency Video Coding,HEVC)视频编码标准相比较，VVC标准中为了提高压缩性能，增加了30多种新的编码工具，覆盖了混合视频编解码系统框架中的每个模块，对块划分、帧内及帧间预测、残差编码、变换量化、熵编码、环路滤波等模块都做了一定程度的改进。同时VVC标准一开始就充分考虑到增强现实AR(Augmented Reality,AR)和虚拟现实VR(Virtual Reality,VR)这些新兴的视频应用，在VVC标准开发过程中针对这些应用的需求进行了深度的算法优化。正是这些先进的技术实现了VVC标准的高压缩效率，但与此同时，也大大提升了视频编码的复杂度，导致编码时间十分漫长，目前很少有硬件能够支持VVC标准的实时编码、解码，这限制了VVC标准的广泛应用。

[0003] 现有的通用视频编码技术存在以下主要问题：

[0004] 1、现有VVC标准有67种帧内编码模式(见图3)，现有的针对VVC标准的快速帧内编码模式决策算法未考虑编码模式之间的相关性，因此，现有的快速帧内编码模式决策算法不能充分利用已完成编码的编码模式的先验信息进而降低帧内编码的复杂度。

[0005] 2、在帧内编码中，分两个阶段来完成帧内模式决策过程(见图4)，第一个阶段是模式初选阶段。VVC原始算法中每个编码单元对HEVC中原有的35种帧内编码模式进行粗略模式决策RMD(Rough Mode Decision,RMD)处理，从中选出N个哈德玛(Hadamard)代价值最小的帧内编码模式。可以看出，VVC原始算法第一阶段需要计算35个全部预测模式的Hadamard变换代价，此过程计算量极大，严重限制了编码速度。

[0006] 3、帧内编码第二个阶段是对于进行RMD处理后保留下来的N个预测模式，将它们与最可能预测模式MPM(Most Probable Mode,MPM)合并，合并之后接着进行遍历计算比较率失真代价值RDC(Rate Distortion Cost,RDC)。可以看出，VVC原始算法另一个复杂度极高的原因是需要对合并后的集合递归地计算每个编码模式的RDC。

发明内容

[0007] 本发明目的是为了解决解决现有通用视频编码技术中存在的编码复杂度高，未对编码模式相关性进行分析，未对帧内模式决策的两个过程中需要遍历计算代价值的编码模式进行自适应筛选的问题，提供了一种基于通用视频编码标准的帧内预测编码模式快速决策方法。

[0008] 本发明所述基于通用视频编码标准的帧内预测编码模式快速决策方法，它包括：

[0009] S1、设上一编码深度CU的最优预测模式为A、次优预测模式为SA，构造初始集合S0；

[0010] S2、对S0进行粗略模式决策处理，保留M个预测模式，将保留下的M个预测模式与S(x)组成新的预测模式集合S1；所述S(x)表示与预测模式相邻的预测模式；

[0011] 再对S1进行粗略模式决策处理，通过比较哈德玛变换代价值，保留最终M个预测模式，并将最终M个预测模式与最可能预测模式MPM合并，去除重复的预测模式，获得合并后预测模式集合S2；

[0012] S3、获取S2中最小哈德玛变换代价值，将S2中其他哈德玛变换代价值大于1.5倍最小哈德玛变换代价值的预测模式去除；

[0013] S4、判断候选列表中是否仅剩最小哈德玛变换代价值对应的编码模式，否则执行S5，是则执行S6；

[0014] S5、保留两个最小哈德玛变换代价值对应的编码模式，然后执行S6；

[0015] S6、对候选列表中的编码模式进行率失真优化，获得最优编码模式。

[0016] 本发明的优点：本发明提出的基于通用视频编码标准的帧内预测编码模式快速决策方法，基于统计信息和预测模式之间的相关性减少需要进行哈德玛变化代价计算以及需要RDC计算的编码模式数量，进而节省编码时间，降低编码复杂度。与原始算法相比，该方法的提出减少了用于遍历的预测模式数量，在编码性能下降几乎可以忽略不计的情况下能够有效降低VVC标准帧内预测的计算复杂度且缩短编码时间，为实现实时编码做好基础。

附图说明

[0017] 图1是本发明所述基于通用视频编码标准的帧内预测编码模式快速决策方法的流程框图；

[0018] 图2是相邻深度帧内预测模式的相关性的示意图；

[0019] 图3是VVC标准现有技术中采用的67种帧内编码模式，编码模式分为非角度模式和角度模式。非角度模式共有2种，在图3中的模式标号分别为0和1，0代表Planar模式，1代表DC模式。除模式0和1之外，其余都为角度模式，共有65种，其中图中实线为HEVC编码标准中原有的33种角度模式，虚线为VVC新增的32种角度模式；

[0020] 图4是VVC标准原始算法的帧内编码模式决策示意图。

具体实施方式

[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0022] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0023] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

[0024] 具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述基于通用视频编码标准的帧内预测编码模式快速决策方法，它包括：

[0025] S1、设上一编码深度CU的最优预测模式为A、次优预测模式为SA，构造初始集合S0；

[0026] S2、对S0进行粗略模式决策处理，保留M个预测模式，将保留下的M个预测模式与S(x)组成新的预测模式集合S1；所述S(x)表示与预测模式相邻的预测模式；

[0027] 再对S1进行粗略模式决策处理，通过比较哈德玛变换代价值，保留最终M个预测模式，并将最终M个预测模式与最可能预测模式MPM合并，去除重复的预测模式，获得合并后预测模式集合S2；

[0028] S3、获取S2中最小哈德玛变换代价值，将S2中其他哈德玛变换代价值大于1.5倍最小哈德玛变换代价值的预测模式去除；

[0029] S4、判断候选列表中是否仅剩最小哈德玛变换代价值对应的编码模式，否则执行S5，是则执行S6；

[0030] S5、保留两个最小哈德玛变换代价值对应的编码模式，然后执行S6；

[0031] S6、对候选列表中的编码模式进行率失真优化，获得最优编码模式。

[0032] 进一步的，所述上一编码深度CU的最优预测模式为A和次优预测模式为SA均为角度预测模式。

[0033] 再进一步的，根据上一编码深度CU的最优预测模式为A、次优预测模式为SA，且A、SA均为角度预测模式，则：

[0034] 当前编码深度的最优预测模式是A‑1、A、A+1、SA‑1、SA、SA+1、非角度预测模式DC、非角度预测模式Planar或MPM中的一个。

[0035] 再进一步的，所述非角度预测模式DC是适用于大面积平坦区域的模式编号为1的非角度预测模式；

[0036] 非角度预测模式DC的预测值通过计算左侧和上侧参考像素的平均值获得：

[0037] 当编码块的宽和高相等时，用左侧和上侧参考图像的平均值作为预测值，填充整个编码块；

[0038] 当编码块的宽大于高时，用上侧参考像素的平均值作为预测值，填充整个编码块；

[0039] 当编码块的宽小于高时，用左侧参考像素的平均值作为预测值，填充整个编码块。

[0040] 再进一步的，所述非角度预测模式Planar是适用于像素值缓慢变换的模式编号为0的非角度预测模式；

[0041] 非角度预测模式Planar的预测值通过计算横向和纵向的预测值获得。

[0042] 再进一步的，所述MPM表示最可能预测模式。

[0043] 再进一步的，如图2所示，构造初始集合S0的依据为：利用相邻深度帧内预测模式的相关性。

[0044] 再进一步的，S5所述对候选列表中的编码模式进行率失真优化的依据为：下一代通用视频编码标准VVC。

[0045] 具体实施方式二：本实施方式对实施方式一作进一步说明，S1所述初始集合S0表示为：

[0046]

[0047] 集合P中的0表示帧内预测模式中的非角度预测模式Planar，1表示帧内预测模式中的非角度预测模式DC；

[0048] 集合B中包含根据相关性设置的当前深度CU的候选模式：

[0049]

[0050]

[0051] 其中，min表示最优和次优编码模式中模式序号较小的编码模式，min+1表示模式序号比min的模式序号大1的编码模式，min‑1表示模式序号比min的模式序号小1的编码模式；max表示最优和次优编码模式中模式序号较大的编码模式，max+1表示模式序号比max的模式序号大1的编码模式，max‑1表示模式序号比max的模式序号小1的编码模式。

[0052] 具体实施方式三：本实施方式对实施方式一作进一步说明，S1所述初始集合S0表示为：S2所述预测模式相邻的预测模式S(x)表示为：

[0053]

[0054] x表示已选定的预测模式编号。

[0055] 本实施方式中，定义65个角度预测模式存在相邻模式，Planar模式和DC模式的相邻模式集合为空。因为Planar模式和DC模式并不是角度预测模式，因此对于空间上的角度的相邻模式定义需要单独考虑，所以这里直接设定为空。

[0056] 本发明中，

[0057] 步骤一、判断当前编码单元所在的编码层在树形编码结构中的编码深度是否为0，如果是，则初始候选列表为HEVC中原有的35种编码模式，然后执行步骤四，否则，执行步骤二；

[0058] 步骤二、如果当前编码单元所在的编码层在树形编码结构中的编码深度不为0，则利用相邻编码深度中编码模式的相关性重新构造初始候选列表。构造方法如下：首先初始列表由非角度模式(Planar模式和DC模式)和角度模式构成，然后对非角度模式分情况进行讨论。第一种情况，当min为2，max为34时，角度模式由编号为2，3，33，34的编码模式构成；第二种情况，当min为2，max为3时，角度模式由编号为2，3，33，34的编码模式构成；第三种情况，当min为2，max为4时，角度模式由编号为2，3，4，5的编码模式构成；第四种情况，当min为33，max为34时，角度模式由编号为32，33，34的编码模式构成；第五种情况，当min为32，max为34时，角度模式由编号为31，32，33，34的编码模式构成；第六种情况，当min为2，max属于闭区间5至33时，角度模式由编号为2，3，max‑1，max+1的编码模式构成；第七种情况，当min属于闭区间3至31，max为34时，角度模式由编号为min‑1，min，min+1，33，34的编码模式构成；最后一种情况，当最优模式A和次优模式SA都属于闭区间3至33时，角度模式可继续细分为三种情况，max与min差值为1时，角度模式由编号为min‑1，min，max，max+1的编码模式构成,max与min差值为2时，角度模式由编号为min‑1，min，min+1，max，max+1的编码模式构成，max与min差值大于等于3时，角度模式由编号为min‑1，min，min+1，max‑1，max，max+1的编码模式构成。上述中min和max分别为最优编码模式和次优编码模式中模式序号较小和较大的编码模式。然后，执行步骤三；

[0059] 步骤三、将步骤二中得到的初始编码列表中的M个预测模式与其相邻的模式构成新的预测模式集合S1，新的预测模式构造集合可分为以下几种情况：第一种情况，当预测模式为非角度模式，即为Planar模式和DC模式时，其相邻模式为空集；第二种情况，当预测模式编号x为2时，其相邻模式为x+1即3；第三种情况，当预测模式编号x属于开区间2至34时，其相邻模式为x‑1和x+1；第四种情况，当预测模式编号x为34时，其相邻模式为x‑1即33；新的预测模式集合构造完成后继续进行RMD处理，即比较集合中所有预测模式的Hadamard变换代价值，保留最终的M个编码模式作为最终的候选列表，然后执行步骤四；

[0060] 步骤四、将最可能预测模式MPM与步骤一或步骤三得到的初始预测集合进行合并得到新的候选列表S2，其中MPM是根据当前块左侧和上方的已经编码单元的最佳预测模式得到的6个预测模式，由于MPM有可能和候选列表中的已有的模式有重叠，因此最终加入列表中的MPM的数目是可变的，范围是0～6。接着执行步骤五；

[0061] 步骤五、对于步骤四中得到的新的候选列表S2，计算列表中所有模式的Hadamard变换代价值并获取最小的Hadamard变换代价值，将新的列表中Hadamard变换代价值大于最小Hadamard变换代价值1.5倍的编码模式去除，然后执行步骤六；

[0062] 步骤六、判断最终候选列表中编码模式的个数是否为1，若是，则代表仅剩下最小哈德玛变换代价值所对应的编码模式，然后执行步骤八，否则执行步骤七；

[0063] 步骤七、判断最终候选列表中编码模式的个数是否大于等于2，若是，则仅保留哈德玛变换代价值最小的两个编码模式，然后执行步骤八；

[0064] 步骤八、对最终候选列表中保留下来的编码模式按照VVC标准中的规定进行率失真优化过程，选择出最优编码模式；即完成了一种用于通用视频编码标准的帧内预测编码模式快速决策算法。

[0065] 进一步的，所述步骤五中去除的为大于最小Hadamard代价值m倍的编码模式，其中m值应大于1，然后比较不同的m值对应的编码时间和编码性能，将m值选取为1.5的依据是在有限的实验条件下选取的最优值。

[0066] 虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。