本发明公开了一种新视频编码标准的基于分层B帧的帧间模式快速选择方法及装置，该方法根据新一代视频编码标准对图片组GOP的第一帧进行编码，统计编码后各个类型所有编码单元CU大小所占据第一帧的比例，根据比例第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式，快速选出需要遍历帧间模式的编码单元；是否跳过帧间模式的决策方法对提升编码器效率起到关键作用，大大地降低了视频编码器的帧间预测计算复杂度，减少了编码时间，提高了编码效率；本发明算法简单，计算量小；该选择装置结构简单，使用方便，可方便地投入实际应用。
1.一种新视频编码标准的基于分层B帧的帧间模式快速选择方法，其特征在于，根据新一代视频编码标准对图片组GOP的第一帧进行编码，统计编码后各个类型所有编码单元CU大小所占据第一帧的比例，根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式，快速选出需要遍历帧间模式的编码单元；
所述编码后各个类型所有编码单元CU大小所占据第一帧的比例 是指：其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,
128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度；
所述根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式的具体过程如下：若后续帧中当前编码单元满足以下条件，则编码单元CU仅选择帧间模式中的Skip模式，否则按新一代视频编码标准中的编码顺序遍历所有帧间模式；
a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
2.根据权利要求1所述的方法，其特征在于，α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
3.一种新视频编码标准的基于分层B帧的帧间模式快速选择装置，其特征在于，包括：编码单元，用于根据新一代视频编码标准对图片组GOP的第一帧进行编码；
统计单元，用于统计编码后各个类型所有编码单元CU大小所占据第一帧的比例；
选择单元，根据比例 第一帧所在层次以及每个编码单元CU的尺寸选出后续帧中只需进行帧间模式中Skip模式的编码单元CU，快速选出需要遍历所有帧间模式的编码单元CU；
所述选择单元依据以下规则，选出后续帧中只需进行帧间模式中Skip模式的编码单元CU：a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
4.根据权利要求3所述的装置，其特征在于，所述编码后各个类型所有编码单元CU大小所占据第一帧的比例 是指：其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,
128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度。
5.根据权利要求4所述的装置，其特征在于，所述设定阈值按照以下设置取值：α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
一种新视频编码标准的基于分层B帧的帧间模式快速选择方
法及装置
技术领域
[0001] 本发明属于视频编码领域，特别涉及一种新视频编码标准的基于分层B帧的帧间模式快速选择方法及装置。
背景技术
[0002] 分层B帧结构是在H.264编码标准中提出来的一种编码结构，通常被用于图片组(GOP)中生成不同帧率以提高编码时域延展性。从H.264编码标准到H.265再到目前正在研发的新一代视频编码标准，近十几年来的视频编码标准均应用了分层B帧结构。一个典型的GOP大小为16的分层B帧结构如图1所示，视频序列中的第一帧的编码模式为帧内编码模式，即I帧。图中最下面一层(level 0)的帧称为关键帧，关键帧的编码模式可以是帧内编码模式(I帧)也可以是帧间编码模式(P帧)。其余帧类型均为B帧，B帧可以作为更高层帧的参考帧，为高层帧的帧间预测提供参考信息。
[0003] 2013年，ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(动态图像专家组)联合推出了HEVC(高效视频编码)视频压缩方案。自2016年始，VCEG和MPEG开始研究新一代视频编码器，并成立了一个专家小组——JVET(联合视频研究小组)，旨在进一步提升HEVC的压缩率。新一代视频编码标准是在HEVC的基础上发展而来，二者都引用了树形结构单元(CTU)，一个片段在编码时，先被分割为大小相同的CTU，每一个CTU按照四叉树(QT)分割方式被划分为不同类型的编码单元(CU)。不同的是新一代视频编码标准的CTU采用的是四叉二叉树划分(QTBT)结构，二者的CTU划分结构如图2所示。每个CU都有帧内帧间预测模式，在HEVC中，帧间模式又包括4个对称模式、4个非对称模式和一个skip模式。当需要编码的运动信息只有运动参数集索引，编码残差信息不需要编码时，为SKIP模式。在新一代视频编中，帧间模式主要有五种：三种融合模式(Merge模式)和一种运动估计的帧间模式。这些模式的应用提高了编码器的压缩性能，也大大增加了编码时间，影响了标准的研发速度和应用价值。在关于新一代视频编码标准的第三次会议上就有提案指出这种弊端，并请求对其复杂度采取行动。
[0004] 虽然目前有许多针对分层B帧的帧间快速算法，如TieSong Zhao等学者在2014年IEEE图像处理国际会议上提出基于分层B帧的模式决策算法，但该方法是针对H.264编码标准的。Yue Li等在2017年的IEEE Transactions on Multimedia上提出基于分层B帧的结构和CU的时空特性跳过某些类型的预测单元(PU)。但是由于新一代视频编码标准采用了QTBT(四叉二叉划分)的编码结构并取消了预测单元PU的概念，所以以上现有算法并不适用于新一代视频编码标准。另外一些，例如基于方差的、基于贝叶斯的方法，由于计算复杂度太高并不适用于实际应用。
[0005] 2016年五月的日内瓦会议提出了新一代视频编码标准的测试模型JEM2.0，此时JEM编码器在随机配置下的平均编码时间是HEVC编码器的5.3倍。其中，帧间预测在总的编码时间中占据约68％的时间，同样地，在以往的编码标准中，帧间预测也占据了大量编码时间，因此帧间预测是减少编码时间的重要模块，具有很大的改进空间，如果能将帧间预测的时间减少将大大提高编码器的效率。
发明内容
[0006] 本发明的目的是针对帧间预测编码时间过长的缺陷以及现有技术的不足，提出一种新视频编码标准的基于分层B帧的帧间模式快速选择方法及装置，缩短其编码时间，提高其实际应用性。
[0007] 从图1的分层B帧结构可以看到，层次越高，编码帧与参考帧之间的距离越短。这意味着层次越高，参考信息就越精细，因此CTU在划分CU时更有可能划分为较大的CU，从而某些尺寸较小的CU的帧间编码部分可以跳过，直接选用SKIP模式进行编码。
[0008] 一种新视频编码标准的基于分层B帧的帧间模式快速选择方法，根据新一代视频编码标准对图片组GOP的第一帧进行编码，统计编码后各个类型所有编码单元CU大小所占据第一帧的比例，根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式，快速选出需要遍历帧间模式的编码单元；
[0009] 所述编码后各个类型所有编码单元CU大小所占据第一帧的比例 是指：
[0010]
[0011] 其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度。
[0012] 进一步地，所述根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式的具体过程如下：
[0013] 若后续帧中当前编码单元满足以下条件，则编码单元CU仅选择帧间模式中的Skip模式，否则按新一代视频编码标准中的编码顺序遍历所有帧间模式；
[0014] a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
[0015] b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
[0016] c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
[0017] d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
[0018] e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
[0019] f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
[0020] 其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
[0021] 进一步地，α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
[0022] 一种新视频编码标准的基于分层B帧的帧间模式快速选择装置，包括：
[0023] 编码单元，用于根据新一代视频编码标准对图片组GOP的第一帧进行编码；
[0024] 统计单元，用于统计编码后各个类型所有编码单元CU大小所占据第一帧的比例；
[0025] 选择单元，根据比例 第一帧所在层次以及每个编码单元CU的尺寸选出后续帧中只需进行帧间模式中Skip模式的编码单元CU，快速选出需要遍历所有帧间模式的编码单元CU；
[0026] 所述选择单元依据以下规则，选出后续帧中只需进行帧间模式中Skip模式的编码单元CU：
[0027] a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
[0028] b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
[0029] c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
[0030] d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
[0031] e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
[0032] f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
[0033] 其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
[0034] 进一步地，所述编码后各个类型所有编码单元CU大小所占据第一帧的比例是指：
[0035]
[0036] 其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度。
[0037] 进一步地，所述设定阈值按照以下设置取值：
[0038] α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
[0039] 有益效果
[0040] 相比现有技术，本发明有以下有益效果：
[0041] (1)本发明根据GOP的第一帧统计各个类型CU的比例，根据该比例、帧的层次以及CU的尺寸决定是否跳过帧间模式，其中，是否跳过帧间模式的决策方法对提升编码器效率起到关键作用，大大地降低了视频编码器的帧间预测计算复杂度，减少了编码时间，提高了编码效率；
[0042] (2)本发明算法简单，计算量小，可方便地投入实际应用。
附图说明
[0043] 图1为分级B帧结构图；
[0044] 图2为四叉树(QT)划分结构以及四叉二叉树(QTBT)划分结构图，其中，(a)为四叉树(QT)划分结构图，(b)为四叉二叉树(QTBT)划分结构图；
[0045] 图3为本发明算法流程示意图。
具体实施方式
[0046] 下面将结合附图和实施例对本发明做进一步的说明。
[0047] 如图3所示，一种新视频编码标准的基于分层B帧的帧间模式快速选择方法，根据新一代视频编码标准对图片组GOP的第一帧进行编码，统计编码后各个类型所有编码单元CU大小所占据第一帧的比例，根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式，快速选出需要遍历帧间模式的编码单元；
[0048] 所述编码后各个类型所有编码单元CU大小所占据第一帧的比例 是指：
[0049]
[0050] 其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度。
[0051] 所述根据比例 第一帧所在层次以及每个编码单元CU的尺寸决定后续帧中是否跳过编码单元CU的帧间模式的具体过程如下：
[0052] 若后续帧中当前编码单元满足以下条件，则编码单元CU仅选择帧间模式中的Skip模式，否则按新一代视频编码标准中的编码顺序遍历所有帧间模式；
[0053] a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
[0054] b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
[0055] c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
[0056] d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
[0057] e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
[0058] f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
[0059] 其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
[0060] 在本实例中，优选设置α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
[0061] 一种新视频编码标准的基于分层B帧的帧间模式快速选择装置，包括：
[0062] 编码单元，用于根据新一代视频编码标准对图片组GOP的第一帧进行编码；
[0063] 统计单元，用于统计编码后各个类型所有编码单元CU大小所占据第一帧的比例；
[0064] 选择单元，根据比例 第一帧所在层次以及每个编码单元CU的尺寸选出后续帧中只需进行帧间模式中Skip模式的编码单元CU，快速选出需要遍历所有帧间模式的编码单元CU；
[0065] 所述选择单元依据以下规则，选出后续帧中只需进行帧间模式中Skip模式的编码单元CU：
[0066] a)若当前编码单元CU所在的帧位于分层B帧结构图中的等级1或等级2，且该编码单元CU的大小在第一帧中所占比例 小于α；
[0067] b)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3或等级4，且该编码单元CU的大小在第一帧中所占比例 小于β；
[0068] c)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于γ；
[0069] d)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级3且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于δ；
[0070] e)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于4且该编码单元CU的大小在第一帧中所占比例 大于β小于ε；
[0071] f)如果当前编码单元CU所在的帧位于分层B帧结构图中的等级4，且该编码单元CU的宽和高均小于或等于8且该编码单元CU的大小在第一帧中所占比例 大于β小于θ；
[0072] 其中，α，β，γ，δ，ε，θ为设定阈值，均为0-1之间的实数。
[0073] 在一种新视频编码标准的基于分层B帧的帧间模式快速选择装置中，所述编码后各个类型所有编码单元CU大小所占据第一帧的比例 是指：
[0074]
[0075] 其中，CUw和CUh分别表示编码单元CU的宽度和高度，取值范围均为{4,8,16,32,64,128}；N(w，h)表示在第一帧中宽为w，高为h的编码单元CU个数，Fw和Fh分别表示图片组GOP的第一帧的宽度和高度。
[0076] 在一种新视频编码标准的基于分层B帧的帧间模式快速选择装置中，所述设定阈值按照以下设置取优选值：
[0077] α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。
[0078] 为了验证所提出的帧间快速算法的可行性以及有效性，基于新一代视频编码标准测试模型JEM4.0实现了本发明所述的快速算法。所有实验的具体编码参数的配置选用JEM标准配置文件：encoder_randomaccess_jvet10.cfg，以及对应测试序列的标准配置文件。
[0079] 实验结果如表1所示。其中，QP为输入的量化参数，ΔBits％为加了本发明所述算法后的编码器与传统的编码器相比视频比特率的变化百分比，该值越小说明本发明算法的编码效果越好。ΔPSNR/dB为加了本发明所述算法后的编码器与传统的编码器相比峰值信噪比变化，该值越小说明本算法的编码质量越高。TS/％为加了本发明所述算法后的编码器与传统的编码器相比所节省的时间百分比，该值越大说明本算法的编码时间相对传统编码器越短。ΔBDBR％表示了在同样的客观质量下，改进的编码器相对于传统编码器的码率节省情况，ΔBDBR％越小说明算法效果越好。
[0080] 表1实验结果
[0081]
[0082] 通过在实验仿真，本发明中所提出的快速帧间算法的实验结果如表1所示。由表1可知，加入本发明所述算法后的编码器与传统的编码器相比视频比特率的变化百分比ΔBits％的均值为0.067，取值均在较小的变化范围，说明本发明算法的编码效果较好。加了本发明所述算法后的编码器与传统的编码器相比峰值信噪比变化ΔPSNR/dB的均值为-0.0013，取值较小，说明本算法的编码质量较高。加了本发明所述算法后的编码器与传统的编码器相比所节省的时间百分比TS/％的均值为15.91，该值越大说明本算法的编码时间相对传统编码器越短。在同样的客观质量下，改进的编码器相对于传统编码器的码率节省情况ΔBDBR％的均值为0.48，取值较小，说明算法效果较好，该算法达到了在保证视频的质量的前提下，提高了编码的效率的目的。
[0083] 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
