解码方法、编码方法、装置及设备转让专利

申请号 : CN202110297136.3

文献号 : CN114640856B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 曹小强孙煜程陈方栋

申请人 : 杭州海康威视数字技术股份有限公司

摘要 :

本申请提供一种解码方法、编码方法、装置及设备,该解码方法包括:获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;当所述增强时域运动矢量预测模式标志位的取值为第一数值时:根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;根据所述增强时域运动矢量预测模式索引值,确定目标匹配编码单元的坐标信息;根据所述目标匹配编码单元的坐标信息,确定所述当前编码单元内对应位置的子块的运动信息。该方法可以提高编解码性能。

权利要求 :

1.一种解码方法,其特征在于,包括:

获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;

当所述增强时域运动矢量预测模式标志位的取值为第一数值时:

根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;

根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;

根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;

根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息。

2.根据权利要求1所述的方法,其特征在于,所述获取当前编码单元的增强时域运动矢量预测模式标志位的取值,包括:当所述当前编码单元满足第一解析条件时,从码流中解析所述增强时域运动矢量预测模式标志位的取值;

否则,确定所述增强时域运动矢量预测模式标志位的取值为第二数值;

所述增强时域运动矢量预测模式标志位的取值为第一数值,表明所述当前编码单元启用增强时域运动矢量预测模式,所述增强时域运动矢量预测模式标志位的取值为第二数值表明所述当前编码单元不启用增强时域运动矢量预测模式。

3.根据权利要求2所述的方法,其特征在于,所述增强时域运动矢量预测模式标志位采用基于上下文的二进制算术编码,并采用一个上下文模型。

4.根据权利要求1所述的方法,其特征在于,所述获取当前编码单元的增强时域运动矢量预测模式索引值,包括:当所述当前编码单元满足第二解析条件时,从码流中解析所述增强时域运动矢量预测模式索引值。

5.根据权利要求4所述的方法,其特征在于,所述当前编码单元满足第二解析条件,包括以下之一或多个:所述当前编码单元的预测模式为跳过模式或直接模式;

所述当前编码单元启用增强时域运动矢量预测模式。

6.根据权利要求5所述的方法,其特征在于,所述增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串,每个二元符号采用单独的上下文模型,一共4个上下文模型。

7.根据权利要求1所述的方法,其特征在于,所述根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,包括:根据所述初始匹配编码单元的坐标信息,确定至少一个增强时域运动矢量预测模式号;

根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。

8.根据权利要求7所述的方法,其特征在于,匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标;

所述根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表,包括:将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;

若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑cu_height中的较小值,且A1位置的运动信息与C3位置的运动信息不同,或A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;

若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size‑cu_width中的较小值,且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;

若My‑8大于或等于y_ctb_pos,且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;

若Mx‑8大于或等于x_ctb_pos,且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;

其中,(Mx,My)所述初始匹配编码单元的坐标信息,(x_ctb_pos,y_ctb_pos)为当前最大编码单元在图像中的左上角坐标,lcu_size为最大编码单元的大小,cu_width和cu_height分别为当前编码单元的宽度和高度,horizontal_size和vertical_size分别是当前图像的宽度和高度;

A1为所述初始匹配编码单元的左上角4*4块、B1为A1正左侧的4*4块,C1为A1正上方的

4*4块;A2为所述初始匹配编码单元的右上角4*4块、B2为A2正右侧的4*4块,C2为A2正上方的4*4块;A3为所述初始匹配编码单元的左下角4*4块、B3为A3正左侧的4*4块,C3为A3正下方的4*4块;A4为所述初始匹配编码单元的右下角4*4块、B4为A4正右侧的4*4块,C4为A4正下方的4*4块。

9.根据权利要求8所述的方法,其特征在于,所述根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,还包括:当所述增强时域候选列表长度小于5时,循环执行如下操作,直至增强时域候选列表长度等于5:将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1。

10.根据权利要求1所述的方法,其特征在于,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括:对于目标匹配编码单元中的任一子块:

在当前图像帧类型是P图像的情况下:

若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予所述当前编码单元对应位置的子块。

11.根据权利要求1所述的方法,其特征在于,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括对于目标匹配编码单元中的任一子块:在当前图像帧类型是B图像的情况下:

若该子块的前向运动信息和后向运动信息可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予所述当前编码单元对应位置的子块;

若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;

若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。

12.根据权利要求1所述的方法,其特征在于,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括对于目标匹配编码单元中的任一子块:在当前图像帧类型是P图像的情况下:

若将子块的前向运动信息不可用,则当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块;

在当前图像帧类型是B图像的情况下:

若将子块的前向运动信息和后向运动信息均不可用,则当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块;

其中,所述第一周围块包括所述当前编码单元任一已解码的相邻块。

13.一种编码方法,其特征在于,包括:

根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;

根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;

按顺序遍历增强时域候选列表中的每个增强时域运动矢量预测模式号,确定每个增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;

根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息;

根据所述当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿;

计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。

14.一种解码装置,其特征在于,包括:

获取单元,用于获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;

第一确定单元,用于当所述增强时域运动矢量预测模式标志位的取值为第一数值时,根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;

构建单元,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;

第二确定单元,用于根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;

第三确定单元,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息。

15.一种编码装置,其特征在于,包括:

第一确定单元,用于根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;

构建单元,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;

第二确定单元,用于按顺序遍历增强型时域候选列表中的每一种增强时域候选模式,确定每个模式对应的目标匹配编码单元的坐标信息;

第三确定单元,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息;

运动补偿单元,用于根据所述当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿;

编码单元,用于计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。

16.一种解码端设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1‑12任一项所述的方法。

17.一种编码端设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求13所述的方法。

说明书 :

解码方法、编码方法、装置及设备

技术领域

[0001] 本申请涉及视频编解码技术,尤其涉及一种解码方法、编码方法、装置及设备。

背景技术

[0002] 完整的视频编码一般包括预测、变换、量化、熵编码、滤波等操作。预测可以分为帧内预测和帧间预测,帧内预测是利用周围已编码单元作为参考对当前未编码单元进行预测,有效去除空域上的冗余。帧间预测是使用邻近已编码图像对当前图像进行预测,有效去除时域上的冗余。
[0003] 通用视频编码(Versatile Video Coding,简称VVC)标准里采纳的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction,简称 ATMVP)技术是利用时域子块的运动信息,为当前编码单元内的每个子块提供不同的运动信息。

发明内容

[0004] 有鉴于此,本申请提供一种解码方法、编码方法、装置及设备。
[0005] 具体地,本申请是通过如下技术方案实现的:
[0006] 根据本申请实施例的第一方面,提供一种解码方法,包括:
[0007] 获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;
[0008] 当所述增强时域运动矢量预测模式标志位的取值为第一数值时:
[0009] 根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;
[0010] 根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0011] 根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0012] 根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息。
[0013] 在一些实施例中,所述获取当前编码单元的增强时域运动矢量预测模式标志位的取值,包括:
[0014] 当所述当前编码单元满足第一解析条件时,从码流中解析所述增强时域运动矢量预测模式标志位的取值;
[0015] 否则,确定所述增强时域运动矢量预测模式标志位的取值为第二数值;
[0016] 所述增强时域运动矢量预测模式标志位的取值为第一数值,表明所述当前编码单元启用增强时域运动矢量预测模式,所述增强时域运动矢量预测模式标志位的取值为第二数值表明所述当前编码单元不启用增强时域运动矢量预测模式。
[0017] 在一些实施例中,所述当前编码单元满足第一解析条件包括以下之一或多个:
[0018] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0019] 所述当前编码单元的尺寸满足预设尺寸限制;
[0020] 序列级高层语法允许所述当前编码单元启用增强时域运动矢量预测技术;
[0021] 所述当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0022] 在一些实施例中,所述当前编码单元满足第一解析条件包括:
[0023] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0024] 所述当前编码单元的尺寸满足尺寸限制:当前编码单元的宽度和高度均大于或等于N0;
[0025] 序列级高层语法允许所述当前编码单元启用增强时域运动矢量预测技术;
[0026] 所述当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0027] 在一些实施例中,所述增强时域运动矢量预测模式标志位采用基于上下文的二进制算术编码,并采用一个上下文模型。
[0028] 在一些实施例中,所述获取当前编码单元的增强时域运动矢量预测模式索引值,包括:
[0029] 当所述当前编码单元满足第二解析条件时,从码流中解析所述增强时域运动矢量预测模式索引值。
[0030] 在一些实施例中,所述当前编码单元满足第二解析条件,包括以下之一或多个:
[0031] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0032] 所述当前编码单元启用增强时域运动矢量预测模式。
[0033] 在一些实施例中,所述增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串,每个二元符号采用单独的上下文模型,一共4个上下文模型。
[0034] 在一些实施例中,所述根据当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息,包括:
[0035] 根据当前图像帧类型确定匹配编码单元所在的时域参考图像;
[0036] 根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息;
[0037] 其中,若所述当前图像帧类型为P图像,则所述时域参考图像是参考图像队列0中参考帧索引值为0的参考图像;若当前图像是B图像,则所述时域参考图像是参考图像队列1中参考帧索引值为0的参考图像。
[0038] 在一些实施例中,所述根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息,包括:
[0039] 根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息。
[0040] 在一些实施例中,所述根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息,包括:
[0041] 根据当前最大编码单元在图像中的左上角横坐标、最大编码单元的大小、当前编码单元的宽度、当前图像的宽度、当前编码单元在图像中的左上角横坐标,确定所述初始匹配编码单元的横坐标;
[0042] 根据当前最大编码单元在图像中的左上角纵坐标、最大编码单元的大小、当前编码单元的高度、当前图像的高度、当前编码单元在图像中的左上角纵坐标来,确定所述初始匹配编码单元的纵坐标。
[0043] 在一些实施例中,所述根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,包括:
[0044] 根据所述初始匹配编码单元的坐标信息,确定至少一个增强时域运动矢量预测模式号;
[0045] 根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。
[0046] 在一些实施例中,匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标;
[0047] 所述根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表,包括:
[0048] 将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0049] 若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0050] 若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size‑ cu_width中的较小值,且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0051] 若My‑8大于或等于y_ctb_pos,且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0052] 若Mx‑8大于或等于x_ctb_pos,且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;
[0053] 其中,(Mx,My)所述初始匹配编码单元的坐标信息,(x_ctb_pos, y_ctb_pos)为当前最大编码单元在图像中的左上角坐标,lcu_size为最大编码单元的大小,cu_width和cu_height分别为当前编码单元的宽度和高度, horizontal_size和vertical_size分别是当前图像的宽度和高度;
[0054] A1为所述初始匹配编码单元的左上角4*4块、B1为A1正左侧的4*4块, C1为A1正上方的4*4块;A2为所述初始匹配编码单元的右上角4*4块、B2 为A2正右侧的4*4块,C2为A2正上方的4*4块;A3为所述初始匹配编码单元的左下角4*4块、B3为A3正左侧的4*4块,C3为A3正下方的4*4块;A4 为所述初始匹配编码单元的右下角4*4块、B4为A4正右侧的4*4块,C4为 A4正下方的4*4块。
[0055] 在一些实施例中,所述根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,还包括:
[0056] 当所述增强时域候选列表长度小于5时,循环执行如下操作,直至增强时域候选列表长度等于5:
[0057] 将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1。
[0058] 在一些实施例中,所述根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息,包括:
[0059] 若增强时域运动矢量预测模式号为0,则Px等于Mx,Py等于My;
[0060] 若增强时域运动矢量预测模式号为1,则Px等于Mx,Py等于My+n;
[0061] 若增强时域运动矢量预测模式号为2,则Px等于Mx+n,Py等于My;
[0062] 若增强时域运动矢量预测模式号为3,则Px等于Mx,Py等于My‑n;
[0063] 若增强时域运动矢量预测模式号为4,则Px等于Mx‑n,Py等于My;
[0064] 其中,(Mx,My)所述初始匹配编码单元的左上角坐标,(Px,Py)为所述目标匹配编码单元的左上角坐标。
[0065] 在一些实施例中,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括:
[0066] 对于目标匹配编码单元中的任一子块:
[0067] 在当前图像帧类型是P图像的情况下:
[0068] 若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向 List0的第一帧,将伸缩后的前向运动信息赋予所述当前编码单元对应位置的子块。
[0069] 在一些实施例中,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0070] 对于目标匹配编码单元中的任一子块:
[0071] 在当前图像帧类型是B图像的情况下:
[0072] 若该子块的前向运动信息和后向运动信息可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予所述当前编码单元对应位置的子块;
[0073] 若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0074] 若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。
[0075] 在一些实施例中,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0076] 对于目标匹配编码单元中的任一子块:
[0077] 在当前图像帧类型是P图像的情况下:
[0078] 若将子块的前向运动信息不可用,则当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0079] 在当前图像帧类型是B图像的情况下:
[0080] 若将子块的前向运动信息和后向运动信息均不可用,则当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0081] 其中,所述第一周围块包括所述当前编码单元任一已解码的相邻块。
[0082] 在一些实施例中,所述根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息之后,还包括:
[0083] 根据所述当前编码单元内每个子块的运动信息,对所述当前编码单元内对应子块进行运动补偿。
[0084] 在一些实施例中,所述根据所述当前编码单元内每个子块的运动信息,对所述当前编码单元内对应子块进行运动补偿,包括:
[0085] 对于当前编码单元的任一子块,对该子块的运动信息不进行解码端运动矢量调整技术;
[0086] 若该子块满足双向光流条件,根据该子块的运动信息对该子块进行运动补偿,并使用双向光流技术对补偿后的像素值叠加光流偏移值,得到该子块的预测样本矩阵;
[0087] 否则,根据该子块的运动信息对该子块进行运动补偿,得到该子块的预测样本矩阵;
[0088] 其中,当前编码单元的预测样本由各子块的预测样本组成。
[0089] 根据本申请实施例的第二方面,提供一种编码方法,包括:
[0090] 根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0091] 根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0092] 按顺序遍历增强时域候选列表中的每个增强时域运动矢量预测模式号,确定每个增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0093] 根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息;
[0094] 根据所述当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿;
[0095] 计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。
[0096] 根据本申请实施例的第三方面,提供一种解码装置,包括:
[0097] 获取单元,用于获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;
[0098] 第一确定单元,用于当所述增强时域运动矢量预测模式标志位的取值为第一数值时,根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;
[0099] 构建单元,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0100] 第二确定单元,用于根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0101] 第三确定单元,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息。
[0102] 根据本申请实施例的第四方面,提供一种编码装置,包括:
[0103] 第一确定单元,用于根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0104] 构建单元,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0105] 第二确定单元,用于按顺序遍历增强型时域候选列表中的每一种增强时域候选模式,确定每个模式对应的目标匹配编码单元的坐标信息;
[0106] 第三确定单元,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息;
[0107] 运动补偿单元,用于根据所述当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿;
[0108] 编码单元,用于计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。
[0109] 根据本申请实施例的第五方面,提供一种解码端设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第一方面的解码方法。
[0110] 根据本申请实施例的第六方面,提供一种编码端设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第二方面的编码方法。
[0111] 本申请实施例的解码方法,通过获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;当该增强时域运动矢量预测模式标志位的取值为第一数值时,根据当前编码单元的坐标信息,确定当前编码单元的初始匹配编码单元的坐标信息,并根据初始匹配编码单元的坐标信息,构建增强时域候选列表;根据增强时域运动矢量预测模式索引值,在增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;根据目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,该目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息,提高了编解码性能。

附图说明

[0112] 图1是本申请一示例性实施例示出的一种编解码方法的示意图;
[0113] 图2是本申请一示例性实施例示出的一种Clip操作的示意图;
[0114] 图3是本申请一示例性实施例示出的一种解码方法的流程示意图;
[0115] 图4是本申请一示例性实施例示出的对匹配编码单元进行偏移时的参考块的示意图;
[0116] 图5是本申请一示例性实施例示出的当前编码单元的第一周围块的示意图;
[0117] 图6是本申请一示例性实施例示出的又一种解码方法的流程示意图;
[0118] 图7是本申请一示例性实施例示出的一种解码装置的结构示意图;
[0119] 图8是本申请一示例性实施例示出的又一种解码装置的结构示意图;
[0120] 图9是本申请一示例性实施例示出的一种解码端设备的硬件结构示意图;
[0121] 图10是本申请一示例性实施例示出的一种编码装置的结构示意图;
[0122] 图11是本申请一示例性实施例示出的一种编码端设备的硬件结构示意图。

具体实施方式

[0123] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0124] 在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
[0125] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对本申请实施例涉及的部分技术术语以及现有视频编解码的主要流程进行简单说明。
[0126] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对先对本申请实施例涉及的部分技术术语进行简单说明。
[0127] 技术术语:
[0128] 1、预测像素(Prediction Signal):指从已经编解码的像素中导出的像素值,通过原始像素与预测像素之差获得残差,进而进行残差变换量化以及系数编码。
[0129] 示例性的,帧间的预测像素指的是当前图像块从参考帧(重建像素帧)导出的像素值,由于像素位置离散,需要通过插值运算来获取最终的预测像素。预测像素与原始像素越接近,两者相减得到的残差能量越小,编码压缩性能越高。
[0130] 2、运动矢量(Motion Vector,简称MV):在帧间编码中,用MV表示当前编码单元与其参考图像中的最佳匹配编码单元之间的相对位移。每个划分的块(可以称为子块)都有相应的运动矢量需要传送到解码端。若对每个子块的 MV进行独立编码和传输,特别是划分成小尺寸的子块,需要消耗相当多的比特。为了降低用于编码MV的比特数,视频编码中会利用相邻图像块之间的空间相关性,根据相邻已编码块的MV对当前待编码块的MV进行预测,然后对预测差进行编码。这样可以有效地降低表示MV的比特数。基于此,在对当前图像块的MV编码过程中,一般首先使用相邻已编码块的MV预测当前图像块的 MV,然后对MV的预测值(Motion Vector Prediction,简称MVP)与运动矢量的真正估值之间的差值,即运动矢量残差(MotionVector Difference,简称MVD) 进行编码,从而有效降低MV的编码比特数。
[0131] 3、运动信息(Motion Information):由于MV表示当前编码单元与某个参考图像中的最佳匹配编码单元之间的相对位移,为了准确获取指向图像块的信息,除了MV信息,还需要通过参考图像的索引信息来表示使用了哪个参考图像。视频编码技术中,对于当前图像,通常会基于一定的原则,建立一个参考图像列表,参考图像索引信息则表示当前图像块采用了参考图像列表中的第几个参考图像。此外,很多编码技术还支持多个参考图像列表,因此还需要一个索引值表示使用了哪一个参考图像列表,该索引值可以称为参考方向。视频编码中,MV、参考帧索引、参考方向等与运动相关的编码信息统称为运动信息,例如,运动信息为:用于帧间预测的五元组,由预测参考模式、L0运动矢量、 L1运动矢量、L0参考索引L1参考索引构成。
[0132] 4、率失真原则(Rate‑Distortion Optimized,简称RDO):评价编码效率的指标包括:码率和峰值信噪比(Peak Signal to Noise Ratio,简称PSNR)。码率越小,则压缩率越大;PSNR越大,重建图像质量越好。在模式选择的时候,判别公式实质上也就是对二者的综合评价。
[0133] 模式对应的代价:J(mode)=D+λ*R。其中,D表示失真(Distortion),通常使用SSE(差值均方和)指标来衡量,SSE是指重建块与源图像块的差值均方和;λ是拉格朗日乘子;R就是该模式下图像块编码所需的实际比特数,包括编码模式信息、运动信息、残差等所需的比特总和。
[0134] 在模式选择时,若使用RDO原则去对编码模式做比较决策,通常可以保证编码性能最佳。
[0135] 5、双向光流(BI‑directional Optical flow,简称BIO):BIO技术是利用前向和后向参考帧中像素值的梯度信息来对当前编码单元叠加光流补偿值。
[0136] 示例性的,BIO的技术细节可以如下:
[0137] 5.1、计算梯度和S1、S2、S3、S5和S6:
[0138]
[0139]
[0140]
[0141]
[0142]
[0143] 其中,ψx(i,j)、ψy(i,j)和θ(i,j)的计算如下所示:
[0144]
[0145]
[0146] θ(i,j)=I(1)(i,j)‑I(0)(i,j)
[0147] 其中,I(0)(x,y)和I(1)(x,y)为前向运动补偿值和后向运动补偿值及其扩展值。其扩展方式可以是从块边界的运动补偿值拷贝,也可以是从参考像素位置获取。ψx(i,j)和ψy(i,j)为像素点在前向参考帧和后向参考帧的水平和垂直分量的变化率。θ(i,j)表示前向运动补偿只及其扩展值与后向运动补偿值及其扩展值的像素差值。
[0148] 5.2、然后计算改善运动矢量vx和vy
[0149] vx=(S1+r)>m?clip3(‑thBIO,thBIO,(S3<<5)/(S1+r)):0
[0150] vy=(S5+r)>m?clip3(‑thBIO,thBIO,((S6<<6)‑vxS2)/((S5+r)<<1)):0[0151] 其中,<<为左移运算符,“x>y?z:a”表明当“x>y”成立时,取值为z,当“x>y”不成立时,取值为a;m和thBIO均为阈值,r为正则项,避免除0操作。S1、S2、S3、S5和S6为像素的梯度和,clip3表示的是将里面的值保证在‑thBIO和thBIO之间。
[0152] 5.3、根据改善运动矢量获取光流偏移值b。
[0153]
[0154] 其中,(x,y)为当前编码单元内部每个像素的坐标,I(0)(x,y)和I(1)(x,y)为前向运动补偿值和后向运动补偿值及其扩展值。
[0155] 5.4、最后根据光流偏移值计算当前编码单元的每个像素的预测值 predBIO(x,y):
[0156] predBIO(x,y)=(I(0)(x,y)+I(1)(x,y)+b+1)>>1
[0157] 其中,I(0)(x,y)和I(1)(x,y)为前向运动补偿值和后向运动补偿值。
[0158] 6、解码端运动矢量改良(Decoder‑side Motion Vector Refinement,简称 DMVR):解码端运动矢量调整技术DMVR应用于直接模式或者跳过模式。
[0159] 示例性的,DMVR技术细节如下:
[0160] 6.1、利用初始的MV获取预测块和搜索区域内所需的参考像素;
[0161] 6.2、获取最优整像素位置;
[0162] 示例性的,将当前编码单元的亮度图像块划分为不重叠且位置相邻的子块,所有子块的初始MV均为MV0和MV1。对于每个子块,以初始MV0和MV1 所对应的位置为中心,开始寻找附近一定范围内模板匹配失真最小的位置,模板匹配失真的计算方式为计算前向搜索区域中以中心位置开始的子块宽度乘以子块高度的块,和后向搜索区域中以中心位置开始的子块宽度乘以子块高度的块之间的SAD(Sum of Absolute Differences,差的绝对值的和)值。
[0163] 6.3、获取最优亚像素位置;
[0164] 示例性的,亚像素位置的确认使用整数位置最优位置、其左侧、其右侧、其上方、其下方共五处的模板匹配失真值,估计整数位置最优位置附近的二次失真平面,计算得到失真平面中失真最小的位置作为亚像素位置。其计算公式如下所示:
[0165] 水平亚像素位置=(sad_left‑sad_right)*N/((sad_right+sad_left‑2*sad_mid)*2) 垂直亚像素位置=(sad_btm‑sad_top)*N/((sad_top+sad_btm‑2*sad_mid)*2)[0166] 其中,sad_mid、sad_left、sad_right、sad_top和sad_btm分别是整数位置最优位置、其左侧、其右侧、其上方、其下方共五处的模板匹配失真值,N是精度。
[0167] 6.4、根据最优MV,计算得到最终预测块。
[0168] 下面再对现有视频编解码的主要流程进行简单说明。
[0169] 请参考图1中的(a),以视频编码为例,视频编码一般包括预测、变换、量化、熵编码等过程,进一步地,编码过程还可以按照图1中的(b)的框架来实现。
[0170] 其中,预测可以分为帧内预测和帧间预测,帧内预测是利用周围已编码块作为参考对当前未编码块进行预测,有效去除空域上的冗余。帧间预测是使用邻近已编码图像对当前图像进行预测,有效去除时域上的冗余。
[0171] 变换是指将图像从空间域转换至变换域,利用变换系数对图像加以表示。绝大多数图像都含有较多平坦区域和缓慢变化的区域,适当的变换可以使图像由在空间域的分散分布转换为在变换域的相对集中分布,去除信号之间的频域相关性,配合量化过程,可以有效压缩码流。
[0172] 熵编码是一种无损编码方式,可以把一系列元素符号转变为一个用来传输或存储的二进制码流,输入的符号可能包括量化后的变换系数、运动矢量信息、预测模式信息,变换量化相关语法等。熵编码可以有效地去除视频元素符号的冗余。
[0173] 上述是以编码为例进行介绍,视频解码与视频编码的过程是相对的,即视频解码通常包括熵解码、预测、反量化、反变换、滤波等过程,各个过程的实现原理与熵编码相同或相似。
[0174] 下面再对ATMVP技术的实现进行简单说明。
[0175] 现有ATMVP技术的实现主要包括以下流程:
[0176] 1)、确定时域运动矢量预测(Temporal Motion Vector Prediction,简称 TMVP):判断当前编码单元的A0位置的运动信息是否满足如下条件:
[0177] a)A0位置存在,且与当前编码单元处于同一个片(Slice)和单元(Tile);
[0178] b)A0位置的预测模式为帧间模式;
[0179] c)A0位置的参考帧索引与当前帧的co‑located帧的参考帧索引一致(先判断L0方向,再判断L1方向)。
[0180] 其中,A0位置即(xCb‑1,yCb+CbHeight‑1)的位置;(xCb,yCb)为当前单元的左上角的坐标,CbHeight为当前编码单元的高度。
[0181] 2)、计算中心参考块的位置:步骤1)中获取到的TMVP的精度为1/16,需要右移4位转化为整像素。同时,需要将参考块的位置修剪(Clip)到当前 LCU(Largest Coding Unit,最大编码单元)在参考帧中的同位LCU的范围内,即当参考块的位置未处于当前LCU在参考帧中的同位LCU的范围内时,将参考块水平平移或/和垂直平移到刚好处于当前LCU在参考帧中的同位LCU的范围内,其示意图如图2所示。
[0182] 中心参考块的位置的计算方式如下所示:
[0183] xColCb=Clip3(xCtb,Min(PicWidth‑1,xCtb+(1<<CtbLog2Size)+3),xColCtrCb+(tempMv[0]>>4))
[0184] yColCb=Clip3(yCtb,Min(PicHeight‑1,yCtb+(1<<CtbLog2Size)‑1),yColCtrCb+(tempMv[1]>>4))
[0185] 其中,(xColCb,yColCb)为中心参考块的左上角的坐标,(xCtb,yCtb) 为当前LCU在参考帧中的同位LCU的左上角的坐标,PicWidth和PicHeight分别为当前帧的宽和高,CtbLog2Size为以2为底,对当前LCU的尺寸取对数, (xColCtrCb,yColCtrCb)为当前编码单元的中心位置的坐标,tempMv[0]和 tempMv[1]分别为A0位置的水平运动矢量和垂直运动矢量。
[0186] 3)、判断中心参考块的预测模式,若预测模式为非帧间预测模式,则 ctrPredFlagL0和ctrPredFlagL1均为0;否则,即预测模式为帧间预测模式,转至步骤4)。
[0187] 4)、调整参考位置:因为子块大小为8*8,运动信息是以8*8为单位。因此,需要将中心参考块的左上角的坐标调整到8倍坐标位置。调整公式如下所示:
[0188] xColCb=((xColCb>>3)<<3)
[0189] yColCb=((yColCb>>3)<<3)
[0190] 5)、获取调整后的中心参考块的运动信息:若调整后的中心参考块的预测模式为帧内预测或者帧内块复制(Intra Block Copy,简称IBC)模式,则 FlagLXCol=0;否则,分别判断调整后的中心参考块的L0和L1方向的运动信息是否存在,若存在,则FlagLXCol=1,获取调整后的中心参考块的L0和L1方向的运动信息。
[0191] 示例性的,LX=L0或LX=L1,当调整后的中心参考块的预测模式为帧内预测或帧内块复制模式时,FlagL0Col=0,且FlagL1Col=0。
[0192] 当调整后的中心参考块的预测模式不是帧内预测,也不是帧内块复制模式时,则当调整后的中心参考块的L0方向的运动信息存在时,FlagL0Col=1,当调整后的中心参考块的L0方向的运动信息不存在时,FlagL0Col=0;当调整后的中心参考块的L1方向的运动信息存在时,FlagL1Col=1,当调整后的中心参考块的L1方向的运动信息不存在时,FlagL1Col=0。
[0193] 当FlagLXCol=1时,若当前帧的长期参考帧和co‑located帧的长期参考帧不相等,则确定调整后的中心参考块的运动信息不可用,ctrPredFlagLX=0;否则,将该调整后的中心参考块的运动信息伸缩(scale)到指向ListX(X=0或1)的第一帧,作为当前中心参考块位置的运动信息,ctrPredFlagLX=1。
[0194] 6)、当ctrPredFlagLX=1时,计算每个子块的运动信息:遍历匹配编码单元内的每个子块,对于任一子块,将该子块clip到匹配编码单元所在LCU的范围内,若clip后的子块的运动信息可用,则将该clip后的子块的运动信息伸缩到指向ListX的第一帧,并将伸缩后的运动信息赋予当前编码单元对应位置的子块;若clip后的子块的运动信息不可用,则使用调整后的中心参考块的中心位置的运动信息伸缩到指向ListX的第一帧,并将伸缩后的运动信息赋予当前编码单元对应位置的子块。
[0195] 示例性的,可以通过当前编码单元的相邻块的运动信息,在Co‑located(共同位置)帧中找到与当前编码单元的相邻编码单元所对应的编码单元,然后将与当前编码单元在Co‑located帧中对应位置的编码单元内部的每个子块的运动信息提供给当前编码单元内的每个子块使用。
[0196] 在co‑located帧中寻找与当前编码单元对应位置的编码单元是需要依赖于当前编码单元的周围编码单元的运动信息的,若周围编码单元的运动信息不准,则会导致寻找的对应位置的编码单元的运动信息也不可靠,从而影响编解码性能。
[0197] 为了提高匹配编码单元的运行信息的可靠性,优化编解码性能,本申请实施例利用当前编码单元在co‑located帧中同位编码单元的运动信息来确定匹配编码单元,并且将找到的匹配编码单元进行上下左右等一系列的偏移,产生多个时域候选模式,一定程度上避免了由于周围编码单元的运动信息不准而导致的寻找匹配编码单元不准的问题。
[0198] 本申请实施例的主要实现流程可以包括以下6个部分:
[0199] 第一部分(可以记为A)、根据当前编码单元的编码/解码条件,编码/ 解析增强时域运动矢量预测(Enhanced Temporal Motion Vector Prediction,简称ETMVP)模式标志位和增强时域运动矢量预测模式索引值;
[0200] 第二部分(可以记为B)、根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0201] 第三部分(可以记为C)、根据初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0202] 第四部分(可以记为D)、根据增强时域运动矢量预测模式索引值,在增强时域候选模式列表中获取对应的增强时域运动矢量预测模式,并确定该增强时域运动矢量预测模式对应的目标匹配编码单元的坐标信息。
[0203] 第五部分(可以记为E)、根据目标匹配编码单元的坐标信息获得当前编码单元内每个子块的运动信息;
[0204] 第六部分(可以记为F)、根据当前编码单元内的每个子块的运动信息,对当前编码单元内对应子块进行运动补偿。
[0205] 示例性的,上述六个部分的先后顺序可以调整。
[0206] 为了使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0207] 请参见图3,为本申请实施例提供的一种解码方法的流程示意图,其中,该解码方法可以应用于解码端设备,如图3所示,该解码方法可以包括以下步骤:
[0208] 步骤S300、获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值。
[0209] 本申请实施例中,当前编码单元可以为待处理图像中的任一个编码单元。在实施中,可以将待处理图像划分为不同的编码单元,然后可以按一定顺序依次对每个编码单元进行处理。其中,每个编码单元的大小和形状可以根据预设的划分规则进行设置。
[0210] 示例性的,对当前编码单元进行解码时,可以获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值。
[0211] 示例性的,当前编码单元的增强时域运动矢量预测模式标志位的取值可以从码流中解析得到,或者,在当前编码单元满足一定条件的情况下推导得到。
[0212] 示例性的,当前编码单元的增强时域运动矢量预测模式索引值可以从码流中解析得到,或者,在当前编码单元满足一定条件的情况下推导得到。
[0213] 当获取到的当前编码单元的增强时域运动矢量预测模式标志位的取值为第一数值时,执行步骤S310~步骤S340。
[0214] 示例性的,增强时域运动矢量预测模式标志位的取值可以包括用于表明启用增强时域运动矢量预测模式的值(本文中称为第一数值,如1)。
[0215] 步骤S310、根据当前编码单元的坐标信息,确定当前编码单元的初始匹配编码单元的坐标信息。
[0216] 本申请实施例中,当获取到的当前编码单元的增强时域运动矢量预测模式标志位的取值为第一数值时,可以确定当前编码单元启用增强时域运动矢量预测模式,此时,可以进行初始匹配编码单元坐标信息的确定。
[0217] 示例性的,可以根据当前编码单元的坐标信息,确定当前编码单元的初始匹配编码单元的坐标信息。
[0218] 示例性的,该初始匹配编码单元的坐标信息可以为该初始匹配编码单元在对应的参考图像中的坐标信息,如左上角坐标。
[0219] 步骤S320、根据初始匹配编码单元的坐标信息,构建增强时域候选列表。
[0220] 本申请实施例中,当确定了当前编码单元的初始匹配编码单元的坐标信息时,可以根据该初始匹配编码单元的坐标信息,构建增强时域候选列表。
[0221] 示例性的,该增强时域候选列表包括至少一个增强时域运动矢量预测模式号。
[0222] 示例性的,不同增强时域运动矢量预测模式号对应的匹配编码单元的坐标信息可以不同。
[0223] 步骤S330、根据获取到的增强时域运动矢量预测模式索引值,在增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定该增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息。
[0224] 本申请实施例中,可以根据步骤S300中获取到的当前编码单元的增强时域运动矢量预测模式索引值,在增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定该增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息。
[0225] 示例性的,目标匹配编码单元可以包括初始匹配编码单元,或,通过对初始匹配编码单元进行上/下/左/右偏移得到的匹配编码单元。
[0226] 示例性的,目标匹配编码单元的坐标信息可以与初始匹配编码单元的坐标信息一致,或,在初始匹配编码单元的坐标信息的基础上,根据预设偏移量进行调整得到。
[0227] 步骤S340、根据目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,该目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息。
[0228] 本申请实施例中,当确定了目标匹配编码单元的坐标信息时,可以根据该目标匹配编码单元的坐标信息,确定目标匹配编码单元的运动信息。
[0229] 示例性的,目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息。
[0230] 示例性的,可以根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息。
[0231] 例如,根据目标匹配编码单元内第h行第l列的子块的运动信息,确定当前编码单元内第h行第l列的子块的运动信息。
[0232] 在一些实施例中,步骤S300中,获取当前编码单元的获取增强时域运动矢量预测模式标志位的取值,可以包括:
[0233] 当当前编码单元满足第一解析条件时,从码流中解析增强时域运动矢量预测模式标志位的取值;
[0234] 否则,确定增强时域运动矢量预测模式标志位的取值为第二数值,该增强时域运动矢量预测模式标志位的取值为第二数值表明当前编码单元不启用增强时域运动矢量预测模式。
[0235] 示例性的,考虑到增强时域运动矢量预测模式的使用通常需要满足一定的条件,在不满足该条件的情况下,可能并不适用增强时域运动矢量预测模式,在该情况下,增强时域运动矢量预测模式标志位的取值不需要从码流中解析,而是可以推导得出。
[0236] 示例性的,可以根据当前编码单元是否满足指定条件(本文中称为第一解析条件),确定从码流中解析当前编码单元的增强时域运动矢量预测模式标志位的取值,或,推导得出当前编码单元的增强时域运动矢量预测模式标志位的取值。
[0237] 示例性的,当当前编码单元满足第一解析条件时,从码流中解析当前编码单元的增强时域运动矢量预测模式标志位的取值;当当前编码单元不满足第一解析条件时,可以不需要从码流中解析当前编码单元的增强时域运动矢量预测模式标志位的取值,而是可以确定当前编码单元不启用增强时域运动矢量预测模式,当前编码单元的增强时域运动矢量预测模式标志位的取值为用于表明当前编码单元不启用增强时域运动矢量预测模式的值(本文中称为第二数值)。
[0238] 在一个示例中,上述当前编码单元满足第一解析条件,可以包括以下之一或多个:
[0239] 当前编码单元的预测模式为跳过模式或直接模式;
[0240] 当前编码单元的尺寸满足预设尺寸限制;
[0241] 序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术;
[0242] 当前编码单元满足角度加权预测使用条件或满足高级运动矢量表达使用条件。
[0243] 示例性的,考虑到增强时域运动矢量预测模式的使用对编码单元的预测模式以及尺寸等具有一定的要求,可以依据编码单元的预测模式和/或尺寸等是否满足要求来确定编码单元是否适用。
[0244] 此外,考虑到当高层语法不允许当前编码单元启用增强时域运动矢量预测技术时,可以确定当前编码单元不启用增强时域运动矢量预测技术。
[0245] 示例性的,可以在当前编码单元的预测模式为跳过(skip)模式或直接(direct)模式、当前编码单元的尺寸满足预设尺寸限制、序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术、当前编码单元满足角度加权预测(Angle Weight Prediction,简称AWP)使用条件或满足高级运动矢量表达 (Ultimate Motion Vector Expression,简称UMVE)使用条件等条件中的一个或多个满足时,确定当前编码单元满足第一解析条件。
[0246] 例如,在当前编码单元的预测模式为跳过模式或直接模式时,或,在当前编码单元的尺寸满足预设尺寸限制时,或,在序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术时,或,在当前编码单元满足角度加权预测使用条件或满足高级运动矢量表达使用条件时,确定当前编码单元满足第一解析条件。
[0247] 例如,在当前编码单元的预测模式为跳过模式或直接模式时,确定当前编码单元满足第一解析条件。
[0248] 例如,在当前编码单元的尺寸满足预设尺寸限制时,确定当前编码单元满足第一解析条件。
[0249] 例如,在序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术时,确定当前编码单元满足第一解析条件。
[0250] 例如,在当前编码单元满足角度加权预测使用条件或满足高级运动矢量表达使用条件时,确定当前编码单元满足第一解析条件。
[0251] 又例如,可以在当前编码单元的预测模式为跳过模式或直接模式、当前编码单元的尺寸满足预设尺寸限制、序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术时,即上述条件均满足时,确定当前编码单元满足第一解析条件。
[0252] 又例如,可以在当前编码单元的预测模式为跳过模式或直接模式、当前编码单元的尺寸满足预设尺寸限制、序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术、且当前编码单元满足角度加权预测使用条件或满足高级运动矢量表达使用条件时,即上述条件均满足时,确定当前编码单元满足第一解析条件。
[0253] 示例性的,当前编码单元的尺寸满足预设尺寸限制可以包括当前编码单元的宽度和高度均大于或等于N0。
[0254] 示例性的,N0=8。
[0255] 需要说明的是,上述当前编码单元的尺寸满足预设尺寸限制的描述仅仅是本申请实施例中相关实现的一种具体示例,而并不是对本申请保护范围的限定,本申请实施例中,当前编码单元的尺寸满足预设尺寸限制也可以包括其它情况,如当前编码单元的宽度大于或等于N0、当前编码单元的高度大于或等于N0、或、当前编码单元的高度和宽度均大于或等于N0,且宽度和高度不同时等于 N0等。
[0256] 示例性的,当前编码单元满足角度加权预测使用条件,可以包括:
[0257] 序列级高层语法允许当前编码单元启用角度加权预测技术;
[0258] 当前编码单元的宽度和高度均大于或等于N1,当前编码单元的宽度和高度均小于或等于N2;
[0259] 当前图像帧类型为B图像。
[0260] 示例性的,当前编码单元满足高级运动矢量表达使用条件,可以包括:
[0261] 序列级高层语法允许所述当前编码单元启用高级运动矢量表达技术。
[0262] 在一个示例中,当前编码单元满足第一解析条件包括:
[0263] 当前编码单元的预测模式为跳过模式或直接模式;
[0264] 当前编码单元的尺寸满足尺寸限制:当前编码单元的宽度和高度均大于或等于N0;
[0265] 序列级高层语法允许所述当前编码单元启用增强时域运动矢量预测技术;
[0266] 所述当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0267] 在一个示例中,增强时域运动矢量预测模式标志位可以采用基于上下文的二进制算术编码,并采用一个上下文模型。
[0268] 在另一个示例中,增强时域运动矢量预测模式标志位可以采用基于上下文的二进制算术编码,并采用多个上下文模型。
[0269] 示例性的,该多个上下文模型可以根据当前编码单元的尺寸确定。
[0270] 示例性的,当前编码单元的尺寸可以包括但不限于当前编码单元的宽度和或高度、当前编码单元的宽度和高度中的最大值或最小值,或当前编码单元的宽度和高度的乘积等。
[0271] 在一些实施例中,步骤S300中,获取当前编码单元的增强时域运动矢量预测模式索引值,可以包括:
[0272] 当当前编码单元满足第二解析条件时,从码流中解析增强时域运动矢量预测模式索引值;
[0273] 否则,确定增强时域运动矢量预测模式索引值为第三数值。
[0274] 示例性的,增强时域运动矢量预测模式索引值为第三数值表明当前编码单元不启用增强时域运动矢量预测模式。
[0275] 示例性的,考虑到增强时域运动矢量预测模式的使用需要满足一定条件,当不满足该条件时,增强时域运动矢量预测模式将不适用,此时,增强时域运动矢量预测模式索引值可以不需要从码流中解析,而是可以推导得出。
[0276] 示例性的,当当前编码单元满足指定条件(本文中称为第二解析条件)时,可以从码流中解析增强时域运动矢量预测模式索引值;否则,可以确定增强时域运动矢量预测模式索引值为第三数值,该增强时域运动矢量预测模式索引值为第三数值表明当前编码单元不启用增强时域运动矢量预测模式。
[0277] 示例性的,第三数值可以与上述第一数值或第二数值相同,或者,第三数值可以与上述第一数值和第二数据均不同。
[0278] 在一个示例中,当前编码单元满足第二解析条件,可以包括以下之一或多个:
[0279] 当前编码单元的预测模式为跳过模式或直接模式;
[0280] 当前编码单元启用增强时域运动矢量预测模式。
[0281] 在一个示例中,增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串,每个二元符号采用单独的上下文模型,一共4个上下文模型。
[0282] 示例性的,为了节省编码比特开销,提高编解码性能,增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串,每个二元符号采用单独的上下文模型,一共4个上下文模型。
[0283] 例如,增强时域运动矢量预测模式索引值的反二值化实现可以参见表1:
[0284] 表1
[0285]
[0286] 其中,cu_etmvp_cand_index为增强时域运动矢量预测模式索引值。
[0287] 在一些实施例中,步骤S310中,根据当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息,包括:
[0288] 根据当前图像帧类型确定匹配编码单元所在的时域参考图像;
[0289] 根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在时域参考图像中的坐标信息。
[0290] 示例性的,为了确定当前编码单元的初始匹配编码单元的坐标信息,可以确定当前编码单元所在图像(本文中称为当前图像)的帧类型(即当前图像帧类型),根据当前图像帧类型确定匹配编码单元所在的时域参考图像。
[0291] 示例性的,若当前图像帧类型为P图像,则时域参考图像是参考图像队列0  (即List0)中参考帧索引值为0的参考图像;若当前图像是B图像,则时域参考图像是参考图像队列1(即List1)中参考帧索引值为0的参考图像。
[0292] 示例性的,当确定了匹配编码单元所在的时域参考图像时,可以根据当前编码单元的坐标信息,确定初始匹配编码单元在该时域参考图像中的坐标信息。
[0293] 在一个示例中,当前编码单元的坐标信息为当前编码单元在当前图像中的左上角坐标;匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标。
[0294] 示例性的,匹配编码单元可以包括初始匹配编码单元或目标匹配编码单元,即下文中若未特殊说明,所提及的初始匹配编码单元的坐标信息可以指初始匹配编码单元的左上角坐标,目标匹配编码单元的坐标信息可以指目标匹配编码单元的左上角坐标。
[0295] 在一个示例中,上述根据当前编码单元的坐标信息,确定初始匹配编码单元在时域参考图像中的坐标信息,可以包括:
[0296] 根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息。
[0297] 示例性的,一个最大编码单元可以包括一个或多个编码单元。
[0298] 示例性,可以根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前编码单元的尺寸、当前图像的尺寸、当前编码单元在图像中的左上角坐标来确定当前编码单元的匹配编码单元的坐标信息。
[0299] 在一个示例中,上述根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息,可以包括:
[0300] 根据当前最大编码单元在图像中的左上角横坐标、最大编码单元的大小、当前编码单元的宽度、当前图像的宽度、当前编码单元在图像中的左上角横坐标,确定初始匹配编码单元的横坐标;
[0301] 根据当前最大编码单元在图像中的左上角纵坐标、最大编码单元的大小、当前编码单元的高度、当前图像的高度、当前编码单元在图像中的左上角纵坐标来,确定初始匹配编码单元的纵坐标。
[0302] 示例性的,以当前编码单元的坐标信息为当前编码单元在当前图像中的左上角坐标;匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标。
[0303] 示例性的,以在图像平面内向右为坐标系横轴正向,向下为坐标系纵轴正向(下同)为例。
[0304] 举例来说,假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标, (x_ctb_pos,y_ctb_pos)是当前最大编码单元在图像中的左上角坐标,cu_width 和cu_height分别是当前编码单元的宽度和高度,horizontal_size和vertical_size 分别是当前图像的宽度和高度,lcu_size是最大编码单元的大小,按以下方法导出匹配编码单元的坐标(Mx,My):
[0305] Mx=Clip3(x_ctb_pos,min(x_ctb_pos+lcu_size‑cu_width,horizontal_size‑ cu_width),((Xpos+4)>>3)<<3)
[0306] My=Clip3(y_ctb_pos,min(y_ctb_pos+lcu_size‑cu_height,vertical_size‑ cu_height),((Ypos+4)>>3)<<3)
[0307] 又举例来说,假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标, (x_ctb_pos,y_ctb_pos)是当前最大编码单元在图像中的左上角坐标,cu_width 和cu_height分别是当前编码单元的宽度和高度,horizontal_size和vertical_size 分别是当前图像的宽度和高度,lcu_size是最大编码单元的大小,按以下方法导出匹配编码单元的坐标(Mx,My):
[0308] Mx=min(((Xpos+4)>>3)<<3,min(x_ctb_pos+lcu_size‑cu_width, horizontal_size‑cu_width))
[0309] My=min(((Ypos+4)>>3)<<3,min(y_ctb_pos+lcu_size‑cu_height, vertical_size‑cu_height))
[0310] 在一些实施例中,步骤S320中,根据初始匹配编码单元的坐标信息,构建增强时域候选列表,可以包括:
[0311] 根据初始匹配编码单元的坐标信息,确定至少一个增强时域运动矢量预测模式号;
[0312] 根据至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。
[0313] 示例性的,该至少一个增强时域运动矢量预测模式号可以包括初始匹配编码单元的坐标信息对应的增强时域运动矢量预测模式号,以及一个或多个通过对初始匹配编码单元进行偏移得到的多个新的匹配编码单元(若可用)对应的增强时域运动矢量预测模式号。
[0314] 示例性的,当根据初始匹配编码单元的坐标信息,确定了至少一个增强时域运动矢量预测模式号时,可以根据该至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。
[0315] 示例性的,在构建增强时域候选列表时,可以将该增强时域候选列表的长度初始化为0,即该增强时域候选列表的初始长度为0。
[0316] 示例性的,该增强时域候选列表的长度可以根据加入的增强时域运动矢量预测模式号的数量的增加而增加。
[0317] 在一个示例中,匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标;
[0318] 上述根据至少一个增强时域运动矢量预测模式号,构建增强时域候选列表,可以包括:
[0319] 将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0320] 若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0321] 若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size‑ cu_width中的较小值,且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0322] 若My‑8大于或等于y_ctb_pos,且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0323] 若Mx‑8大于或等于x_ctb_pos,且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1。
[0324] 示例性的,(Mx,My)所述初始匹配编码单元的坐标信息,(x_ctb_pos, y_ctb_pos)为当前最大编码单元在图像中的左上角坐标,lcu_size为最大编码单元的大小,cu_width和cu_height分别为当前编码单元的宽度和高度, horizontal_size和vertical_size分别是当前图像的宽度和高度。
[0325] 示例性的,A1为初始匹配编码单元的左上角4*4块、B1为A1正左侧的4*4 块,C1为A1正上方的4*4块;A2为初始匹配编码单元的右上角4*4块、B2 为A2正右侧的4*4块,C2为A2正上方的4*4块;A3为初始匹配编码单元的左下角4*4块、B3为A3正左侧的4*4块,C3为A3正下方的4*4块;A4为初始匹配编码单元的右下角4*4块、B4为A4正右侧的4*4块,C4为A4正下方的4*4块,其示意图可以如图4所示。
[0326] 示例性的,以对匹配编码单元进行偏移时,偏移的单位为8像素为例。
[0327] 例如,对匹配编码单元向下进行偏移时,对匹配编码单元向下偏移8个像素。
[0328] 考虑到本申请实施例中通过对匹配编码单元进行向上/下/左/右偏移得到新的匹配编码单元,增加候选匹配编码单元,以增加新的候选运动信息。
[0329] 以对匹配编码单元向下进行偏移为例,考虑到当A1与C3位置的运动信息相同,且A2与C4位置的运动信息相同时,对匹配编码单元向下进行偏移得到的新的匹配编码单元的运动信息大概率会与原匹配编码单元的运动信息相同,此次偏移可能无法得到新的运动信息。
[0330] 因而,可以分别比较A1位置的运动信息与C3位置的运动信息,以及比较 A2位置的运动信息与C4位置的运动信息,并两个比较结果中至少一个比较结果为不一致时,可以确定通过向下偏移能够得到新的运动信息,即向下偏移得到的匹配编码单元可以作为候选匹配编码单元。
[0331] 示例性的,对匹配编码单元进行偏移时,还需要保证偏移后得到的新的匹配编码单元在偏移方向的边界未超过该匹配编码单元(偏移前的匹配编码单元) 所在最大编码单元对应的坐标范围,即未超过该最大编码单元在偏移方向的边界,且未超过该匹配编码单元所在图像对应的坐标范围,即未超过该图像在偏移方向的边界。
[0332] 示例性的,对于向上偏移,在偏移方向的边界即为上边界;对于向下偏移,在偏移方向的边界即为下边界;对于向左偏移,在偏移方向的边界即为左边界;对于向右偏移,在偏移方向的边界即为右边界。
[0333] 示例性的,仍以向下偏移为例,当对匹配编码单元向下偏移时,一方面,偏移后的纵坐标(即My+8)需小于或等于y_ctb_pos+lcu_size‑cu_height(即偏移后得到的新的匹配编码单元的下边界未超过偏移前的匹配编码单元所在的最大编码单元的下边界),另一方面,偏移后的纵坐标需小于或等于vertical_size ‑cu_height(偏移后得到的新的匹配编码单元的下边界未超过偏移前的匹配编码单元所在图像的下边界),即My+8需小于或等于y_ctb_pos+lcu_size‑cu_height 和vertical_size‑cu_height中的较小值。
[0334] 在一个示例中,步骤S320中,根据初始匹配编码单元的坐标信息,构建增强时域候选列表,还可以包括:
[0335] 当增强时域候选列表长度小于5时,循环执行如下操作,直至增强时域候选列表长度等于5:
[0336] 将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1。
[0337] 示例性的,考虑到当对匹配编码单元向上偏移、向下偏移、向左偏移、向右偏移均得到可用的候选匹配编码单元的情况下,候选匹配编码单元可以包括偏移前的匹配编码单元,以及通过匹配得到的4个匹配编码单元,即增强时域候选列表长度为5。
[0338] 为了提高解码鲁棒性,避免解码错误,当按照上述方式构建的增强时域候选列表的长度小于5时,可以通过策略将增强时域候选列表长度扩展为5。
[0339] 示例性的,当增强时域候选列表长度小于5时,可以将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1;循环执行该操作,直至增强时域候选列表长度等于5。
[0340] 在一些实施例中,根据增强时域运动矢量预测模式索引值,在增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息,可以包括:
[0341] 若增强时域运动矢量预测模式号为0,则Px等于Mx,Py等于My;
[0342] 若增强时域运动矢量预测模式号为1,则Px等于Mx,Py等于My+n;
[0343] 若增强时域运动矢量预测模式号为2,则Px等于Mx+n,Py等于My;
[0344] 若增强时域运动矢量预测模式号为3,则Px等于Mx,Py等于My‑n;
[0345] 若增强时域运动矢量预测模式号为4,则Px等于Mx‑n,Py等于My;
[0346] 示例性的,(Mx,My)初始匹配编码单元的左上角坐标,(Px,Py)为目标匹配编码单元的左上角坐标。
[0347] 示例性的,以通过对匹配编码单元向上/下/左/右进行偏移n个像素得到新的匹配编码单元为例。
[0348] 示例性的,n=8。
[0349] 示例性的,假设初始匹配编码单元对应的增强时域运动矢量预测模式号为 0,向下偏移得到的匹配编码单元对应的增强时域运动矢量预测模式号为1,向右偏移得到的匹配编码单元对应的增强时域运动矢量预测模式号为2,向上偏移得到的匹配编码单元对应的增强时域运动矢量预测模式号为3,向左偏移得到的匹配编码单元对应的增强时域运动矢量预测模式号为4。
[0350] 当按照上述方式构建得到增强时域候选列表时,可以根据步骤S300中获取到的增强时域运动矢量预测模式索引值,在该增强时域候选列表中获取对应的增强时域运动矢量预测模式号。
[0351] 示例性的,若增强时域运动矢量预测模式号为1,则目标匹配编码单元为初始匹配编码单元整体向下偏移n个像素得到的时域参考编码单元,即Px等于 Mx,Py等于My+n。
[0352] 若增强时域运动矢量预测模式号为2,则目标匹配编码单元为初始匹配编码单元整体向右偏移n个像素得到的时域参考编码单元,即Px等于Mx+n,Py等于My。
[0353] 若增强时域运动矢量预测模式号为3,则目标匹配编码单元为初始匹配编码单元整体向上偏移n个像素得到的时域参考编码单元,即Px等于Mx,Py等于 My‑n。
[0354] 若增强时域运动矢量预测模式号为4,则目标匹配编码单元为初始匹配编码单元整体向左偏移n个像素得到的时域参考编码单元,即Px等于Mx‑n,Py等于My。
[0355] 在一些实施例中,步骤S340中,根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息,可以包括:
[0356] 对于目标匹配编码单元中的任一子块:
[0357] 在当前图像帧类型是P图像的情况下:
[0358] 若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向 List0的第一帧,将伸缩后的前向运动信息赋予所述当前编码单元对应位置的子块。
[0359] 在一些实施例中,步骤S340中,根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息,可以包括:
[0360] 对于目标匹配编码单元中的任一子块:
[0361] 在当前图像帧类型是B图像的情况下:
[0362] 若该子块的前向运动信息和后向运动信息可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0363] 若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0364] 若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。
[0365] 示例性的,为了提升确定当前编码单元的各子块的运动信息的效率,对于目标匹配编码单元中的任一子块,可以判断该子块的运动信息是否可用。
[0366] 示例性的,在当前图像帧类型为P图像的情况下,可以判断该子块的前向运动信息是否可用;在当前图像帧类型为B图像的情况下,可以分别判断该子块的前向运动信息和后向运动信息是否可用。
[0367] 示例性的,对于目标匹配编码单元内的任一子块,在判断结果为前向运动信息可用的情况下,可以将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块。
[0368] 示例性的,对于目标匹配编码单元内的任一子块,在判断结果为后向运动信息可用的情况(对于当前图像帧类型为B图像的情况)下,可以将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。
[0369] 示例性的,对于目标匹配编码单元内的任一子块,在判断结果为前向运动信息和后向运动信息均可用的情况(对于当前图像帧类型为B图像的情况) 下,可以将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予所述当前编码单元对应位置的子块。
[0370] 在一些实施例中,步骤S340中,根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息,可以包括:
[0371] 对于目标匹配编码单元中的任一子块:
[0372] 在当前图像帧类型是P图像的情况下:
[0373] 若将子块的前向运动信息不可用,则当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0374] 在当前图像帧类型是B图像的情况下:
[0375] 若将子块的前向运动信息和后向运动信息均不可用,则当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块。
[0376] 示例性的,还可以根据当前编码单元的周围块(本文中称为第一周围块) 的运动信息确定当前编码单元内子块的运动信息。
[0377] 示例性的,当前编码单元的第一周围块可以包括但不限于当前编码单元任一已解码的相邻块或非相邻块。
[0378] 举例来说,当前编码单元的第一周围块可以如图5所示。如图5所示, E为当前编码单元,当前编码单元的第一周围块可以包括A、B、C、D、F 和G中的任一块。
[0379] 示例性的,一个编码单元至少包括一个子块,每个子块的宽度不超过当前编码单元的宽度,每个子块的高度不超过当前编码单元的高度,例如每个子块为8*8的块。
[0380] 在一个示例中,当前编码单元的第一周围块为图5中的F。
[0381] 示例性的,F的尺寸可以为8*8,即第一周围块为当前编码单元左下角相邻的8*8块。
[0382] 示例性的,F的尺寸可以为4*4,即第一周围块为当前编码单元左下角相邻的4*4块。
[0383] 示例性的,对于当前图像帧类型为P图像的情况,在目标匹配编码单元的子块的前向运动信息不可用的情况下,还可以根据当前编码单元的第一周围块的运动信息确定当前编码单元的子块的运动信息。
[0384] 示例性的,对于当前图像帧类型为B图像的情况,在目标匹配编码单元的子块的前向运动信息和后向运动信息均不可用的情况下,还可以根据当前编码单元的第一周围块的运动信息确定当前编码单元的子块的运动信息。
[0385] 示例性的,对于当前图像帧类型为P图像的情况,在目标匹配编码单元的子块的前向运动信息和当前图像编码单元的第一周围块的前向运动信息均不可用的情况下,可以将零运动信息赋予当前编码单元对应位置的子块。
[0386] 示例性的,对于当前图像帧类型为B图像的情况,在目标匹配编码单元的子块的前向运动信息和后向运动信息均不可用、且第一周围块的前向运动信息和后向运动信息均不可用的情况下,可以将零运动信息赋予当前编码单元对应位置的子块。
[0387] 在一些实施例中,请参见图6,步骤S340中,根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息之后,还可以包括以下步骤:
[0388] 步骤S350、根据当前编码单元内每个子块的运动信息,对当前编码单元内对应子块进行运动补偿。
[0389] 示例性的,当按照上述方式确定了当前编码单元内每个子块的运动信息时,可以根据当前编码单元内每个子块的运动信息,对当前编码单元内对应子块进行运动补偿。
[0390] 例如,可以根据当前编码单元内第h行第l列的子块的运动信息,对当前编码单元内第h行第l列的子块进行运动补偿。
[0391] 在一个示例中,步骤S350中,根据当前编码单元内每个子块的运动信息,对当前编码单元内对应子块进行运动补偿,可以包括:
[0392] 对于当前编码单元的任一子块,对该子块的运动信息不进行解码端运动矢量调整技术;
[0393] 若该子块满足双向光流条件,根据该子块的运动信息对该子块进行运动补偿,并使用双向光流技术对补偿后的像素值叠加光流偏移值,得到该子块的预测样本矩阵;
[0394] 否则,根据该子块的运动信息对该子块进行运动补偿,得到该子块的预测样本矩阵。
[0395] 示例性的,当前编码单元的预测样本由各子块的预测样本组成。
[0396] 在一个示例中,子块满足双向光流条件包括:
[0397] 序列级高层语法允许启用双向光流技术;
[0398] 当前编码单元的运动矢量精度等于0;
[0399] 该子块采用双向预测;
[0400] 该子块的参考图像队列0中参考帧索引值为refIdxL0的参考帧和参考图像队列1中参考索引值为refIdxL1的参考帧显示顺序分别位于当前帧的两侧。
[0401] 作为一种示例,本申请实施例还提供的一种编码方法,其中,该编码方法可以应用于编码端设备,该方法可以包括以下步骤:
[0402] T100、根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息。
[0403] 其具体实现可以图3所示实施例中步骤S310,本申请实施例在此不再赘述。
[0404] T110、根据初始匹配编码单元的坐标信息,构建增强时域候选列表。
[0405] 其具体实现可以图3所示实施例中步骤S320,本申请实施例在此不再赘述。
[0406] T120、按顺序遍历增强时域候选列表中的每个增强时域运动矢量预测模式号,确定每个增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息。
[0407] 示例性的,当按照步骤T120中描述的方式构建了增强时域候选列表时,编码端设备可以遍历增强时域候选列表中各候选增强时域运动矢量预测模式号。
[0408] 对于任一候选增强时域运动矢量预测模式号,编码端设备可以根据该候选增强时域运动矢量预测模式号,确定对应的目标匹配编码单元的坐标信息,其具体实现可以图3所示实施例中步骤S330,本申请实施例在此不再赘述。
[0409] T130、根据目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,该目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元内对应位置的子块的运动信息。
[0410] 其具体实现可以图3所示实施例中步骤S340,本申请实施例在此不再赘述。
[0411] T140、根据当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿。
[0412] 其具体实现可以图6所示实施例中步骤S350,本申请实施例在此不再赘述。
[0413] T150、计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。
[0414] 示例性的,编码端设备可以基于RDO决策确定率失真代价值最小的预测模式,并根据最小的率失真代价值所对应的预测模式,确定增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值,并将其写入码流,传送给解码端设备。
[0415] 示例性的,上述各实施例编码端和解码端的实现流程可以相互参照。
[0416] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
[0417] 实施例一
[0418] 本申请实施例提供一种增强时域运动信息预测方法,利用当前编码单元在 co‑located帧中同位编码单元的运动信息来确定匹配编码单元,并且将找到的匹配编码单元进行上下左右等一系列的偏移,产生多个时域候选模式,一定程度上避免了由于周围编码单元的运动信息不准而导致的寻找匹配编码单元不准的问题。
[0419] 本申请实施例的主要实现流程可以包括以下6个部分:
[0420] 第一部分、根据当前编码单元的编码/解码条件,编码/解析增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值;
[0421] 第二部分、根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0422] 第三部分、根据初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0423] 第四部分、根据增强时域运动矢量预测模式索引值,在增强时域候选模式列表中获取对应的增强时域运动矢量预测模式,并确定该增强时域运动矢量预测模式对应的目标匹配编码单元的坐标信息。
[0424] 第五部分、根据目标匹配编码单元的坐标信息获得当前编码单元内每个子块的运动信息;
[0425] 第六部分、根据当前编码单元内的每个子块的运动信息,对当前编码单元内对应子块进行运动补偿。
[0426] 示例性的,上述六个部分的先后顺序可以调整。
[0427] 实施例二
[0428] 本申请实施例提供的编码方法可以包括以下步骤:
[0429] 1、根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0430] 2、根据初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0431] 3、按顺序遍历增强时域候选列表中的每一种增强时域候选模式,确定每个模式对应的目标匹配编码单元的坐标信息;
[0432] 4、根据目标匹配编码单元的坐标信息对应的运动信息确定当前编码单元中的每个子块的运动信息;
[0433] 5、根据当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿。
[0434] 6、计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。
[0435] 实施例三
[0436] 本申请实施例提供的解码方法可以包括以下步骤:
[0437] 1、获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;
[0438] 当获取到的当前编码单元的增强时域运动矢量预测模式标志位的取值为第一数值时,执行步骤2~6。
[0439] 2、根据当前编码单元的坐标信息,确定当前编码单元的初始匹配编码单元的坐标信息;
[0440] 3、根据初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0441] 4、根据获取到的增强时域运动矢量预测模式索引值,在增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定该增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0442] 5、根据目标匹配编码单元的坐标信息对应的运动信息确定当前编码单元内每个子块的运动信息;
[0443] 6、根据当前编码单元内每个子块的运动信息,对当前编码单元内对应子块进行运动补偿。
[0444] 下面结合实施例对本申请实施例主要流程的各部分(即第一部分~第六部分中各部分)分别进行说明。
[0445] 第一部分、编码/解析增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值
[0446] 示例性的,解析增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值可以包括:
[0447] 1)、解析增强时域运动矢量预测模式标志位(可以记为etmvp_flag);
[0448] 2)、解析增强时域运动矢量预测模式索引值(可以记为 cu_etmvp_cand_index)。
[0449] 实施例四
[0450] 若当前编码单元满足解析条件1(即上述第一解析条件),则从码流中解析出增强时域运动矢量预测模式标志位,否则,增强时域运动矢量预测模式标志位取值为0(即上述第二数值为0)。
[0451] 示例性的,当前编码单元满足解析条件1的情况可以分别参见实施例五~实施例十。
[0452] 实施例五
[0453] 当前编码单元满足解析条件1,包括:
[0454] 当前编码单元为跳过模式或者直接模式。
[0455] 实施例六
[0456] 当前编码单元满足解析条件1,包括:
[0457] 当前编码单元尺寸满足以下限制(即上述预设尺寸限制)中的一种:
[0458] 当前编码单元的宽度和高度均大于或等于N0。
[0459] 示例性的,N0=8。
[0460] 实施例七
[0461] 当前编码单元满足解析条件1,包括:
[0462] 序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术。
[0463] 实施例八
[0464] 当前编码单元满足解析条件1,包括:
[0465] 当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0466] 示例性的,角度加权预测使用条件可以包括:
[0467] 序列级高层语法允许所述当前编码单元启用角度加权预测技术;
[0468] 当前编码单元的宽度和高度均大于或等于N1,当前编码单元的宽度和高度均小于或等于N2;
[0469] 当前图像帧类型为B图像。
[0470] 示例性的,N1=8。
[0471] 示例性的,N2=64。
[0472] 示例性,当前编码单元满足高级运动矢量表达使用条件包括:
[0473] 序列级高层语法允许当前编码单元启用高级运动矢量表达技术。
[0474] 实施例九
[0475] 当前编码单元满足解析条件1,包括:
[0476] 1)、当前编码单元为跳过模式或者直接模式;
[0477] 2)、当前编码单元尺寸满足以下限制:
[0478] 2.1)、当前编码单元的宽度和高度均大于或等于N0。
[0479] 示例性的,N0=8
[0480] 3)、序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术。
[0481] 实施例十
[0482] 当前编码单元满足解析条件1,包括:
[0483] 1)、当前编码单元为跳过模式或者直接模式;
[0484] 2)、当前编码单元尺寸满足以下限制:
[0485] 2.1)、当前编码单元的宽度和高度均大于或等于N0。
[0486] 示例性的,N0=8
[0487] 3)、序列级高层语法允许当前编码单元启用增强时域运动矢量预测技术。
[0488] 4)、当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0489] 示例性的,角度加权预测使用条件可以包括:
[0490] 4.1)、序列级高层语法允许所述当前编码单元启用角度加权预测技术;
[0491] 4.2)、当前编码单元的宽度和高度均大于或等于N1,当前编码单元的宽度和高度均小于或等于N2;
[0492] 4.3)、当前图像帧类型为B图像。
[0493] 示例性的,N1=8。
[0494] 示例性的,N2=64。
[0495] 示例性,当前编码单元满足高级运动矢量表达使用条件包括:
[0496] 序列级高层语法允许当前编码单元启用高级运动矢量表达技术
[0497] 需要说明的是,本申请实施例中,当前编码单元满足解析条件1并不限于上述实施例五~实施例十中描述的情况,其也可以包括由实施例五~实施例八中各实施例中任意两个组合得到的情况,以及任意三个组合得到的情况(实施例五~实施例七组合得到的即为实施例九)。
[0498] 实施例十一
[0499] 若当前编码单元满足解析条件1,则从码流解析出增强时域运动矢量预测模式标志位;否则,增强时域运动矢量预测模式标志位取值为0。
[0500] 示例性的,增强型时域运动矢量预测模式标志位采用基于上下文的二进制算术编码。
[0501] 实施例十二
[0502] 若当前编码单元满足解析条件1,则从码流解析出增强时域运动矢量预测模式标志位;否则,增强时域运动矢量预测模式标志位取值为0。
[0503] 示例性的,当前编码单元满足解析条件1的具体情况可以参见上述实施例中的相关描述,如实施例五~实施例十中任一实施例的描述。
[0504] 示例性的,增强型时域运动矢量预测模式标志位采用基于上下文的二进制算术编码,并采用1个上下文模型。
[0505] 实施例十三
[0506] 若当前编码单元满足解析条件1,则从码流解析出增强时域运动矢量预测模式标志位;否则,增强时域运动矢量预测模式标志位取值为0。
[0507] 示例性的,当前编码单元满足解析条件1的具体情况可以参见上述实施例中的相关描述,如实施例五~实施例十中任一实施例的描述。
[0508] 示例性的,增强型时域运动矢量预测模式标志位采用基于上下文的二进制算术编码,并采用多个上下文模型。
[0509] 示例性的,该多个上下文模型可以根据当前编码单元的尺寸确定。
[0510] 示例性的,当前编码单元的尺寸可以包括但不限于当前编码单元的宽度和或高度、当前编码单元的宽度和高度中的最大值或最小值,或当前编码单元的宽度和高度的乘积等。
[0511] 实施例十四
[0512] 若当前编码单元满足解析条件2(即上述第二解析条件),则从码流解析出增强型时域运动矢量预测模式索引值;否则,增强时域运动矢量预测模式索引值为0(即上述第三数值为0)。
[0513] 示例性的,当前编码单元满足解析条件2的情况可以分别参见实施例十五~实施例十七。
[0514] 实施例十五
[0515] 当前编码单元满足解析条件2,包括:
[0516] 当前编码单元为跳过模式或者直接模式。
[0517] 实施例十六
[0518] 当前编码单元满足解析条件2,包括:
[0519] 当前编码单元为增强时域运动矢量预测模式。
[0520] 实施例十七
[0521] 当前编码单元满足解析条件2,包括:
[0522] 1)、当前编码单元为跳过模式或者直接模式;
[0523] 2)、当前编码单元为增强时域运动矢量预测模式。
[0524] 例如,增强时域运动矢量预测模式索引值的语法描述可以如下:
[0525] if((SkipFlag||DirectFlag)&&EtmvpFlag){  cu_etmvp_cand_index ae(v)
[0526] 实施例十八
[0527] 若当前编码单元满足解析条件2(即上述第二解析条件),则从码流解析出增强型时域运动矢量预测模式索引值;否则,增强时域运动矢量预测模式索引值为0(即上述第三数值为0)。
[0528] 示例性的,当前编码单元满足解析条件2的情况可以参见实施例十五~实施例十七中任一实施例中的描述。
[0529] 示例性的,增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串(bins),每个二元符号(bin) 采用单独的上下文模型,一共4个上下文模型。
[0530] 例如,增强时域运动矢量预测模式索引值的反二值化实现可以参见表1。
[0531] 第二部分、根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息
[0532] 示例性的,根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息,可以包括:
[0533] 根据当前图像帧类型确定匹配编码单元所在的时域参考图像;
[0534] 根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息。
[0535] 示例性的,时域参考图像中宽度和高度与当前编码单元的宽度和高度一致的时域参考块为当前编码单元的匹配编码单元。
[0536] 示例性的,若当前图像帧类型为P图像,则时域参考图像是参考图像队列0 中参考帧索引值为0的参考图像;若当前图像帧类型为B图像,则时域参考图像是参考图像队列1中参考帧索引值为0的参考图像。
[0537] 示例性的,当前编码单元的坐标信息可以为当前编码单元在图像(当前图像)中的左上角坐标;
[0538] 匹配编码单元的坐标信息可以为匹配编码单元在时域参考图像中的左上角坐标。
[0539] 示例性的,根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息,可以包括:
[0540] 基于当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前编码单元的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息。
[0541] 示例性的,基于当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息,包括:
[0542] 根据当前最大编码单元在图像中的左上角横坐标、最大编码单元的大小、当前编码单元的宽度、当前图像的宽度、当前编码单元在图像中的左上角横坐标,确定初始匹配编码单元的横坐标;
[0543] 根据当前最大编码单元在图像中的左上角纵坐标、当前最大编码单元尺寸、当前编码单元的高度、当前图像的高度、当前编码单元在图像中的左上角纵坐标,确定初始匹配编码单元的纵坐标。
[0544] 示例性的,根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息的具体实现可以参见实施例十九~实施例二十一中任一实施例的描述。
[0545] 实施例十九
[0546] 假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标,(x_ctb_pos, y_ctb_pos)是当前最大编码单元在图像中的左上角坐标,cu_width和cu_height 分别是当前编码单元的宽度和高度,horizontal_size和vertical_size分别是当前图像的宽度和高度,lcu_size是最大编码单元的大小,按以下方法导出匹配编码单元的坐标(Mx,My):
[0547] Mx=Clip3(x_ctb_pos,min(x_ctb_pos+lcu_size‑cu_width,horizontal_size‑ cu_width),((Xpos+4)>>3)<<3)
[0548] My=Clip3(y_ctb_pos,min(y_ctb_pos+lcu_size‑cu_height,vertical_size‑ cu_height),((Ypos+4)>>3)<<3)
[0549] 实施例二十
[0550] 假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标,(x_ctb_pos, y_ctb_pos)是当前最大编码单元在图像中的左上角坐标,cu_width和cu_height 分别是当前编码单元的宽度和高度,horizontal_size和vertical_size分别是当前图像的宽度和高度,lcu_size是最大编码单元的大小,按以下方法导出匹配编码单元的坐标(Mx,My):
[0551] Mx=min(((Xpos+4)>>3)<<3,min(x_ctb_pos+lcu_size‑cu_width, horizontal_size‑cu_width))
[0552] My=min(((Ypos+4)>>3)<<3,min(y_ctb_pos+lcu_size‑cu_height, vertical_size‑cu_height))
[0553] 实施例二十一
[0554] 假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标,(x_ctb_pos, y_ctb_pos)是当前最大编码单元在图像中的左上角坐标,cu_width和cu_height 分别是当前编码单元的宽度和高度,horizontal_size和vertical_size分别是当前图像的宽度和高度,lcu_size是最大编码单元的大小,按以下方法导出匹配编码单元的坐标(Mx,My):
[0555] Mx=Clip3(x_ctb_pos,min(x_ctb_pos+lcu_size‑cu_width,horizontal_size‑ cu_width),(Xpos>>3)<<3)
[0556] My=Clip3(y_ctb_pos,min(y_ctb_pos+lcu_size‑cu_height,vertical_size‑ cu_height),(Ypos>>3)<<3)
[0557] 实施例二十二
[0558] 假设(Xpos,Ypos)是当前编码单元在图像中的左上角坐标,则可以按照以下方法导出匹配编码单元的坐标(Mx,My):
[0559] Mx=(Xpos>>shift)<
[0560] My=(Ypos>>shift)<
[0561] 示例性的,Shift与子块的大小有关,对于N*N的子块,N=1<
[0562] 例如,若子块大小为8*8,则shift=3。
[0563] 第三部分、根据初始匹配编码单元的坐标信息,构建增强时域候选列表[0564] 示例性的,假设(Mx,My)为初始匹配编码单元在时域参考图像中的左上角坐标,A1~A4,B1~B4,C1~C4是时域参考图像中位于初始匹配编码单元周围的相邻4*4块,其示意图可以如图4所示。
[0565] 实施例二十三
[0566] 23.0、将增强时域候选列表的长度初始化为0。
[0567] 示例性的,增强时域候选列表的初始长度为0。
[0568] 23.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0569] 23.2、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的下边界,并且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0570] 23.3、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的右边界,并且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0571] 23.4、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的上边界,并且A3位置的运动信息与C1位置的运动信息不同,或A4 位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号 3加入增强时域候选列表中,增强时域候选列表长度加1;
[0572] 23.5、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的左边界,并且A2位置的运动信息与B1位置的运动信息不同,或A4 位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号 4加入增强时域候选列表中,增强时域候选列表长度加1;
[0573] 23.6、若增强时域候选列表长度小于5,则循环执行以下操作:
[0574] 23.6.1、将增强时域候选列表中最后一个增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1;
[0575] 23.6.2、若增强时域候选列表长度等于5,则结束列表构建过程。
[0576] 示例性的,其实现逻辑可以如下:
[0577] 1)、将EtmvpCandArray[i]初始化为0,i=0~4;length初始化为0;
[0578] 2)、首先EtmvpCandArray[0]=0,length加1;
[0579] 3)、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的下边界,并且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则EtmvpCandArray[length]=1, length加1;
[0580] 4)、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的右边界,并且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则EtmvpCandArray[length]=2, length加1;
[0581] 5)、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的上边界,并且A3位置的运动信息与C1位置的运动信息不同,或A4 位置的运动信息与C2位置的运动信息不同,则EtmvpCandArray[length]=3, length加1;
[0582] 6)、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的左边界,并且A2位置的运动信息与B1位置的运动信息不同,或A4 位置的运动信息与B3位置的运动信息不同,则EtmvpCandArray[length]=4, length加1;
[0583] 7)、若length小于5,循环执行以下操作:
[0584] 7.1)、EtmvpCandArray[length]=EtmvpCandArray[length‑1],length加1。
[0585] 7.2)、若length等于5,结束列表构建过程。
[0586] 实施例二十四
[0587] 24.0、将增强时域候选列表的长度初始化为0。
[0588] 示例性的,增强时域候选列表的初始长度为0。
[0589] 24.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0590] 24.2、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的下边界,并且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0591] 24.3、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的右边界,并且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0592] 24.4、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的上边界,并且A3位置的运动信息与C1位置的运动信息不同,或A4 位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号 3加入增强时域候选列表中,增强时域候选列表长度加1;
[0593] 24.5、若(Mx,My)所在的匹配编码单元未超过该匹配编码单元所在LCU 或者图像的左边界,并且A2位置的运动信息与B1位置的运动信息不同,或A4 位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号 4加入增强时域候选列表中,增强时域候选列表长度加1。
[0594] 实施例二十五
[0595] 25.0、将增强时域候选列表的长度初始化为0。
[0596] 示例性的,增强时域候选列表的初始长度为0。
[0597] 25.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0598] 示例性的,增强时域候选列表的初始长度为0。
[0599] 25.2、若(Mx,My+8)所在的匹配编码单元的下边界未超过该匹配编码单元所在LCU或者图像的下边界,并且A1位置的运动信息与C3位置的运动信息不同,或A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0600] 25.3、若(Mx+8,My)所在的匹配编码单元的右边界未超过该匹配编码单元所在LCU或者图像的右边界,并且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0601] 25.4、若(Mx,My‑8)所在的匹配编码单元的上边界未超过该匹配编码单元所在LCU或者图像的上边界,并且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0602] 25.5、若(Mx‑8,My)所在的匹配编码单元的左边界未超过该匹配编码单元所在LCU或者图像的左边界,并且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;
[0603] 25.6、若增强时域候选列表长度小于5,则循环执行以下操作:
[0604] 25.6.1、将增强时域候选列表中最后一个增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1;
[0605] 25.6.2、若增强时域候选列表长度等于5,则结束列表构建过程。
[0606] 实施例二十六
[0607] 26.0、将增强时域候选列表的长度初始化为0。
[0608] 26.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0609] 示例性的,增强时域候选列表的初始长度为0。
[0610] 26.2、若(Mx,My+8)所在的匹配编码单元的下边界未超过该匹配编码单元所在LCU或者图像的下边界,并且A1位置的运动信息与C3位置的运动信息不同,或A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0611] 26.3、若(Mx+8,My)所在的匹配编码单元的右边界未超过该匹配编码单元所在LCU或者图像的右边界,并且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0612] 26.4、若(Mx,My‑8)所在的匹配编码单元的上边界未超过该匹配编码单元所在LCU或者图像的上边界,并且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0613] 26.5、若(Mx‑8,My)所在的匹配编码单元的左边界未超过该匹配编码单元所在LCU或者图像的左边界,并且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1。
[0614] 实施例二十七
[0615] 27.0、将增强时域候选列表的长度初始化为0。
[0616] 示例性的,增强时域候选列表的初始长度为0。
[0617] 27.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0618] 27.2、若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,并且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0619] 27.3、若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size ‑cu_width中的较小值,并且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0620] 27.4、若My‑8大于或等于y_ctb_pos,并且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0621] 27.5、若Mx‑8大于或等于x_ctb_pos,并且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;
[0622] 27.6、若增强时域候选列表长度小于5,则循环执行以下操作:
[0623] 27.6.1、将增强时域候选列表中最后一个增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1;
[0624] 27.6.2、若增强时域候选列表长度等于5,则结束列表构建过程。
[0625] 实施例二十八
[0626] 28.0、将增强时域候选列表的长度初始化为0。
[0627] 示例性的,增强时域候选列表的初始长度为0。
[0628] 28.1、将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0629] 28.2、若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,并且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0630] 28.3、若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size ‑cu_width中的较小值,并且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0631] 28.4、若My‑8大于或等于y_ctb_pos,并且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0632] 28.5、若Mx‑8大于或等于x_ctb_pos,并且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1。
[0633] 第四部分、根据增强时域运动矢量预测模式索引值,在增强时域候选模式列表中获取对应的增强时域运动矢量预测模式,并确定该增强时域运动矢量预测模式对应的目标匹配编码单元的坐标信息
[0634] 示例性的,根据增强时域运动矢量预测模式索引(可以记为 EtmvpCandIndex),在增强时域候选列表中获取对应的增强型时域运动矢量预测模式号(可以记为etmvp_mode),根据增强型时域运动矢量预测模式号 etmvp_mode确定得到目标匹配编码单元的位置坐标(Px,Py)。
[0635] 示例性的,etmvp_mode=EtmvpCandArray[EtmvpCandIndex]。
[0636] 实施例二十九
[0637] 根据增强型时域运动矢量预测模式号,通过查表确定目标匹配编码单元的位置坐标(Px,Py)。
[0638] 示例性的,etmvp_mode与Px、Py的对应关系可以如表2所示:
[0639] 表2
[0640]
[0641]
[0642] 示例性的,n可以为8。
[0643] 实施例三十
[0644] 若增强型时域运动矢量预测模式号为0,则目标匹配编码单元为初始匹配编码单元,即Px等于Mx,Py等于My;
[0645] 若增强型时域运动矢量预测模式号为1,则目标匹配编码单元为初始匹配编码单元整体向下偏移n个像素得到的时域参考块,即Px等于Mx,Py等于My+n;
[0646] 若增强型时域运动矢量预测模式号为2,则目标匹配编码单元为初始匹配编码单元整体向右偏移n个像素得到的时域参考块,即Px等于Mx+n,Py等于 My;
[0647] 若增强型时域运动矢量预测模式号为3,则目标匹配编码单元为初始匹配编码单元整体向上偏移n个像素得到的时域参考块,即Px等于Mx,Py等于My‑n;
[0648] 若增强型时域运动矢量预测模式号为4,则目标匹配编码单元为初始匹配编码单元整体向左偏移n个像素得到的时域参考块,即Px等于Mx‑n,Py等于 My。
[0649] 示例性的,n可以为8。
[0650] 第五部分、根据目标匹配编码单元的坐标信息获得当前编码单元内每个子块的运动信息
[0651] 示例性的,可以根据目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息;根据目标匹配编码单元内每个子块的运动信息,确定当前编码单元对应位置的子块的运动信息。
[0652] 示例性的,当前编码单元的第一周围块可以如图5所示。如图5所示,E 为当前编码单元,当前编码单元的第一周围块可以包括A、B、C、D、F和G 中的任一块。
[0653] 示例性的,一个编码单元至少包括一个子块,每个子块的宽度不超过当前编码单元的宽度,每个子块的高度不超过当前编码单元的高度,例如每个子块为8*8的块。
[0654] 在一个示例中,当前编码单元的第一周围块为图5中的F。
[0655] 示例性的,对于目标匹配编码单元中的任一子块(以8*8子块为例),每个8*8子块的左上角坐标为(Px+(i<<3),Py+(j<<3)),i是子块水平索引值,j是子块垂直索引值,i=0~(cu_width>>3)‑1,j=0~(cu_height>>3)‑1。
[0656] 示例性的,对于当前编码单元中的任一子块(以8*8子块为例),每个8*8 子块的运动信息记为MotionArray[i][j],i是子块水平索引值,j是子块垂直索引值,i=0~(cu_width>>3)‑1,j=0~(cu_height>>3)‑1。
[0657] 实施例三十一
[0658] 对于目标匹配编码单元中的任一子块:
[0659] 31.1、若该子块的前向运动信息和后向运动信息均可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0660] 31.2、若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0661] 31.3、若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0662] 31.4、若将子块的前向运动信息和后向运动信息均不可用,则填充缺省运动信息。
[0663] 示例性的,本申请实施例对缺省运动信息可以不作限制,例如,缺省运动信息可以为零运动信息或由当前编码单元的周围块导出的运动信息。
[0664] 实施例三十二
[0665] 对于目标匹配编码单元中的任一子块:
[0666] 32.1、若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0667] 32.2、若该子块的前向运动信息不可用,则填充缺省运动信息。
[0668] 示例性的,本申请实施例对缺省运动信息可以不作限制,例如,缺省运动信息可以为零运动信息或由当前编码单元的周围块导出的运动信息。
[0669] 实施例三十三
[0670] 对于目标匹配编码单元中的任一子块:
[0671] 33.1、在当前图像帧类型是P图像的情况下:
[0672] 33.1.1、若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0673] 33.1.2、若该子块的前向运动信息不可用,则填充缺省运动信息。
[0674] 示例性的,本申请实施例对缺省运动信息可以不作限制,例如,缺省运动信息可以为零运动信息或由当前编码单元的周围块导出的运动信息。
[0675] 33.2、在当前图像帧类型是B图像的情况下:
[0676] 33.2.1、若该子块的前向运动信息和后向运动信息均可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0677] 33.2.2、若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0678] 33.2.3、若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0679] 33.2.4、若将子块的前向运动信息和后向运动信息均不可用,则填充缺省运动信息。
[0680] 示例性的,本申请实施例对缺省运动信息可以不作限制,例如,缺省运动信息可以为零运动信息或由当前编码单元的周围块导出的运动信息。
[0681] 实施例三十四
[0682] 对于目标匹配编码单元中的任一子块:
[0683] 34.1、若该子块的前向运动信息和后向运动信息均可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0684] 34.2、若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0685] 34.3、若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0686] 34.4、若将子块的前向运动信息和后向运动信息均不可用,则:
[0687] 34.4.1、当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0688] 34.4.2、当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0689] 34.4.3、当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0690] 34.4.4、当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块。
[0691] 实施例三十五
[0692] 对于目标匹配编码单元中的任一子块:
[0693] 35.1、若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0694] 35.2、若该子块的前向运动信息不可用,则:
[0695] 35.2.1、当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0696] 35.2.2、当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块。
[0697] 实施例三十六
[0698] 对于目标匹配编码单元中的任一子块:
[0699] 36.1、在当前图像帧类型是P图像的情况下:
[0700] 36.1.1、若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0701] 36.1.2、若该子块的前向运动信息不可用,则:
[0702] 36.1.2.1、当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0703] 36.1.2.2、当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块。
[0704] 36.2、在当前图像帧类型是B图像的情况下:
[0705] 36.2.1、若该子块的前向运动信息和后向运动信息均可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0706] 36.2.2、若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0707] 36.2.3、若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0708] 36.2.4、若将子块的前向运动信息和后向运动信息均不可用,则:
[0709] 36.2.4.1、当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;
[0710] 36.2.4.2、当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0711] 36.2.4.3、当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;
[0712] 36.2.4.4、当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块。
[0713] 第六部分、根据当前编码单元内的每个子块的运动信息,对当前编码单元内对应子块进行运动补偿
[0714] 示例性的,一个编码单元至少包括一个子块,每个子块的宽度不超过当前编码单元的宽度,每个子块的高度不超过当前编码单元的高度。
[0715] 例如,每个子块为8*8大小的块。
[0716] 示例性的,对于当前编码单元中的任一子块(以8*8子块为例),每个8*8 子块的运动信息记为MotionArray[i][j],i是子块水平索引值,j是子块垂直索引值,i=0~(cu_width>>3)‑1,j=0~(cu_height>>3)‑1。
[0717] 实施例三十七
[0718] 对于当前编码单元的任一子块,根据当前子块的运动信息,对当前子块进行运动补偿,得到当前子块的预测样本矩阵。
[0719] 示例性的,当前编码单元的预测样本由各子块的预测样本组成。
[0720] 实施例三十八
[0721] 对于当前编码单元的任一子块,若当前子块满足BIO条件,则根据当前子块的运动信息对当前子块进行运动补偿,并使用BIO技术来对补偿后的像素值叠加光流偏移值,得到当前子块的预测样本矩阵;否则,根据当前子块的运动信息对当前子块进行运动补偿,得到当前子块的预测样本矩阵。
[0722] 示例性的,当前编码单元的预测样本由各子块的预测样本组成。
[0723] 示例性的,子块满足双向光流条件包括:
[0724] 1)、序列级高层语法允许启用双向光流技术;
[0725] 2)、当前编码单元的运动矢量精度等于0;
[0726] 3)、该子块采用双向预测;
[0727] 4)、该子块的参考图像队列0中参考帧索引值为refIdxL0的参考帧和参考图像队列1中参考索引值为refIdxL1的参考帧显示顺序分别位于当前帧的两侧。
[0728] 实施例三十九
[0729] 对于当前编码单元的任一子块,对当前子块的运动信息不进行解码端运动矢量调整(DMVR)技术,根据当前子块的运动信息对当前子块进行运动补偿,得到当前子块的预测样本矩阵。
[0730] 示例性的,当前编码单元的预测样本由各子块的预测样本组成。
[0731] 实施例四十
[0732] 对于当前编码单元的任一子块,对当前子块的运动信息不进行解码端运动矢量调整(DMVR)技术,若当前子块满足BIO条件,根据当前子块的运动信息对当前子块进行运动补偿,并使用BIO技术来对补偿后的像素值叠加光流偏移值,得到当前子块的预测样本矩阵;否则,根据当前子块的运动信息对当前子块进行运动补偿,得到当前子块的预测样本矩阵。
[0733] 示例性的,当前编码单元的预测样本由各子块的预测样本组成。
[0734] 示例性的,子块满足双向光流条件包括:
[0735] 1)、序列级高层语法允许启用双向光流技术;
[0736] 2)、当前编码单元的运动矢量精度等于0;
[0737] 3)、该子块采用双向预测;
[0738] 4)、该子块的参考图像队列0中参考帧索引值为refIdxL0的参考帧和参考图像队列1中参考索引值为refIdxL1的参考帧显示顺序分别位于当前帧的两侧。
[0739] 需要说明的是,上述实施例仅仅是本申请实施例的实现方式的具体示例,而并不是对本申请保护范围的限定,基于上述实施例,可以通过实施例之间的组合,即一个或多个实施例之间的任意组合,或对实施例进行变型,得到新的实施例,其均应属于本申请的保护范围。
[0740] 此外,上述各实施例之间可以相互参照,且编码端和解码端的实现流程可以相互参照。
[0741] 以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
[0742] 请参见图7,图7是本申请实施例提供的一种解码装置的结构示意图,该装置可以包括:
[0743] 获取单元710,用于获取当前编码单元的增强时域运动矢量预测模式标志位的取值和增强时域运动矢量预测模式索引值;
[0744] 第一确定单元720,用于当所述增强时域运动矢量预测模式标志位的取值为第一数值时,根据所述当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息;
[0745] 构建单元730,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0746] 第二确定单元740,用于根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0747] 第三确定单元750,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息。
[0748] 在一些实施例中,所述获取单元710获取当前编码单元的增强时域运动矢量预测模式标志位的取值,包括:
[0749] 当所述当前编码单元满足第一解析条件时,从码流中解析所述增强时域运动矢量预测模式标志位的取值;
[0750] 否则,确定所述增强时域运动矢量预测模式标志位的取值为第二数值;
[0751] 所述增强时域运动矢量预测模式标志位的取值为第一数值,表明所述当前编码单元启用增强时域运动矢量预测模式,所述增强时域运动矢量预测模式标志位的取值为第二数值表明所述当前编码单元不启用增强时域运动矢量预测模式。
[0752] 在一些实施例中,所述当前编码单元满足第一解析条件包括以下之一或多个:
[0753] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0754] 所述当前编码单元的尺寸满足预设尺寸限制;
[0755] 序列级高层语法允许所述当前编码单元启用增强时域运动矢量预测技术;
[0756] 所述当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0757] 在一些实施例中,所述当前编码单元满足第一解析条件包括:
[0758] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0759] 所述当前编码单元的尺寸满足尺寸限制:当前编码单元的宽度和高度均大于或等于N0;
[0760] 序列级高层语法允许所述当前编码单元启用增强时域运动矢量预测技术;
[0761] 所述当前编码单元满足角度加权预测使用条件或者满足高级运动矢量表达使用条件。
[0762] 在一些实施例中,所述增强时域运动矢量预测模式标志位采用基于上下文的二进制算术编码,并采用一个上下文模型。
[0763] 在一些实施例中,所述获取单元710获取当前编码单元的增强时域运动矢量预测模式索引值,包括:
[0764] 当所述当前编码单元满足第二解析条件时,从码流中解析所述增强时域运动矢量预测模式索引值。
[0765] 在一些实施例中,所述当前编码单元满足第二解析条件,包括以下之一或多个:
[0766] 所述当前编码单元的预测模式为跳过模式或直接模式;
[0767] 所述当前编码单元启用增强时域运动矢量预测模式。
[0768] 在一些实施例中,所述增强时域运动矢量预测模式索引值的反二值化方式采用最大值为4的截断一元码,最多使用4个二元符号串,每个二元符号采用单独的上下文模型,一共4个上下文模型。
[0769] 在一些实施例中,所述第一确定单元720根据当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息,包括:
[0770] 根据当前图像帧类型确定匹配编码单元所在的时域参考图像;
[0771] 根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息;
[0772] 其中,若所述当前图像帧类型为P图像,则所述时域参考图像是参考图像队列0中参考帧索引值为0的参考图像;若当前图像是B图像,则所述时域参考图像是参考图像队列1中参考帧索引值为0的参考图像。
[0773] 在一些实施例中,所述第一确定单元720根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息,包括:
[0774] 根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息。
[0775] 在一些实施例中,所述第一确定单元720根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息,包括:
[0776] 根据当前最大编码单元在图像中的左上角横坐标、最大编码单元的大小、当前编码单元的宽度、当前图像的宽度、当前编码单元在图像中的左上角横坐标,确定所述初始匹配编码单元的横坐标;
[0777] 根据当前最大编码单元在图像中的左上角纵坐标、最大编码单元的大小、当前编码单元的高度、当前图像的高度、当前编码单元在图像中的左上角纵坐标来,确定所述初始匹配编码单元的纵坐标。
[0778] 在一些实施例中,所述构建单元730根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,包括:
[0779] 根据所述初始匹配编码单元的坐标信息,确定至少一个增强时域运动矢量预测模式号;
[0780] 根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。
[0781] 在一些实施例中,匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标;
[0782] 所述构建单元730根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表,包括:
[0783] 将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0784] 若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0785] 若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size‑ cu_width中的较小值,且A1位置的运动信息与B2位置的运动信息不同,或 A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0786] 若My‑8大于或等于y_ctb_pos,且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0787] 若Mx‑8大于或等于x_ctb_pos,且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;
[0788] 其中,(Mx,My)所述初始匹配编码单元的坐标信息,(x_ctb_pos, y_ctb_pos)为当前最大编码单元在图像中的左上角坐标,lcu_size为最大编码单元的大小,cu_width和cu_height分别为当前编码单元的宽度和高度, horizontal_size和vertical_size分别是当前图像的宽度和高度;
[0789] A1为所述初始匹配编码单元的左上角4*4块、B1为A1正左侧的4*4块, C1为A1正上方的4*4块;A2为所述初始匹配编码单元的右上角4*4块、B2 为A2正右侧的4*4块,C2为A2正上方的4*4块;A3为所述初始匹配编码单元的左下角4*4块、B3为A3正左侧的4*4块,C3为A3正下方的4*4块;A4 为所述初始匹配编码单元的右下角4*4块、B4为A4正右侧的4*4块,C4为 A4正下方的4*4块。
[0790] 在一些实施例中,所述构建单元730根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,还包括:
[0791] 当所述增强时域候选列表长度小于5时,循环执行如下操作,直至增强时域候选列表长度等于5:
[0792] 将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1。
[0793] 在一些实施例中,所述第二确定单元740根据所述增强时域运动矢量预测模式索引值,在所述增强时域候选列表中获取对应的增强时域运动矢量预测模式号,并确定所述增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息,包括:
[0794] 若增强时域运动矢量预测模式号为0,则Px等于Mx,Py等于My;
[0795] 若增强时域运动矢量预测模式号为1,则Px等于Mx,Py等于My+n;
[0796] 若增强时域运动矢量预测模式号为2,则Px等于Mx+n,Py等于My;
[0797] 若增强时域运动矢量预测模式号为3,则Px等于Mx,Py等于My‑n;
[0798] 若增强时域运动矢量预测模式号为4,则Px等于Mx‑n,Py等于My;
[0799] 其中,(Mx,My)所述初始匹配编码单元的左上角坐标,(Px,Py)为所述目标匹配编码单元的左上角坐标。
[0800] 在一些实施例中,所述第三确定单元750根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括:
[0801] 对于目标匹配编码单元中的任一子块:
[0802] 在当前图像帧类型是P图像的情况下:
[0803] 若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向 List0的第一帧,将伸缩后的前向运动信息赋予所述当前编码单元对应位置的子块。
[0804] 在一些实施例中,所述第三确定单元750根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0805] 对于目标匹配编码单元中的任一子块:
[0806] 在当前图像帧类型是B图像的情况下:
[0807] 若该子块的前向运动信息和后向运动信息可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予所述当前编码单元对应位置的子块;
[0808] 若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0809] 若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。
[0810] 在一些实施例中,所述确定单元750根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0811] 对于目标匹配编码单元中的任一子块:
[0812] 在当前图像帧类型是P图像的情况下:
[0813] 若将子块的前向运动信息不可用,则当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0814] 在当前图像帧类型是B图像的情况下:
[0815] 若将子块的前向运动信息和后向运动信息均不可用,则当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0816] 其中,所述第一周围块包括所述当前编码单元任一已解码的相邻块。
[0817] 在一些实施例中,如图8所示,所述解码装置还包括:
[0818] 运动补偿单元760,根据所述当前编码单元内每个子块的运动信息,对所述当前编码单元内对应子块进行运动补偿。
[0819] 在一些实施例中,所述运动补偿单元760根据所述当前编码单元内每个子块的运动信息,对所述当前编码单元内对应子块进行运动补偿,包括:
[0820] 对于当前编码单元的任一子块,对该子块的运动信息不进行解码端运动矢量调整技术;
[0821] 若该子块满足双向光流条件,根据该子块的运动信息对该子块进行运动补偿,并使用双向光流技术对补偿后的像素值叠加光流偏移值,得到该子块的预测样本矩阵;
[0822] 否则,根据该子块的运动信息对该子块进行运动补偿,得到该子块的预测样本矩阵;
[0823] 其中,当前编码单元的预测样本由各子块的预测样本组成。
[0824] 在一种可能的实施例中,上述解码装置可以包括视频解码器。
[0825] 请参见图9,为本申请实施例提供的一种解码端设备的硬件结构示意图。该解码端设备可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且,通过读取并执行机器可读存储介质902中与解码控制逻辑对应的机器可执行指令,处理器901可执行上文描述的解码方法。
[0826] 本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
[0827] 在一些实施例中,还提供了一种机器可读存储介质,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的解码方法。例如,所述机器可读存储介质可以是ROM、RAM、CD‑ROM、磁带、软盘和光数据存储设备等。
[0828] 请参见图10,图10是本申请实施例提供的一种编码装置的结构示意图,该装置可以包括:
[0829] 第一确定单元1010,用于根据当前编码单元的坐标信息确定当前编码单元的初始匹配编码单元的坐标信息;
[0830] 构建单元1020,用于根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表;
[0831] 第二确定单元1030,用于按顺序遍历增强型时域候选列表中的每个增强时域运动矢量预测模式号,确定每个增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息;
[0832] 第三确定单元1040,用于根据所述目标匹配编码单元的坐标信息确定目标匹配编码单元的运动信息,所述目标匹配编码单元的运动信息包括目标匹配编码单元内每个子块的运动信息,并根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息;
[0833] 运动补偿单元1050,用于根据所述当前编码单元内的每个子块的运动信息,对当前编码单元内的对应子块进行运动补偿;
[0834] 编码单元1060,用于计算增强时域运动矢量预测模式对应的率失真代价值,并将该率失真代价值与其他预测模式的率失真代价值进行比较,选择最小的率失真代价值所对应的预测模式,并将对应的增强时域运动矢量预测模式标志位和增强时域运动矢量预测模式索引值写入码流,传送给解码端设备。
[0835] 在一些实施例中,所述第一确定单元1010根据当前编码单元的坐标信息,确定所述当前编码单元的初始匹配编码单元的坐标信息,包括:
[0836] 根据当前图像帧类型确定匹配编码单元所在的时域参考图像;
[0837] 根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息;
[0838] 其中,若所述当前图像帧类型为P图像,则所述时域参考图像是参考图像队列0中参考帧索引值为0的参考图像;若当前图像是B图像,则所述时域参考图像是参考图像队列1中参考帧索引值为0的参考图像。
[0839] 在一些实施例中,所述第一确定单元1010根据所述当前编码单元的坐标信息,确定所述初始匹配编码单元在所述时域参考图像中的坐标信息,包括:
[0840] 根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息。
[0841] 在一些实施例中,所述第一确定单元1010根据当前最大编码单元在图像中的左上角坐标、最大编码单元的大小、当前图像的尺寸、当前编码单元的尺寸、当前编码单元在图像中的左上角坐标,确定初始匹配编码单元的坐标信息,包括:
[0842] 根据当前最大编码单元在图像中的左上角横坐标、最大编码单元的大小、当前编码单元的宽度、当前图像的宽度、当前编码单元在图像中的左上角横坐标,确定所述初始匹配编码单元的横坐标;
[0843] 根据当前最大编码单元在图像中的左上角纵坐标、最大编码单元的大小、当前编码单元的高度、当前图像的高度、当前编码单元在图像中的左上角纵坐标来,确定所述初始匹配编码单元的纵坐标。
[0844] 在一些实施例中,所述构建单元1020根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,包括:
[0845] 根据所述初始匹配编码单元的坐标信息,确定至少一个增强时域运动矢量预测模式号;
[0846] 根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表。
[0847] 在一些实施例中,匹配编码单元的坐标信息为匹配编码单元在时域参考图像中的左上角坐标;
[0848] 所述构建单元1020根据所述至少一个增强时域运动矢量预测模式号,构建增强时域候选列表,包括:
[0849] 将增强时域运动矢量预测模式号0加入增强时域候选列表中,增强时域候选列表长度加1;
[0850] 若My+8小于或等于y_ctb_pos+lcu_size‑cu_height和vertical_size‑ cu_height中的较小值,且A1位置的运动信息与C3位置的运动信息不同,或 A2位置的运动信息与C4位置的运动信息不同,则将增强时域运动矢量预测模式号1加入增强时域候选列表中,增强时域候选列表长度加1;
[0851] 若Mx+8小于或等于x_ctb_pos+lcu_size‑cu_width和horizontal_size‑ cu_width中的较小值,且A1位置的运动信息与B2位置的运动信息不同,或A3位置的运动信息与B4位置的运动信息不同,则将增强时域运动矢量预测模式号2加入增强时域候选列表中,增强时域候选列表长度加1;
[0852] 若My‑8大于或等于y_ctb_pos,且A3位置的运动信息与C1位置的运动信息不同,或A4位置的运动信息与C2位置的运动信息不同,则将增强时域运动矢量预测模式号3加入增强时域候选列表中,增强时域候选列表长度加1;
[0853] 若Mx‑8大于或等于x_ctb_pos,且A2位置的运动信息与B1位置的运动信息不同,或A4位置的运动信息与B3位置的运动信息不同,则将增强时域运动矢量预测模式号4加入增强时域候选列表中,增强时域候选列表长度加1;
[0854] 其中,(Mx,My)所述初始匹配编码单元的坐标信息,(x_ctb_pos, y_ctb_pos)为当前最大编码单元在图像中的左上角坐标,lcu_size为最大编码单元的大小,cu_width和cu_height分别为当前编码单元的宽度和高度, horizontal_size和vertical_size分别是当前图像的宽度和高度;
[0855] A1为所述初始匹配编码单元的左上角4*4块、B1为A1正左侧的4*4块, C1为A1正上方的4*4块;A2为所述初始匹配编码单元的右上角4*4块、B2 为A2正右侧的4*4块,C2为A2正上方的4*4块;A3为所述初始匹配编码单元的左下角4*4块、B3为A3正左侧的4*4块,C3为A3正下方的4*4块;A4 为所述初始匹配编码单元的右下角4*4块、B4为A4正右侧的4*4块,C4为 A4正下方的4*4块。
[0856] 在一些实施例中,所述构建单元1020根据所述初始匹配编码单元的坐标信息,构建增强时域候选列表,还包括:
[0857] 当所述增强时域候选列表长度小于5时,循环执行如下操作,直至增强时域候选列表长度等于5:
[0858] 将与当前增强时域候选列表中最后一个增强时域运动矢量预测模式号相同的增强时域运动矢量预测模式号加入增强时域候选列表中,增强时域候选列表长度加1。
[0859] 在一些实施例中,所述第二确定单元1030按顺序遍历增强型时域候选列表中的每个增强时域运动矢量预测模式号,确定每个增强时域运动矢量预测模式号对应的目标匹配编码单元的坐标信息,包括:
[0860] 对于当前遍历的增强时域运动矢量预测模式号:
[0861] 若该增强时域运动矢量预测模式号为0,则Px等于Mx,Py等于My;
[0862] 若该增强时域运动矢量预测模式号为1,则Px等于Mx,Py等于My+n;
[0863] 若该增强时域运动矢量预测模式号为2,则Px等于Mx+n,Py等于My;
[0864] 若该增强时域运动矢量预测模式号为3,则Px等于Mx,Py等于My‑n;
[0865] 若该增强时域运动矢量预测模式号为4,则Px等于Mx‑n,Py等于My;
[0866] 其中,(Mx,My)所述初始匹配编码单元的左上角坐标,(Px,Py)为所述目标匹配编码单元的左上角坐标。
[0867] 在一些实施例中,所述第三确定单元1040根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括:
[0868] 对于目标匹配编码单元中的任一子块:
[0869] 在当前图像帧类型是P图像的情况下:
[0870] 若该子块的前向运动信息可用,则将该子块的前向运动信息伸缩到指向 List0的第一帧,将伸缩后的前向运动信息赋予所述当前编码单元对应位置的子块。
[0871] 在一些实施例中,所述第三确定单元1040根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0872] 对于目标匹配编码单元中的任一子块:
[0873] 在当前图像帧类型是B图像的情况下:
[0874] 若该子块的前向运动信息和后向运动信息可用,则将该子块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予所述当前编码单元对应位置的子块;
[0875] 若该子块的前向运动信息可用,但后向运动信息不可用,则将该子块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;
[0876] 若该子块的后向运动信息可用,但前向运动信息不可用,则将该子块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块。
[0877] 在一些实施例中,所述第三确定单元1040根据所述目标匹配编码单元内每个子块的运动信息,确定所述当前编码单元内对应位置的子块的运动信息,包括
[0878] 对于目标匹配编码单元中的任一子块:
[0879] 在当前图像帧类型是P图像的情况下:
[0880] 若将子块的前向运动信息不可用,则当当前编码单元的第一周围块的前向运动信息可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0881] 在当前图像帧类型是B图像的情况下:
[0882] 若将子块的前向运动信息和后向运动信息均不可用,则当当前编码单元的第一周围块的前向运动信息和后向运动信息均可用时,将第一周围块的前向运动信息和后向运动信息分别伸缩到指向List0的第一帧和List1的第一帧,将伸缩后的前向运动信息和后向运动信息分别赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息可用,但后向运动信息不可用时,将第一周围块的前向运动信息伸缩到指向List0的第一帧,并将伸缩后的前向运动信息赋予当前编码单元对应位置的子块;当第一周围块的后向运动信息可用,但前向运动信息不可用时,将第一周围块的后向运动信息伸缩到指向List1的第一帧,并将伸缩后的后向运动信息赋予当前编码单元对应位置的子块;当第一周围块的前向运动信息和后向运动信息均不可用时,将零运动信息赋予当前编码单元对应位置的子块;
[0883] 其中,所述第一周围块包括所述当前编码单元任一已解码的相邻块。
[0884] 在一些实施例中,所述运动补偿单元1050根据所述当前编码单元内每个子块的运动信息,对所述当前编码单元内对应子块进行运动补偿,包括:
[0885] 对于当前编码单元的任一子块,对该子块的运动信息不进行解码端运动矢量调整技术;
[0886] 若该子块满足双向光流条件,根据该子块的运动信息对该子块进行运动补偿,并使用双向光流技术对补偿后的像素值叠加光流偏移值,得到该子块的预测样本矩阵;
[0887] 否则,根据该子块的运动信息对该子块进行运动补偿,得到该子块的预测样本矩阵;
[0888] 其中,当前编码单元的预测样本由各子块的预测样本组成。
[0889] 在一种可能的实施例中,上述编码装置可以包括视频编码器。
[0890] 请参见图11,为本申请实施例提供的一种编码端设备的硬件结构示意图。该编码端设备可包括处理器1101、存储有机器可执行指令的机器可读存储介质1102。处理器1101与机器可读存储介质1102可经由系统总线1103通信。并且,通过读取并执行机器可读存储介质1102中与编码控制逻辑对应的机器可执行指令,处理器1101可执行上文描述的编码方法。
[0891] 本文中提到的机器可读存储介质1102可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
[0892] 在一些实施例中,还提供了一种机器可读存储介质,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的编码方法。例如,所述机器可读存储介质可以是ROM、RAM、CD‑ROM、磁带、软盘和光数据存储设备等。
[0893] 在一些实施例中,还提供了一种摄像机设备,包括上述任一实施例中的编码装置和上述任一实施例中的解码装置。
[0894] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0895] 以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。