一种帧间预测方法和装置转让专利
申请号 : CN201980011364.0
文献号 : CN112655218B
文献日 : 2022-04-29
发明人 : 徐巍炜 , 杨海涛 , 赵寅
申请人 : 华为技术有限公司
摘要 :
权利要求 :
1.一种帧间预测方法,其特征在于,包括:解析码流,以获得待处理图像块的运动信息;
基于所述运动信息对所述待处理图像块进行运动补偿,以获得所述待处理图像块的预测块,所述待处理图像块的预测块中包括目标像素点的预测值;
将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,以更新所述目标像素点的预测值,其中,所述参考像素点与所述目标像素点具有预设的空域位置关系;
在所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算之前,还包括:
解析所述码流,以获得所述待处理图像块的预测模式;
确定所述预测模式为融合模式(merge)。
2.根据权利要求1所述的方法,其特征在于,所述一个或多个参考像素点包括与所述目标像素点具有相同横坐标且具有预设纵坐标差的已重构像素点,或者,与所述目标像素点具有相同纵坐标且具有预设横坐标差的已重构像素点。
3.根据权利要求2所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,M2为预设正整数。
4.根据权利要求3所述的方法,其特征在于,w1+w2=R1,或,w3+w4=R2,或,w5+w6+w7=R3,其中,R1,R2,R3分别为2的n次方,n为非负整数。
5.根据权利要求2所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,M3,M4为预设正整数。
6.根据权利要求5所述的方法,其特征在于,w1+w2+w3=S1,或,w4+w5+w6=S2,或,w7+w8+w9+w10+w11=S3,其中,S1,S2,S3分别为2的n次方,n为非负整数。
7.根据权利要求2所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设正整数。
8.根据权利要求7所述的方法,其特征在于,w1+w2+w3=R,其中,R为2的n次方,n为非负整数。
9.根据权利要求2所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的所述参考像素点的重构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。
10.根据权利要求9所述的方法,其特征在于,w1+w2+w3+w4+w5=S,其中,S为2的n次方,n为非负整数。
11.根据权利要求1所述的方法,其特征在于,所述一个或多个参考像素点包括以下像素点中的一个或多个:
与所述目标像素点具有相同横坐标且与所述待处理图像块的上边缘相邻接的已重构像素点;或者,
与所述目标像素点具有相同纵坐标且与所述待处理图像块的左边缘相邻接的已重构像素点;或者,
所述待处理图像块的右上角的已重构像素点;或者,所述待处理图像块的左下角的已重构像素点;或者,所述待处理图像块的左上角的已重构像素点。
12.根据权利要求11所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:
predQ(xP,yP)=(w1*predP(xP,yP)+w2*predP1(xP,yP)+((w1+w2)/2))/(w1+w2)其中,
predP1(xP,yP)=(predV(xP,yP)+predH(xP,yP)+nTbW*nTbH)>>(Log2(nTbW)+Log2(nTbH)+1),predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH))<
1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度;
或者,根据以下公式更新所述目标像素点的预测值:predQ(xP,yP)=(w1*predP(xP,yP)+w2*predV(xP,yP)+w3*predH(xP,yP)+((w1+w2+w3)/2))/(w1+w2+w3)
其中,
predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH)+nTbH/2)>>Log2(nTbH),predH(xP,yP)=((nTbW‑1‑xP)*p(‑1,yP)+(xP+1)*p(nTbW,‑1)+nTbW/2)>>Log2(nTbW),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2,w3为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度;
或者,根据以下公式更新所述目标像素点的预测值:predQ(xP,yP)=(((w1*predP(xP,yP))<<(Log2(nTbW)+Log2(nTbH)+1))+w2*predV(xP,yP)+w3*predH(xP,yP)+(((w1+w2+w3)/2)<<(Log2(nTbW)+Log2(nTbH)+1)))/(((w1+w2+w3)<<(Log2(nTbW)+Log2(nTbH)+1)))其中,
predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH))<
1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2,w3为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度。
13.根据权利要求11所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:
其中,predP1(xP,yP)=(predV(xP,yP)+predH(xP,yP)+1)>>1,predV(xP,yP)=((nTbH‑1‑(yP‑yN))*recon(xP,yN‑1)+(yP‑yN+1)*recon(xN‑1,yN+nTbH)+(nTbH>>1))>>Log2(nTbH),predH(xP,yP)=((nTbW‑1‑(xP‑xN))*recon(xN‑1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度。
14.根据权利要求12或13所述的方法,其特征在于,w1和w2的和为2的n次方,其中,n为非负整数。
15.根据权利要求11所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:
其
中,
refL(xP,yP)=recon(xN‑1,yP),refT(xP,yP)=recon(xP,yN‑1),wT(yP)=32>>((yP<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),wTL(xP,yP)=((wL(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像块的宽度和高度,clip1Cmp为钳位操作。
16.根据权利要求11所述的方法,其特征在于,所述更新所述目标像素点的预测值,包括:根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:
其中,
refL(xP,yP)=recon(xN‑1,yP),refT(xP,yP)=recon(xP,yN‑1),wT(yP)=32>>((yP<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐标位置(xN‑1,yP),(xP,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像块的宽度和高度,clip1Cmp为钳位操作。
17.根据权利要求1至13任一项所述的方法,其特征在于,所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,包括:当所述参考像素点的重构值不可用时,按照预设顺序确定与所述待处理图像块的上边沿和左边沿相邻的像素点的可用性,直到获取预设个数的可用的参考像素点;
将所述可用的参考像素点的重构值和所述目标像素点的预测值进行加权计算。
18.根据权利要求1至13任一项所述的方法,其特征在于,在所述将一个或多个参考像素点的重构值和所述待处理图像块中的目标像素点的预测值进行加权计算之前,包括:当所述参考像素点位于所述待处理图像的上方时,对所述参考像素点的重构值和所述参考像素点的左右相邻像素点的重构值进行加权计算;
当所述参考像素点位于所述待处理图像块的左方时,对所述参考像素点的重构值和所述参考像素点的上下相邻像素点的重构值进行加权计算;
采用所述加权计算的结果更新所述参考像素点的重构值。
19.根据权利要求1至13任一项所述的方法,其特征在于,在所述基于所述运动信息对所述待处理图像块进行运动补偿之前,还包括:通过第一预设算法对所述运动信息进行初始更新;
对应的,所述基于所述运动信息对所述待处理图像块进行运动补偿,包括:基于所述初始更新后的运动信息对所述待处理图像块进行运动补偿。
20.根据权利要求1至13任一项所述的方法,其特征在于,在所述获得所述待处理图像块的预测块之后,还包括:
通过第二预设算法对所述预测块进行预更新;
对应的,所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,包括:
将所述一个或多个参考像素点的重构值和所述目标像素点的预更新后的预测值进行加权计算。
21.根据权利要求1至13任一项所述的方法,其特征在于,在所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,以更新所述目标像素点的预测值之后,还包括:
通过第二预设算法对所述目标像素点的预测值进行更新。
22.根据权利要求1至13任一项所述的方法,其特征在于,在所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算之前,还包括:解析所述码流,以获得所述待处理图像块的更新判别标识信息;
确定所述更新判别标识信息指示更新所述待处理图像块的预测块。
23.根据权利要求1至13任一项所述的方法,其特征在于,在所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算之前,还包括:获取所述待处理图像块的预设的更新判别标识信息;
确定所述更新判别标识信息指示更新所述待处理图像块的预测块。
24.一种帧间预测装置,其特征在于,包括:解析模块,用于解析码流,以获得待处理图像块的运动信息;
补偿模块,用于基于所述运动信息对所述待处理图像块进行运动补偿,以获得所述待处理图像块的预测块,所述待处理图像块的预测块中包括目标像素点的预测值;
计算模块,用于将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,以更新所述目标像素点的预测值,其中,所述参考像素点与所述目标像素点具有预设的空域位置关系;
所述解析模块还用于:
解析所述码流,以获得所述待处理图像块的预测模式;
确定所述预测模式为融合模式(merge)。
25.根据权利要求24所述的装置,其特征在于,所述一个或多个参考像素点包括与所述目标像素点具有相同横坐标且具有预设纵坐标差的已重构像素点,或者,与所述目标像素点具有相同纵坐标且具有预设横坐标差的已重构像素点。
26.根据权利要求25所述的装置,其特征在于,所述计算模块,具体用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,M2为预设正整数。
27.根据权利要求26所述的装置,其特征在于,w1+w2=R1,或,w3+w4=R2,或,w5+w6+w7=R3,其中,R1,R2,R3分别为2的n次方,n为非负整数。
28.根据权利要求25所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,M3,M4为预设正整数。
29.根据权利要求28所述的装置,其特征在于,w1+w2+w3=S1,或,w4+w5+w6=S2,或,w7+w8+w9+w10+w11=S3,其中,S1,S2,S3分别为2的n次方,n为非负整数。
30.根据权利要求25所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设正整数。
31.根据权利要求30所述的装置,其特征在于,w1+w2+w3=R,其中,R为2的n次方,n为非负整数。
32.根据权利要求25所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的所述参考像素点的重构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。
33.根据权利要求32所述的装置,其特征在于,w1+w2+w3+w4+w5=S,其中,S为2的n次方,n为非负整数。
34.根据权利要求24所述的装置,其特征在于,所述一个或多个参考像素点包括以下像素点中的一个或多个:
与所述目标像素点具有相同横坐标且与所述待处理图像块的上边缘相邻接的已重构像素点;或者,
与所述目标像素点具有相同纵坐标且与所述待处理图像块的左边缘相邻接的已重构像素点;或者,
所述待处理图像块的右上角的已重构像素点;或者,所述待处理图像块的左下角的已重构像素点;或者,所述待处理图像块的左上角的已重构像素点。
35.根据权利要求34所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:predQ(xP,yP)=(w1*predP(xP,yP)+w2*predP1(xP,yP)+((w1+w2)/2))/(w1+w2)其中,
predP1(xP,yP)=(predV(xP,yP)+predH(xP,yP)+nTbW*nTbH)>>(Log2(nTbW)+Log2(nTbH)+1),predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH))<
1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度;
或者,根据以下公式更新所述目标像素点的预测值:predQ(xP,yP)=(w1*predP(xP,yP)+w2*predV(xP,yP)+w3*predH(xP,yP)+((w1+w2+w3)/2))/(w1+w2+w3)
其中,
predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH)+nTbH/2)>>Log2(nTbH),
predH(xP,yP)=((nTbW‑1‑xP)*p(‑1,yP)+(xP+1)*p(nTbW,‑1)+nTbW/2)>>Log2(nTbW),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度;
或者,根据以下公式更新所述目标像素点的预测值:predQ(xP,yP)=(((w1*predP(xP,yP))<<(Log2(nTbW)+Log2(nTbH)+1))+w2*predV(xP,yP)+w3*predH(xP,yP)+(((w1+w2+w3)/2)<<(Log2(nTbW)+Log2(nTbH)+1)))/(((w1+w2+w3)<<(Log2(nTbW)+Log2(nTbH)+1)))其中,
predV(xP,yP)=((nTbH‑1‑yP)*p(xP,‑1)+(yP+1)*p(‑1,nTbH))<
1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2,w3为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度。
36.根据权利要求34所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,predP1(xP,yP)=(predV(xP,yP)+predH(xP,yP)+1)>>1,predV(xP,yP)=((nTbH‑1‑(yP‑yN))*recon(xP,yN‑1)+(yP‑yN+1)*recon(xN‑1,yN+nTbH)+(nTbH>>1))>>Log2(nTbH),predH(xP,yP)=((nTbW‑1‑(xP‑xN))*recon(xN‑1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度。
37.根据权利要求35或36所述的装置,其特征在于,w1和w2的和为2的n次方,其中,n为非负整数。
38.根据权利要求34所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其
中,
refL(xP,yP)=recon(xN‑1,yP),refT(xP,yP)=recon(xP,yN‑1),wT(yP)=32>>((yP<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),wTL(xP,yP)=((wL(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像块的宽度和高度,clip1Cmp为钳位操作。
39.根据权利要求34所述的装置,其特征在于,所述计算模块,具体还用于根据所述目标像素点的更新前的预测值和所述参考像素点的重构值进行加权计算,获取所述目标像素点的更新后的预测值,所述目标像素点的更新后的预测值通过如下公式获得:其中,
refL(xP,yP)=recon(xN‑1,yP),refT(xP,yP)=recon(xP,yN‑1),wT(yP)=32>>((yP<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐标位置(xN‑1,yP),(xP,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像块的宽度和高度,clip1Cmp为钳位操作。
40.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块,还用于当所述参考像素点的重构值不可用时,按照预设顺序确定与所述待处理图像块的上边沿和左边沿相邻的像素点的可用性,直到获取预设个数的可用的参考像素点;将所述可用的参考像素点的重构值和所述目标像素点的预测值进行加权计算。
41.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块还用于:当所述参考像素点位于所述待处理图像块的上方时,对所述参考像素点的重构值和所述参考像素点的左右相邻像素点的重构值进行加权计算;
当所述参考像素点位于所述待处理图像块的左方时,对所述参考像素点的重构值和所述参考像素点的上下相邻像素点的重构值进行加权计算;
采用所述加权计算的结果更新所述参考像素点的重构值。
42.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块还用于:通过第一预设算法对所述运动信息进行初始更新;
对应的,所述补偿模块具体用于:
基于所述初始更新后的运动信息对所述待处理图像块进行运动补偿。
43.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块还用于:通过第二预设算法对所述预测块进行预更新;
对应的,所述计算模块具体用于:
将所述一个或多个参考像素点的重构值和所述目标像素点的预更新后的预测值进行加权计算。
44.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块在所述将一个或多个参考像素点的重构值和所述目标像素点的预测值进行加权计算,以更新所述目标像素点的预测值之后,所述计算模块还用于:通过第二预设算法对所述目标像素点的预测值进行更新。
45.根据权利要求24至36任一项所述的装置,其特征在于,所述解析模块还用于:解析所述码流,以获得所述待处理图像块的更新判别标识信息;
确定所述更新判别标识信息指示更新所述待处理图像块的预测块。
46.根据权利要求24至36任一项所述的装置,其特征在于,所述计算模块还用于:获取所述待处理图像块的预设的更新判别标识信息;
确定所述更新判别标识信息指示更新所述待处理图像块的预测块。
47.根据权利要求24至36任一项所述的装置,其特征在于,所述一个或多个参考像素点的重构值的加权系数与所述目标像素点的预测值的加权系数不同。
48.根据权利要求24至36任一项所述的装置,其特征在于,使用帧内预测中的平面模式(PLANAR),从空域临近像素预测得到所述一个或多个参考像素点的重构值。
49.根据权利要求24至36任一项所述的装置,其特征在于,根据w1*predP(xP,yP)和w2*predP1(xP,yP)获得所述更新后的预测值predQ(xP,yP);
其中(xP,yP)为所述目标像素点的坐标,predP(xP,yP)为所述目标像素点的预测值,predP1(xP,yP)为所述一个或多个参考像素点的重构值,w1为所述一个或多个参考像素点的重构值的加权系数,w2为所述目标像素点的预测值的加权系数,w1与w2为预设常数,并且w1与w2不相等。
50.根据权利要求49所述的装置,其特征在于,加权系数组(w1,w2)取(6,2)或(5,3)。
51.根据权利要求49所述的装置,其特征在于,w1和w2的和为2的n次方,其中,n为2或者
3。
52.一种计算机存储介质,所述计算机存储介质中存储有计算机程序代码,其特征在于,当所述计算机程序代码在处理器上运行时,使得所述处理器执行如权利要求1‑23任一项所述的帧间预测方法。
说明书 :
一种帧间预测方法和装置
11月2日提交中国国家知识产权局、申请号为201811303754.9、申请名称为“一种帧间预测
方法和装置”的中国专利申请以及于2018年10月1日提交中国受理局、国际申请号为PCT/
CN2018/109233、申请名称为“一种视频编解码的方法与装置”的国际专利申请的优先权,其
全部内容通过引用结合在本申请中。
技术领域
背景技术
码(AVC)、ITU‑T H.265(也被称作高效率视频解码HEVC)所定义的标准及这些标准的扩展中
所描述的视频解码技术。数字视频装置通过实施这些视频解码技术来更有效地发送、接收、
编码、解码和/或存储数字视频信息。
未考虑空间域的相关性问题,这将造成现有的帧间预测模式获得的预测像素在空间域上存
在一定的不连续性,影响预测效率,造成预测残差能量较大。
发明内容
该待处理图像块的预测块,该待处理图像块的预测块中包括目标像素点的预测值;将一个
或多个参考像素点的重构值和上述目标像素点的预测值进行加权计算,以更新该目标像素
点的预测值,其中,上述参考像素点与上述目标像素点具有预设的空域位置关系。基于本方
案,通过利用周围邻近已重构像素对目标像素点的预测值进行空域滤波处理,能够提高编
码压缩效率。
素点具有相同纵坐标且具有预设横坐标差的已重构像素点。基于本方案,通过与目标像素
点具有预设空域位置关系的参考像素点对目标像素点进行滤波处理,相比于现有技术,提
高了编码效率。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),
(xP,yN‑M2)的参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,M2为预设正整数。
基于本方案,通过滤波处理能够得到目标像素点的更新后的预测值。
案,能够进一步提高编码效率。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的上述参考像素点的重构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,
M3,M4为预设正整数。基于本方案,通过滤波处理能够得到目标像素点的更新后的预测值。
负整数。基于本方案,能够进一步提高编码效率。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置
(xN‑M1,yP),(xP,yN‑M2)的上述参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设
正整数。基于本方案,通过滤波处理能够得到目标像素点的更新后的预测值。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的上述参考像素点的重构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。基于
本方案,通过滤波处理能够得到目标像素点的更新后的预测值。
上述待处理图像块的上边缘相邻接的已重构像素点;或者,与上述目标像素点具有相同纵
坐标且与上述待处理图像块的左边缘相邻接的已重构像素点;或者,上述待处理图像块的
右上角的已重构像素点;或者,上述待处理图像块的左下角的已重构像素点;或者,上述待
处理图像块的左上角的已重构像素点。基于本方案,通过与目标像素点具有预设空域位置
关系的参考像素点对目标像素点进行滤波处理,相比于现有技术,提高了编码效率。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素
点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置
(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2,w3为预设常
数,nTbW和nTbH为所述待处理图像块的宽度和高度。
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),上述目标像素点
的坐标为(xP,yP),上述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)
为上述目标像素点的更新前的预测值,predQ(xP,yP)为上述目标像素点的更新后的预测
值,recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别
为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的上述参考像素
点的重构值,w1,w2为预设常数,nTbW和nTbH为上述待处理图像块的宽度和高度。基于本方
案,通过滤波处理能够得到目标像素点的更新后的预测值。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),上述目标像
素点的坐标为(xP,yP),上述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,
yP)为上述目标像素点的更新前的预测值,predQ(xP,yP)为上述目标像素点的更新后的预
测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的参考像素点的重构值,nTbW和nTbH为上述待处理图像块的宽
度和高度,clip1Cmp为钳位操作。基于本方案,通过滤波处理能够得到目标像素点的更新后
的预测值。
构值进行加权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预
测值通过如下公式获得:
<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+
Log2(nTbH)‑2)>>2),上述目标像素点的坐标为(xP,yP),上述待处理图像块内的左上角
像素点的坐标为(xN,yN),predP(xP,yP)为上述目标像素点的更新前的预测值,predQ(xP,
yP)为上述目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐
标位置(xN‑1,yP),(xP,yN‑1)的参考像素点的重构值,nTbW和nTbH为上述待处理图像块的
宽度和高度,clip1Cmp为钳位操作。基于本方案,通过滤波处理能够得到目标像素点的更新
后的预测值。
像素点的重构值不可用时,按照预设顺序确定与所述待处理图像块的上边沿和左边沿相邻
的像素点的可用性,直到获取预设个数的可用的参考像素点;将该可用的参考像素点的重
构值和上述目标像素点的预测值进行加权计算。基于本方案,能够在参考像素点的重构值
不可用时,采用预设顺序寻找待处理图像块的左侧和上方的重构值可用的参考像素点,使
用该可用的参考像素点的重构值值更新目标像素点的预测值。
的可用的参考像素点,包括:按照从坐标(xN‑1,yN+nTbH‑1)至坐标(xN‑1,yN‑1),接着从坐
标(xN,yN‑1)至坐标(xN+nTbW‑1,yN‑1)的顺序,获取可用的参考像素点。基于本方案,能够
获取可用的参考像素点的重构值。
用,按照上述预设顺序从坐标(xN‑1,yN+nTbH‑1)至坐标(xN‑1,yN‑1),接着从坐标(xN,yN‑
1)至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,一旦找到可用的像素点,搜索就会
终止,若该可用的像素点为(x,y),则参考像素点(xN‑1,yN+nTbH‑1)的重构值被设置为像素
点(x,y)的重构值;在参考像素点(xN‑1,yN+nTbH‑M)集合中参考像素点(x,y)的重构值不可
用,其中,M大于等于2,小于等于nTbH+1,则参考像素点参考像素点(x,y)的重构值被设置为
像素点(x,y+1)的重构值;在参考像素点(xN+N,yN‑1)集合中参考像素点(x,y)的重构值不
可用,其中,N大于等于0,小于等于nTbW‑1,则参考像素点(x,y)的重构值被设置为参考像素
点(x‑1,y)的重构值。基于本方案,能够获取可用的参考像素点的重构值。
(xN‑1,yN+nTbH‑M)开始,按照上述预设顺序寻找可用的参考像素点,若该可用的参考像素
点为B,那么参考像素点(xN‑1,yN+nTbH‑M)的重构值可以设置为参考像素点B的重构值;若
参考像素点坐标为(xN+N,yN‑1)的重构值不可用,其中,N大于等于0,小于等于nTbW‑1,可以
从坐标(xN+N,yN‑1)开始,按照上述预设顺序寻找可用的参考像素点,若该可用的参考像素
点为C,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参考像素点C的重构值。基于本方
案,能够获取可用的参考像素点的重构值。
(xN‑1,yN‑1),接着从坐标(xN,yN‑1)至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,
一旦找到可用的像素点,搜索就会终止,若该可用的像素点为(x,y),则参考像素点(xN‑1,
yN+nTbH‑1)的重构值被设置为像素点(x,y)的重构值;若参考像素点(xN‑1,yN+nTbH‑M)的
重构值不可用,其中,M大于1,小于等于nTbH+1,可以从坐标(xN‑1,yN+nTbH‑M)开始,按照与
上述预设顺序相反的顺序寻找可用的参考像素点,若该可用的参考像素点为C,那么参考像
素点(xN‑1,yN+nTbH‑M)的重构值可以设置为参考像素点C的重构值;若参考像素点坐标为
(xN+N,yN‑1)的重构值不可用,其中,N大于等于0,小于等于nTbW‑1,可以从坐标(xN+N,yN‑
1)开始,按照上述预设顺序相反的顺序寻找可用的参考像素点,若该可用的参考像素点为
D,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参考像素点D的重构值。基于本方案,
能够获取可用的参考像素点的重构值。
为1<<(bitDepth‑1),其中,bitDepth为参考像素点采样值的位深。基于本方案,能够在参考
像素点和新的参考像素点的重构值均不可用时,基于位深设置参考像素点的重构值。
述参考像素点位于上述待处理图像块的上方时,对上述参考像素点的重构值和上述参考像
素点的左右相邻像素点的重构值进行加权计算;当上述参考像素点位于上述待处理图像块
的左方时,对上述参考像素点的重构值和上述参考像素点的上下相邻像素点的重构值进行
加权计算;采用该加权计算的结果更新上述参考像素点的重构值。基于本方案,在对目标像
素点进行滤波处理之前,通过对参考像素点的重构值进行滤波处理,能够进一步提高编码
效率,减小预测残差。
信息进行初始更新;对应的,上述基于上述运动信息对上述待处理图像块进行运动补偿,包
括:基于上述初始更新后的运动信息对上述待处理图像块进行运动补偿。基于本方案,通过
在对当前块进行运动补偿之前更新运动信息,并基于更新后的运动信息进行运动补偿,能
够减小预测残差。
应的,上述将一个或多个参考像素点的重构值和上述目标像素点的预测值进行加权计算,
包括:将上述一个或多个参考像素点的重构值和上述目标像素点的预更新后的预测值进行
加权计算。基于本方案,通过对当前块的预测块进行预更新,并根据与更新后的预测值和参
考像素点的重构值进行加权计算,能够减小预测残差。
像素点的预测值之后,还包括:通过第二预设算法对上述目标像素点的预测值进行更新。基
于本方案,能够将空域滤波处理后的目标像素点的预测值采用预设算法进行更新,减小预
测残差。
析上述码流,以获得上述待处理图像块的预测模式;确定该预测模式为融合模式(merge)
和/或帧间高级运动矢量预测模式(inter AMVP);可以理解的,该帧间高级运动矢量预测模
式(inter AMVP)也可称为帧间运动矢量预测模式(inter MVP)。基于本方案,能够在滤波处
理之前确定待处理图像块的预测模式。
析上述码流,以获得上述待处理图像块的更新判别标识信息;确定该更新判别标识信息指
示更新上述待处理图像块的预测块。基于本方案,能够通过解析码流获取待处理图像块的
更新判别标识信息,并确定更新待处理图像块的预测块。
取上述待处理图像块的预设的更新判别标识信息;确定该更新判别标识信息指示更新上述
待处理图像块的预测块。基于本方案,能够获取待处理图像块的更新判别标识信息,并根据
该更新判别标识信息确定更新待处理图像块的预测块。
进行运动补偿,以获得该待处理图像块的预测块,该待处理图像块的预测块中包括目标像
素点的预测值;计算模块,用于将一个或多个参考像素点的重构值和所述目标像素点的预
测值进行加权计算,以更新所述目标像素点的预测值,其中,该参考像素点与上述目标像素
点具有预设的空域位置关系。
素点,或者,与上述目标像素点具有相同纵坐标且具有预设横坐标差的已重构像素点。
计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如下
公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置
(xN‑M1,yP),(xP,yN‑M2)的上述参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,
M2为预设正整数。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的上述参考像素点的重构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,
M3,M4为预设正整数。
负整数。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置
(xN‑M1,yP),(xP,yN‑M2)的上述参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设
正整数。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的上述参考像素点的重构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。
上述待处理图像块的上边缘相邻接的已重构像素点;或者,与上述目标像素点具有相同纵
坐标且与上述待处理图像块的左边缘相邻接的已重构像素点;或者,上述待处理图像块的
右上角的已重构像素点;或者,上述待处理图像块的左下角的已重构像素点;或者,上述待
处理图像块的左上角的已重构像素点。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素
点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置
(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2,w3为预设常
数,nTbW和nTbH为所述待处理图像块的宽度和高度。
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),上述目标像素点
的坐标为(xP,yP),上述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)
为上述目标像素点的更新前的预测值,predQ(xP,yP)为上述目标像素点的更新后的预测
值,recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别
为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的上述参考像素
点的重构值,w1,w2为预设常数,nTbW和nTbH为上述待处理图像块的宽度和高度。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),上述目标像
素点的坐标为(xP,yP),上述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,
yP)为上述目标像素点的更新前的预测值,predQ(xP,yP)为上述目标像素点的更新后的预
测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的上述参考像素点的重构值,nTbW和nTbH为上述待处理图像块
的宽度和高度,clip1Cmp为钳位操作。
权计算,获取上述目标像素点的更新后的预测值,该目标像素点的更新后的预测值通过如
下公式获得:
<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+
Log2(nTbH)‑2)>>2),上述目标像素点的坐标为(xP,yP),上述待处理图像块内的左上角
像素点的坐标为(xN,yN),predP(xP,yP)为上述目标像素点的更新前的预测值,predQ(xP,
yP)为上述目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐
标位置(xN‑1,yP),(xP,yN‑1)的上述参考像素点的重构值,nTbW和nTbH为上述待处理图像
块的宽度和高度,clip1Cmp为钳位操作。
的上边沿和左边沿相邻的像素点的可用性,直到获取预设个数的可用的参考像素点;将该
可用的参考像素点的重构值和上述目标像素点的预测值进行加权计算。
坐标(xN+nTbW‑1,yN‑1)的顺序,获取可用的参考像素点的重构值。
用,按照上述预设顺序从坐标(xN‑1,yN+nTbH‑1)至坐标(xN‑1,yN‑1),接着从坐标(xN,yN‑
1)至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,一旦找到可用的像素点,搜索就会
终止,若该可用的像素点为(x,y),则参考像素点(xN‑1,yN+nTbH‑1)的重构值被设置为像素
点(x,y)的重构值;在参考像素点(xN‑1,yN+nTbH‑M)集合中参考像素点(x,y)的重构值不可
用,其中,M大于等于2,小于等于nTbH+1,则参考像素点参考像素点(x,y)的重构值被设置为
像素点(x,y+1)的重构值;在参考像素点(xN+N,yN‑1)集合中参考像素点(x,y)的重构值不
可用,其中,N大于等于0,小于等于nTbW‑1,则参考像素点(x,y)的重构值被设置为参考像素
点(x‑1,y)的重构值。
于nTbH+1,从坐标(xN‑1,yN+nTbH‑M)开始,按照上述预设顺序寻找可用的参考像素点,若该
可用的参考像素点为B,那么参考像素点(xN‑1,yN+nTbH‑M)的重构值可以设置为参考像素
点B的重构值;若参考像素点坐标为(xN+N,yN‑1)的重构值不可用,其中,N大于等于0,小于
等于nTbW‑1,可以从坐标(xN+N,yN‑1)开始,按照上述预设顺序寻找可用的参考像素点,若
该可用的参考像素点为C,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参考像素点C
的重构值。
(xN‑1,yN‑1),接着从坐标(xN,yN‑1)至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,
一旦找到可用的像素点,搜索就会终止,若该可用的像素点为(x,y),则参考像素点(xN‑1,
yN+nTbH‑1)的重构值被设置为像素点(x,y)的重构值;若参考像素点(xN‑1,yN+nTbH‑M)的
重构值不可用,其中,M大于1,小于等于nTbH+1,可以从坐标(xN‑1,yN+nTbH‑M)开始,按照与
上述预设顺序相反的顺序寻找可用的参考像素点,若该可用的参考像素点为C,那么参考像
素点(xN‑1,yN+nTbH‑M)的重构值可以设置为参考像素点C的重构值;若参考像素点坐标为
(xN+N,yN‑1)的重构值不可用,其中,N大于等于0,小于等于nTbW‑1,可以从坐标(xN+N,yN‑
1)开始,按照上述预设顺序相反的顺序寻找可用的参考像素点,若该可用的参考像素点为
D,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参考像素点D的重构值。
为1<<(bitDepth‑1),其中,bitDepth为参考像素点采样值的位深。
值和上述参考像素点的左右相邻像素点的重构值进行加权计算;当上述参考像素点位于上
述待处理图像块的左方时,对上述参考像素点的重构值和上述参考像素点的上下相邻像素
点的重构值进行加权计算;采用上述加权计算的结果更新上述参考像素点的重构值。
于:基于上述初始更新后的运动信息对上述待处理图像块进行运动补偿。
将上述一个或多个参考像素点的重构值和上述目标像素点的预更新后的预测值进行加权
计算。
模式(merge)和/或帧间高级运动矢量预测模式(inter AMVP);可以理解的,该帧间高级运
动矢量预测模式(inter AMVP)也可称为帧间运动矢量预测模式(inter MVP)。
别标识信息指示更新上述待处理图像块的预测块。
指示更新上述待处理图像块的预测块。
附图说明
具体实施方式
或“译码”可一般地指代视频编码或视频解码。视频译码系统的视频编码器100和视频解码
器200用于根据本申请提出的多种新的帧间预测模式中的任一种所描述的各种方法实例来
预测当前经译码图像块或其子块的运动信息,例如运动矢量,使得预测出的运动矢量最大
程度上接近使用运动估算方法得到的运动矢量,从而编码时无需传送运动矢量差值,从而
进一步的改善编解码性能。
经编码的视频数据进行解码。因此,目的地装置20可被称为视频解码装置。源装置10、目的
地装置20或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理器
的存储器。所述存储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以可由计算
机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体,如本文所描述。
电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。
中,链路30可包括使得源装置10能够实时将经编码视频数据直接发射到目的地装置20的一
或多个通信媒体。在此实例中,源装置10可根据通信标准(例如无线通信协议)来调制经编
码视频数据,且可将经调制的视频数据发射到目的地装置20。所述一或多个通信媒体可包
含无线和/或有线通信媒体,例如射频(radio frequency,RF)频谱或一或多个物理传输线。
所述一或多个通信媒体可形成基于分组的网络的一部分,基于分组的网络例如为局域网、
广域网或全球网络(例如,因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或
促进从源装置10到目的地装置20的通信的其它设备。
的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、数字通用光盘(digital video
disc,DVD)、只读光盘(compact disc read‑only memory,CD‑ROM)、快闪存储器、易失性或
非易失性存储器,或用于存储经编码视频数据的任何其它合适的数字存储媒体。
储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据并且将经编码的视
频数据发射到目的地装置20的服务器。实例文件服务器包含网络服务器(例如,用于网站)、
文件传输协议(file transfer protocol,FTP)服务器、网络附接式存储(network
attached storage,NAS)装置或本地磁盘驱动器。目的地装置20可通过任何标准数据连接
(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如,无线保真(wIreless‑
fidelity,Wi‑Fi)连接)、有线连接(例如,数字用户线路(digital subscriber line,DSL)、
电缆调制解调器等),或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。
经编码视频数据从存储装置40的传输可为流式传输、下载传输或两者的组合。
数据存储媒体上的视频数据的编码、存储在数据存储媒体上的视频数据的解码,或其它应
用。在一些实例中,视频译码系统可用于支持单向或双向视频传输以支持例如视频流式传
输、视频回放、视频广播和/或视频电话等应用。
其它实例中,数据从本地存储器检索、在网络上流式传输等等。视频编码装置可对数据进行
编码并且将数据存储到存储器,和/或视频解码装置可从存储器检索数据并且对数据进行
解码。在许多实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且
解码数据的装置执行编码和解码。
视频捕获装置(例如,摄像机)、含有先前捕获的视频数据的视频存档、用以从视频内容提供
者接收视频数据的视频馈入接口,和/或用于产生视频数据的计算机图形系统,或视频数据
的此些来源的组合。
频数据还可存储到存储装置40上,供目的地装置20以后存取来用于解码和/或播放。
或从存储装置40接收经编码视频数据。显示装置220可与目的地装置20集成或可在目的地
装置20外部。一般来说,显示装置220显示经解码视频数据。显示装置220可包括多种显示装
置,例如,液晶显示器(liquid crystal display,LCD)、等离子显示器、有机发光二极管
(organic light‑emitting diode,OLED)显示器或其它类型的显示装置。
处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中,如果适用的话,
那么解复用器(MUX‑DEMUX)单元可符合国际电信联盟(international telecommunication
union,ITU)H.223多路复用器协议,或例如用户数据报协议(user datagram protocol,
UDP)等其它协议。
路(application‑specific integrated circuit,ASIC)、现场可编程门阵列(field
programmable gate array,FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实
施本申请,那么装置可将用于软件的指令存储在合适的非易失性计算机可读存储媒体中,
且可使用一或多个处理器在硬件中执行所述指令从而实施本申请技术。前述内容(包含硬
件、软件、硬件与软件的组合等)中的任一者可被视为一或多个处理器。视频编码器100和视
频解码器200中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的
任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的一部分。
数据进行解码的语法元素和/或其它数据的传送。此传送可实时或几乎实时地发生。替代
地,此通信可经过一段时间后发生,例如可在编码时在经编码码流中将语法元素存储到计
算机可读存储媒体时发生,解码装置接着可在所述语法元素存储到此媒体之后的任何时间
检索所述语法元素。
H.265的最新标准文档可从http://www.itu.int/rec/T‑REC‑H.265获得,最新版本的标准
文档为H.265(12/16),该标准文档以全文引用的方式并入本文中。HM假设视频解码装置相
对于ITU‑TH.264/AVC的现有算法具有若干额外能力。例如,H.264提供9种帧内预测编码模
式,而HM可提供多达35种帧内预测编码模式。
最新的算法描述包含于JVET‑F1001‑v2中,该算法描述文档以全文引用的方式并入本文中。
同时,可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/获得JEM测试模型
的参考软件,同样以全文引用的方式并入本文中。
(coding tree unit,CTU)。树块具有与H.264标准的宏块类似的目的。条带包含按解码次序
的数个连续树块。可将视频帧或图像分割成一个或多个条带。可根据四叉树将每一树块分
裂成编码单元。例如,可将作为四叉树的根节点的树块分裂成四个子节点,且每一子节点可
又为母节点且被分裂成另外四个子节点。作为四叉树的叶节点的最终不可分裂的子节点包
括解码节点,例如,经解码视频块。与经解码码流相关联的语法数据可定义树块可分裂的最
大次数,且也可定义解码节点的最小大小。
CU的大小的范围可为8×8像素直到最大64×64像素或更大的树块的大小。每一CU可含有一
个或多个PU及一个或多个TU。例如,与CU相关联的语法数据可描述将CU分割成一个或多个
PU的情形。分割模式在CU是被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式
编码的情形之间可为不同的。PU可经分割成形状为非正方形。例如,与CU相关联的语法数据
也可描述根据四叉树将CU分割成一个或多个TU的情形。TU的形状可为正方形或非正方形。
常与PU相同或小于PU。在一些可行的实施方式中,可使用称作“残余四叉树”(residual
qualtree,RQT)的四叉树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称
作TU。可变换与TU相关联的像素差值以产生变换系数,变换系数可被量化。
包含界定PU的运动矢量的数据。例如,界定PU的运动矢量的数据可描述运动矢量的水平分
量、运动矢量的垂直分量、运动矢量的分辨率(例如,四分之一像素精确度或八分之一像素
精确度)、运动矢量所指向的参考图像,和/或运动矢量的参考图像列表(例如,列表0、列表1
或列表C)。
差值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵解码。本申
请通常使用术语“视频块”来指CU的解码节点。在一些特定应用中,本申请也可使用术语“视
频块”来指包含解码节点以及PU及TU的树块,例如,LCU或CU。
信息中或在别处包含语法数据,语法数据描述包含于GOP中的图像的数目。图像的每一条带
可包含描述相应图像的编码模式的条带语法数据。视频编码器100通常对个别视频条带内
的视频块进行操作以便编码视频数据。视频块可对应于CU内的解码节点。视频块可具有固
定或变化的大小,且可根据指定解码标准而在大小上不同。
小的帧间预测。HM也支持2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分
割。在不对称分割中,CU的一方向未分割,而另一方向分割成25%及75%。对应于25%区段
的CU的部分由“n”后跟着“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。
因此,例如,“2N×nU”指水平分割的2N×2NCU,其中2N×0.5NPU在上部且2N×1.5NPU在底
部。
个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,N×N块一股在垂直方向上
具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。可将块中的像素排列
成行及列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如,块
可包括N×M个像素,其中M未必等于N。
如,离散余弦变换(discrete cosine transform,DCT)、整数变换、小波变换或概念上类似
的变换)应用于残余视频数据之后变换域中的系数。残余数据可对应于未经编码图像的像
素与对应于PU的预测值之间的像素差。视频编码器100可形成包含CU的残余数据的TU,且接
着变换TU以产生CU的变换系数。
程。量化过程可减少与系数中的一些或全部相关联的位深度。例如,可在量化期间将n位值
降值舍位到m位值,其中n大于m。
持更灵活的CU划分形状,一个CU可以正方形,也可以是长方形。一个CTU首先进行四叉树划
分,该四叉树的叶节点进一步进行二叉树划分。同时,在二叉树划分中存在两种划分模式,
对称水平分割和对称竖直分割。二叉树的叶节点被称为CU,JEM的CU在预测和变换的过程中
都不可以被进一步划分,也就是说JEM的CU,PU,TU具有相同的块大小。在现阶段的JEM中,
CTU的最大尺寸为256×256亮度像素。
行自适应性扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器100可根据上下
文自适应性可变长度解码(context‑based adaptive variable‑length code,CAVLC)、上
下文自适应性二进制算术解码(context‑based adaptive binary arithmetic coding,
CABAC)、基于语法的上下文自适应性二进制算术解码(syntax‑based adaptive binary
arithmetic coding,SBAC)、概率区间分割熵(probability interval partitioning
entropy,PIPE)解码或其他熵解码方法来熵解码一维向量。视频编码器100也可熵编码与经
编码视频数据相关联的语法元素以供视频解码器200用于解码视频数据。
输的符号的可变长度码。可变长度解码(variable‑length code,VLC)中的码字可经构建以
使得相对较短码对应于可能性较大的符号,而较长码对应于可能性较小的符号。以这个方
式,VLC的使用可相对于针对待传输的每一符号使用相等长度码字达成节省码率的目的。基
于指派给符号的上下文可以确定CABAC中的概率。
话说,多个PU可属于CU,或者PU和CU的尺寸相同。在本文中当CU和PU尺寸相同时,CU的分割
模式为不分割,或者即为分割为一个PU,且统一使用PU进行表述。当视频编码器执行帧间预
测时,视频编码器可用信号通知视频解码器用于PU的运动信息。示例性的,PU的运动信息可
以包括:参考图像索引、运动矢量和预测方向标识。运动矢量可指示PU的图像块(也称视频
块、像素块、像素集合等)与PU的参考块之间的位移。PU的参考块可为类似于PU的图像块的
参考图像的一部分。参考块可定位于由参考图像索引和预测方向标识指示的参考图像中。
Vector,MV)列表。用于PU的候选预测运动矢量列表中的每一候选预测运动矢量可指示运动
信息。由候选预测运动矢量列表中的一些候选预测运动矢量指示的运动信息可基于其它PU
的运动信息。如果候选预测运动矢量指示指定空间候选预测运动矢量位置或时间候选预测
运动矢量位置中的一者的运动信息,则本申请可将所述候选预测运动矢量称作“原始”候选
预测运动矢量。举例来说,对于合并模式,在本文中也称为合并预测模式,可存在五个原始
空间候选预测运动矢量位置和一个原始时间候选预测运动矢量位置。在一些实例中,视频
编码器可通过组合来自不同原始候选预测运动矢量的部分运动矢量、修改原始候选预测运
动矢量或仅插入零运动矢量作为候选预测运动矢量来产生额外候选预测运动矢量。这些额
外候选预测运动矢量不被视为原始候选预测运动矢量且在本申请中可称作人工产生的候
选预测运动矢量。
可通过实施用于构建候选预测运动矢量列表的相同技术来产生相同候选预测运动矢量列
表。举例来说,视频编码器和视频解码器两者可构建具有相同数目的候选预测运动矢量(例
如,五个候选预测运动矢量)的列表。视频编码器和解码器可首先考虑空间候选预测运动矢
量(例如,同一图像中的相邻块),接着考虑时间候选预测运动矢量(例如,不同图像中的候
选预测运动矢量),且最后可考虑人工产生的候选预测运动矢量直到将所要数目的候选预
测运动矢量添加到列表为止。根据本申请的技术,可在候选预测运动矢量列表构建期间针
对某些类型的候选预测运动矢量利用修剪操作以便从候选预测运动矢量列表移除重复,而
对于其它类型的候选预测运动矢量,可能不使用修剪以便减小解码器复杂性。举例来说,对
于空间候选预测运动矢量集合和对于时间候选预测运动矢量,可执行修剪操作以从候选预
测运动矢量的列表排除具有重复运动信息的候选预测运动矢量。然而,当将人工产生的候
选预测运动矢量添加到候选预测运动矢量的列表时,可在不对人工产生的候选预测运动矢
量执行修剪操作的情况下添加人工产生的候选预测运动矢量。
动矢量可为具有产生最紧密地匹配正被解码的目标PU的预测子的运动矢量的候选预测运
动矢量。候选预测运动矢量索引可指示在候选预测运动矢量列表中选定候选预测运动矢量
的位置。视频编码器还可基于由PU的运动信息指示的参考块产生用于PU的预测性图像块。
可基于由选定候选预测运动矢量指示的运动信息确定PU的运动信息。举例来说,在合并模
式中,PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。在AMVP模式中,PU
的运动信息可基于PU的运动矢量差和由选定候选预测运动矢量指示的运动信息确定。视频
编码器可基于CU的PU的预测性图像块和用于CU的原始图像块产生用于CU的一或多个残余
图像块。视频编码器可接着编码一或多个残余图像块且在码流中输出一或多个残余图像
块。
信息确定PU的运动信息。视频解码器可基于PU的运动信息识别用于PU的一或多个参考块。
在识别PU的一或多个参考块之后,视频解码器可基于PU的一或多个参考块产生用于PU的预
测性图像块。视频解码器可基于用于CU的PU的预测性图像块和用于CU的一或多个残余图像
块来重构用于CU的图像块。
申请可将视频解码器当前在解码的PU称作当前PU,也称为当前待处理图像块。本申请可将
视频解码器当前在解码的CU称作当前CU。本申请可将视频解码器当前在解码的图像称作当
前图像。应理解,本申请同时适用于PU和CU具有相同尺寸,或者PU即为CU的情况,统一使用
PU来表示。
块在空间上或时间上在给定PU的图像块附近的PU)的运动信息相同或类似。因为附近PU经
常具有类似运动信息,所以视频编码器100可参考附近PU的运动信息来编码给定PU的运动
信息。参考附近PU的运动信息来编码给定PU的运动信息可减少码流中指示给定PU的运动信
息所需要的编码比特的数目。
用合并模式来指代指示给定PU的运动信息与附近PU的运动信息相同或可从附近PU的运动
信息导出。在另一可行的实施方式中,视频编码器100可计算用于给定PU的运动矢量差
(Motion Vector Difference,MVD)。MVD指示给定PU的运动矢量与附近PU的运动矢量之间
的差。视频编码器100可将MVD而非给定PU的运动矢量包括于给定PU的运动信息中。在码流
中表示MVD比表示给定PU的运动矢量所需要的编码比特少。本申请可使用高级运动矢量预
测模式指代通过使用MVD和识别候选者运动矢量的索引值来用信号通知解码端给定PU的运
动信息。
个候选预测运动矢量。用于给定PU的候选预测运动矢量列表中的候选预测运动矢量中的每
一者可指定运动信息。由每一候选预测运动矢量指示的运动信息可包括运动矢量、参考图
像索引和预测方向标识。候选预测运动矢量列表中的候选预测运动矢量可包括“原始”候选
预测运动矢量,其中每一者指示不同于给定PU的PU内的指定候选预测运动矢量位置中的一
者的运动信息。
选预测运动矢量与正被解码的PU且可选择具有所要码率‑失真代价的候选预测运动矢量。
视频编码器100可输出用于PU的候选预测运动矢量索引。候选预测运动矢量索引可识别选
定候选预测运动矢量在候选预测运动矢量列表中的位置。
信息确定PU的运动信息。举例来说,在合并模式中,PU的运动信息可与由选定候选预测运动
矢量指示的运动信息相同。在AMVP模式中,可基于用于PU的运动矢量差和由选定候选预测
运动矢量指示的运动信息确定PU的运动信息。视频编码器100可如前文所描述处理用于PU
的预测性图像块。
频编码器100针对PU产生的候选预测运动矢量列表相同。从码流中解析得到的语法元素可
指示在PU的候选预测运动矢量列表中选定候选预测运动矢量的位置。在产生用于PU的候选
预测运动矢量列表之后,视频解码器200可基于由PU的运动信息指示的一或多个参考块产
生用于PU的预测性图像块。视频解码器200可基于由用于PU的候选预测运动矢量列表中的
选定候选预测运动矢量指示的运动信息确定PU的运动信息。视频解码器200可基于用于PU
的预测性图像块和用于CU的残余图像块重构用于CU的图像块。
意先后或者并行进行的。
在该实施方式中,不需要构建全部的候选预测运动矢量列表,只需要构建到该解析出来的
位置处的候选预测运动矢量列表,即能够确定该位置出的候选预测运动矢量即可。举例来
说,当解析码流得出选定的候选预测运动矢量为候选预测运动矢量列表中索引为3的候选
预测运动矢量时,仅需要构建从索引为0到索引为3的候选预测运动矢量列表,即可确定索
引为3的候选预测运动矢量,可以达到减小复杂度,提高解码效率的技术效果。
码视频数据的视频实体的实例,例如媒体感知网络元件(MANE)或拼接/编辑装置。在一些情
况下,后处理实体41可为网络实体的实例。在一些视频编码系统中,后处理实体41和视频编
码器100可为单独装置的若干部分,而在其它情况下,相对于后处理实体41所描述的功能性
可由包括视频编码器100的相同装置执行。在某一实例中,后处理实体41是图1的存储装置
40的实例。
器103。预测处理单元108包括帧间预测器110和帧内预测器109。为了图像块重构,视频编码
器100还包含反量化器104、反变换器105和求和器111。滤波器单元106既定表示一或多个环
路滤波器,例如去块滤波器、自适应环路滤波器(adaptive loop filter,ALF)和样本自适
应偏移(sample adaptive offset,SAO)滤波器。尽管在图2中将滤波器单元106示出为环路
内滤波器,但在其它实现方式下,可将滤波器单元106实施为环路后滤波器。在一种示例下,
视频编码器100还可以包括视频数据存储器、分割单元(图中未示意)。
由视频编码器100在帧内、帧间译码模式中对视频数据进行编码的参考视频数据。视频数据
存储器和DPB 107可由多种存储器装置中的任一者形成,例如包含同步动态随机存储器
(synchronous dynamic random access memory,SDRAM)的动态随机存取存储器(dynamic
random access memory,DRAM)、磁阻式RAM(magnetic random access memory,MRAM)、电阻
式RAM(resistive random access memory,RRAM),或其它类型的存储器装置。视频数据存
储器和DPB 107可由同一存储器装置或单独存储器装置提供。在各种实例中,视频数据存储
器可与视频编码器100的其它组件一起在芯片上,或相对于那些组件在芯片外。
为更小的块,例如基于四叉树结构或者二叉树结构的图像块分割。此分割还可包含分割成
条带(slice)、片(tile)或其它较大单元。视频编码器100通常说明编码待编码的视频条带
内的图像块的组件。所述条带可分成多个图像块(并且可能分成被称作片的图像块集合)。
预测处理单元108可选择用于当前图像块的多个可能的译码模式中的一者,例如多个帧内
译码模式中的一者或多个帧间译码模式中的一者。预测处理单元108可将所得经帧内、帧间
译码的块提供给求和器112以产生残差块,且提供给求和器111以重构用作参考图像的经编
码块。
108内的帧间预测器110可相对于一或多个参考图像中的一或多个预测块执行当前图像块
的帧间预测性编码以去除时间冗余。
模式的码率‑失真值,并从中选择具有最佳码率‑失真特性的帧间预测模式。码率失真分析
通常确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误
差)的量,以及用于产生经编码块的位码率(也就是说,位数目)。例如,帧间预测器110可确
定候选帧间预测模式集合中编码所述当前图像块的码率失真代价最小的帧间预测模式为
用于对当前图像块进行帧间预测的帧间预测模式。
动矢量)获取或产生当前图像块的预测块。帧间预测器110可在参考图像列表中的一者中定
位所述运动向量指向的预测块。帧间预测器110还可产生与图像块和视频条带相关联的语
法元素以供视频解码器200在对视频条带的图像块解码时使用。又或者,一种示例下,帧间
预测器110利用每个子块的运动信息执行运动补偿过程,以生成每个子块的预测块,从而得
到当前图像块的预测块;应当理解的是,这里的帧间预测器110执行运动估计和运动补偿过
程。
间预测模式的信息。
各种待测试的帧内预测模式的码率‑失真值,并从待测试模式当中选择具有最佳码率‑失真
特性的帧内预测模式。在任何情况下,在为图像块选择帧内预测模式之后,帧内预测器109
可将指示当前图像块的所选帧内预测模式的信息提供到熵编码器103,以便熵编码器103编
码指示所选帧内预测模式的信息。
执行此减法运算的一或多个组件。所述残差块中的残差视频数据可包含在一或多个TU中,
并应用于变换器101。变换器101使用例如离散余弦变换(DCT)或概念上类似的变换等变换
将残差视频数据变换成残差变换系数。变换器101可将残差视频数据从像素值域转换到变
换域,例如频域。
的扫描。或者,熵编码器103可执行扫描。
语法的上下文自适应二进制算术编码(SBAC)、概率区间分割熵(PIPE)编码或另一熵编码方
法或技术。在由熵编码器103熵编码之后,可将经编码码流发射到视频解码器200,或经存档
以供稍后发射或由视频解码器200检索。熵编码器103还可对待编码的当前图像块的语法元
素进行熵编码。
测器110或帧内预测器109产生的预测块,以产生经重构图像块。滤波器单元106可以适用于
经重构图像块以减小失真,诸如方块效应(block artifacts)。然后,该经重构图像块作为
参考块存储在经解码图像缓冲器107中,可由帧间预测器110用作参考块以对后续视频帧或
图像中的块进行帧间预测。
理,相应地也不需要经反变换器105处理;或者,对于某些图像块或者图像帧,视频编码器
100没有产生残差数据,相应地不需要经变换器101、量化器102、反量化器104和反变换器
105处理;或者,视频编码器100可以将经重构图像块作为参考块直接地进行存储而不需要
经滤波器单元106处理;或者,视频编码器100中量化器102和反量化器104可以合并在一起。
器211、滤波器单元206以及DPB 207。预测处理单元208可以包括帧间预测器210和帧内预测
器209。在一些实例中,视频解码器200可执行大体上与相对于来自图2的视频编码器100描
述的编码过程互逆的解码过程。
可选的,还可以将所述视频数据存储在视频数据存储器(图中未示意)中。视频数据存储器
可存储待由视频解码器200的组件解码的视频数据,例如经编码视频码流。存储在视频数据
存储器中的视频数据,例如可从存储装置40、从相机等本地视频源、经由视频数据的有线或
无线网络通信或者通过存取物理数据存储媒体而获得。视频数据存储器可作为用于存储来
自经编码视频码流的经编码视频数据的经解码图像缓冲器(CPB)。因此,尽管在图3中没有
示意出视频数据存储器,但视频数据存储器和DPB207可以是同一个的存储器,也可以是单
独设置的存储器。视频数据存储器和DPB 207可由多种存储器装置中的任一者形成,例如:
包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM
(RRAM),或其它类型的存储器装置。在各种实例中,视频数据存储器可与视频解码器200的
其它组件一起集成在芯片上,或相对于那些组件设置在芯片外。
编码器100。在网络实体42将经编码视频码流发送到视频解码器200之前,网络实体42可实
施本申请中描述的技术中的部分。在一些视频解码系统中,网络实体42和视频解码器200可
为单独装置的部分,而在其它情况下,相对于网络实体42描述的功能性可由包括视频解码
器200的相同装置执行。在一些情况下,网络实体42可为图1的存储装置40的实例。
带层级和/或图像块层级处的语法元素。
前视频条带的图像块的预测块。当视频条带被解码为经帧间解码(即,B或P)条带时,预测处
理单元208的帧间预测器210可基于从熵解码器203接收到的语法元素,确定用于对当前视
频条带的当前图像块进行解码的帧间预测模式,基于确定的帧间预测模式,对所述当前图
像块进行解码(例如执行帧间预测)。具体的,帧间预测器210可确定是否对当前视频条带的
当前图像块采用新的帧间预测模式进行预测,如果语法元素指示采用新的帧间预测模式来
对当前图像块进行预测,基于新的帧间预测模式(例如通过语法元素指定的一种新的帧间
预测模式或默认的一种新的帧间预测模式)预测当前视频条带的当前图像块或当前图像块
的子块的运动信息,从而通过运动补偿过程使用预测出的当前图像块或当前图像块的子块
的运动信息来获取或生成当前图像块或当前图像块的子块的预测块。这里的运动信息可以
包括参考图像信息和运动矢量,其中参考图像信息可以包括但不限于单向/双向预测信息,
参考图像列表号和参考图像列表对应的参考图像索引。对于帧间预测,可从参考图像列表
中的一者内的参考图像中的一者产生预测块。视频解码器200可基于存储在DPB 207中的参
考图像来建构参考图像列表,即列表0和列表1。当前图像的参考帧索引可包含于参考帧列
表0和列表1中的一或多者中。在一些实例中,可以是视频编码器100发信号通知指示是否采
用新的帧间预测模式来解码特定块的特定语法元素,或者,也可以是发信号通知指示是否
采用新的帧间预测模式,以及指示具体采用哪一种新的帧间预测模式来解码特定块的特定
语法元素。应当理解的是,这里的帧间预测器210执行运动补偿过程。
化参数来确定应施加的量化程度以及同样地确定应施加的逆量化程度。反变换器205将逆
变换应用于变换系数,例如逆DCT、逆整数变换或概念上类似的逆变换过程,以便产生像素
域中的残差块。
得到重建的块,即经解码图像块。求和器211表示执行此求和操作的组件。在需要时,还可使
用环路滤波器(在解码环路中或在解码环路之后)来使像素转变平滑或者以其它方式改进
视频质量。滤波器单元206可以表示一或多个环路滤波器,例如去块滤波器、自适应环路滤
波器(ALF)以及样本自适应偏移(SAO)滤波器。尽管在图3中将滤波器单元206示出为环路内
滤波器,但在其它实现方式中,可将滤波器单元206实施为环路后滤波器。在一种示例下,滤
波器单元206适用于重建块以减小块失真,并且该结果作为经解码视频流输出。并且,还可
以将给定帧或图像中的经解码图像块存储在DPB 207中,经DPB 207存储用于后续运动补偿
的参考图像。经DPB 207可为存储器的一部分,其还可以存储经解码视频,以供稍后在显示
装置(例如图1的显示装置220)上呈现,或可与此类存储器分开。
或者图像帧,视频解码器200的熵解码器203没有解码出经量化的系数,相应地不需要经反
量化器204和反变换器205处理。
展示及描述的视频编码器100及视频解码器200。即,在一种可行的实施方式中,关于图2所
描述的帧间预测器110可在视频数据的块的编码期间在执行帧间预测时执行下文中所描述
的特定技术。在另一可行的实施方式中,关于图3所描述的帧间预测器210可在视频数据的
块的解码期间在执行帧间预测时执行下文中所描述的特定技术。因此,对一般性“视频编码
器”或“视频解码器”的引用可包含视频编码器100、视频解码器200或另一视频编码或编码
单元。
环节之后,对相应环节的处理结果进一步进行Clip或移位shift等操作。
“^”符号表示幂次方。如bitDepth为16,则取值范围为‑32768~32767。如bitDepth为18,则
取值范围为‑131072~131071。可以通过以下两种方式进行约束:
对于溢出的处理为丢弃高位,则vx的值为0111,1111,1111,1111,则为32767,与通过公式处
理得到的结果一致。
的关系各有不同。帧间预测模块121可根据多个分割模式将当前CU分割为PU。举例来说,帧
间预测模块121可根据2N×2N、2N×N、N×2N和N×N分割模式将当前CU分割为PU。在其他实
施例中,当前CU即为当前PU,不作限定。
预测模块121对PU执行IME时,帧间预测模块121可在一个或多个参考图像中搜索用于PU的
参考块。在找到用于PU的参考块之后,帧间预测模块121可产生以整数精度指示PU与用于PU
的参考块之间的空间位移的运动矢量。当帧间预测模块121对PU执行FME时,帧间预测模块
121可改进通过对PU执行IME而产生的运动矢量。通过对PU执行FME而产生的运动矢量可具
有子整数精度(例如,1/2像素精度、1/4像素精度等)。在产生用于PU的运动矢量之后,帧间
预测模块121可使用用于PU的运动矢量以产生用于PU的预测性图像块。
列表可包括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或
多个额外候选预测运动矢量。在产生用于PU的候选预测运动矢量列表之后,帧间预测模块
121可从候选预测运动矢量列表选择候选预测运动矢量且产生用于PU的运动矢量差(MVD)。
用于PU的MVD可指示由选定候选预测运动矢量指示的运动矢量与使用IME和FME针对PU产生
的运动矢量之间的差。在这些可行的实施方式中,帧间预测模块121可输出识别选定候选预
测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引。帧间预测模块
121还可输出PU的MVD。下文详细描述图6中,本申请实施例中高级运动矢量预测(AMVP)模式
的一种可行的实施方式。
测模块121可产生用于PU的候选预测运动矢量列表。用于PU的候选预测运动矢量列表可包
括一个或多个原始候选预测运动矢量和从原始候选预测运动矢量导出的一个或多个额外
候选预测运动矢量。候选预测运动矢量列表中的原始候选预测运动矢量可包括一个或多个
空间候选预测运动矢量和时间候选预测运动矢量。空间候选预测运动矢量可指示当前图像
中的其它PU的运动信息。时间候选预测运动矢量可基于不同于当前图像的对应的PU的运动
信息。时间候选预测运动矢量还可称作时间运动矢量预测(TMVP)。
参考块产生用于PU的预测性图像块。在合并模式中,PU的运动信息可与由选定候选预测运
动矢量指示的运动信息相同。下文描述的图5说明Merge示例性的流程图。
作产生的预测性图像块。在一些可行的实施方式中,帧间预测模块121可基于通过FME操作
产生的预测性图像块和通过合并操作产生的预测性图像块的码率‑失真代价分析来选择用
于PU的预测性图像块。
为更小的PU,此时PU等同于CU),帧间预测模块121可选择用于当前CU的分割模式。在一些实
施方式中,帧间预测模块121可基于通过根据分割模式中的每一者分割当前CU而产生的PU
的选定预测性图像块的码率‑失真代价分析来选择用于当前CU的分割模式。帧间预测模块
121可将与属于选定分割模式的PU相关联的预测性图像块输出到残差产生模块102。帧间预
测模块121可将指示属于选定分割模式的PU的运动信息的语法元素输出到熵编码模块。
块184”)、PU模式决策模块186A到186N(统称为“PU模式决策模块186”)和CU模式决策模块
188(也可以包括执行从CTU到CU的模式决策过程)。
的单独IME模块180、FME模块182和合并模块184。在其它可行的实施方式中,帧间预测模块
121不包括用于CU的每一分割模式的每一PU的单独IME模块180、FME模块182和合并模块
184。
186A可选择由IME模块180A、FME模块182A和合并模块184A产生的预测性图像块中的一者。
180B、FME模块182B和合并模块184B产生的预测性图像块中的一者。
180C、FME模块182C和合并模块184C产生的预测性图像块中的一者。
180N、FME模块182N和合并模块184N产生的预测性图像块中的一者。
的,对于带宽受限的应用,PU模式决策模块186可偏向选择增加压缩比的预测性图像块,而
对于其它应用,PU模式决策模块186可偏向选择增加经重建视频质量的预测性图像块。在PU
模式决策模块186选择用于当前CU的PU的预测性图像块之后,CU模式决策模块188选择用于
当前CU的分割模式且输出属于选定分割模式的PU的预测性图像块和运动信息。
列表。S204、产生与候选者列表中的候选者相关联的预测性视频块。S206、从候选者列表选
择候选者。S208、输出候选者。其中,候选者是指候选运动矢量或者候选运动信息。
并操作201多、少的步骤或与合并操作201不同的步骤。在其它可行的实施方式中,视频编码
器可以不同次序或并行地执行合并操作201的步骤。编码器还可对以跳跃(skip)模式编码
的PU执行合并操作201。
表。举例来说,视频编码器可根据下文关于图8到图12描述的实例技术中的一者产生用于当
前PU的候选预测运动矢量列表。
PU可在空间上与当前PU处于图像帧中的同一个位置,但在参考图像而非当前图像中。本申
请可将包括时域对应的PU的参考图像称作相关参考图像。本申请可将相关参考图像的参考
图像索引称作相关参考图像索引。如前文所描述,当前图像可与一个或多个参考图像列表
(例如,列表0、列表1等)相关联。参考图像索引可通过指示在参考图像某一个参考图像列表
中的位置来指示参考图像。在一些可行的实施方式中,当前图像可与组合参考图像列表相
关联。
当前PU左方或邻接于当前PU上方。在本申请中,如果与PU相关联的图像块包括特定位置,则
PU可“涵盖”所述特定位置。在这些视频编码器中,如果参考索引源位置不可用,则视频编码
器可使用零的参考图像索引。
为可用。然而,视频编码器可需要存取当前CU的另一PU的运动信息以便确定含有co‑
located PU的参考图像。因此,这些视频编码器可使用属于当前CU的PU的运动信息(即,参
考图像索引)以产生用于当前PU的时间候选预测运动矢量。换句话说,这些视频编码器可使
用属于当前CU的PU的运动信息产生时间候选预测运动矢量。因此,视频编码器可能不能并
行地产生用于当前PU和涵盖与当前PU相关联的参考索引源位置的PU的候选预测运动矢量
列表。
的其它PU的候选预测运动矢量列表。因为视频编码器显式地设定相关参考图像索引,所以
相关参考图像索引不基于当前CU的任何其它PU的运动信息。在视频编码器显式地设定相关
参考图像索引的一些可行的实施方式中,视频编码器可始终将相关参考图像索引设定为固
定的预定义预设参考图像索引(例如0)。以此方式,视频编码器可基于由预设参考图像索引
指示的参考帧中的co‑located PU的运动信息产生时间候选预测运动矢量,且可将时间候
选预测运动矢量包括于当前CU的候选预测运动矢量列表中。
图像索引。在此可行的实施方式中,视频编码器可用信号通知解码端用于每一LCU(即CTU)、
CU、PU、TU或其它类型的子块的相关参考图像索引。举例来说,视频编码器可用信号通知:用
于CU的每一PU的相关参考图像索引等于“1”。
示的参考图像中的PU的运动信息产生用于当前CU的PU的候选预测运动矢量列表中的每一
时间候选预测运动矢量,即使这些位置并不严格地邻近当前PU。
于所指示候选预测运动矢量的运动信息确定当前PU的运动信息和接着基于由当前PU的运
动信息指示的一个或多个参考块产生预测性图像块来产生与候选预测运动矢量相关联的
预测性图像块。视频编码器可接着从候选预测运动矢量列表选择候选预测运动矢量中的一
者(S206)。视频编码器可以各种方式选择候选预测运动矢量。举例来说,视频编码器可基于
对与候选预测运动矢量相关联的预测性图像块的每一者的码率‑失真代价分析来选择候选
预测运动矢量中的一者。
的位置。在一些可行的实施方式中,候选预测运动矢量索引可表示为“merge_idx”。
前预测单元的一个或多个运动向量。S212、产生用于当前预测单元的预测性视频块。S213、
产生用于当前预测单元的候选者列表。S214、产生运动向量差。S215从候选者列表选择候选
者。S216、输出参考图片索引、候选者索引,和用于选定候选者的运动向量差。其中,候选者
是指候选运动矢量或者候选运动信息。
运动矢量。如前文所描述,当前图像可与两个参考图像列表(列表0和列表1)相关联。如果当
前PU经单向预测,则视频编码器可产生用于当前PU的列表0运动矢量或列表1运动矢量。列
表0运动矢量可指示当前PU的图像块与列表0中的参考图像中的参考块之间的空间位移。列
表1运动矢量可指示当前PU的图像块与列表1中的参考图像中的参考块之间的空间位移。如
果当前PU经双向预测,则视频编码器可产生用于当前PU的列表0运动矢量和列表1运动矢
量。
或多个参考块产生用于当前PU的预测性图像块。
下文关于图8到图12描述的可行的实施方式中的一个或多个产生用于当前PU的候选预测运
动矢量列表。在一些可行的实施方式中,当视频编码器在AMVP操作210中产生候选预测运动
矢量列表时,候选预测运动矢量列表可限于两个候选预测运动矢量。相比而言,当视频编码
器在合并操作中产生候选预测运动矢量列表时,候选预测运动矢量列表可包括更多候选预
测运动矢量(例如,五个候选预测运动矢量)。
编码器可通过确定由候选预测运动矢量指示的运动矢量与当前PU的对应运动矢量之间的
差来产生用于候选预测运动矢量的运动矢量差。
第一MVD可指示候选预测运动矢量的运动矢量与当前PU的列表0运动矢量之间的差。第二
MVD可指示候选预测运动矢量的运动矢量与当前PU的列表1运动矢量之间的差。
器可选择具有最小误差地匹配待编码的运动矢量的相关联运动矢量的候选预测运动矢量,
此可减少表示用于候选预测运动矢量的运动矢量差所需的位数目。
测运动矢量的一个或多个运动矢量差(S216)。
图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0运动矢量的选定
候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_
flag”)。或者,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢
量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编
码器还可输出用于当前PU的列表0运动矢量或列表1运动矢量的MVD。
图像索引(“ref_idx_11”)。视频编码器还可输出指示用于当前PU的列表0运动矢量的选定
候选预测运动矢量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_10_
flag”)。另外,视频编码器可输出指示用于当前PU的列表1运动矢量的选定候选预测运动矢
量在候选预测运动矢量列表中的位置的候选预测运动矢量索引(“mvp_11_flag”)。视频编
码器还可输出用于当前PU的列表0运动矢量的MVD和用于当前PU的列表1运动矢量的MVD。
在当前PU的候选预测运动矢量列表内的位置的候选预测运动矢量索引。
矢量索引指示用于当前PU的列表0运动矢量的选定候选预测运动矢量在候选预测运动矢量
列表中的位置。第二候选预测运动矢量索引指示用于当前PU的列表1运动矢量的选定候选
预测运动矢量在候选预测运动矢量列表中的位置。在一些可行的实施方式中,单一语法元
素可用以识别两个候选预测运动矢量索引。
用下文参看图8到图12描述的技术来产生用于当前PU的候选预测运动矢量列表。当视频解
码器产生用于候选预测运动矢量列表的时间候选预测运动矢量时,视频解码器可显式地或
隐式地设定识别包括co‑located PU的参考图像的参考图像索引,如前文关于图5所描述。
当前PU的运动信息(S225)。举例来说,如果当前PU的运动信息是使用合并模式而编码,则当
前PU的运动信息可与由选定候选预测运动矢量指示的运动信息相同。如果当前PU的运动信
息是使用AMVP模式而编码,则视频解码器可使用由所述或所述选定候选预测运动矢量指示
的一个或多个运动矢量和码流中指示的一个或多个MVD来重建当前PU的一个或多个运动矢
量。当前PU的参考图像索引和预测方向标识可与所述一个或多个选定候选预测运动矢量的
参考图像索引和预测方向标识相同。在确定当前PU的运动信息之后,视频解码器可基于由
当前PU的运动信息指示的一个或多个参考块产生用于当前PU的预测性图像块(S226)。
图。本申请可将候选预测运动矢量位置252A到252E统称为候选预测运动矢量位置252。候选
预测运动矢量位置252表示与CU250在同一图像中的空间候选预测运动矢量。候选预测运动
矢量位置252A定位于CU250左方。候选预测运动矢量位置252B定位于CU250上方。候选预测
运动矢量位置252C定位于CU250右上方。候选预测运动矢量位置252D定位于CU250左下方。
候选预测运动矢量位置252E定位于CU250左上方。图8为用以提供帧间预测模块121和运动
补偿模块可产生候选预测运动矢量列表的方式的示意性实施方式。下文将参考帧间预测模
块121解释实施方式,但应理解运动补偿模块可实施相同技术,且因此产生相同候选预测运
动矢量列表。
大小的列表一起使用。五个候选预测运动矢量可各自具有索引(例如,0到4)。将参考一般视
频解码器描述图9的技术。一般视频解码器示例性的可以为视频编码器(例如视频编码器
20)或视频解码器(例如视频解码器30)。
置252A、252B、252C和252D。四个空间候选预测运动矢量对应于与当前CU(例如,CU250)在同
一图像中的四个PU的运动信息。视频解码器可以特定次序考虑列表中的四个空间候选预测
运动矢量。举例来说,候选预测运动矢量位置252A可被第一个考虑。如果候选预测运动矢量
位置252A可用,则候选预测运动矢量位置252A可指派到索引0。如果候选预测运动矢量位置
252A不可用,则视频解码器可不将候选预测运动矢量位置252A包括于候选预测运动矢量列
表中。候选预测运动矢量位置可出于各种理由而不可用。举例来说,如果候选预测运动矢量
位置不在当前图像内,则候选预测运动矢量位置可能不可用。在另一可行的实施方式中,如
果候选预测运动矢量位置经帧内预测,则候选预测运动矢量位置可能不可用。在另一可行
的实施方式中,如果候选预测运动矢量位置在与当前CU不同的条带中,则候选预测运动矢
量位置可能不可用。
252A,则视频解码器可将候选预测运动矢量位置252B添加到候选预测运动矢量列表。在此
特定上下文中,术语“相同”和“不同”指代与候选预测运动矢量位置相关联的运动信息。因
此,如果两个候选预测运动矢量位置具有相同运动信息则被视为相同,且如果其具有不同
运动信息则被视为不同。如果候选预测运动矢量位置252A不可用,则视频解码器可将候选
预测运动矢量位置252B指派到索引0。如果候选预测运动矢量位置252A可用,则视频解码器
可将候选预测运动矢量位置252指派到索引1。如果候选预测运动矢量位置252B不可用或与
候选预测运动矢量位置252A相同,则视频解码器跳过候选预测运动矢量位置252B且不将其
包括于候选预测运动矢量列表中。
器将候选预测运动矢量位置252C指派到下一可用索引。如果候选预测运动矢量位置252C不
可用或并非不同于候选预测运动矢量位置252A和252B中的至少一者,则视频解码器不将候
选预测运动矢量位置252C包括于候选预测运动矢量列表中。接下来,视频解码器考虑候选
预测运动矢量位置252D。如果候选预测运动矢量位置252D可用且不与候选预测运动矢量位
置252A、252B和252C相同,则视频解码器将候选预测运动矢量位置252D指派到下一可用索
引。如果候选预测运动矢量位置252D不可用或并非不同于候选预测运动矢量位置252A、
252B和252C中的至少一者,则视频解码器不将候选预测运动矢量位置252D包括于候选预测
运动矢量列表中。以上实施方式大体上描述示例性地考虑候选预测运动矢量252A到252D以
供包括于候选预测运动矢量列表中,但在一些实施方施中,可首先将所有候选预测运动矢
量252A到252D添加到候选预测运动矢量列表,稍后从候选预测运动矢量列表移除重复。
如果列表包括四个空间候选预测运动矢量(904,是),则视频解码器考虑时间候选预测运动
矢量(906)。时间候选预测运动矢量可对应于不同于当前图像的图像的co‑located PU的运
动信息。如果时间候选预测运动矢量可用且不同于前四个空间候选预测运动矢量,则视频
解码器将时间候选预测运动矢量指派到索引4。如果时间候选预测运动矢量不可用或与前
四个空间候选预测运动矢量中的一者相同,则视频解码器不将所述时间候选预测运动矢量
包括于候选预测运动矢量列表中。因此,在视频解码器考虑时间候选预测运动矢量(906)之
后,候选预测运动矢量列表可能包括五个候选预测运动矢量(框902处考虑的前四个空间候
选预测运动矢量和框904处考虑的时间候选预测运动矢量)或可能包括四个候选预测运动
矢量(框902处考虑的前四个空间候选预测运动矢量)。如果候选预测运动矢量列表包括五
个候选预测运动矢量(908,是),则视频解码器完成构建列表。
选预测运动矢量位置252E。如果位置252E处的候选预测运动矢量可用且不同于位置252A、
252B、252C和252D处的候选预测运动矢量,则视频解码器可将第五空间候选预测运动矢量
添加到候选预测运动矢量列表,第五空间候选预测运动矢量经指派到索引4。如果位置252E
处的候选预测运动矢量不可用或并非不同于候选预测运动矢量位置252A、252B、252C和
252D处的候选预测运动矢量,则视频解码器可不将位置252处的候选预测运动矢量包括于
候选预测运动矢量列表中。因此在考虑第五空间候选预测运动矢量(910)之后,列表可能包
括五个候选预测运动矢量(框902处考虑的前四个空间候选预测运动矢量和框910处考虑的
第五空间候选预测运动矢量)或可能包括四个候选预测运动矢量(框902处考虑的前四个空
间候选预测运动矢量)。
(912,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候选
预测运动矢量(916,是)为止。
五空间候选预测运动矢量可(例如)对应于候选预测运动矢量位置252E。如果位置252E处的
候选预测运动矢量可用且不同于已包括于候选预测运动矢量列表中的候选预测运动矢量,
则视频解码器可将第五空间候选预测运动矢量添加到候选预测运动矢量列表,第五空间候
选预测运动矢量经指派到下一可用索引。如果位置252E处的候选预测运动矢量不可用或并
非不同于已包括于候选预测运动矢量列表中的候选预测运动矢量中的一者,则视频解码器
可不将位置252E处的候选预测运动矢量包括于候选预测运动矢量列表中。视频解码器可接
着考虑时间候选预测运动矢量(920)。如果时间候选预测运动矢量可用且不同于已包括于
候选预测运动矢量列表中的候选预测运动矢量,则视频解码器可将所述时间候选预测运动
矢量添加到候选预测运动矢量列表,所述时间候选预测运动矢量经指派到下一可用索引。
如果时间候选预测运动矢量不可用或并非不同于已包括于候选预测运动矢量列表中的候
选预测运动矢量中的一者,则视频解码器可不将所述时间候选预测运动矢量包括于候选预
测运动矢量列表中。
成产生候选预测运动矢量列表。如果候选预测运动矢量列表包括少于五个候选预测运动矢
量(922,否),则视频解码器添加人工产生的候选预测运动矢量(914)直到列表包括五个候
选预测运动矢量(916,是)为止。
选预测运动矢量的指定数目(例如前文图9的可行的实施方式中的五个)。额外合并候选预
测运动矢量可包括示例性的经组合双向预测性合并候选预测运动矢量(候选预测运动矢量
1)、经缩放双向预测性合并候选预测运动矢量(候选预测运动矢量2),和零向量Merge/AMVP
候选预测运动矢量(候选预测运动矢量3)。
始合并候选预测运动矢量而产生。具体来说,原始候选预测运动矢量中的两个候选预测运
动矢量(其具有mvL0和refIdxL0或mvL1和refIdxL1)可用以产生双向预测性合并候选预测
运动矢量。在图10中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。一
候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型为
列表1单向预测。在此可行的实施方式中,mvL0_A和ref0是从列表0拾取,且mvL1_B和ref0是
从列表1拾取,且接着可产生双向预测性合并候选预测运动矢量(其具有列表0中的mvL0_A
和ref0以及列表1中的mvL1_B和ref0)并检查其是否不同于已包括于候选预测运动矢量列
表中的候选预测运动矢量。如果其不同,则视频解码器可将双向预测性合并候选预测运动
矢量包括于候选预测运动矢量列表中。
始合并候选预测运动矢量而产生。具体来说,来自原始候选预测运动矢量的一候选预测运
动矢量(其可具有mvLX和refIdxLX)可用以产生双向预测性合并候选预测运动矢量。在图11
的可行的实施方式中,两个候选预测运动矢量包括于原始合并候选预测运动矢量列表中。
一候选预测运动矢量的预测类型为列表0单向预测,且另一候选预测运动矢量的预测类型
为列表1单向预测。在此可行的实施方式中,mvL0_A和ref0可从列表0拾取,且ref0可复制到
列表1中的参考索引ref0′。接着,可通过缩放具有ref0和ref0′的mvL0_A而计算mvL0′_A。缩
放可取决于POC(Picture Order Count)距离。接着,可产生双向预测性合并候选预测运动
矢量(其具有列表0中的mvL0_A和ref0以及列表1中的mvL0′_A和ref0′)并检查其是否为重
复的。如果其并非重复的,则可将其添加到合并候选预测运动矢量列表。
引而产生。如果零向量候选预测运动矢量并非重复的,则可将其添加到合并候选预测运动
矢量列表。对于每一产生的合并候选预测运动矢量,运动信息可与列表中的前一候选预测
运动矢量的运动信息比较。
选预测运动矢量列表。确定候选预测运动矢量是否不同于已包括于候选预测运动矢量列表
中的候选预测运动矢量的过程有时称作修剪(pruning)。通过修剪,每一新产生的候选预测
运动矢量可与列表中的现有候选预测运动矢量比较。在一些可行的实施方式中,修剪操作
可包括比较一个或多个新候选预测运动矢量与已在候选预测运动矢量列表中的候选预测
运动矢量和不添加为已在候选预测运动矢量列表中的候选预测运动矢量的重复的新候选
预测运动矢量。在另一些可行的实施方式中,修剪操作可包括将一个或多个新候选预测运
动矢量添加到候选预测运动矢量列表且稍后从所述列表移除重复候选预测运动矢量。
移运动模型,由运动矢量(Δx,Δy)表示块在先前解码图片中的位置,其中Δx指定相对于
当前块位置的水平位移,Δy指定相对于当前块位置的竖直位移。运动矢量(Δx、Δy)可具
有分数样本精度以更精确地捕捉底层对象的移动。当对应的运动矢量具有分数样本精度
时,对参考图片应用内插以得到预测信号。先前解码图片被称为参考图片并由对应于参考
图片列表的参考索引Δt指示。这些平移运动模型参数,即运动矢量和参考索引,被进一步
称为运动数据。现代视频编码标准允许两种图片间预测,即单向预测和双向预测。
平均来完成,但是在加权预测的情况下,可以对每个MCP应用不同的权重,例如,以便补偿场
景淡出。可以在双向预测中使用的参考图片存储在两个单独的列表中,即列表0和列表1。为
了限制允许双向预测的片中的内存带宽,HEVC标准限制具有4×8和8×4个亮度预测块的PU
仅使用单向预测。使用运动估计过程在编码器处得到运动数据。视频标准中并未指定运动
估计,因此不同的编码器可以在其实施中使用不同的复杂度与质量的折衷。
HEVC中通过引入称为高级运动矢量预测(advanced motion vector prediction,AMVP)的
新工具而改进了运动矢量的预测编码,其中将每个运动块的最佳预测值用信号表示给解码
器。另外,称为帧间预测块合并的新技术从相邻块得到块的所有运动数据,从而替代H.264/
AVC中的直通和跳过模式。
(MVD)分量的计算如方程式(1.1)和(1.2)所示。
能随时间突然改变。因此,使用相邻块中的运动矢量作为预测值减小了用信号表示的运动
矢量差的大小。MVP通常从同位图片中来自空间相邻块或来自时间相邻块的已经解码的运
动矢量得到。在一些情况下,还可以将零运动矢量用作MVP。在H.264/AVC中,这通过执行三
个空间相邻运动矢量的分量形式中值来完成。使用这种方法,不需要用信号表示预测值。来
自同位图片的时间MVP仅在H.264/AVC的所谓的时间直通模式中被考虑。H.264/AVC直通模
式还用于得到除运动矢量之外的其它运动数据。
可导致一个块使若干具有运动矢量的相邻块作为潜在MVP候选者。高级运动矢量预测
(Advanced Motion Vector Prediction,AMVP)的初始设计包含来自三个不同类别预测值
的五个MVP:来自空间相邻者的三个运动矢量、三个空间预测值的中值以及来自同位时间相
邻块的缩放运动矢量。此外,通过重新排序以将最可能的运动预测值放在第一位置并通过
去除冗余候选者以确保最小的信令开销来修改预测值列表。接着,开发AMVP设计的重要简
化,例如去除中值预测值、将列表中的候选者数量从五个减少到两个、固定列表中的候选者
顺序,以及减少冗余检查的数量。AMVP候选者列表构建的最终设计包含以下两个MVP候选
者:a.从五个空间相邻块得到的最多两个空间候选MVP;b.当两个空间候选MVP不可用或它
们相同时,从两个时间同位块得到的一个时间候选MVP;c.当空间候选者、时间候选者或这
两者都不可用时的零运动矢量。
角的两个块A0和A1的运动数据。在第一遍中,检查是否有任何候选块含有的参考索引等于
当前块的参考索引。找到的第一运动矢量将作为候选者A。当来自A0和A1的所有参考索引指
向与当前块的参考索引不同的参考图片时,相关的运动矢量不能按原样使用。因此,在第二
遍中,需要根据候选参考图片与当前参考图片之间的时间距离来缩放运动矢量。方程式
(1.3)示出了如何根据缩放因子缩放候选运动矢量mvcand。基于当前图片与候选块td的参
考图片之间的时间距离以及当前图片与当前块tb的参考图片之间的时间距离来计算
ScaleFactor。时间距离以定义图片显示顺序的图片顺序编号(picture order count,POC)
值之间的差表示。缩放操作基本上与H.264/AVC中用于时间直通模式的方案相同。这种分解
允许在片层级预先计算ScaleFactor,因为它只取决于片头中用信号表示的参考图片列表
结构。应注意,仅在当前参考图片和候选参考图片都是短期参考图片时才执行MV缩放。参数
td被定义为同位候选块的同位图片与参考图片之间的POC差。
时执行。接着,如果找到候选者A,则将候选者A设置成等于未缩放的候选者B,并且将候选者
B设置成等于候选者B的第二未缩放的或缩放的变体。第二遍搜索从候选者B0到B2得到的未
缩放的以及缩放的MV。总体而言,这种设计允许独立于B0、B1和B2来处理A0和A1。B的得到应
只了解A0和A1两者的可用性,以便搜索从B0到B2得到的缩放的或另外未缩放的MV。考虑到
它明显减少了候选者B的复杂运动矢量缩放操作,这种相依性是可接受的。减少运动矢量缩
放的数量表示运动矢量预测值得到过程中显着的复杂度降低。
C1表示中心块。这里同样首先考虑C0的运动数据,并且如果不可用,则使用来自中心处的同
位候选块的运动数据来得到时间MVP候选者C。当相关的PU属于当前CTU行之外的CTU时,C0
的运动数据也被视为不可用。这最大限度地减少了存储同位运动数据的内存带宽要求。与
运动矢量可能指代相同参考图片的空间MVP候选者对比,运动矢量缩放对于TMVP是强制性
的。因此,使用与空间MVP相同的缩放操作。
视为同位图片的可能性。这是通过在片头中用信号表示同位参考图片列表和参考图片索引
以及要求图片中的所有片中的这些语法元素应指定相同的参考图片来完成的。
spatial_mv_pred_flag)。HEVC语法通过允许在序列层级或在图片层级禁用TMVP(sps/
slice_temporal_mvp_enabled_flag)来扩展此信令。尽管在片头中用信号表示标志,但是
对于一个图片中的所有片,其值应该是相同的,这是码流一致性的要求。由于图片层级标志
的信令取决于SPS标志,因此在PPS中用信号表示图片层级标志将引入SPS与PPS之间的解析
相依性。这种片头信令的另一个优点是,如果只想改变PPS中此标志的值而不改变其它参
数,则不需要发送第二PPS。
个MCP,对应的参考图片(Δt)由参考图片列表的索引ref_idx_l0/1用信号表示,并且MV(Δ
x,Δy)由MVP的索引mvp_l0/1_flag及其MVD表示。片头中新引入的标志mvd_l1_zero_flag
指示第二参考图片列表的MVD是否等于零且因此不在码流中用信号表示。当运动矢量被完
全重构时,最终剪切操作确保最终运动矢量的每个分量的值将始终在‑215到215‑1的范围
内,包含端点值。
说,合并候选者列表基于以下候选者构建:a.从五个空间相邻块得到的最多四个空间合并
候选者;b.从两个时间同位块得到的一个时间合并候选者;c.包含组合的双向预测候选者
和零运动矢量候选者的另外的合并候选者。
目的:a.避免列表中存在具有冗余运动数据的候选者;b.防止合并两个可以用其它方式表
示的会产生冗余语法的分区。
的所有候选者具有不同的运动数据。在开发HEVC期间,对冗余运动数据的检查已经减少到
一个子集,从而在比较逻辑明显减少的同时保持编码效率。在最终设计中,对于每个候选者
执行不超过两次比较,从而产生总共五次比较。给定{A1,B1,B0,A0,B2}的顺序,B0只检查
B1,A0只检查A1,且B2只检查A1和B1。在分区冗余检查的实施例中,通过选择候选者B1来将
2N×N分区的底部PU与顶部PU合并。这将产生一个CU具有两个具有相同运动数据的PU,其可
以被均等地用信号表示为2N×2N CU。总体而言,这种检查适用于矩形和不对称分区2N×N、
2N×nU、2N×nD、N×2N、nR×2N和nL×2N的所有第二PU。应注意,对于空间合并候选者,仅执
行冗余检查,并且按原样从候选块复制运动数据。因此,这里不需要运动矢量缩放。
预测片,针对每个参考图片列表得到TMVP。取决于每个列表的TMVP的可用性,将预测类型设
置成双向预测或设置成TMVP可用的列表。所有相关的参考图片索引被设置成等于零。因此,
对于单向预测片,只连同等于零的参考图片索引一起得到列表0的TMVP。
多余的并因此未包含在合并候选者列表中的情况。在丢失同位图片的情况下,解码器不能
得到时间候选者,因此不检查它是否是冗余的。所有后续候选者的索引将受此影响。
列表索引信令一起出现的编码效率损失,生成另外的候选者。取决于片的类型,最多可以使
用两种候选者来完全填充列表:a.组合双向预测候选者;b.零运动矢量候选者。
者复制Δx0、Δy0、Δt0并且从第二候选者等另一候选者复制Δx1、Δy1、Δt1来完成。预定义
不同的组合并在表1.1中给出。
移运动矢量,对于双向预测片具有两个零位移运动矢量。参考索引被设置成等于零,并且对
于每个另外的候选者递增一,直到达到参考索引的最大数量。如果是这种情况,并且还有其
它候选者缺失,则使用等于零的参考索引来创建这些候选者。对于所有另外的候选者,不执
行冗余检查,因为结果显示省略这些检查不会引起编码效率损失。
除了此PU层级的信令之外,还在片头中用信号表示合并列表中的候选者的数量。由于默认
值为五,因此它表示为与五的差(five_minus_max_num_merge_cand)。这样,五利用0的短码
字用信号表示,而仅使用一个候选者则利用4的较长码字用信号表示。至于对合并候选者列
表构建过程的影响,整个过程保持不变,但是在列表含有最大数量合并候选者之后,所述过
程终止。在初始设计中,合并索引编码的最大值由列表中可用空间和时间候选者的数量给
出。当例如只有两个候选者可用时,索引可以高效地编码为一个标志。但是,为了解析合并
索引,必须构建整个合并候选者列表以了解候选者的实际数量。假设由于发送错误而导致
不可用的相邻块,将不可能再解析合并索引。
零,即,不发送变换系数。在HEVC中,在图片间预测片中的每个CU的开始处,用信号表示
skip_flag,这意味着以下方面:a.CU仅含有一个PU(2N×2N分区类型);b.使用合并模式来
得到运动数据(merge_flag等于1);c.码流中不存在残差数据。
并候选者列表中。因此,它的运动数据不需要在列表构建时可用。当这个层级是例如32时,
那么32×32区域中的所有预测单元可以并行构建合并候选者列表,因为处于相同32×
32MER中的所有合并候选者都不插入列表中。第一PU0的所有潜在合并候选者都可用,因为
它们在第一32×32MER之外。对于第二MER,当MER内的合并估计应该独立时,PU 2‑6的合并
候选者列表不能包含来自这些PU的运动数据。因此,例如在查看PU5时,没有合并候选者可
用且因此不插入合并候选者列表中。在这种情况下,PU5的合并列表仅由时间候选者(如果
可用)和零MV候选者组成。为了使编码器能够权衡并行性和编码效率,并行合并估计层级是
自适应的,并且在图片参数集中用信号表示为log2_parallel_merge_level_minus2。
考虑两个子CU层级运动矢量预测方法。替代时间运动矢量预测(alternative temporal
motion vector prediction,ATMVP)方法允许每个CU从同位参考图片中小于当前CU的多个
块提取多组运动信息。在时空运动矢量预测(spatial‑temporal motion vector
prediction,STMVP)方法中,通过使用时间运动矢量预测值和空间相邻运动矢量来递归地
得到子CU的运动矢量。
修改运动矢量时间运动矢量预测(temporal motion vector prediction,TMVP)。子CU是正
方形的N×N块(N默认设置为4)。
子CU对应的块中获得每个子CU的运动矢量以及参考索引。
一可用运动矢量及其相关的参考索引设置成时间矢量和运动源图片的索引。这样,在ATMVP
中,与TMVP相比,可以更精确地标识对应块,其中对应块(有时称为同位块)始终位于相对于
当前CU的右下或中心位置。
运动信息来得到子CU的运动信息。在标识对应的N×N块的运动信息之后,以与HEVC的TMVP
相同的方式将其转换为当前子CU的运动矢量和参考索引,其中适用运动缩放和其它程序。
例如,解码器检查是否满足低延迟条件(即,当前图片的所有参考图片的POC小于当前图片
的POC)并且可能使用运动矢量MVx(与参考图片列表X相对应的运动矢量)来预测每个子CU
的运动矢量MVy(其中X等于0或1且Y等于1‑X)。
右,从块c开始)。第二相邻者是子CU A左侧的块(块b)。如果块b不可用或被帧内编码,则检
查子CU A左侧的其它块(从上到下,从块b开始)。对于给定列表,将从每个列表的相邻块获
得的运动信息缩放到第一参考帧。接下来,通过遵循与HEVC中指定的TMVP得到相同的过程
来得到子块A的时间运动矢量预测值(temporal motion vector predictor,TMVP)。提取位
置D处的同位块的运动信息并相应地缩放。最后,在检索并缩放运动信息之后,分别对每个
参考列表的所有可用的运动矢量(最多3个)求平均。分配平均运动矢量作为当前子CU的运
动矢量。
STMVP模式。如果序列参数集指示ATMVP和STMVP已启用,则最多使用七个合并候选者。另外
的合并候选者的编码逻辑与HM中的合并候选者的编码逻辑相同,这意味着对于P或B片中的
每个CU,对两个另外的合并候选者需要多两次RD检查。
(1.6)计算的左下控制点的运动矢量。
量对{(v0,v1)|v0={vA,vB,vC},v1={vD,vE}}的候选者列表。从块A、B或C的运动矢量中选择
v0。根据参考列表以及相邻块参考的POC、当前CU参考的POC和当前CU的POC之间的关系来缩
放来自相邻块的运动矢量。从相邻块D和E中选择v1的方法类似。如果候选者列表的数量小
于2,则通过复制每个AMVP候选者组成的运动矢量对来填充列表。当候选者列表大于2时,首
先根据相邻运动矢量的一致性(对候选者中的两个运动矢量的相似性)对候选者进行排序,
并且仅保留前两个候选者。使用RD成本检查来确定选择哪个运动矢量对候选者作为当前CU
的控制点运动矢量预测(control point motion vector prediction,CPMVP)。并且在码流
中用信号表示指示候选者列表中的CPMVP的位置的索引。在码流中用信号表示CPMV与CPMVP
的差。
则得到含有块A的CU的左上角、右上角和左下角的运动矢量v2、v3和v4。并且根据v2、v3和v4计
算当前CU上的左上角的运动矢量v0。其次,计算当前CU的右上方的运动矢量v1。
表示块的运动信息,而是在解码器端得到。
指示将使用哪种方法(双边匹配或模板匹配)来得到块的运动信息。
配)。将成本最低的一个进一步与其它CU模式进行比较。如果FRUC匹配模式是最有效的模
式,则CU的FRUC标志被设置为真,并使用相关的匹配模式。
先,生成MV候选者列表,并且选择使匹配成本最小的候选者作为用于进一步CU层级细化的
起始点。接着执行基于起始点周围的双边匹配或模板匹配的局部搜索,并且将使匹配成本
最小的MV作为整个CU的MV。随后,以得到的CU运动矢量作为起始点,在子CU层级处对运动信
息进行进一步细化。
的分割深度,在JEM中默认设置为3。然后得到每个子CU的MV。
块的运动矢量MV0和MV1应与当前图片与两个参考图片之间的时间距离、即TD0和TD1成比
例。在当前图片在时间上在两个参考图片之间并且从当前图片到两个参考图片的时间距离
相同时,双边匹配成为基于镜像的双向MV。
合并模式没有此类限制。在模板匹配合并模式中,编码器可以在来自list0的单向预测、来
自list1的单向预测或针对CU的双向预测之间进行选择。基于模板匹配成本进行选择,如
下:
向选择仅适用于CU层级模板匹配过程。
到的FRUC合并模式外,模板匹配也适用于AMVP模式。使用模板匹配方法,得到新的候选者。
如果通过模板匹配新得到的候选者与第一现有AMVP候选者不同,则将其插入到所述AMVP候
选者列表的最开始,然后将列表大小设置为2(意味着除去第二现有AMVP候选者)。当应用于
AMVP模式时,仅应用CU层级搜索。
中的每个参考图片的运动场。对于每个4×4块,如果与块相关的运动通过当前图片中的4×
4块,并且所述块尚未被分配任何内插运动,则根据时间距离TD0和TD1将参考块的运动缩放
到当前图片(与HEVC中的TMVP的MV缩放的方式相同),并且将缩放后的运动分配给当前帧中
的块。如果未将缩放MV分配给4×4块,则块的运动在内插运动场中被标记为不可用。
个参考列表B中找到其配对双边MV的参考图片refb,使得refa和refb在时间上处于当前图
片的不同侧。如果这样的refb在参考列表B中不可用,则将refb确定为与refa不同的参考,
并且其到当前图片的时间距离是列表B中的最小值。在确定refb之后,通过基于当前图片与
refa、refb之间的时间距离缩放MVa来得到MVb。
个STMVP候选者。
(unrestricted center‑biased diamond search,UCBDS)和用于MV细化的自适应交叉搜
索。对于CU和子CU层级MV的细化,以四分之一亮度样本MV精度直接搜索MV,然后是八分之一
亮度样本MV细化。用于CU和子CU步骤的MV细化的搜索范围被设置成等于8个亮度样本。
vector refinement,DMVR)方法中,通过双边模板匹配过程进一步细化双向预测的两个运
动矢量。在解码器中应用双边模板匹配以在双边模板与参考图片中的重构样本之间执行基
于失真的搜索,以便获得细化的MV而无需发送另外的运动信息。
预测块周围)之间的成本度量构成。对于两个参考图片中的每一个,产生最小模板成本的MV
被视为所述列表的更新MV以替换原始MV。在当前的开发中,每个列表都会搜索九个MV候选
者。九个MV候选者包含原始MV和8个周围MV,其中一个亮度样本沿水平或竖直方向或这两者
偏移到原始MV。最后,使用两个新的MV、即MV0′和MV1′生成最终的双向预测结果。绝对差总
和(sum of absolute differences,SAD)用作成本度量。
会很重要。HEVC采用运动数据存储减小(motion data storage reduction,MDSR)以通过对
参考图片中的运动数据进行二次采样来减小运动数据缓冲器和相关联的内存访问带宽的
大小。虽然H.264/AVC以4×4块为基础存储这些信息,但HEVC使用16×16块,其中,在对4×4
网格进行二次采样的情况下,存储左上4×4块的信息。由于这种二次采样,MDSR影响了时间
预测的质量。
起存储在16×16区域内提供了编码效率和内存带宽减小之间的最佳折衷。
像素。在运动补偿帧间预测中针对以跳过/合并模式编码的CU使用更高的运动矢量精度(1/
16像素)。对于以正常AMVP模式编码的CU,使用整数像素或四分之一像素运动。
自适应运动矢量分辨率(locally adaptive motion vector resolution,LAMVR)。MVD可以
四分之一亮度样本、整数亮度样本或四亮度样本为单位进行编码。在编码单元(coding
unit,CU)层级控制MVD分辨率,并且针对具有至少一个非零MVD分量的每个CU有条件地用信
号表示MVD分辨率标志。
用信号表示另一标志以指示是否使用整数亮度样本MV精度或四亮度样本MV精度。
本MV精度时,CU的AMVP候选者列表中的MVP被舍入到相应的精度。
使用7抽头可分离的基于DCT的内插滤波器。
1/4 {‑1,4,‑10,58,17,‑5,1}
2/4 {‑1,4,‑11,40,40,‑11,4,‑1}
3/4 {1,‑5,17,58,‑10,4,‑1}
配的匹配成本C计算如下:
器来执行最终MC。
边界之外。此外,它适用于亮度和色度两个分量。MC块对应于编码块。当CU以子CU模式(包含
子CU合并、仿射和FRUC模式)编码时,CU的每个子块是MC块。为了以统一的方式处理CU边界,
针对所有MC块边界在子块层级执行OBMC,其中子块大小被设置成等于4×4。
当前子块的预测块。组合基于多个运动矢量的这些多个预测块以生成当前子块的最终预测
信号。
相同的运动信息的相邻子块的运动信息时,不从PN执行OBMC。否则,将每个PN样本添加到PC
中的相同样本中,即,将四行/列的PN添加到PC。对于PN使用加权因子{1/4,1/8,1/16,1/
32},对于PC使用加权因子{3/4,7/8,15/16,31/32}。例外的是小的MC块(即,当编码块的高
度或宽度等于4或者CU使用子CU模式编码时),对于这种块,只将两行/列的PN添加到PC。在
这种情况下,对于PN使用加权因子{1/4,1/8},对于PC使用加权因子{3/4,7/8}。对于基于竖
直(水平)相邻子块的运动矢量生成的PN,将PN的同一行(列)中的样本以相同的加权因子添
加到PC。
的CU,默认地应用OBMC。在编码器处,当OBMC应用于CU时,在运动估计阶段将其影响考虑在
内。使用由OBMC利用顶部相邻块和左侧相邻块的运动信息形成的预测信号来补偿当前CU的
原始信号的顶部和左侧边界,然后应用正常运动估计处理。
CU)自适应地启用或禁用。
对应样本(由当前CU或子CU的运动信息标识)。得到IC参数并分别应用于每个预测方向。
MR‑SAD)和均值移除绝对阿达马变换差总和(mean‑removed sum of absolute Hadamard‑
transformed difference,MR‑SATD)代替SAD和SATD分别用于整数像素运动搜索和分数像
素运动搜索。
(k)
分别是I 梯度的水平分量和竖直分量。假设光流是有效的,运动矢量场(vx,vy)通过方程式
(1.13)给出:
特的三阶多项式,它在两端与函数值I 和导数 都匹配。此多项式在t=0
时的值是BIO预测值:
是都来自过去还是都来自未来),正负号就不同(即τ0·τ1<0)。在这种情况下,只有当预测
不是来自相同时刻(即τ0≠τ1),两个参考区域都具有非零运动(MVx0,MVy0,MVx1,MVy1≠0)并
且块运动矢量与时间距离(MVx0/MVx1=MVy0/MVy1=‑τ0/τ1)成比例时才应用BIO。
小化Δ,其中M等于2:
当前预测点为中心的(2M+1)×(2M+1)方窗Ω需要访问块外的位置。在当前的开发中,块外
的值 被设置成等于块内最接近的可用值。例如,这可以实现为填充。
在方程式(1.19)中的值sn,然后使用聚合的值sn得到4×4块的BIO运动矢量偏移量。使用以
下公式进行基于块的BIO得到:
所述阈值。如果当前图片的所有参考图片均来自一个方向,则将所述阈值的值设置成12×
14‑d 13‑d
2 ;否则设置成12×2 。
的分数位置(fracX,fracY)是相同的参考帧样本。在水平梯度 信号的情况下,首先使
用BIOfilterS对应于具有消除缩放位移d‑8的分数位置fracY竖直内插,然后在水平方向上
对应于具有消除缩放位移18‑d的分数位置fracX应用梯度滤波器BIOfilterG。在竖直梯度
的情况下,首先使用BIOfilterG对应于具有消除缩放位移d‑8的分数位置fracY竖直
应用梯度滤波器,然后使用BIOfilterS在水平方向上对应于具有消除缩放位移18‑d的分数
位置fracX执行信号位移。为了保持合理的复杂度,梯度计算BIOfilterG和信号位移
BIOfilterF的内插滤波器的长度较短(6抽头)。表1.4示出了用于BIO中块运动矢量的不同
分数位置的梯度计算的滤波器。表1.5示出了用于BIO中预测信号生成的内插滤波器。
0 {0,0,64,0,0,0}
1/16 {1,‑3,64,4,‑2,0}
1/8 {1,‑6,62,9,‑3,1}
3/16 {2,‑8,60,14,‑5,1}
1/4 {2,‑9,57,19,‑7,2}
5/16 {3,‑10,53,24,‑8,2}
3/8 {3,‑11,50,29,‑9,2}
7/16 {3,‑11,44,35,‑10,3}
1/2 {3,‑10,35,44,‑11,3}
性,在OBMC过程中不应用BIO。这意味着仅在使用其自身的MV时在MC过程中应用BIO,而在
OBMC过程中使用相邻块的MV时在MC过程中不应用BIO。
精度。
预测的情况。
测块之后,分别对预测样本的最左列或最顶行进行进一步调整。此方法可进一步扩展到若
干个对角线内部模式,并且使用双抽头(用于内部模式2和34)或三抽头滤波器(用于内部模
式3到6和30到33)进一步调整至多四列或四行的边界样本。
块使用前向预测、后向预测或双向预测其中的何种预测方向,根据预测的方向选择使用不
同的参考帧列表list0、list1或者list0和list1。对于选定的参考帧列表,通过参考帧索引
指明参考帧。在选定的参考帧中,通过运动矢量指示当前块的预测块在参考帧中的参考块
相对当前帧中当前块的位置偏移。然后根据预测方向,使用从list0、list1或者list0和
list1中的参考帧中取得的预测块生成最终的预测块。其中当预测方向为单向时,直接使用
从list0或list1中的参考帧中取得的预测块,当预测方向为双向时,将list0和list1中的
参考帧中取得的预测块通过加权平均的方式合成最终预测块。
能够在生成预测像素之后,利用周围相邻已重构像素对于预测像素进行滤波,提高编码效
率。
偏移MV。
HEVC中的方法相同。示例性的,融合运动信息候选列表的具体方法可以采用图8‑图12描述
的任一技术。
矢量预测值索引、运动矢量残差值确定当前块运动信息。
波。
图像块的更新判别标识信息进一步确定更新待处理图像块的预测块。
设的更新判别标识进一步确定更新待处理图像块的预测块。
块的预测块。本申请实施例对于更新判别标识的具体形式并不进行限定,在此仅是以更新
判别标识为真或假进行示例性说明。
图像块的预测模式可以仅为merge,也可以仅为inter AMVP,还可以为merge和inter AMVP
两种模式合并的预测模式。
解码时进行滤波处理。
向预测或双向预测,本申请实施例对此并不进行限定。
以从后向参考图像集合中选择一个参考图像获取参考块;当参考帧方向为双向预测时,当
前编码单元(CU)可以从前向和后向参考图像集合中各选择一个参考图像获取参考块。
本申请实施对此并不进行限定。
点,例如,参考像素点可以为当前CU的上方或左侧的CU块中的已重构像素点,本申请实施例
对此并不进行限定。
像素值与当前块中的目标像素点的预测像素进行加权计算,得到更新的后的目标像素点的
预测像素。
且具有预设横坐标差的已重构像素点。
目标像素点的坐标为(xP,yP),待处理图像块内的左上角像素点的坐标为(xN,yN),该目标
像素点的参考像素点可以为待处理图像块的上方或左侧的块中的已重构像素点,若该参考
像素点为待处理图像块的上方的块中的已重构像素点,由于该参考像素点为待处理图像块
以外的块中的已重构像素点,因此,该参考像素点的纵坐标为待处理图像块上边缘的纵坐
标减预设位置关系N,横坐标与待处理图像块的目标像素点的横坐标相同,即参考像素点的
坐标为(xP,yN‑N);若该参考像素点为待处理图像块的左侧的块中的已重构像素点,由于该
参考像素点为待处理图像块以外的块中的已重构像素点,因此,该参考像素点的横坐标为
待处理图像块最左侧的横坐标减预设位置关系M,纵坐标与待处理图像块的目标像素点的
纵坐标相同,即参考像素点的坐标为(xN‑M,yP),本申请实施例对于参考像素点与目标像素
点所具有的具体空域位置关系(M、N的具体取值)并不进行限定。
更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),
(xP,yN‑M2)的参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,M2为预设正整数。
标像素点的坐标(xP,yP)为(18,3),由于当前CU(CU1)左上角的横坐标xN大于零,纵坐标yN
等于零,可以确定当前CU位于图像的上侧边缘位置,在对当前CU中的目标像素点进行空域
滤波时,由于当前CU在图像上边缘,上侧不存在已重构像素点,故该情况下参考像素点为当
前CU左侧的已重构像素点,且与目标像素点纵坐标相同,可以记为(16‑M1,3),该M1为参考
像素点与目标像素点预设的空域位置关系,在此以M1取1为例进行说明,M1取1时,目标像素
点(18,3)的参考像素点可以为(15,3),同理,目标像素点(xP,yP)的参考像素点均可以为
(xN‑1,yP)。
新后的预测值predQ(xP,yP)。
坐标xN等于零,纵坐标yN大于零,可以确定当前CU位于图像的左侧边缘位置,在对当前CU中
的目标像素点进行空域滤波时,由于当前CU在图像左边缘,左侧不存在已重构像素点,故该
情况下参考像素点为当前CU上方的已重构像素点,且与目标像素点横坐标相同,可以记为
(8,32‑M2),该M2为参考像素点与目标像素点预设的空域位置关系,在此以M2取1为例进行
说明,M2取1时,目标像素点(8,35)的参考像素点可以为(8,31),同理,目标像素点(xP,yP)
的参考像素点均可以为(xP,yN‑M2)。
更新后的预测值predQ(xP,yP)。
横坐标xN大于零,纵坐标yN大于零,可以确定当前CU不在图像的边缘位置,在对当前CU中的
目标像素点进行空域滤波时,参考像素点可以为当前CU上方的已重构像素点以及当前CU左
侧的已重构像素点,且在该参考像素点为当前CU左侧的已重构像素点时,该已重构像素点
位置的纵坐标与目标像素点的纵坐标相同,可以为(xN‑M1,33(,在该参考像素点为当前CU
上方的已重构像素点时,该已重构像素点位置的横坐标与目标像素点的横坐标相同,可以
为(56,yN‑M2),该M1和M2为参考像素点与目标像素点预设的空域位置关系,在此以M1和M2
取1为例进行说明,M1和M2取1时,目标像素点(56,33)的参考像素点可以为(47,33)和(56,
31),同理,目标像素点(xP,yP)的参考像素点可以为(xN‑M1,yP)和(xP,yN‑M2)。
进行加权计算,得到目标像素点的更新后的预测值predQ(xP,yP)。
或(6,1,1)、(5,2,1)等数值组合,本申请实施例对此并不进行限定,在此仅是示例性说明。
新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置(xN‑M1,yP),(xP,
yN‑M2)的参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设正整数。
进行限定,在此仅是示例性说明。
像素点的重构值不可用,可采用下述步骤S13061‑S13062的方法获取新的参考像素点,并根
据新的参考像素点更新目标像素点的预测值。
新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)
分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的参考像素点的重
构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,M3,M4为预设正整数。
0),待处理图像块中目标像素点的坐标(xP,yP)为(18,3),参考像素点为当前CU左侧的已重
构像素点,且与目标像素点纵坐标相同,可以记为(16‑M1,3)和(16‑M2,3),该M1和M2为参考
像素点与目标像素点预设的空域位置关系,在此以M1取1、M2取2为例进行说明,M1取1、M2取
2时,目标像素点(18,3)的参考像素点可以为(15,3)和(14,3),同理,目标像素点(xP,yP)的
参考像素点均可以为(xN‑1,yP)和(xN‑2,yP)。
加权计算,得到目标像素点的更新后的预测值predQ(xP,yP)。
目标像素点的坐标(xP,yP)为(8,35),参考像素点为当前CU上方的已重构像素点,且与目标
像素点横坐标相同,可以记为(8,32‑M3)和(8,32‑M4),该M3和M4为参考像素点与目标像素
点预设的空域位置关系,在此以M3取1、M4取2为例进行说明,M3取1、M4取2时,目标像素点
(8,35)的参考像素点可以为(8,31)和(8,30),同理,目标像素点(xP,yP)的参考像素点均可
以为(xP,yN‑1)和(xP,yN‑2)。
加权计算,得到目标像素点的更新后的预测值predQ(xP,yP)。
下公式获得:
块(CU3)的左上角像素点(xN,yN)为(48,32),目标像素点的坐标(xP,yP)为(56,33),参考像
素点为当前CU左侧的已重构像素点时,该已重构像素点位置的纵坐标与目标像素点的纵坐
标相同,可以为(48‑M1,33)和(48‑M2,33),参考像素点为当前CU上方的已重构像素点时,该
已重构像素点位置的横坐标与目标像素点的横坐标相同,可以为(56,32‑M3)和(56,32‑
M4),该M1、M2、M3和M4为参考像素点与目标像素点预设的空域位置关系,在此以M1和M3取1、
M2和M4取2为例进行说明,M1和M3取1、M2和M4取2时,目标像素点(56,33)的参考像素点可以
为(47,33)、(46,33)、(56,31)和(56,30),同理,目标像素点(xP,yP)的参考像素点可以为
(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3)和(xP,yN‑M4)。
yN‑M3)和recon(xP,yN‑M4)与目标像素点的预测值predP(xP,yP)进行加权计算,得到目标
像素点的更新后的预测值predQ(xP,yP)。
为例进行说明,可以理解的是,实际应用中M1和M3、M2和M4的取值可以相同也可以不同,M1
和M2、M3和M4的取值可以不同。
算。例如可以取(6,1,1)、(5,2,1)或(3,2,1,1,1)等数值组合,本申请实施例对此并不进行
限定,在此仅是示例性说明。
新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),recon(xP,yN‑M4)
分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)的参考像素点的重
构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。
对此并不进行限定,在此仅是示例性说明。需要说明的是,该实现方式与前一实现方式的区
别在于,该实现方式并不考虑待处理图像块左侧和上侧的像素,若采用该实现方式更新上
述目标像素点的预测值时,参考像素点的重构值不可用,可采用下述步骤S13061‑S13062的
方法获取可用的参考像素点,并根据可用的参考像素点更新目标像素点的预测值。
点;或者,与目标像素点具有相同纵坐标且与待处理图像块的左边缘相邻接的已重构像素
点;或者,待处理图像块的右上角的已重构像素点;或者,待处理图像块的左下角的已重构
像素点;或者,待处理图像块的左上角的已重构像素点。
器,并将二者的平均值作为当前块像素的预测值。
(xN‑1,yN+nTbH))<<Log2(nTbW),predH(xP,yP)=((nTbW‑1‑(xP‑xN))*recon(xN‑1,yP)+
(xP‑xN+1)*recon(xN+nTbW,yN‑1))<<Log2(nTbH),其中,如图16所示,待处理图像块内的
左上角像素点的坐标为(xN,yN),recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,
yP),recon(xN+nTbW,yN‑1)分别为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),
(xN+nTbW,yN‑1)的参考像素点的重构值,nTbW和nTbH为当前CU(待处理图像块)的宽度和高
度。
(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素
点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置
(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,
nTbW和nTbH为所述待处理图像块的宽度和高度。
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
不进行限定。
算。例如可以取(6,2)、(5,3)、(4,4)等数值组合,本申请实施例对此并不进行限定,在此仅
是示例性说明。
1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),目标像素点的坐
标为(xP,yP),待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)为目标像
素点的更新前的预测值,predQ(xP,yP)为目标像素点的更新后的预测值,recon(xP,yN‑1),
recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别为位于坐标位置(xP,
yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的参考像素点的重构值,w1,w2为预设
常数,nTbW和nTbH为待处理图像块的宽度和高度。
进行处理,目标像素点的更新后的预测值predQ(xP,yP)可以采用VTM中帧内预测联合处理
技术的DC模式的方法获得。可以理解的,采用DC模式时,当前块的预测值可由其左侧和上方
的参考像素的平均值得到。
(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),如图16所
示,目标像素点的坐标为(xP,yP),待处理图像块内的左上角像素点的坐标为(xN,yN),
predP(xP,yP)为目标像素点的更新前的预测值,predQ(xP,yP)为目标像素点的更新后的预
测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的参考像素点的重构值,nTbW和nTbH为待处理图像块的宽度和
高度,clip1Cmp为钳位操作。
中帧内预测联合处理技术的PLANAR模式的方法获得,如下式:
<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+
Log2(nTbH)‑2)>>2),如图16所示,目标像素点的坐标为(xP,yP),待处理图像块内的左上
角像素点的坐标为(xN,yN),predP(xP,yP)为目标像素点的更新前的预测值,predQ(xP,yP)
为目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐标位置
(xN‑1,yP),(xP,yN‑1)的参考像素点的重构值,nTbW和nTbH为上述待处理图像块的宽度和
高度,clip1Cmp为钳位操作。
图像块位于图片的左侧边缘位置时,坐标位置(xN‑N,yP)的参考像素点的重构值不存在,或
者参考像素点的重置无法获得等,本申请实施例对于参考像素点的重构值不可用的具体情
况并不进行限定,在此仅是示例性说明。
标(xN‑1,yN+nTbH‑1)至坐标(xN‑1,yN‑1),接着从坐标(xN,yN‑1)至坐标(xN+nTbW‑1,yN‑1)
的顺序遍历所有像素点,寻找待处理图像块的上边沿和左边沿相邻的像素点中可用的参考
像素点。需要说明的是,本申请实施例对于上述预设顺序的具体顺序并不进行限定,在此仅
是示例性说明。
(xN‑1,yN‑1),接着从坐标(xN,yN‑1)至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,
一旦找到可用的像素点,搜索就会终止,若该可用的像素点为(x,y),则参考像素点(xN‑1,
yN+nTbH‑1)的重构值被设置为像素点(x,y)的重构值;在参考像素点(xN‑1,yN+nTbH‑M)集
合中参考像素点(x,y)的重构值不可用,其中,M大于等于2,小于等于nTbH+1,则参考像素点
参考像素点(x,y)的重构值被设置为像素点(x,y+1)的重构值;在参考像素点(xN+N,yN‑1)
集合中参考像素点(x,y)的重构值不可用,其中,N大于等于0,小于等于nTbW‑1,则参考像素
点(x,y)的重构值被设置为参考像素点(x‑1,y)的重构值。
像素点,若该可用的参考像素点为B,那么参考像素点(xN‑1,yN+nTbH‑M)的重构值可以设置
为参考像素点B的重构值;若参考像素点坐标为(xN+N,yN‑1)的重构值不可用,其中,N大于
等于0,小于等于nTbW‑1,可以从坐标(xN+N,yN‑1)开始,按照上述预设顺序寻找可用的参考
像素点,若该可用的参考像素点为C,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参
考像素点C的重构值。
可用性,直到获取预设个数的可用的参考像素点,该参考像素点(xN‑1,yN+nTbH‑3)的重构
值可以使用该可用的参考像素点的重构值。若参考像素点坐标为(xN+3,yN‑1)的重构值不
可用,从坐标(xN+3,yN‑1)开始至坐标(xN+nTbW‑1,yN‑1)的顺序寻找可用的像素点,该参考
像素点(xN+3,yN‑1)的重构值可以使用该可用的参考像素点的重构值。
yN‑1)的顺序寻找可用的像素点,一旦找到可用的像素点,搜索就会终止,若该可用的像素
点为(x,y),则参考像素点(xN‑1,yN+nTbH‑1)的重构值被设置为像素点(x,y)的重构值;若
参考像素点(xN‑1,yN+nTbH‑M)的重构值不可用,其中,M大于1,小于等于nTbH+1,可以从坐
标(xN‑1,yN+nTbH‑M)开始,按照与上述预设顺序相反的顺序寻找可用的参考像素点,若该
可用的参考像素点为C,那么参考像素点(xN‑1,yN+nTbH‑M)的重构值可以设置为参考像素
点C的重构值;若参考像素点坐标为(xN+N,yN‑1)的重构值不可用,其中,N大于等于0,小于
等于nTbW‑1,可以从坐标(xN+N,yN‑1)开始,按照上述预设顺序相反的顺序寻找可用的参考
像素点,若该可用的参考像素点为D,那么参考像素点(xN+N,yN‑1)的重构值可以设置为参
考像素点D的重构值。
点的可用性,直到获取预设个数的可用的参考像素点,该参考像素点(xN‑1,yN+nTbH‑3)的
重构值可以使用该可用的参考像素点的重构值。若参考像素点坐标为(xN+3,yN‑1)的重构
值不可用,从坐标(xN+3,yN‑1)开始至坐标(xN,yN‑1)的顺序寻找可用的像素点,该参考像
素点(xN+3,yN‑1)的重构值可以使用该可用的参考像素点的重构值。
对此并不进行限定。
点的重构值作为不可用的参考像素点的重构值。
<(bitDepth‑1),其中,bitDepth为参考像素点采样值的位深。例如,待处理图像块位于图片
左上角位置时,该待处理图像块的左上角的坐标为(0,0),则该待处理图像块的上边沿和左
边沿相邻的像素点均不可用,可以将该待处理图像块的目标像素点对应的参考像素点的重
构值设置为1<<(bitDepth‑1)。
权计算;当参考像素点位于所述待处理图像块的左方时,对参考像素点的重构值和参考像
素点的上下相邻像素点的重构值进行加权计算;采用加权计算的结果更新参考像素点的重
构值。
以更新目标像素点的预测值。
减小预测残差。
码端运动矢量补偿(DMVD)技术。可以采用HEVC或者VTM中的方法进行,也可采用其他生成运
动矢量预测候选列表的方法,本申请实施例对此不作限定。
实施例对此并不进行限定。
信息对所述待处理图像块进行运动补偿,包括:基于初始更新后的运动信息对待处理图像
块进行运动补偿。
值和所述目标像素点的预测值进行加权计算,包括:将所述一个或多个参考像素点的重构
值和所述目标像素点的预更新后的预测值进行加权计算。
预设算法对所述目标像素点的预测值进行更新。
残差信息和预测图像相加,获得当前块的重构图像;如果当前块没有残差,则预测图像为当
前块的重建图像。上述过程可采用与HEVC或者VTM相同的方法,也可采用其他运动补偿、图
像重建方法,不做限定。
多个参考像素点的重构值和目标像素点的预测值进行加权计算,以更新目标像素点的预测
值,该参考像素点与目标像素点具有预设的空域位置关系。本申请实施例获取待处理图像
块的目标像素点的预测值之后,通过利用周围邻近已重构像素对该目标像素点的预测值进
行滤波处理,能够提高编码压缩效率,提升PSNR BDrate 0.5%,相比于现有技术,在生成帧
间预测像素的过程中,对于帧间预测像素进行空域滤波,提高了编码效率。
预测装置可以包括相应步骤所对应的模块。
理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式
实现。本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可
以有另外的划分方式。
块1801、补偿模块1802、计算模块1803。具体的,各模块功能如下:
点具有预设的空域位置关系。
坐标且具有预设横坐标差的已重构像素点。
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置
(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6为预设常数,M1,
M2为预设正整数。
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的所述参考像素点的重构值,w1,w2,w3,w4,w5,w6,w7,w8,w9,w10,w11为预设常数,M1,M2,
M3,M4为预设正整数。
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xP,yN‑M2)分别为位于坐标位置
(xN‑M1,yP),(xP,yN‑M2)的所述参考像素点的重构值,w1,w2,w3为预设常数,M1,M2为预设
正整数。
目标像素点的更新后的预测值,recon(xN‑M1,yP),recon(xN‑M2,yP),recon(xP,yN‑M3),
recon(xP,yN‑M4)分别为位于坐标位置(xN‑M1,yP),(xN‑M2,yP),(xP,yN‑M3),(xP,yN‑M4)
的所述参考像素点的重构值,w1,w2,w3,w4,w5预设常数,M1,M2,M3,M4为预设正整数。
构像素点;或者,与所述目标像素点具有相同纵坐标且与所述待处理图像块的左边缘相邻
接的已重构像素点;或者,所述待处理图像块的右上角的已重构像素点;或者,所述待处理
图像块的左下角的已重构像素点;或者,所述待处理图像块的左上角的已重构像素点。
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
(0,0),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素
点的更新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置
(xP,‑1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,
nTbW和nTbH为所述待处理图像块的宽度和高度。
新后的预测值,p(xP,‑1),p(‑1,nTbH),p(‑1,yP),p(nTbW,‑1)分别为位于坐标位置(xP,‑
1),(‑1,nTbH),(‑1,yP),(nTbW,‑1)的所述参考像素点的重构值,w1,w2为预设常数,nTbW和
nTbH为所述待处理图像块的宽度和高度。
1,yP)+(xP‑xN+1)*recon(xN+nTbW,yN‑1)+(nTbW>>1))>>Log2(nTbW),所述目标像素点
的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,yP)
为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预测
值,recon(xP,yN‑1),recon(xN‑1,yN+nTbH),recon(xN‑1,yP),recon(xN+nTbW,yN‑1)分别
为位于坐标位置(xP,yN‑1),(xN‑1,yN+nTbH),(xN‑1,yP),(xN+nTbW,yN‑1)的所述参考像素
点的重构值,w1,w2为预设常数,nTbW和nTbH为所述待处理图像块的宽度和高度。
(xP)>>4)+(wT(yP)>>4)),nScale=((Log2(nTbW)+Log2(nTbH)‑2)>>2),所述目标像
素点的坐标为(xP,yP),所述待处理图像块内的左上角像素点的坐标为(xN,yN),predP(xP,
yP)为所述目标像素点的更新前的预测值,predQ(xP,yP)为所述目标像素点的更新后的预
测值,recon(xP,yN‑1),recon(xN‑1,yP),recon(xN‑1,yN‑1)分别为位于坐标位置(xP,yN‑
1),(xN‑1,yP),(xN‑1,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像块
的宽度和高度,clip1Cmp为钳位操作。
<<1)>>nScale),wL(xP)=32>>((xP<<1)>>nScale),nScale=((Log2(nTbW)+
Log2(nTbH)‑2)>>2),所述目标像素点的坐标为(xP,yP),所述待处理图像块内的左上角
像素点的坐标为(xN,yN),predP(xP,yP)为所述目标像素点的更新前的预测值,predQ(xP,
yP)为所述目标像素点的更新后的预测值,recon(xN‑1,yP),recon(xP,yN‑1)分别为位于坐
标位置(xN‑1,yP),(xP,yN‑1)的所述参考像素点的重构值,nTbW和nTbH为所述待处理图像
块的宽度和高度,clip1Cmp为钳位操作。
用性,直到获取预设个数的可用的参考像素点;将该可用的参考像素点的重构值和上述目
标像素点的预测值进行加权计算。
点的重构值进行加权计算;当所述参考像素点位于所述待处理图像块的左方时,对所述参
考像素点的重构值和所述参考像素点的上下相邻像素点的重构值进行加权计算;采用所述
加权计算的结果更新所述参考像素点的重构值。
信息对所述待处理图像块进行运动补偿。
重构值和所述目标像素点的预更新后的预测值进行加权计算。
预测模式(inter AMVP)。
块的预测块。
块。
实施例以及各种可行的实施方式。
件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所
描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例
如包含一个或多个微处理器组合,DSP和微处理器的组合等等。
码器(CODEC)的基于硬件的编码单元及类似者来应用。此外,应理解,仅作为可行的实施方
式而提供关于图13所展示及描述的步骤。即,图13的可行的实施方式中所展示的步骤无需
必定按图13中所展示的次序执行,且可执行更少、额外或替代步骤。
事件为实践方法所必要的)。此外,在特定可行的实施方式中,动作或事件可(例如)经由多
线程处理、中断处理或多个处理器来同时而非顺序地执行。另外,虽然出于清楚的目的将本
申请的特定方面描述为通过单一模块或单元执行,但应理解,本申请的技术可通过与视频
解码器相关联的单元或模块的组合执行。
读媒体上或经由计算机可读媒体来传输,且通过基于硬件的处理单元来执行。计算机可读
媒体可包含计算机可读存储媒体或通信媒体,计算机可读存储媒体对应于例如数据存储媒
体的有形媒体,通信媒体包含促进计算机程序(例如)根据通信协议从一处传送到另一处的
任何媒体。
一个或多个处理器存取以检索用于实施本申请中所描述的技术的指令、代码和/或数据结
构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
储呈指令或数据结构的形式的所要代码且可由计算机存取的任何其它媒体。同样,任何连
接可适当地称作计算机可读媒体。例如,如果使用同轴缆线、光纤缆线、双绞线、数字订户线
(DSL),或例如红外线、无线电及微波的无线技术而从网站、服务器或其它远端源传输指令,
那么同轴缆线、光纤缆线、双绞线、DSL,或例如红外线、无线电及微波的无线技术包含于媒
体的定义中。
密光盘(CD)、雷射光盘、光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常
以磁性方式再现数据,而光盘通过雷射以光学方式再现数据。以上各物的组合也应包含于
计算机可读媒体的范围内。
执行指令。因此,如本文中所使用,术语“处理器”可指前述结构或适于实施本文中所描述的
技术的任何其它结构中的任一者。另外,在一些方面中,可将本文所描述的功能性提供于经
配置以用于编码及解码的专用硬件和/或软件模块内,或并入于组合式编码解码器中。同
样,技术可完全实施于一个或多个电路或逻辑元件中。
的技术的装置的功能方面,但未必需要通过不同硬件单元实现。更确切来说,如前文所描
述,各种单元可组合于编码解码器硬件单元中或由互操作的硬件单元(包含如前文所描述
的一个或多个处理器)结合合适软件和/或固件的集合来提供。
换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范
围为准。