编码和解码视频数据的方法、装置和计算机可读存储媒体转让专利
申请号 : CN201580034323.5
文献号 : CN106664422B
文献日 : 2019-09-06
发明人 : 陈颖 , 张莉
申请人 : 高通股份有限公司
摘要 :
权利要求 :
1.一种对视频数据进行解码的方法,所述方法包括:基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置;
将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本;
确定第二参考图片中的第二参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本;
将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图片,其中以下各者中的一者适用:所述当前块的所述运动向量是所述当前块的时间运动向量,所述当前图片在第一视图中,所述第二参考图片和所述第三参考图片两者在第二视图中,所述第二视图是参考视图,所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值,所述第一参考图片的POC值等于所述第二参考图片的POC值,所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,其中所述第三参考图片中的所述第三参考块的位置基于所述当前块的视差向量确定,且所述第二参考块的所述位置通过确定所述第二参考块的所述位置以使得所述第二参考块的所述位置由所述当前块的所述时间运动向量和所述当前块的所述视差向量的总和指示来确定;或所述当前块的所述运动向量是所述当前块的视差运动向量,所述当前图片和所述第二参考图片两者在第一视图中,所述第三参考图片在第二视图中,所述第二视图是参考视图,所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,所述第三参考图片的所述POC值不同于所述当前图片的所述POC值且等于所述第二参考图片的所述POC值,且所述第一参考图片具有与所述当前图片相同的POC值且在所述第二视图中,其中所述第三参考块的位置被确定以使得所述第三参考图片中的所述第三参考块的所述位置由所述第一参考块的时间运动向量指示,且所述第二参考块的所述位置通过再使用所述第一参考块的所述时间运动向量以确定所述第二参考块的所述位置来确定;以及确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本加相应残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处,其中对于多个阶段中的每一相应阶段,用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64,所述多个阶段中的每一相应阶段对应于视频译码标准所允许的相应子整数位置,用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数等于(x*8,(8-x)*8),其中x等于在0到8的范围内的值,其中所述阶段指代子整数位置;
以及
从位流获得表示残余块的数据;以及
至少部分地基于所述残余块和所述预测性块而重构所述当前图片的译码块。
2.根据权利要求1所述的方法,其中将所述可分离的双线性内插滤波器应用于所述第一参考图片的所述样本、将所述可分离的双线性内插滤波器应用于所述第二参考图片的所述样本以及将所述可分离的双线性内插滤波器应用于所述第三参考图片的所述样本包括:对于所述第一参考块、所述第二参考块和所述第三参考块的每一相应样本,基于所述相应样本的位置应用以下公式中的一或多者以确定所述相应样本:ab0,0=(56*B0,0+8*B1,0)>>shift1,ac0,0=(48*B0,0+16*B1,0)>>shift1,ad0,0=(40*B0,0+24*B1,0)>>shift1,ae0,0=(32*B0,0+32*B1,0)>>shift1,af0,0=(24*B0,0+40*B1,0)>>shift1,ag0,0=(16*B0,0+48*B1,0)>>shift1,ah0,0=(8*B0,0+56*B1,0)>>shift1,ba0,0=(56*B0,0+8*B0,1)>>shift1,ca0,0=(48*B0,0+16*B0,1)>>shift1,da0,0=(40*B0,0+24*B0,1)>>shift1,ea0,0=(32*B0,0+32*B0,1)>>shift1,fa0,0=(24*B0,0+40*B0,1)>>shift1,ga0,0=(16*B0,0+48*B0,1)>>shift1,ha0,0=(8*B0,0+56*B0,1)>>shift1,bX0,0=(56*aX0,0+8*aX0,1)>>shift2,cX0,0=(48*aX0,0+16*aX0,1)>>shift2,dX0,0=(40*aX0,0+24*aX0,1)>>shift2,eX0,0=(32*aX0,0+32*aX0,1)>>shift2,fX0,0=(24*aX0,0+40*aX0,1)>>shift2,gX0,0=(16*aX0,0+48*aX0,1)>>shift2,hX0,0=(8*aX0,0+56*aX0,1)>>shift2,其中ab0,0、ac0,0、ad0,0、ae0,0、af0,0、ag0,0、ah0,0、ba0,0、ca0,0、da0,0、ea0,0、fa0,0、ga0,0和ha0,0是分数位置样本,B0,0、B1,0、B0,1和B1,1是整数位置样本,且aX0,0和aX0,1是中间值;
其中对于标记有bX0,0、cX0,0、dX0,0、eX0,0、fX0,0、gX0,0和hX0,0的样本,X分别被b、c、d、e、f、g和h代替,且其中shift1等于所述相应样本的位深度减8,且shift2等于6。
3.根据权利要求1所述的方法,其中所述预测性块是第一预测性块,所述方法进一步包括:基于所述当前块的第二运动向量确定第四参考图片中的第四参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第四参考图片的样本以确定所述第四参考块的样本;
部分地基于所述当前块的所述第二运动向量确定第五参考图片中的第五参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第五参考图片的样本以确定所述第五参考块的样本;
将所述可分离的双线性内插滤波器应用于第六参考图片的样本以确定第六参考块的样本,其中所述第四、第五和第六参考图片中的每一者是不同图片;以及确定第二预测性块,其中所述第二预测性块的每一相应样本等于所述第四参考块的相应样本加相应残余预测符样本,所述相应残余预测符样本等于所述加权因数乘以所述第五参考块的相应样本与所述第六参考块的相应样本之间的差,且其中所述第四参考块的所述相应样本、所述第五参考块的所述相应样本以及所述第六参考块的所述相应样本在所述第四、第五和第六参考块内对应于所述第二预测性块的所述相应样本的位置的位置处,且至少部分地基于残余块、所述第一预测性块和所述第二预测性块重构所述当前图片的所述译码块。
4.一种对视频数据进行编码的方法,所述方法包括:基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置;
将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本;
确定第二参考图片中的第二参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本;
将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图片,其中以下各者中的一者适用:所述当前块的所述运动向量是所述当前块的时间运动向量,所述当前图片在第一视图中,所述第二参考图片和所述第三参考图片两者在第二视图中,所述第二视图是参考视图,所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值,所述第一参考图片的POC值等于所述第二参考图片的POC值,所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,其中所述第三参考图片中的所述第三参考块的位置基于所述当前块的视差向量确定,且所述第二参考块的所述位置通过确定所述第二参考块的所述位置以使得所述第二参考块的所述位置由所述当前块的所述时间运动向量和所述当前块的所述视差向量的总和指示来确定;或所述当前块的所述运动向量是所述当前块的视差运动向量,所述当前图片和所述第二参考图片两者在第一视图中,所述第三参考图片在第二视图中,所述第二视图是参考视图,所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,所述第三参考图片的所述POC值不同于所述当前图片的所述POC值且等于所述第二参考图片的所述POC值,且所述第一参考图片具有与所述当前图片相同的POC值且在所述第二视图中,其中所述第三参考块的位置被确定以使得所述第三参考图片中的所述第三参考块的所述位置由所述第一参考块的时间运动向量指示,且所述第二参考块的所述位置通过再使用所述第一参考块的所述时间运动向量以确定所述第二参考块的所述位置来确定;以及确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本加相应残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处,其中对于多个阶段中的每一相应阶段,用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64,所述多个阶段中的每一相应阶段对应于视频译码标准所允许的相应子整数位置,用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数等于(x*8,(8-x)*8),其中x等于在0到8的范围内的值,其中所述阶段指代子整数位置;
以及
至少部分地基于所述预测性块确定残余块;以及
在位流中包含表示所述残余块的数据。
5.一种视频解码装置,其包括:
存储器,其经配置以存储视频数据;以及
一或多个处理器,其经配置以:
基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置;
将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本;
确定第二参考图片中的第二参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本;
将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图片,其中以下各者中的一者适用:所述当前块的所述运动向量是所述当前块的时间运动向量,所述当前图片在第一视图中,所述第二参考图片和所述第三参考图片两者在第二视图中,所述第二视图是参考视图,所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值,所述第一参考图片的POC值等于所述第二参考图片的POC值,所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,其中所述第三参考图片中的所述第三参考块的位置基于所述当前块的视差向量确定,且所述第二参考块的所述位置通过确定所述第二参考块的所述位置以使得所述第二参考块的所述位置由所述当前块的所述时间运动向量和所述当前块的所述视差向量的总和指示来确定;或所述当前块的所述运动向量是所述当前块的视差运动向量,所述当前图片和所述第二参考图片两者在第一视图中,所述第三参考图片在第二视图中,所述第二视图是参考视图,所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,所述第三参考图片的所述POC值不同于所述当前图片的所述POC值且等于所述第二参考图片的所述POC值,且所述第一参考图片具有与所述当前图片相同的POC值且在所述第二视图中,其中所述第三参考块的位置被确定以使得所述第三参考图片中的所述第三参考块的所述位置由所述第一参考块的时间运动向量指示,且所述第二参考块的所述位置通过再使用所述第一参考块的所述时间运动向量以确定所述第二参考块的所述位置来确定;以及确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处,其中对于多个阶段中的每一相应阶段,用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64,所述多个阶段中的每一相应阶段对应于视频译码标准所允许的相应子整数位置,用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数等于(x*8,(8-x)*8),其中x等于在0到8的范围内的值,其中所述阶段指代子整数位置;
以及
从位流获得表示残余块的数据;以及
至少部分地基于所述残余块和所述预测性块而重构所述当前图片的译码块。
6.根据权利要求5所述的视频解码装置,其中所述一或多个处理器经配置以使得作为将所述可分离的双线性内插滤波器应用于所述第一参考图片的样本、将所述可分离的双线性内插滤波器应用于所述第二参考图片的所述样本以及将所述可分离的双线性内插滤波器应用于所述第三参考图片的所述样本的部分,所述一或多个处理器:对于所述第一参考块、所述第二参考块和所述第三参考块的每一相应样本,基于所述相应样本的位置应用以下公式中的一或多者以确定所述相应样本:ab0,0=(56*B0,0+8*B1,0)>>shift1,ac0,0=(48*B0,0+16*B1,0)>>shift1,ad0,0=(40*B0,0+24*B1,0)>>shift1,ae0,0=(32*B0,0+32*B1,0)>>shift1,af0,0=(24*B0,0+40*B1,0)>>shift1,ag0,0=(16*B0,0+48*B1,0)>>shift1,ah0,0=(8*B0,0+56*B1,0)>>shift1,ba0,0=(56*B0,0+8*B0,1)>>shift1,ca0,0=(48*B0,0+16*B0,1)>>shift1,da0,0=(40*B0,0+24*B0,1)>>shift1,ea0,0=(32*B0,0+32*B0,1)>>shift1,fa0,0=(24*B0,0+40*B0,1)>>shift1,ga0,0=(16*B0,0+48*B0,1)>>shift1,ha0,0=(8*B0,0+56*B0,1)>>shift1,bX0,0=(56*aX0,0+8*aX0,1)>>shift2,cX0,0=(48*aX0,0+16*aX0,1)>>shift2,dX0,0=(40*aX0,0+24*aX0,1)>>shift2,eX0,0=(32*aX0,0+32*aX0,1)>>shift2,fX0,0=(24*aX0,0+40*aX0,1)>>shift2,gX0,0=(16*aX0,0+48*aX0,1)>>shift2,hX0,0=(8*aX0,0+56*aX0,1)>>shift2,其中ab0,0、ac0,0、ad0,0、ae0,0、af0,0、ag0,0、ah0,0、ba0,0、ca0,0、da0,0、ea0,0、fa0,0、ga0,0和ha0,0是分数位置样本,B0,0、B1,0、B0,1和B1,1是整数位置样本,且aX0,0和aX0,1是中间值;
其中对于标记有bX0,0、cX0,0、dX0,0、eX0,0、fX0,0、gX0,0和hX0,0的样本,X分别被b、c、d、e、f、g和h代替,且其中shift1等于所述相应样本的位深度减8,且shift2等于6。
7.根据权利要求5所述的视频解码装置,其中所述预测性块是第一预测性块,所述一或多个处理器经配置以:基于所述当前块的第二运动向量确定第四参考图片中的第四参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第四参考图片的样本以确定所述第四参考块的样本;
部分地基于所述当前块的所述第二运动向量确定第五参考图片中的第五参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第五参考图片的样本以确定所述第五参考块的样本;
将所述可分离的双线性内插滤波器应用于第六参考图片的样本以确定第六参考块的样本,其中所述第四、第五和第六参考图片中的每一者是不同图片;以及确定第二预测性块,其中所述第二预测性块的每一相应样本等于所述第四参考块的相应样本加相应残余预测符样本,所述相应残余预测符样本等于所述加权因数乘以所述第五参考块的相应样本与所述第六参考块的相应样本之间的差,且其中所述第四参考块的所述相应样本、所述第五参考块的所述相应样本以及所述第六参考块的所述相应样本在所述第四、第五和第六参考块内对应于所述第二预测性块的所述相应样本的位置的位置处。
8.根据权利要求5所述的视频解码装置,其进一步包括显示器,所述显示器经配置以显示所述当前图片的经重构译码块。
9.一种视频编码装置,其包括:
存储器,其经配置以存储视频数据;以及
一或多个处理器,其经配置以:
基于所述视频数据的当前图片中的当前块的运动向量确定第一参考图片中的第一参考块的位置;
将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块的样本;
确定第二参考图片中的第二参考块的位置;
将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本;
将所述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图片,其中以下各者中的一者适用:所述当前块的所述运动向量是所述当前块的时间运动向量,所述当前图片在第一视图中,所述第二参考图片和所述第三参考图片两者在第二视图中,所述第二视图是参考视图,所述第三参考图片的图片次序计数POC值等于所述当前图片的POC值,所述第一参考图片的POC值等于所述第二参考图片的POC值,所述第一参考图片的所述POC值和所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,其中所述第三参考图片中的所述第三参考块的位置基于所述当前块的视差向量确定,且所述第二参考块的所述位置通过确定所述第二参考块的所述位置以使得所述第二参考块的所述位置由所述当前块的所述时间运动向量和所述当前块的所述视差向量的总和指示来确定;或所述当前块的所述运动向量是所述当前块的视差运动向量,所述当前图片和所述第二参考图片两者在第一视图中,所述第三参考图片在第二视图中,所述第二视图是参考视图,所述第二参考图片的所述POC值不同于所述当前图片的所述POC值,所述第三参考图片的所述POC值不同于所述当前图片的所述POC值且等于所述第二参考图片的所述POC值,且所述第一参考图片具有与所述当前图片相同的POC值且在所述第二视图中,其中所述第三参考块的位置被确定以使得所述第三参考图片中的所述第三参考块的所述位置由所述第一参考块的时间运动向量指示,且所述第二参考块的所述位置通过再使用所述第一参考块的所述时间运动向量以确定所述第二参考块的所述位置来确定;以及确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的位置处,其中对于多个阶段中的每一相应阶段,用于所述相应阶段的所述可分离的双线性内插滤波器的相应系数的总和等于64,所述多个阶段中的每一相应阶段对应于视频译码标准所允许的相应子整数位置,用于所述相应阶段的所述可分离的双线性内插滤波器的所述相应系数等于(x*8,(8-x)*8),其中x等于在0到8的范围内的值,其中所述阶段指代子整数位置;
以及
至少部分地基于所述预测性块确定残余块;以及
在位流中包含表示所述残余块的数据。
10.根据权利要求9所述的视频编码装置,其中所述残余块的每一相应样本等于所述当前块的相应样本与所述预测性块的相应样本之间的差,其中所述当前块的所述相应样本和所述预测性块的所述相应样本对应于所述残余块的所述相应样本的位置。
11.根据权利要求9所述的视频编码装置,其进一步包括经配置以俘获所述当前图片的相机。
12.根据权利要求9所述的视频编码装置,其中所述装置包括以下各者中的至少一者:集成电路;
微处理器;或
无线通信装置。
13.一种其上存储有指令的计算机可读存储媒体,所述指令在被执行时致使用于对视频数据进行译码的装置执行权利要求1-12中的任意一者。
说明书 :
编码和解码视频数据的方法、装置和计算机可读存储媒体
个内容以引用的方式并入本文中。
技术领域
背景技术
分高级视频译码(AVC)、ITU-T H.265所定义的标准、目前正在开发的高效率视频译码
(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频
压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于
同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时
间预测。图片可被称为帧,且参考图片可被称为参考帧。
经译码块与预测性块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经
帧内译码块。为了进一步压缩,可将残余数据从像素域变换至变换域,从而产生残余系数,
可接着量化所述残余系数。可扫描最初布置为二维阵列的经量化的系数,以便产生系数的
一维向量,且可应用熵译码以实现更多压缩。
者,一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中, 3D视
频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说,每一视图可包括一个
纹理视图分量和一个深度视图分量。
发明内容
中的高级残余预测(ARP)相关的实例技术。
的位置;将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参
考块的样本;确定第二参考图片中的第二参考块的位置;将所述可分离的双线性内插滤波
器应用于所述第二参考图片的样本以确定所述第二参考块的样本;将所述可分离的双线性
内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和
第三参考图片中的每一者是不同图片;确定预测性块,其中所述预测性块的每一相应样本
等于所述第一参考块的相应样本加相应残余预测符样本,所述相应残余预测符样本等于加
权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述
第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述
相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的
位置处;从位流获得表示残余块的数据;以及至少部分地基于所述残余块和所述预测性块
而重构所述当前图片的译码块。
的位置;将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参
考块的样本;确定第二参考图片中的第二参考块的位置;将所述可分离的双线性内插滤波
器应用于所述第二参考图片的样本以确定所述第二参考块的样本;将所述可分离的双线性
内插滤波器应用于第三参考图片的样本以确定第三参考块的样本,其中所述第一、第二和
第三参考图片中的每一者是不同图片;确定预测性块,其中所述预测性块的每一相应样本
等于所述第一参考块的相应样本减相应残余预测符样本,所述相应残余预测符样本等于加
权因数乘以所述第二参考块的相应样本与所述第三参考块的相应样本之间的差,其中所述
第一参考块的所述相应样本、所述第二参考块的所述相应样本以及所述第三参考块的所述
相应样本在所述第一、第二和第三参考块内对应于所述预测性块的所述相应样本的位置的
位置处;至少部分地基于所述预测性块确定残余块;以及在位流中包含表示所述残余块的
数据。
块的运动向量确定第一参考图片中的第一参考块的位置;将可分离的双线性内插滤波器应
用于所述第一参考图片的样本以确定所述第一参考块的样本;确定第二参考图片中的第二
参考块的位置;将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本以确定
所述第二参考块的样本;将所述可分离的双线性内插滤波器应用于第三参考图片的样本以
确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图片;以及
确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应
残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本
与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二
参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考
块内对应于所述预测性块的所述相应样本的位置的位置处。
于将可分离的双线性内插滤波器应用于所述第一参考图片的样本以确定所述第一参考块
的样本的装置;确定第二参考图片中的第二参考块的位置;用于将所述可分离的双线性内
插滤波器应用于所述第二参考图片的样本以确定所述第二参考块的样本的装置;用于将所
述可分离的双线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本的装
置,其中所述第一、第二和第三参考图片中的每一者是不同图片;以及用于确定预测性块的
装置,其中所述预测性块的每一相应样本等于所述第一参考块的相应样本减相应残余预测
符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的相应样本与所述第
三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、所述第二参考块的
所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和第三参考块内对应
于所述预测性块的所述相应样本的位置的位置处。
的当前块的运动向量确定第一参考图片中的第一参考块的位置;将可分离的双线性内插滤
波器应用于所述第一参考图片的样本以确定所述第一参考块的样本;确定第二参考图片中
的第二参考块的位置;将所述可分离的双线性内插滤波器应用于所述第二参考图片的样本
以确定所述第二参考块的样本;将所述可分离的双线性内插滤波器应用于第三参考图片的
样本以确定第三参考块的样本,其中所述第一、第二和第三参考图片中的每一者是不同图
片;以及确定预测性块,其中所述预测性块的每一相应样本等于所述第一参考块的相应样
本加相应残余预测符样本,所述相应残余预测符样本等于加权因数乘以所述第二参考块的
相应样本与所述第三参考块的相应样本之间的差,其中所述第一参考块的所述相应样本、
所述第二参考块的所述相应样本以及所述第三参考块的所述相应样本在所述第一、第二和
第三参考块内对应于所述预测性块的所述相应样本的位置的位置处。
附图说明
具体实施方式
测块。此外,在一些实例中,视频编码器将加权因数应用于残余预测符。另外,视频编码器使用帧间预测以产生当前块的初始预测性块。视频编码器接着可产生当前块的最终预测性块
(即,最终预测符)。
的残余块。概念上,当前块的残余块中的每一相应样本指示当前块的最终预测性块中的相
应对应样本与当前块自身中的相应对应样本之间的差。
块的左上方样本具有相同的位置。视频编码器在包括经编码视频数据的位流中包含表示当
前块的残余块的数据。
始预测性块。视频译码器随后确定当前块的最终预测性块(即,最终预测符)。概念上,最终
预测性块的每一样本等于残余预测符的对应样本以及初始预测性块的对应样本的总和。
当前块的残余块的相应对应样本以及当前块的最终预测性块的相应对应样本的总和。
图片中的第一参考块的位置。在一些情况下,所述运动向量是时间运动向量。在其它情况
下,所述运动向量是视差运动向量。
之外,视频译码器还确定第二参考图片中的第二参考块的位置和第三参考图片中的第三参
考块的位置。
和第三参考块产生残余预测符。举例来说,残余预测符的每一相应残余样本可等于加权因
数乘以第二参考块中的相应对应样本与第三参考块中的相应对应样本之间的差。
片列表(L1)中的参考图片的运动向量。当视频译码器使用ARP对经双向帧间预测当前块进
行译码时,视频译码器使用当前块的L0运动向量以基于L0中的时间参考图片(即, L0参考
图片)的样本而确定第一L0参考块。另外,视频译码器可确定L0残余预测符。
块。初始L0预测性块中的每一相应样本可指示第一L0参考块的相应样本以及加权因数乘以
L0残余预测符中的对应样本的总和。视频译码器可以L1运动向量重复此过程以确定初始L1
预测性块。
初始L0和L1预测性块的样本的权重可基于L0参考图片、L1参考图片和当前图片的POC值。因
此,无论当前块是经单向还是双向帧间预测(即,单向预测或双向预测),视频译码器都可产
生当前块的最终预测性块。本发明可简单地将最终预测性块称为预测性块和残余预测符。
本在本文中可被称作“整数样本”。当运动向量指示参考图片的两个实际样本之间的位置
时,视频编码器基于参考图片的整数样本而内插参考块的样本。因此,视频译码器可内插参
考块中的样本作为在ARP中产生残余预测符的部分。
视频译码器可支持具有8位的位深度的样本。因此,在此实例中,样本可具有从-128 到127
的范围。另外,在此实例中,两个样本的相加可导致大于127的值,且一个样本从另一样本减去可导致小于最小值(例如,-128)的值。因此,视频译码器可削减大于127 的值为127且可
削减小于-128的值为128。此外,内插过程可导致样本在适用范围之外。因此,在一些情况
下,视频译码器可削减经内插样本。
案再使用HEVC内插功能。此些中间数据可包含当前块的预测性块和当前块的参考块的样
本。因为视频译码器削减中间数据,所以视频译码器针对单向预测ARP每样本执行三次削减
操作,因为视频译码器以内插过程产生三个预测块(即,当前块的预测性块和参考块)。
位置的样本的值时,视频译码器使用削减操作以确定在全整数位置的周围样本的x 和y坐
标。
耗。
图片的样本以确定第一参考块的样本。类似地,当确定第二参考块时,视频译码器可将可分
离的双线性内插滤波器应用于第二参考图片的样本以确定第二参考块的样本。类似地,当
确定第三参考块时,视频译码器可将可分离的双线性内插滤波器应用于第三参考图片的样
本以确定第三参考块的样本。由于应用此可分离的双线性内插滤波器,因此可避免不可分
离的滤波器涉及的削减操作,这可减少复杂性。另外,可再使用HEVC 设计中的经加权预测
过程。
(High Efficiency Video Coding(HEVC)Defect Report 3)”(ITU-T SG16WP3和ISO/IEC
JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第16次会议,美国圣何塞,2014 年1月,
文档编号JCTVC-P1003_v1(下文为“HEVC版本1”或“HEVC草案规范”)) 中使用的其它双线性内插滤波器相同。换句话说,对于多个阶段中的每一相应阶段,用于相应阶段的可分离的双
线性内插滤波器的系数的总和等于64,所述多个阶段对应于位流所符合的视频译码标准
(例如,3D-HEVC)允许的子整数位置。在一些实例中,对于所述多个阶段中的每一相应相位,用于相应阶段的可分离的双线性内插滤波器的相应系数的总和等于(x*8,(8-x)*8),其中x
等于在0到8的范围内的值。总计为64的系数可具有通过协调在ARP中使用的内插滤波器与
在HEVC版本1中在别处使用的双线性内插滤波器而减少复杂性的增加益处。
考图片的样本以确定第一参考块的样本。另外,视频译码器可确定第二参考图片中的第二
参考块的位置。此外,视频译码器可将可分离的双线性内插滤波器应用于第二参考图片的
样本以确定第二参考块的样本。视频译码器可将可分离的双线性内插滤波器应用于第三参
考图片的样本以确定第三参考块的样本。第一、第二和第三参考图片中的每一者是不同图
片。视频译码器可确定预测性块。预测性块的每一相应样本等于第一参考块的相应样本加
相应残余预测符样本。相应残余预测符样本等于非零加权因数乘以第二参考块的相应样本
与第三参考块的相应样本之间的差。第一参考块的相应样本、第二参考块的相应样本以及
第三参考块的相应样本在第一、第二和第三参考块内对应于预测性块的相应样本的位置的
位置处。
地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此,目的地装置14可
以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14 可以是视频编解码
装置或视频编解码设备的实例。
置)。网络元件15、源装置12、目的地装置14以及处理视频数据的其它类型的装置可视为视
频处理装置。
中,信道16包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置 14的一
或多个通信媒体。在此实例中,源装置12可以根据例如无线通信协议等通信标准调制经编
码的视频数据,并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可
以包含无线通信媒体和/或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。一或
多个通信媒体可形成基于数据包的网络的一部分,基于数据包的网络例如局域网、广域网
或全球网络(例如,因特网)。信道16可包含路由器、交换机、基站或促进从源装置12到目的
地装置14的通信的其它设备。
可以包含多种本地存取的数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。
存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储
经编码视频数据并且将经编码视频数据传输到目的地装置14的一种类型的服务器。实例文
件服务器包含网络服务器(例如,用于网站)、文件传输协议(FTP)服务器、网络附接存储
(NAS)装置和本地磁盘驱动器。
(DSL)、电缆调制解调器等),或适合于存取存储在文件服务器上的经编码视频数据的两者
的组合。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
据进行解码,或其它应用。在一些实例中,视频译码系统10可经配置以支持单向或双向视频
传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
网络上流式传输或以类似方式处理数据(例如,视频数据)。视频编码装置可将数据(例如,
视频数据)编码且存储到存储器,和/或视频解码装置可从存储器检索且解码数据(例如,视
频数据)。在许多实例中,通过并不彼此通信而是简单地编码数据到存储器和/或从存储器
检索数据且解码数据(例如,视频数据)的装置执行编码和解码。
频俘获装置(例如,摄像机)、含有先前俘获的视频数据的视频存档、用于从视频内容提供者
接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统,或视频数据的
此等源的组合。因此,在一些实例中,源装置12包括经配置以俘获视频数据的相机。
视频数据也可存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码
和/或回放。
编码视频数据。视频解码器30可对经编码视频数据进行解码。显示装置32经配置以显示经
解码视频数据。显示装置32可与目的地装置14集成或在目的地装置14外部。显示装置32可
以包括多种显示装置,例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示
器或另一类型的显示装置。
将软件的指令存储在合适的非暂时性计算机可读存储媒体中,且可使用一或多个处理器以
硬件执行指令从而执行本发明的技术。可以将前述内容中的任一者(包含硬件、软件、硬件
与软件的组合等)视为一或多个处理器。视频编码器20和视频解码器30 中的每一者可以包
含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为相应装置中
的组合编码器/解码器(编解码器)的一部分。
或其它数据。此传送可实时或几乎实时发生。替代地,此通信可经过一段时间后发生,例如
可在编码时以经编码位流将语法元素存储到计算机可读存储媒体时发生,解码装置接着可
在所述语法元素存储到此媒体之后的任何时间检索所述语法元素。
码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的3DV扩展。在一些情况下,符合H.264/
AVC的基于MVC的3DV扩展的任何位流始终含有顺应H.264/AVC 的MVC扩展的子位流。MVC的
最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码(Advanced video
coding for generic audiovisual services)”(ITU-T建议 H.264)中。此外,正在致力于
产生H.264/AVC的三维视频(3DV)译码扩展,即基于AVC 的3DV。在其它实例中,视频编码器
20和视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC
MPEG-2视觉、ITU-T H.263以及ISO/IEC MPEG-4 视觉来操作。
译码(HEVC)标准操作。HEVC草案规范可得自:http://phenix.it-sudparis.eu/jct/ doc_
end_user/documents/16_San%20Jose/wg11/JCTVC-P1003-v1.zip。
“色度”样本。在其它情况下,图片可为单色的且可仅包含明度样本阵列。在其它实例中,图片可包括用于不同类型的颜色分量的样本阵列,例如RGB、YCgCo 等等。
译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中,CTU
可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样
本的NxN块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。 HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而,CTU未必限于特定大小,并且可以包含一或多个
译码单元(CU)。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
两个对应的译码块,以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三
个单独颜色平面的图片中,CU可包括单个译码块和用以对译码块的样本进行译码的语法结
构。
色度样本的两个对应预测块和用以预测预测块的语法结构。在单色图片或具有三个单独颜
色平面的图片中,PU可包括单个预测块和用以预测预测块的语法结构。视频编码器20可针
对CU的每一PU的预测块(例如,明度、Cb和Cr预测块)产生预测性块(例如,明度、Cb和Cr预测性块)。
本产生PU的预测性块。如果视频编码器20使用帧间预测以产生PU的预测性块,那么视频编
码器20可基于除包含PU的图片外的一或多个图片的经解码样本而产生PU 的预测性块。
残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU
的原始明度译码块中对应的样本之间的差异。另外,视频编码器20 可以产生CU的Cb残余
块。CU的Cb残余块中的每一样本可以指示CU的预测性Cb 块中的一者中的Cb样本与CU的原
始Cb译码块中对应的样本之间的差异。视频编码器 20还可产生CU的Cr残余块。CU的Cr残余
块中的每一样本可以指示CU的预测性Cr 块中的一者中的Cr样本与CU的原始Cr译码块中的
对应样本之间的差异。
矩形(例如,正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本
的两个对应变换块及用以对变换块样本进行变换的语法结构。因此,CU 的每一TU可具有明
度变换块、Cb变换块以及Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块
可为CU的Cb残余块的子块。Cr变换块可以是CU的 Cr残余块的子块。在单色图片或具有三个
单独颜色平面的图片中,TU可包括单个变换块和用以对变换块的样本进行变换的语法结
构。
块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用至
TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用至TU的Cr变换块
以产生TU的Cr系数块。
量从而提供进一步压缩的过程。在视频编码器20量化系数块之后,视频编码器20 可以对指
示经量化变换系数的语法元素进行熵编码。举例来说,视频编码器20可对指示经量化变换
系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
元是含有NAL单元中的数据类型的指示及含有所述数据的呈按需要穿插有模拟阻止位的原
始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者包含 NAL单元
标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单
元标头指定的所述NAL单元类型代码指示NAL单元的类型。 RBSP可为含有囊封在NAL单元内
的整数数目个字节的语法结构。在一些情况下,RBSP 包含零个位。
(SEI)等的不同RBSP。囊封用于视频译码数据的RBSP(与用于参数集和SEI消息的RBSP相反)
的NAL单元可被称为视频译码层(VCL)NAL单元。在HEVC(即,非多层 HEVC)中,存取单元可为
按解码次序连续且含有确切一个经译码图片的NAL单元的集合。除经译码图片的经译码切
片NAL单元之外,存取单元还可含有不含经译码图片的切片的其它NAL单元。在一些实例中,
对存取单元的解码始终产生经解码图片。补充增强信息(SEI)含有并非对来自VCL NAL单元
的经译码图片的样本进行解码所必需的信息。SEI RBSP含有一或多个SEI消息。
素重构视频数据的图片。用以重建视频数据的过程通常可与由视频编码器20执行的过程互
逆。举例来说,视频解码器30可使用PU的运动向量来确定当前CU的PU 的预测性块。另外,视频解码器30可逆量化当前CU的TU的系数块。视频解码器30 可对系数块执行逆变换以重构
当前CU的TU的变换块。通过将用于当前CU的PU的预测性块的样本增加到当前CU的TU的变换
块的对应的样本上,视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU
的译码块,视频解码器30可重构图片。
于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC,可包含且支持用于纹理和
深度视图两者的新译码工具,包含处于CU/PU层级的那些译码工具。参考软件描述如下可
用:张等人的“3D-HEVC和MV-HEVC的测试模型6(Test Model 6of 3D-HEVC and MV-HEVC)”
(JCT3V-F1005,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联
合合作小组第6次会议:瑞士日内瓦,2013 年11月,下文为“JCT3V-F1005”)。JCT3V-F1005可从以下链接下载: http://phenix.it-sudparis.eu/jct2/doc_end_user/current_
document.php?id=1636。泰克等人的“3D-HEVC草案文本2(3D-HEVC Draft Text 2)”(ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组第6次会
议:瑞士日内瓦,2013 年11月,文献JCT3V-F1001(下文为“3D-HEVC草案文本2”))是3D-HEVC的工作草案。3D-HEVC草案文本2可从以下链接下载:http://phenix.it-sudparis.eu/
jct2/ doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v4.zip。
西亚,2014年3月29日至4月4日,文献JCT3V-H1001_v2(下文为“3D-HEVC草案文本4”或“当前
3D-HEVC”))是3D-HEVC的另一工作草案。
可存在同一场景的从不同视点的多个视图。在多视图译码和可缩放视频译码的上下文中,
术语“存取单元”可用以指代对应于同一时间实例的图片的集合。在一些情况下,在多视图
译码和可缩放视频译码的上下文中,存取单元可为根据指定分类规则彼此相关联、按解码
次序连续且含有与同一输出时间相关联的所有经译码图片的 VCL NAL单元及其相关联非
VCL NAL单元的NAL单元的集合。因此,视频数据可经概念化为随时间出现的一系列存取单
元。
单个存取单元中的视图的深度的经译码表示。纹理视图分量可为单个存取单元中的视图的
纹理的经译码表示。在本发明中,“视图”可指与相同视图识别符相关联的一连串视图分量。
量,且反之亦然(即,深度视图分量对应于所述组中的其纹理视图分量,且反之亦然)。如本
发明中所使用,对应于深度视图分量的纹理视图分量可被视为纹理视图分量且深度视图分
量为单一存取单元的同一视图的部分。
深度。作为一个实例,深度视图分量为仅包含明度值的灰阶图像。换句话说,深度视图分量
可不传达任何图像内容,而是提供纹理视图分量中的像素的相对深度的量度。
参考任何其它层中的图片,那么层可被称为“基础层”。如果层的解码取决于在一或多个其
它层中的图片的解码,那么所述层可被称为“非基础层”或“相依性层”。当对非基础层中的一者中的图片进行译码时,视频译码器(例如,视频编码器20或视频解码器30)可在图片与
视频译码器当前正译码的图片处于不同视图中但在同一时间实例 (即,存取单元)内的情
况下将所述图片添加到参考图片列表中。如同其它帧间预测参考图片,视频译码器可在参
考图片列表的任何位置处插入视图间预测参考图片。
素的NAL单元属于位流的不同层。因此,在多视图译码(例如,MV-HEVC)、3DV(例如, 3D-
HEVC)或SVC(例如,SHVC)中,NAL单元的nuh_reserved_zero_6bits语法元素指定所述NAL单
元的层识别符(即,层ID)。在一些实例中,如果一NAL单元与多视图译码 (例如,MV-HEVC)、
3DV译码(例如,3D-HEVC)或SVC(例如,SHVC)中的基础层有关,那么所述NAL单元的nuh_
reserved_zero_6bits语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解
码位流的基础层中的数据。如果NAL单元并不涉及多视图译码、3DV或SVC中的基础层,那么
语法元素的nuh_reserved_zero_6bits语法元素可具有非零值。如上文所指出,在多视图译
码和3DV译码中,位流的不同层可对应于不同视图。
流移除,而不影响所述层中的其它视图分量/层表示的可解码性。移除囊封此些视图分量/
层表示的数据的NAL单元可减小位流的帧速率。可在不参考在一层内的其它视图分量/层表
示的情况下解码的在所述层内的视图分量/层表示的子集可在本文中被称作“子层”或“时
间子层”。
间识别符。一般来说,如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符,那么
可在不参考由第二NAL单元囊封的数据的情况下解码由第一NAL单元囊封的数据。
取单元标记为T0...T11及将视图标记为S0...S7。标记为“I”的正方形为经帧内预测视图分
量。标记为“P”的正方形为单向帧间预测视图分量。标记为“B”及“b”的正方形为经双向帧间预测视图分量。标记为“b”的正方形可将标记为“B”的正方形用作参考图片。从第一正方形指向第二正方形的箭头指示第一正方形可在帧间预测时用作第二正方形的参考图片。如由
图2中的垂直箭头所指示,可将同一存取单元的不同视图中的视图分量作为参考图片。因
此,图2展示用于多视图视频译码的典型的多视图译码预测(包含每一视图内的图片间预测
及视图间预测两者)结构,其中由箭头指示预测,被指向对象使用指出对象用于预测参考。
将存取单元的一个视图分量用作相同存取单元的另一视图分量的参考图片可被称为视图
间预测。
它非基础视图的视图间预测的参考图片列表中。视图间预测参考图片可以与帧间预测参考
图片相同的方式放入参考图片列表的任何位置中。
另一种类型是指向不同视图中的图片(即,视图间参考图片)的视差运动向量(DMV)且对应
帧间预测为视差补偿预测(DCP)。视频译码器可使用时间运动向量和视差运动向量两者用
于帧间预测。一般来说,视差向量不是视差运动向量,除非用于帧间预测。
测符维持运动向量(MV)候选者列表。当前PU的运动向量(以及合并模式中的参考索引)是通
过从MV候选者列表获取一个候选者而产生。
动向量和参考索引。如果通过合并索引来识别合并候选者,那么参考图片用于当前块的预
测以及确定相关联的运动向量。然而,在AMVP模式下,对于自列表0或列表 1起的每一潜在
预测方向,将参考索引连同对MV候选者列表的MVP索引一起明确地用信号表示,这是因为
AMVP候选者仅含有运动向量。在AMVP模式中,进一步用信号表示所选运动向量与对应于MVP
索引的运动向量预测符之间的运动向量差。如可从上文看出,合并候选者对应于整个运动
信息集合,而AMVP候选者仅含有用于特定预测方向的一个运动向量和参考索引。
体来说,如下描述主要过程。
入到基础合并候选者列表中,以使得候选者的总数等于MaxNumMergeCand,其等于例如在视
图间预测或运动参数继承(MPI)经启用的情况下如切片标头中用信号表示的单视图HEVC候
选者的数目加一。在此之后,形成HEVC基础候选者列表。第三,通过将额外3D-HEVC候选者以及HEVC基础候选者列表中的候选者插入到一个列表中而产生3D-HEVC合并列表。第四,额外
3D-HEVC候选者包含:经视图间预测的运动候选者,表示为IvMC;视图间视差向量候选者,表示为IvDC;视图合成预测候选者,表示为VSP;移位候选者,表示为IvShift,等于表示为
IvMCShift的经移位经视图间预测的运动候选者或由IvDCShift表示的经移位视差合并候
选者。
中的视差向量导出方法,其使用纹理优先译码顺序用于所有视图。在3D-HEVC 草案文本4
中,通过从参考视图的深度图检索深度数据可进一步精炼从NBDV导出的视差向量。
信息,所以当前块可使用相邻块中的运动向量信息作为良好预测符。依照此想法,NBDV 过
程使用相邻视差信息用于估计不同视图中的视差向量。
间和时间相邻块中的每一者。一旦视频译码器在视差运动向量候选者中找到视差运动向量
(即,所述运动向量指向视图间参考图片),视频译码器便将视差运动向量转换为视差向量。
视频译码器返回视差向量和相关联视图次序索引作为NBDV过程的输出。视图的视图次序索
引可指示所述视图相对于其它视图的相机位置。如上方提及,视频译码器可在NBDV过程中
使用相邻块的两个集合。相邻块的一个集合是空间相邻块并且相邻块的另一集合是时间相
邻块。
展开发联合合作小组第1次会议:瑞典斯德哥尔摩,2012年7月16-20日,文献JCT3V-A0097
(下文为“JCT3V-A0097”))中所提议的NBDV过程首先采用到3D-HEVC中。NBDV导出过程已经
进一步调适。举例来说,在桑(Sung)等人的“3D-CE5.h:基于HEVC的3D视频译码的视差向量
导出的简化(3D-CE5.h:Simplification of disparity vector derivation for HEVC-
based 3D video coding)”(ITU-T SG 16WP 3和ISO/IEC JTC1/SC 29/WG 11 的3D视频译
码扩展开发联合合作小组第1次会议:瑞典斯德哥尔摩,2012年7月16-20 日,文献JCT3V-
A0126(下文为“JCT3V-A0126”))中的简化NBDV包含隐式视差向量(IDV)。此外,在康等人的
“3D-CE5.h相关:用于视差向量导出的改进(3D-CE5.h related: Improvements for
disparity vector derivation)”(ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D
视频译码扩展开发联合合作小组第2次会议:中国上海,2012年10月 13-19日,文献JCT3V-
B0047(下文为“JCT3V-B0047”))中,通过移除存储在经解码图片缓冲器中的IDV而进一步简
化NBDV导出过程,同时提供关于RAP图片选择的改进的译码增益。康等人的“CE2:在3D-HEVC中的基于CU的视差向量导出(CE2:CU-based Disparity Vector Derivation in 3D-
HEVC)”(ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作
小组第4次会议:韩国仁川,2013年4月 20-26日,文献JCT3V-D0181)提出了基于CU的NBDV,
其中DV是针对CU导出且应用于其中的所有PU。
由A0、A1、B0、B1或B2表示。图3是说明相对于一个CU 40的实例空间运动向量相邻者的概念图。
图3中所示的空间相邻者与HEVC版本1中的合并和AMVP模式中使用的那些空间相邻者相同。
因此,在一些实例中,当执行NBDV过程时不需要额外存储器存取来检索空间相邻的运动信
息。
地点的参考图片插入到候选图片列表,接着按参考索引的升序插入额外候选图片。含有当
前块的切片的切片标头中的一或多个语法元素可指示位于同一地点的参考图片。当两个参
考图片列表中具有相同参考索引的参考图片可用时,位于同一地点的图片的同一参考图片
列表中的参考图片在另一参考图片前面。对于候选图片列表中的每一候选图片,确定三个
候选区以用于导出时间相邻块。
出的视差向量”。即使块是以运动预测译码的,为了对随后的块进行译码的目的也不会丢弃
所导出的视差向量。
邻块中的视差运动向量以及随后的IDV。一旦视频译码器找到视差运动向量或IDV,则视频
译码器终止NBDV过程。此外,在3D-HTM 7.0的当前设计和3D-HTM的稍后版本中,在NBDV过程
中检查的空间相邻块的数目进一步减少到2。
两个步骤:
视图合成预测模式译码的,那么视频译码器将经精炼视差向量存储为一个PU的运动向量。
在一些设计中,无论从NBDV过程导出的视图次序索引的值如何,视频译码器都始终存取基
础视图的深度视图分量。
外,引入加权因数以补偿视图之间的质量差。当ARP针对一个块经启用时,视频编码器20用
信号表示当前残余与残余预测符之间的差。在一些实施方案中,ARP可仅适用于具有等于
Part_2Nx2N的分割模式的经帧间译码CU(即,每一CU具有仅一个PU)。 ARP可应用于明度(Y)
分量和色度(Cb及Cr)分量。在以下描述中,对一个块(或像素)的操作(例如求和、减法)的应
用意味着对所述块(或像素)中的每个像素的每一分量(Y、Cb 及Cr)的操作的应用。当需要
区分用于明度和色度分量的过程时,用于明度分量的过程被称作明度ARP(子PU ARP),且用
于色度分量的过程被称作色度ARP(子PU ARP)。
使用。POC值是与每一图片相关联的变量,使得当相关联图片将从经解码图片缓冲器输出
时,所述POC值指示所述相关联图片在输出次序中相对于同一CVS中将从经解码图片缓冲器
输出的其它图片的输出次序位置的位置。用于时间残余的ARP在第4 次JCT3V会议中的3D-
HEVC标准中采用,如张等人的“CE4:用于多视图译码的高级残余预测(CE4:Advanced
residual prediction for multiview coding)”(ITU-T SG 16WP 3和 ISO/IEC JTC 1/SC
29/WG 11的3D视频译码扩展开发联合合作小组第4次会议:韩国仁川,2013年4月20-26日,
文献JCT3V-D0177(下文为“JCT3V-D0177”))中所提议。
相应对应样本。将加权因数w进一步乘以残余预测符。因此,当前块的最终预测符表示为:
CurrTRef+w*(BaseTRef-Base)。换句话说,当前块(Curr)的最终预测符(即,最终预测性块)
的每一相应样本是基于CurrTRef的对应相应样本以及经加权残余预测符的相应对应样本
的总和,即,w*(BaseTRef-Base)。下文和图4的描述都是基于应用单向预测的假设。当延伸
到双向预测的情况时,以上步骤应用于每一参考图片列表。
引(分别对应于加权因数0、1和0.5的0、1和2)。在一些实例中,一个CU中的所有PU预测共享
相同加权因数。当加权因数等于0时,ARP不用于当前CU。
考视图的图片中,通过视差向量定位对应块。其次,再使用当前块的运动信息以导出参考块
的运动信息。视频解码器30基于当前块以及参考块的参考视图中的所导出参考图片的同一
运动向量应用用于对应块的运动补偿以导出残余块。
相同的POC值的参考图片选择为对应块的参考图片。第三,解码器30将加权因数应用于残余
块以获得经加权残余块,且将经加权残余块的值添加到经预测样本。
译码器可使用当前块80的视差向量以识别对应块82。在图5的实例中,当前块80是双向预测
性的。因此,当前块80具有第一运动向量84和第二运动向量86。运动向量84指示参考图片88
中的位置。参考图片88在视图V1中和时间实例T0中。运动向量86指示参考图片90中的位置。
参考图片90在视图V0中和时间实例T3中发生。
94的样本或是从所述样本内插。因为当前块80是双向帧间预测的,所以视频译码器可基于
参考块93和95确定掺合的参考块。掺合参考块的每一相应样本是参考块 93的相应对应样
本和参考块95的相应对应样本的加权平均。视频译码器可使用当前块 80的两个运动向量
以确定第一残余预测符和第二残余预测符。另外,视频译码器可确定第一初始预测性块和
第二初始预测性块。第一初始预测性块可为参考块93和第一残余预测符的总和。第二初始
预测性块可为参考块95和第二残余预测符的总和。当前块80 的最终残余预测符的每一样
本可为第一和第二初始预测性块的对应样本的加权平均。
于视图间残余时,当前PU是使用视图间ARP。当ARP应用于时间残余时,当前PU是使用时间
ARP。在以下描述中,如果一个参考图片列表的对应参考是时间参考图片且应用ARP,那么其
指示为时间ARP。否则,如果用于一个参考图片列表的对应参考是视图间参考图片且应用
ARP,那么其指示为视图间ARP。
算的残余信息来预测当前块的视图间残余。此部分是在张等人的“CE4:高级残余预测的进
一步改进(CE4:Further improvements on advanced residual prediction)”(ITU-T SG
16WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展联合合作小组第6次会议:瑞士日
内瓦,2013年10月25日-11月1日,文献JCT3V-F0123(下文为“JCT3V-F0123”))中提出,其已采用到3D-HEVC中。
(mvLX)和由Base包含的参考索引(如果可用)定位的Base的参考块(由BaseRef表示);当前
视图中通过再使用来自Base的时间运动信息产生的参考块(由CurrRef表示),如图6中所
示。在一些实施方案中,视频解码器将CurrRef确定为在由BaseRef的位置坐标减视差运动
向量(DMV)指示的位置,其等于由Curr的位置坐标加时间运动向量 (mvLX)指示的位置。在
图6的实例中,Curr在当前图片100中,Base是基于参考图片 102中的样本,BaseRef是基于
参考图片104中的样本,且CurrRef是基于参考图片106 中的样本。
符的每一相应样本可基于CurrRef的相应对应样本减去BaseRef的相应对应样本。此外,视
频编码器20可将视图间预测符乘以如当前ARP中使用的加权因数。视频解码器30 可执行移
位运算以反转加权因数的作用。视频编码器20可产生Curr的最终预测性块以使得最终预测
性块的每一相应样本是基于Base的相应对应样本减去潜在地经加权残余预测符的相应对
应样本。举例来说,最终残余块的每一相应样本可等于Base的相应对应样本减去潜在地经
加权残余预测符的相应对应样本。Curr的残余的每一相应样本可基于Curr的预测块的相应
对应样本减去Curr的最终预测性块的对应相应样本。
同存取单元中的参考图片时,视频译码器可首先将所述时间运动向量按比例缩放为第一可
用时间参考图片。视频译码器接着可使用经按比例缩放运动向量来定位不同存取单元中的
两个块(即,BaseRef和CurrRef)。
29/WG 11的 3D视频译码扩展开发联合合作小组第3次会议:瑞士日内瓦,2013年1月17-23
日,文献编号JCT3V-C0049,下文为“JCT3V-C0049”)中,以非零加权因数译码的PU的参考图片可在块之间不同。因此,可能需要存取来自参考视图的不同图片以产生对应块的经运动
补偿块(即,图4中的BaseTRef)。当加权因数不等于0时,对于时间残余,在执行对于残余和
残余预测符产生过程两者的运动补偿之前,朝向固定图片按比例缩放当前 PU的运动向量。
当ARP应用于视图间残余时,参考块(即,图4中的Base)的时间运动向量朝向固定图片按比
例缩放,然而执行用于残余和残余预测符产生过程的运动补偿。在JCT3V-C0049中,对于两
种情况(即,时间残余或视图间残余),将所述固定图片界定为每一参考图片列表的第一可
用时间参考图片。当经解码的运动向量并不指向固定图片时,首先按比例缩放经解码运动
向量,且接着将其用以识别CurrTRef和BaseTRef。用于ARP的此参考图片称为目标ARP参考
图片。在当前切片(即,含有当前块的切片)是B 切片时,目标ARP参考图片与参考图片列表
相关联。因此,可使用两个目标ARP参考图片。
于从NBDV过程导出的视图次序索引的视图次序索引且具有RpRefPicLX的相同POC值的图片
表示为“RefPicInRefViewLX”。在以下条件中的一者是假时,针对参考图片列表X停用ARP:
如,图4中的Base、BaseTRef和CurrTRef以及图6中的Base、BaseRef和CurrRef)。
导致与输入信号相同的位深度中的中间预测信号,即,3D-HEVC译码工具性能评估中使用的
共同测试条件(CTC)下的8位。如3D-HEVC草案文本4的子条款 I.8.5.3.3.7.2中所描述,视
频解码器使用以下等式执行双线性滤波过程:
操作的一些实例。如下界定最终预测信号predSamples:
期在CTC情况中具有6的右移位以使滤波器系数的量值的总和正规化。
于如等式I-238中的不可分离的滤波器的方式完成。
3D-HEVC草案文本4的参考软件至少针对单向预测情况削减所有中间数据,因为当前实施方
案重新使用HEVC内插功能。这导致针对单向预测ARP每像素削减操作数目的三倍,因为以内
插过程产生三个预测块。以下等式描述所述削减:
含改善ARP的性能的以下方式中的一或多者。
总和加起来等于64,与HEVC版本1中使用的其它内插滤波器的总和相同。在此实例中,(a,b)
可等于(x*8,(8-x)*8),其中整数x等于在0到8的范围内的值。
用的双线性内插滤波器的情况下,双线性内插滤波器是“可分离的”,因为应用第一滤波器
以确定在主要子整数位置的样本的值。主要子整数位置从整数像素位置严格地垂直或水
平。将第二滤波器应用于在主要子整数位置的样本以确定在辅助子整数位置的样本的值。
辅助子整数位置并不从整数像素位置严格地垂直或水平。在此上下文中,术语“阶段”指代
子整数位置。
系数共计64,所以当应用ARP时使用的双线性内插滤波器可允许用于运动补偿的基础HEVC
中使用的双线性内插滤波器硬件的再使用。
CurrTRef。在图6的实例中,第一参考块标记为Base。视频编码器20将可分离的双线性内插
滤波器应用于第一参考图片的样本以确定第一参考块的样本。此外,在此单向ARP实例中,
视频编码器20确定第二参考图片中的第二参考块的位置。在图4的实例中,第二参考块标记
为BaseTRef。在图6的实例中,第二参考块标记为CurrRef。此外,在此实例中,视频编码器20可将可分离的双线性内插滤波器应用于第一参考图片的样本以确定第一参考块的样本。视
频编码器20将相同或不同的可分离的双线性内插滤波器应用于第二参考图片的样本以确
定第二参考块的样本。视频编码器20将相同或不同的可分离的双线性内插滤波器应用于第
三参考图片的样本以确定第三参考块的样本。在图4的实例中,第三参考块标记为Base。在
图6的实例中,第三参考块标记为 BaseRef。
权因数(例如,非零加权因数)乘以第二参考块的相应样本与第三参考块的相应样本之间的
差。第一参考块的相应样本、第二参考块的相应样本以及第三参考块的相应样本在第一、第
二和第三参考块内对应于预测性块的相应样本的位置的位置处。另外,在此实例中,视频编
码器20确定残余块。在此实例中,残余块的每一相应样本等于当前块的相应样本与预测性
块的相应样本之间的差。当前块的相应样本和预测性块的相应样本对应于残余块的相应样
本的位置。视频编码器20在位流中包含表示残余块的数据。
用于第一参考图片的样本以确定第一参考块的样本。在图4的实例中,第二参考块标记为
CurrTRef。在图6的实例中,第二参考块标记为Base。另外,在此实例中,视频解码器30确定第二参考图片中的第二参考块的位置。在图4的实例中,第二参考块标记为BaseTRef。在图6
的实例中,第三参考块标记为CurrRef。在此实例中,视频解码器30将可分离的双线性内插
滤波器应用于第二参考图片的样本以确定第二参考块的样本。视频解码器30将可分离的双
线性内插滤波器应用于第三参考图片的样本以确定第三参考块的样本。在图4的实例中,第
三参考块标记为Base。在图6的实例中,第三参考块标记为BaseRef。
因数乘以第二参考块的相应样本与第三参考块的相应样本之间的差。第一参考块的相应样
本、第二参考块的相应样本以及第三参考块的相应样本在第一、第二和第三参考块内对应
于预测性块的相应样本的位置的位置处。在此实例中,视频解码器30从位流获得表示残余
块的数据。视频解码器30部分地基于残余块和预测性块而重构当前图片的译码块。
滤波器的系数(a,b)的总和等于(x*8,(8-x)*8),其中x等于在0到8的范围内的值。
时间残余的实例中,当前图片(即,图4中的当前图片70)在第一视图(即,图4 中的V0)中。第二参考图片(即,参考图片76)和第三参考图片(即,参考图片74)都在不同于第一视图的第
二视图(即,图4中的V1)中。此外,在此实例中,当前块的运动向量是当前块的时间运动向量(即,TMV)。第三参考图片的POC值(即,图4中的T0)等于当前图片的POC值。在此实例中,视频译码器(例如,视频编码器20和/或视频解码器30) 可确定第一参考图片(即,参考图片72)。
第一参考图片的POC值(即,T1)等于第二参考图片的POC值。视频译码器可基于当前块的运
动信息的参考索引确定第一参考图片。第一参考图片的POC值和第二参考图片的POC值不同
于当前图片的POC值。此外,在此实例中,视频译码器基于当前块的视差向量(即,DV)确定第三参考块(即,Base)的位置。在此实例中,视频译码器确定第二参考块(即,BaseTRef)的位
置以使得第二参考块的位置由当前块的时间运动向量和当前块的视差向量的总和指示。
一视图(例如,图6中的V0)中。在此实例中,第三参考图片(例如,图6中的参考图片102)在不同于第一视图的第二视图(例如,图6中的V1)中。此外,在此实例中,当前块的运动向量是当前块的视差运动向量。第二参考图片的POC值(例如,图6中的 T1)不同于当前图片的POC值
(例如,图6中的T0)。第三参考图片的POC值不同于当前图片的POC值(例如,图6中的T0)且等
于第二参考图片的POC值。在此实例中,视频译码器(例如,视频编码器20和/或视频解码器
30)基于当前块的视差运动向量确定第一参考块(例如,图6中的Base)。第一参考图片具有
与当前图片相同的POC值(例如,图 6中的T0)且在第二视图(例如,图6中的V1)中。在此实例
中,视频译码器确定第三参考块(例如,图6中的BaseRef)的位置以使得第三参考块的位置
由第一参考块的时间运动向量指示。此外,在此些实例中,视频译码器通过再使用参考块的
时间运动向量确定第二参考块的位置来确定第二参考块(例如,图6中的CurrRef)的位置。
举例来说,在一些实例中,视频译码器可确定第二参考块的位置以使得第二参考块的位置
由第三参考块(例如,图6中的BaseRef)的位置坐标减去当前块的视差运动向量而指示。在
一些实例中,视频译码器可确定第二参考块的位置以使得第二参考块的位置由第一参考块
的时间运动向量的位置坐标指示。
来布置:结果可通过(14-bitDepth)的右移位而经正规化,以与经加权样本预测过程对准,
例如,如HEVC版本1的子条款8.5.3.3.4中的等式(8-239)。在此实例中,bitDepth 是当前分
量的位深度。
代实例中,如果如3D-HEVC草案文本4中使用不可分离的双线性滤波器,那么更改内插以使
得使用(bitDepth-8)的右移位而不是如3D-HEVC草案文本4中的6的右移位。
可仅在HEVC版本1中的经加权样本预测过程中执行削减操作。替代地,为了以 16位的范围
保持作为潜在地在基于运动补偿信号的两个双线性内插之间的减法的残余预测符,残余预
测符的削减可应用于使经削减的数据处于[-215,215-1]的范围内。所述两个值-215、215-1指示在削减之后的最小值和最大值(包含性),因此唯一地界定削减函数。
码块与预测块之间的差。所述参数可或可不显式地发射到视频解码器。
ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组第2次会议:中国上海
2012年10 月13-19日,文献JCT3V-B0045(下文为“JCT3V-B0045”))中所提议的设计,在CU层级用信号表示照明补偿,且通过如参考块的样本的当前块的相邻样本导出参数。随后,改变
模式的信令,如井贝(Ikai)等人的“3D-CE5.h:用于照明补偿的剖析相依性的移除 (3D-
CE5.h:Removal of parsing dependency for illumination compensation)”(ITU-T SG
16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展联合合作小组第4次会议:韩国
仁川,2013年4月20-26日,文献JCT3V-D0060(下文为“JCT3V-D0060”))中所提议。
的其相邻样本连同参考块的对应相邻样本是用于线性模型的输入参数。所述线性模型可通
过最小平方解而导出按比例缩放因数a和偏移b。参考视图中的对应相邻样本是由当前PU的
视差运动向量识别,如图7中所示。
所示。照明补偿中的AMVP和合并模式可在切片层级自适应地经启用或停用,以便减少额外
位和不必要的计算。
定基础视图图片126中的参考PU 124。视频译码器基于当前PU 122的相邻样本和参考PU
124的相邻样本确定按比例缩放因数a和偏移b。在图7的实例中,相邻样本展示为由正方形
封闭的圆。对于当前PU 122的预测性块的每一相应样本,视频译码器可将相应样本设定为
等于参考PU 124的相应对应样本由按比例缩放因数a按比例缩放加上偏移b的值。
减到[0,(1<
shift1设定为等于14-BitDepth,将offset1设定为等于1<<(shift1-1),将 shift2设定为
等于15-BitDepth,且将offset2设定为等于1<<(shift2-1)。将Pred[x] 表示为在位置x处
的最终预测样本。Pred[x]可根据以下步骤产生:
预测分别需要五次削减和两次削减。
次数的削减操作可减慢编码和解码速度。
中,如等式(1)的步骤1中应用了应用于运动补偿信号的削减操作。然而,在此实例中,应用
了如在步骤2等式(3)中对IC信号的削减操作,以使得IC信号在范围[0,216-1] 内。所述两个
值0、216-1指示在削减之后的最小值和最大值(包含性),且因此唯一地界定削减函数。
0)、(0,1)或(0.5,0.5)的权重(例如,由等于1的weightedPredFlag指示)应用时可强加约
束,以使得针对整个切片停用IC,即,slice_ic_enable_flag将等于1。
明描述在HEVC译码的上下文中的视频编码器20。然而,本发明的技术可以适用于其它译码
标准或方法。
214、经解码图片缓冲器216以及熵编码单元218。预测处理单元200包含帧间预测处理单元
220和帧内预测处理单元226。帧间预测处理单元220包含运动估计单元222和运动补偿单元
224。在其它实例中,视频编码器20可包含更多、更少或不同的功能组件。
图片缓冲器216可为存储参考视频数据用于由视频编码器20在对视频数据进行编码过程中
使用(例如,在帧内或帧间译码模式中)的参考图片存储器。视频数据存储器 201和经解码
图片缓冲器216可由多种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM),包
含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM) 或其它类型的存储器装置。视频
数据存储器201和经解码图片缓冲器216可由相同存储器装置或单独的存储器装置提供。在
各种实例中,视频数据存储器201可与视频编码器 20的其它组件一起在芯片上,或相对于
所述组件在芯片外。
大小相等的明度译码树块(CTB)和图片的对应CTB。作为对CTU进行编码的一部分,预测处理
单元200可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。较小块可为CU的译码块。例
如,预测处理单元200可将CTU的CTB分割成四个大小相等的子块,将子块中的一或多者分割
成四个大小相等的子子块等。
数据。作为对CU进行编码的一部分,预测处理单元200可以在CU的一或多个PU当中分割CU的
译码块。因此,每一PU可具有明度预测块和对应的色度预测块。视频编码器20和视频解码器
30可支持具有各种大小的PU。CU的大小可指CU 的明度译码块的大小并且PU的大小可指PU
的明度预测块的大小。假定特定CU的大小为2Nx2N,视频编码器20及视频解码器30可支持用
于帧内预测的2Nx2N或NxN的 PU大小,及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20以及视频解码器30还可以支持用于帧间预测的2NxnU、2NxnD、
nLx2N 以及nRx2N的PU大小的非对称分割。
中或B切片中,帧间预测处理单元220可对CU的PU执行不同操作。在I切片中,所有PU都是经
帧内预测。因此,如果PU是在I切片中,则帧间预测处理单元220并不对PU执行帧间预测。
的RefPicList0中的位置的参考索引。另外,运动估计单元222可产生指示PU的译码块与和
参考区相关联的参考位置之间的空间位移的运动向量。举例来说,运动向量可以是提供从
当前图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元222可将参考索
引及运动向量作为PU的运动信息输出。运动补偿单元224可基于由PU的运动向量指示的参
考位置处的实际或内插样本产生PU的预测性块。
考区域的第二参考图片列表(RefPicList1)。运动估计单元222可以将指示含有参考区的参
考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与相关联于参
考区的参考位置之间的空间移位的运动向量以及指示参考图片是在 RefPicList0中或在
RefPicList1中的一或多个预测方向指示符输出为PU的运动信息。运动补偿单元224可以至
少部分基于由PU的运动向量指示的参考位置处的实际样本或经内插样本来产生PU的预测
性块。
图片。运动估计单元222可产生指示含有参考区的参考图片的RefPicList0及 RefPicList1
中的位置的参考索引。另外,运动估计单元222可产生指示与参考区相关联的参考位置与PU
的预测块之间的空间移位的运动向量。PU的运动信息可包含PU的参考索引和运动向量。运
动补偿单元224可至少部分基于在由PU的运动向量指示的参考位置处的实际或内插样本产
生PU的预测性块。
以及B切片中的PU执行帧内预测。
226可使用来自相邻块的样本的特定集合产生PU的预测性块。假定对于PU、CU及CTU 采用从
左到右、从上到下的编码次序,相邻块可在PU的预测块的上方、右上方、左上方或左方。帧内预测处理单元226可使用各种数目的帧内预测模式,例如,33个定向帧内预测模式。在一些
实例中,帧内预测模式的数目可取决于PU的预测块的大小。
一些实例中,预测处理单元200基于预测性数据集合的速率/失真量度选择CU 的PU的预测
性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
置。此第一参考块可为由运动补偿单元224确定的预测性块。在此实例中,预测处理单元200
确定第二参考图片中的第二参考块的位置。此外,在此实例中,预测处理单元200将可分离
的双线性内插滤波器应用于第二参考图片的样本以确定第二参考块的样本。另外,在此实
例中,预测处理单元200将可分离的双线性内插滤波器应用于第三参考图片的样本以确定
第三参考块的样本。在此实例中,预测处理单元200确定预测性块。预测性块的每一相应样
本等于第一参考块的相应样本减去相应残余预测符样本。在此实例中,相应残余预测符样
本等于加权因数乘以第二参考块的相应样本与第三参考块的相应样本之间的差。第一参考
块的相应样本、第二参考块的相应样本以及第三参考块的相应样本在第一、第二和第三参
考块内对应于预测性块的相应样本的位置的位置处。
明度、Cb和Cr块而产生CU的明度、Cb和Cr残余块。在一些实例中,残余产生单元202可产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选
预测性块中的对应样本之间的差的值。
可不基于CU的PU的预测块的大小和位置。
元204可以将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实
例中,变换处理单元204不将变换应用于变换块。在此类实例中,变换块可被视作变换系数
块。
于m。量化单元206可基于CU的量化参数(QP)值量化CU的TU的变换系数块。视频编码器20可
通过调整用于CU的QP值而调整应用于CU的变换系数块的量化程度。量化可能使得信息丢
失,因此经量化的变换系数可以具有比原始变换系数更低的精度。
测处理单元200产生的一或多个预测性块的对应样本,以产生TU的经重构变换块。通过以此
方式重构CU的每一TU的变换块,视频编码器20可重构CU的译码块。
经重构的译码块。帧间预测处理单元220可使用含有经重构译码块的参考图片来对其它图
片的PU执行帧间预测。另外,帧内预测处理单元226可使用经解码图片缓冲器216 中的经重
构译码块来对与CU处于相同图片中的其它PU执行帧内预测。
码单元218可以对所述数据执行一或多个熵编码操作以产生经熵编码的数据。例如,熵编码
单元218可以对数据执行上下文自适应可变长度译码(CAVLC)操作、 CABAC操作、可变到可
变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分
割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输
出包含由熵编码单元218产生的经熵编码数据的位流。
述在HEVC译码的背景下的视频解码器30。然而,本发明的技术可以适用于其它译码标准或
方法。
解码图片缓冲器264。预测处理单元254包含运动补偿单元266和帧内预测处理单元268。在
其它实例中,视频解码器30可包含更多、更少或不同的功能组件。
线网络通信或通过存取物理数据存储媒体。CPB 250可形成存储来自经编码视频位流的经
编码视频数据的视频数据存储器。经解码图片缓冲器264可为参考图片存储器,其存储用于
通过视频解码器30(例如)以帧内或帧间译码模式对视频数据进行解码的参考视频数据。
CPB 250和经解码图片缓冲器264可由多种存储器装置中的任一者形成,例如,动态随机存
储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存
储器装置。CPB 250和经解码图片缓冲器264可由相同存储器装置或单独的存储器装置提
供。在各种实例中,CPB 250可与视频解码器30 的其它组件一起在芯片上,或相对于那些组
件在芯片外。
逆量化单元256、逆变换处理单元258、重构单元260和滤波器单元262可基于从位流获得的
语法元素而产生经解码视频数据。
片标头以及切片数据。切片标头可以含有关于切片的语法元素。
256可逆量化(即,解量化)CU的TU的系数块。逆量化单元256可使用TU 的CU的QP值来确定量
化的程度,及同样逆量化单元256将应用的逆量化的程度。即,可通过调整当量化变换系数
时所使用的QP的值来控制压缩比,即用以表示原始序列以及经压缩的序列的位的数目的比
率。压缩比还可取决于所采用的熵译码的方法。
逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用
于变换系数块。
度、Cb及Cr预测性块。帧内预测处理单元268可使用帧内预测模式以基于空间相邻PU的预测
块产生PU的预测性块。帧内预测处理单元268可基于从位流获得的一或多个语法元素确定
用于PU的帧内预测模式。
那么运动补偿单元254可基于由熵解码单元252从位流获得的语法元素而确定PU的运动信
息。运动补偿单元266可以基于PU的运动信息确定用于PU的一或多个参考区。运动补偿单元
266可基于在用于PU的所述一或多个参考块处的样本而产生PU的预测性块。举例来说,运动
补偿单元266可以基于PU的所述一或多个参考块的样本产生PU 的明度、Cb及Cr预测性块。
一参考块的位置。此第一参考块可为由运动补偿单元266产生的预测性块。此外,在此实例
中,预测处理单元254确定第二参考图片中的第二参考块的位置。在此实例中,预测处理单
元254将可分离的双线性内插滤波器应用于第二参考图片的样本以确定第二参考块的样
本。另外,预测处理单元254将可分离的双线性内插滤波器应用于第三参考图片的样本以确
定第三参考块的样本。在此实例中,预测处理单元254确定预测性块。预测性块的每一相应
样本等于第一参考块的相应样本减去相应残余预测符样本。在此实例中,相应残余预测符
样本等于加权因数乘以第二参考块的相应样本与第三参考块的相应样本之间的差。第一参
考块的相应样本、第二参考块的相应样本以及第三参考块的相应样本在第一、第二和第三
参考块内对应于预测性块的相应样本的位置的位置处。
测性明度、Cb及Cr块的残余值来重构CU的明度、Cb及Cr译码块。举例来说,重构单元260可将变换块的样本添加到预测性块的对应样本以重构CU 的译码块。
图片用于后续运动补偿、帧内预测和在显示装置(例如图1的显示装置32)上呈现。举例来
说,视频解码器30可基于经解码图片缓冲器264中的块对其它CU的PU执行帧内预测或帧间
预测操作。以此方式,视频解码器30可从位流获得系数块的变换系数层级,逆量化变换系数
层级,对变换系数层级应用变换以产生变换块,至少部分基于变换块而产生译码块,且输出
译码块以用于显示。
JCT3V-H1001_v2)的实例改变以实施此些实例技术。在以下文字中,方括号中所示的斜体文
字是从3D-HEVC草案文本4删除的文字。带下划线的文字是添加到3D-HEVC 草案文本4的文
字。此外,以下文字中提到的图I-1作为本发明的图10而再现。图10 是说明双线性内插中的
分数样本位置相依变量以及周围的整数位置样本的概念图。以下文字中提到的图x-x作为
本发明的图11而再现。
(picHeightInSamples/SubHeightC)。
本。这些样本可以用于产生预测明度/色度样本值predSampleLX[x,y]。分数样本单元
(xFracC,yFracC)中的位置偏移指定在全样本和分数样本位置处的所产生样本中的哪些指
派给预测样本值predSampleLX[x,y]。此指派如表8-8中指定,其中xFracC被xFrac代替,
yFracC被yFrac代替,且predSampleLXC[xC,yC]被predSampleLX[x,y]代替。输出是
predSampleLX[x,y]的值。
因为所述文字参考HEVC版本1规范。此处为了清楚目的而将其保持。]
所示,视频译码器使用不同滤波器等式(即,滤波器等式8-216到8-236)以确定用于不同子
整数像素位置处的样本的经滤波值。滤波器等式表示可分离的双线性内插滤波器。
位置是位置ab0,0、ac0,0、ad0,0、ae0,0、af0,0、ag0,0、ah0,0、ba0,0、ca0,0、da0,0、ea0,0、 fa0,0、ga0,0、ha0,0、ab0,1、ac0,1、ad0,1、ae0,1、af0,1、ag0,1、ah0,1、ba1,0、ca1,0、da1,0、ea1,0、 fa1,0和ga1,0。第二滤波器应用于主要子整数位置处的样本以确定在辅助子整数位置处的样本的值。辅助子整
数位置并不从整数像素位置严格地垂直或水平。在图11中,辅助子整数位置是由整数像素
位置(即,B0,0、B1,0、B0,1和B1,1)和主要子整数位置界定的框内的子整数位置。
(即,等式8-216)包含两个系数56和8,其共计为64。
等式(8-216到8-236)中所示的可分离的双线性内插滤波器而不是先前使用的不可分离的
内插滤波器而减少削减操作的数目。
的文字展示相对于上述实例实施方案实施此简化实例的改变。
I.8.5.3.3.7.1中的等式I-238的以下修改。此实例实施方案不一定提供与上述两个实例实
施方案相比位准确的结果。
补偿样本两者的削减,即通过跳过等式(1)和(3)中的计算(即,分别为PredMcLX[x]=
clip3(0,(1<
(0, (1<
(1)中的计算。另外,此实例如下改变照明补偿样本的削减(即,等式(3)):
向量及其相关联参考图片是相同的,那么双向预测可作为单向预测执行)。
除的文字。
predFlagL0和predFlagL1、参考索引refIdxL0和refIdxL1、运动向量mvL0和mvL1、样本的位
深度bitDepth、指定颜色分量索引的变量cIdx作为输入,且输出是旗标 puIcFlagL0和
puIcFlagL1以及指定用于照明补偿的权重的变量icWeightL0和 icWeightL1、指定用于照
明补偿的偏移的变量icOffsetL0和icOffsetL1。
predSamplesIcL1、以及变量predFlagL0、predFlagL1、refIdxL0、refIdxL1和cIdx作为输
入。
nPbW、明度预测块高度nPbH、两个(nPbW)x(nPbH)阵列predSamplesL0和predSamplesL1、预
测列表利用旗标predFlagL0和predFlagL1以及位深度bitDepth作为输入。
块高度nPbH、两个(nPbW)x(nPbH)阵列predSamplesL0和predSamplesL1、预测列表利用旗标
predFlagL0和predFlagL1、参考索引refIdxL0和refIdxL1、颜色分量索引cIdx 以及位深度
bitDepth作为输入。
的动作。在图12的实例中,视频编码器20基于视频数据的当前图片中的当前块的运动向量
确定第一参考图片中的第一参考块的位置(300)。视频编码器20可将可分离的双线性内插
滤波器应用于第一参考图片的样本以确定第一参考块的样本(301)。
样本(304)。视频编码器20将可分离的双线性内插滤波器应用于第三参考图片的样本以确
定第三参考块的样本(306)。第一、第二和第三参考图片中的每一者是不同图片。
0到8的范围内的值。因此,在一些实例中,对于第一参考块、第二参考块或第三参考块的每
一相应样本,视频解码器30可基于相应样本的位置应用以下公式中的一或多者以确定相应
样本:
相应样本与第三参考块的相应样本之间的差。第一参考块的相应样本、第二参考块的相应
样本以及第三参考块的相应样本在第一、第二和第三参考块内对应于预测性块的相应样本
的位置的位置处。举例来说,预测性块的相应样本可在坐标(4,5)处,其中所述坐标是相对
于预测性块的左上方样本。在此实例中,第一、第二和第三参考块的相应样本可在坐标(4,
5)处,其中所述坐标是分别相对于第一、第二和第三参考块的左上方样本。在一些实例中,
加权因数等于0、0.5或1。因为加权因数可等于1,所以在根本不应用加权因数的实例中,相
应残余预测符样本仍等于加权因数(即,1)乘以第二参考块的相应样本与第三参考块的相
应样本之间的差。
性块的相应样本对应于残余块的相应样本的位置。如本发明中在别处所描述,在其中当前
块是双向的实例中,预测性块是第一预测性块,且视频编码器20基于第一预测性块中的样
本、第二预测性块中的样本和当前块中的样本确定残余块。
且可产生表示经量化变换系数块的语法元素。视频编码器20可对所述语法元素进行熵编码
且在位流中包含经熵编码语法元素。因此,在此实例中,经熵编码语法元素包括表示残余块
的数据。
的第一参考块的位置(350)。视频解码器30可将可分离的双线性内插滤波器应用于第一参
考图片的样本以确定第一参考块的样本(351)。
(354)。此外,视频解码器30将可分离的双线性内插滤波器应用于第三参考图片的样本以确
定第三参考块的样本(356)。第一、第二和第三参考图片中的每一者是不同图片。在一些实
例中,视频解码器30应用可分离的双线性内插滤波器以确定第一参考块的样本。
0到8的范围内的值。因此,在一些实例中,对于第一参考块、第二参考块或第三参考块的每
一相应样本,视频解码器30可基于相应样本的位置应用以下公式中的一或多者以确定相应
样本:
加权因数乘以第二参考块的相应样本与第三参考块的相应样本之间的差。第一参考块的相
应样本、第二参考块的相应样本以及第三参考块的相应样本在第一、第二和第三参考块内
对应于预测性块的相应样本的位置的位置处。举例来说,预测性块的相应样本可在坐标(4,
5)处,其中所述坐标是相对于预测性块的左上方样本。在此实例中,第一、第二和第三参考
块的相应样本可在坐标(4,5)处,其中所述坐标是分别相对于第一、第二和第三参考块的左
上方样本。
解码器30可逆量化经量化变换系数且应用逆变换以恢复残余块的样本。
实例中,假定PU是单向的,视频解码器30可重构PU的预测块(即,译码块的对应于PU的部分)
以使得预测块的每一相应样本等于残余块的相应样本加预测性块的相应样本。残余块的相
应样本和预测性块的相应样本是在残余块和预测性块内对应于PU的预测块的相应样本的
位置的相应位置处。
一预测性块。举例来说,视频译码器可基于当前块的第二运动向量确定第四参考图片中的
第四参考块(例如,CurrTRef)的位置。视频译码器可将可分离的双线性内插滤波器应用于
第四参考图片的样本以确定第四参考块的样本。另外,视频译码器可部分地基于第二运动
向量确定第五参考图片中的第五参考块(例如,BaseTRef)的位置。此外,视频译码器可将可
分离的双线性内插滤波器应用于第五参考图片的样本以确定第五参考块的样本。视频译码
器可将可分离的双线性内插滤波器应用于第六参考图片的样本以确定第六参考块(例如,
Base)的样本。第四、第五和第六参考图片中的每一者是不同图片。在一些实例中,视频译码器还可应用可分离的双线性内插滤波器以确定第四参考块(例如,CurrTRef)的样本。此外,
视频译码器可确定第二预测性块。第二预测性块的每一相应样本等于第四参考块(例如,
CurrTRef)的相应样本加相应残余预测符样本。在此实例中,相应残余预测符样本等于加权
因数乘以第五参考块(例如,BaseTRef)的相应样本与第六参考块(例如,Base)的相应样本
之间的差。第四参考块的相应样本、第五参考块的相应样本以及第六参考块的相应样本在
第四、第五和第六参考块内对应于第二预测性块的相应样本的位置的位置处。在一些实例
中,第五和第六参考块中的至少一者相同于第二或第三参考块。
码器可基于第一预测性块和第二预测性块确定最终预测性块。最终预测性块的每一相应样
本可为第一预测性块和第二预测性块的对应样本的加权平均。在此实例中,经重构译码块
的每一相应样本可等于残余块和最终预测性块中的对应样本的总和。
确定最终预测性块。在此实例中,残余块的每一相应样本等于当前块的相应样本与最终预
测性块的对应相应样本之间的差。第二块的相应样本和第二预测性块的相应样本对应于第
二残余块的相应样本的位置。视频编码器可在位流中包含表示残余块的数据。
由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形
媒体(例如,数据存储媒体),或包含任何促进将计算机程序从一处传送到另一处(例如,根
据通信协议)的媒体的通信媒体。以此方式,计算机可读媒体通常可以对应于(1) 有形计算
机可读存储媒体,其是非暂时的,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码
及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且,任何
连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指
令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载
波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁
盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项
的组合也应包含在计算机可读媒体的范围内。
令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技
术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可以在经配置
用于编码和解码的专用硬件和/或软件模块内提供,或者并入在组合编解码器中。而且,所
述技术可完全实施于一或多个电路或逻辑元件中。
公开的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,
各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中,或者通过互操作硬
件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。