用于可伸缩视频编码的层间预测方法专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

用于可伸缩视频编码的层间预测方法

阅读：1152发布：2020-05-11

IPRDB可以提供用于可伸缩视频编码的层间预测方法专利检索，专利查询，专利分析的服务。并且本发明提供一种利用层间运动向量缩放因子来降低计算复杂性的层间运动向量缩放方法。在一个实施方式中，关于视频序列的增强层图片和基本层图片的图像大小信息被接收。层间运动向量缩放因子基于图像大小信息来确定。被缩放的运动向量基于基本层运行向量和层间运动向量缩放因子来确定。然后，被缩放的运动向量被提供以用于增强层图片的层间编码。在另一实施方式中，层间位置映射缩放因子基于关于增强层图片和基本层图片的图像大小信息来确定。对应于增强层像素位置的基本层映射位置基于增强层像素位置和层间位置映射缩放因子来确定。然后，在基本层映射位置的上采样基本层图片被提供以用于增强层图片的层间编码。，下面是用于可伸缩视频编码的层间预测方法专利的具体信息内容。

权利要求

1.一种用于可伸缩视频编码的层间预测方法，其特征在于，视频序列数据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基本层中的基本层图片更高的空间分辨率，该方法包括：接收关于视频序列的该增强层图片和该基本层图片的图像大小信息；

基于关于该增强层图片和该基本层图片的该图像大小信息，确定层间运动向量缩放因子；

确定与该基本层图片相关的基本层运动向量；

基于该基本层运动向量和该层间运动向量缩放因子，确定被缩放的运动向量；

提供该被缩放的运动向量以用于该增强层图片的层间编码；

其中，该层间运动向量缩放因子自已偏差预缩放的已裁剪增强层图片的分辨率至已裁剪基本层图片的分辨率的比率来确定，其中该已偏差预缩放的已裁剪增强层图片的分辨率通过将偏差值与预缩放的已裁剪增强层图片的分辨率相加来得到，以及其中该预缩放的已裁剪增强层图片的分辨率通过将该已裁剪增强层图片的分辨率算术左移K比特而得到，以及K为非负整数。

2.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征在于，该比率进一步剪切至具有最低值和最高值之间的范围内。

3.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征在于，层间运动向量缩放因子被确定以用于水平方向或垂直方向。

4.根据权利要求3所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于该水平方向和该垂直方向的单个层间运动向量缩放因子在序列级、图片级、或切片级中被发送出去。

5.根据权利要求3所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于该水平方向和该垂直方向的单个层间运动向量缩放因子在序列参数级、图片参数级、切片头、序列参数级扩展、图片参数级扩展或切片段头扩展中被发送出去。

6.根据权利要求3所述的用于可伸缩视频编码的层间预测方法，其特征在于，一个标志用于指示用于水平方向的层间运动向量缩放因子和用于垂直方向的层间运动向量缩放因子是否相等。

7.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征在于，该层间运动向量缩放因子被确定一次，以用于增强层图像单元，以及在该增强层图像单元中的所有区块共享该层间运动向量缩放因子，其中该增强层图像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个编码树区块、一个编码单元、或一个预测单元。

8.根据权利要求1所述的用于可伸缩视频编码的层间预测方法，其特征在于，进一步包括基于该层间运动向量缩放因子，确定层间位置映射缩放因子，其中该层间位置映射缩放因子用于确定对应于增强层像素位置的基本层映射位置，以及其中该基本层映射位置基于该增强层像素位置和该层间位置映射缩放因子来确定。

9.一种用于可伸缩视频编码的层间预测方法，其特征在于，视频序列数据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基本层中的基本层图片更高的空间分辨率，该方法包括：接收关于视频序列的该增强层图片和该基本层图片的图像大小信息；

基于关于该增强层图片和该基本层图片的该图像大小信息，确定层间位置映射缩放因子；

基于增强层像素位置和该层间位置映射缩放因子，确定对应于增强层像素位置的基本层映射位置；以及提供在该基本层映射位置处的上采样基本层图片，以用于该增强层图片的层间编码；

其中，该层间位置映射缩放因子自已偏差预缩放的已裁剪基本层图片分辨率至已裁剪增强层图片的分辨率的比率来确定，其中该已偏差预缩放的已裁剪基本层图片的分辨率通过将偏差值与预缩放的已裁剪基本层图片的分辨率相加来得到，以及其中该预缩放的已裁剪基本层图片的分辨率通过将该已裁剪基本层图片的分辨率算术左移N比特而得到，以及N为非负整数。

10.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于给定增强层像素位置的基本层映射位置通过将第一偏移项加至第一乘积来确定，其中该第一偏移项对应于基本层图片第一边缘，该第一乘积通过将该层间位置映射缩放因子与第一距离相乘来得到，该第一距离为从该给定增强层像素位置至增强层图片第一边缘的距离。

11.根据权利要求10所述的用于可伸缩视频编码的层间预测方法，其特征在于，该第一乘积进一步与偏差值相加，而得到已偏差的第一乘积，并将该已偏差的第一乘积算术右移N比特，以及N为非负整数。

12.根据权利要求10所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于该给定的增强层像素位置的该基本层映射位置通过将第二偏移项与该第一偏移项和该第一乘积相加来确定，其中该第二偏移项对应于与应用于该增强层图片和该基本层图片的上采样和下采样相关的相移。

13.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，在该确定对应于该增强层像素位置的该基本层映射位置之前，该增强层像素位置被剪切至与该增强层图片的增强层图片大小或已裁剪增强层图片大小相关的范围。

14.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，在该确定对应于该增强层像素位置的该基本层映射位置之后，基本层映射像素位置被剪切至与该基本层图片的基本层图片大小或已裁剪基本层图片大小相关的范围。

15.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，层间位置映射缩放因子被确定以用于水平方向或垂直方向。

16.根据权利要求15所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于该水平方向和该垂直方向的单独的层间位置映射缩放因子在序列级、图片级、或切片级中被发送出去。

17.根据权利要求15所述的用于可伸缩视频编码的层间预测方法，其特征在于，用于该水平方向和该垂直方向的单独的层间位置映射缩放因子在序列参数级、图片参数级、切片头、序列参数级扩展、图片参数级扩展或切片段头扩展中被发送出去。

18.根据权利要求15所述的用于可伸缩视频编码的层间预测方法，其特征在于，一个标志用于指示用于水平方向的层间位置映射缩放因子和用于垂直方向的层间位置映射缩放因子是否相等。

19.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，该层间位置映射缩放因子被确定一次，以用于增强层图像单元，以及在增强层图片单元中的所有区块共享该层间位置映射缩放因子，其中该图像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个编码树区块、一个编码单元、或一个预测单元。

20.根据权利要求9所述的用于可伸缩视频编码的层间预测方法，其特征在于，进一步包括基于该层间位置映射缩放因子，确定层间运动向量缩放因子，其中基于基本层运动向量和该层间运动向量缩放因子，确定被缩放的运动向量。

说明书全文

用于可伸缩视频编码的层间预测方法

[0001] 交叉引用

[0002] 本发明主张在2013年3月12日提出的申请号为61/777,250、标题为“Methods of Motion Vector Scaling with Frame Cropping for Scalable Video Coding”的美国临时专利申请案的优先权；主张在2013年3月19日提出的申请号为61/803,222、标题为“Methods of Motion Vector Scaling and Pixel Position Mapping with Frame Cropping for Scalable Video Coding”的美国临时申请案的优先权；主张在2013年4月22日提出的申请号为61/814,591、标题为“Methods of simplified motion vector scaling and pixel position mapping for scalable video coding”的美国临时申请案的优先权；以及主张在2013年7月15日提出的申请号为61/846,128、标题为“Methods of Inter-layer Motion Vector Scaling and Inter-layer Pixel Position Mapping with Phase Shift for Scalable Video Coding”的美国临时申请案的优先权。因此在全文中合并参考这些美国临时专利申请案。

技术领域

[0003] 本发明是有关于可伸缩视频编码，特别是有关于层间(inter-layer)运动向量缩放和层间像素位置映射。

背景技术

[0004] 压缩的数字视频已经广泛地应用于各种应用中。例如,对于数字网络的视频流和对于数字通道的视频传输。通常，单一的视频内容可以通过不同特性的网络来传输。举例来说，现场直播的体育赛事可以载入高宽带数据流格式，并通过收费视频服务的宽带网络传输。在这样的应用中，压缩的视频通常保存高分辨率和高品质，以使得视频内容适合于高清晰度设备，例如，高清晰度电视或高清晰度显示器。相同的内容也可以载入蜂窝数据网络，以使得该内容可以在便携式设备(例如，智能手机或通过网络连接的便携式媒体设备)上进行观看。在此应用中，由于网络带宽问题和在智能手机或便携式设备上的低分辨率显示，视频内容通常被压缩为低分辨率和低比特率。因此，对于不同的网络环境和不同的应用，视频分辨率和视频品质的要求是完全不同的。即使对于相同类型的网络，用户可能由于不同的网络基础设施和网络流量状况而感受到不同的可用带宽。因此，用户可能希望当可用带宽较宽时，接收高品质视频，当网络拥塞发生时，接收较低品质但是很流畅的视频。在另一种情况下，高端媒体播放器可以处理的高分辨率和高比特率的已压缩视频，然而由于限制的计算资源，低成本的媒体播放器仅能够处理低分辨率和低比特率的已压缩视频。相应地，需要以可伸缩的方法构造压缩的视频，以使得可以从相同的已压缩比特流处得到不同的时空分辨率及/或不同品质的视频。

[0005] ISO/IEC MPEG和ITU-T VCEG的联合视频工作组(joint video team,JVT)标准化对于H.264/AVC标准的可伸缩视频编码扩展。H.264/AVC可伸缩视频编码比特流包括从低帧率、低分辨率、和低品质到高帧率、高清晰度和高品质的视频信息。此种单一的比特流能够适应各种应用并能够在不同配置的设备上显示。相应地，H.264/AVC可伸缩视频编码适用于各种视频应用，例如，视频广播、视频数据流、以及视频监控，以适合网络基础设施，交通条件，用户偏好等。

[0006] 在可伸缩视频编码中，提供三种可伸缩类型，即时间可伸缩，空间可伸缩和品质可伸缩。可伸缩视频编码采用多层编码结构来实现三维可伸缩。可伸缩视频编码的主要目标是产生一个可伸缩比特流，以容易和迅速地适应各种传输信道、不同的显示能力、和不同的计算资源相关的比特率要求，而无需反式编码(trans-coding)或重编码(re-encoding)。可伸缩视频编码设计的一个重要特征是，在比特流层(bitstream level)提供这种可伸缩性。换言之，对于取得缩减空间及/或时间分辨率的视频的比特流，可以简单地通过从需要打算解码的视频的可伸缩比特流中提取网络抽象层(以下简称为NAL)单元(或网络数据包)而获得。可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。在可伸缩视频编码中，时间可伸缩通过层级B图片编码结构来提供。信噪比(以下简称为SNR)可伸缩通过编码较高品质的、包括细化系数(refinement coefficients)的增强层来实现。

[0007] 图1为由三层组成的可伸缩视频编码系统的预测结构的示意图。如图1所示，在可伸缩视频编码中，基于金字塔编码(pyramid coding)方案支持空间可伸缩。在具有空间可伸缩性的可伸缩视频编码系统中，首先下采样视频序列，以获得不同的空间分辨率(层)的较小图片。例如，原始分辨率的图片110可以通过空间抽取120处理，而获得分辨率降低的图片111。如图1所示，分辨率降低的图片111可进一步通过空间抽取121处理，而获得分辨率进一步减小的图象112。除二阶(dyadic)空间分辨率之外，该空间分辨率在每一层减小一半，可伸缩视频编码还支持任意分辨率的比率，这被称为扩展空间可缩放(extended spatial scalability,ESS)。图1中的可伸缩视频编码系统描述了三层空间可伸缩系统的示意图，其中第0层(即，空间第0层)对应于具有最低空间分辨率的图片，第2层(即，空间第2层)对应于具有最高空间分辨率的图片。不需要参考其他层，可以编码第0层，即单层的编码。例如，使用编码运动补偿和帧内预测130编码最底层图片112。

[0008] 运动补偿和帧内预测130将生成语法元素和编码相关信息(例如，运动信息)，以进一步用于基本层熵编码140。图1实际上描述了一个联合可伸缩视频编码系统，该系统提供空间可伸缩和品质可伸缩(也称为SNR可伸缩)。该系统也可提供时间可伸缩，这并没有明确显示出来。对于每一个单层编码，编码残差(residual coding errors)可以使用SNR增强层编码150而改善。图1中SNR增强层可以提供多个品质层(level)(品质可伸缩)。支持分辨率层的每一个品质层，可以由各自的单层运动补偿和帧内预测进行编码，例如非可伸缩编码系统。基于一个或多个的较低空间层，也可以使用层间编码来编码每个较高空间层。举例来说，在宏块或其他区块单元的基础上，使用根据第0层视频的层间预测或者使用单层编码，来自适应编码第1层(即，空间第1层)视频。同样地，使用基于重构的第1层视频的层间预测或使用单层编码，来自适应编码第2层视频。如图1所示,第1层图片111可以通过运动补偿和帧内预测131、基本层熵编码141和SNR增强层编码151来编码。如图1所示，运动补偿和帧内预测131也利用重建的基本层视频数据，其中在空间第1层中的编码块可使用重建的基本层视频数据作为附加的帧内预测数据(即，不涉及运动补偿)。相似地，第2层图片110可以通过运动补偿和帧内预测132、基本层熵编码142和SNR增强层编码152来编码。来自所有空间层的基本层比特流和SNR增强层比特流通过复用器160复用产生可伸缩的比特流。由于层间编码，可以提高编码效率。此外，编码空间第1层需要的信息取决于重建的第0层(层间预测)。可伸缩视频编码系统中较高层被称为增强层。H.264可伸缩视频编码提供三种类型的层间预测工具：层间运动预测、层间纹理预测(也称为层间帧内预测)、以及层间残差预测。

[0009] 在可伸缩视频编码中，增强层(EL)可以重新使用在基本层(BL)中的运动信息，以减少层间运动数据冗余。例如，增强层宏块编码可以使用一个标志，例如在语法元素mb_type之前的标志base_mode_flag被确定为指示增强层运动信息是否是直接来自于基本层。如果标志base_mode_flag等于1时，增强层宏块的分割数据以及相关的参考索引和运动向量来自基本层中同一位置的8×8区块相应的数据。基本层的参考图片索引直接用于增强层。增强层的运动向量是自与基本层相关的数据来进行缩放的。此外，已缩放的基本层运动向量可以被用作增强层的附加的运动向量预测子(predictor)。

[0010] 层间残差预测使用上采样的基本层残差信息，以减少所需编码增强层残差的信息。可使用双线性滤波器来区块式(block-wise)上采样基本层的同一位置的残差，以及基本层的同一位置的残差可用作在增强层中对应宏块的残差的预测。参考层残差的上采样以变换区块为基础来完成，以确保滤波没有穿越变换区块的边界。

[0011] 层间帧内预测降低增强层的冗余纹理信息。通过区块式上采样同一位置的基本层重建信号，来产生增强层的预测。在层间纹理预测(也称为层间帧内预测)上采样过程中，分别将4抽头和2抽头FIR滤波器应用于亮度和色度组分。不同于层间残差预测，层间帧内预测的滤波总是穿越子区块的边界。为简化解码，层间帧内预测可以仅应用基本层中的帧内编码宏块。

[0012] 图2为基于对应的基本层区块和基本层区块的相邻区块的运动信息的用于增强层区块的多个候选的推导的示意图。在可伸缩视频编码中，增强层中的区块的运动信息可利用基本层中对应区块的运动信息。举例来说，如图2所示，与在基本层中对应的位置a～h相关的运动信息可用于推导层间预测。在图2中，区块210对应于增强层中的当前区块以及区块220为基本层中对应的区块。在基本层中位置a、位置b、位置g和位置h处的运动信息为在增强层中位置A、位置B、位置G和位置H处对应的运动信息。位置c、位置d、位置e、位置f处的运动信息为在增强层中位置C、位置D、位置E和位置F处对应的运动信息。位置A、位置B、位置G和位置H为在增强层中的当前区块的四个角的像素，以及位置C、位置D，位置E和位置F和在增强层中的当前区块的四个中心像素。

[0013] 不仅在基本层中对应区块的运动信息而且在基本层中对应区块的相邻区块的运动信息可以用作增强层的层间候选，而包括于合并/先进运动向量预测候选清单中。如图2所示，在基本层中的相邻候选，包括相邻基本层区块的位置t(右下)、位置a0(左下)、位置a1(左)、位置b0(右上)、位置b1(上)，和位置b2(左上)，可用作增强层的候选，而包括在合并/先进运动向量预测候选清单的导出中。同一位置的增强层相邻区块分别对应于相邻增强层区块的位置T(右下)，位置A0(左下)、位置A1(左)，位置B0(右上)，位置B1(顶部)和位置B2(左上)。

[0014] 高效率视频编码(High-Efficiency Video Coding,HEVC)为由联合视频编码组(JCT-VC)开发的新的国际视频编码标准。HEVC的可伸缩扩展(即，SHVC)也在开发中。在HEVC中，空间和时间范围内的相邻区块的运动信息用于推导合并和运动向量预测候选。运动信息包括帧间预测方向(inter_pred_idc)、参考索引(refIdx)、运动向量、运动向量预测子、运动向量预测子索引、合并索引、合并候选等。在空间运动向量预测子的推导过程中，运动向量预测子可自指向作为目标参考图片的相同参考图片的运动向量来得到，或自指向不同参考图片的运动向量来得到。当运动向量预测子自指向不同参考图片的运动向量而得到时，该运动向量被缩放至目标参考图片并作为最终运动向量预测子。在空间和时间运动向量预测子的推导过程中，需要运用除法(division)来缩放运动向量。基于当前图片和目标图片之间的距离和在同位图片和对于同位区块的参考图片之间的距离的比例来计算缩放因子。在运动向量缩放过程中，由公式(1)来定义缩放因子：

[0015] ScalingFactor＝(POCcurr–POCref)/(POCcol–POCcol_ref)＝tb/td,(1)[0016] 其中，ScalingFactor为缩放因子，POCcurr为当前图片的图片顺序计数(picture order count)；POCref为参考图片的图片顺序计数；POCcol为同位图片的图片顺序计数；POCcol_ref为同位区块的运动向量指向的参考图片的图片顺序计数；td为在同位图片和由同位区块的运动向量指向的参考图片之间的图片顺序计数距离，以及tb为当前图片和目标参考图片之间的图片顺序计数距离。用于空间运动向量预测子推导的缩放因子可用相似的方法来得到。在HEVC中，缩放因子按如下所示公式来计算：

[0017] X＝(2^14+|td/2|)/td，以及 (2)

[0018] ScalingFactor＝clip(-4096,4095,(tb×X+32)>>6)。 (3)

[0019] 其中，X为缩放因子计算中间值，clip()为剪切函数。

[0020] 然后，被缩放的运动向量按如下所示的公式来得到：

[0021] ScaledMV＝sign(ScalingFactor×MV)×

[0022] ((abs(ScalingFactor×MV)+127))>>8 (4)

[0023] 其中，ScaledMV为被缩放的运动向量，MV为运动向量，sign()为取符号的函数；abs()为求绝对值的函数。

[0024] 在SHVC测试模型1.0(SHM-1.0)中，层间纹理预测可在两个方案中实现。第一方案使用编码单元级信令(signaling)来指示此编码单元预测子是否来自已上采样的基本层纹理。其中，帧内基本层模式Intra_BL mode用于发送选择。第二方案将已上采样的基本层纹理包括于参考帧清单中。换句话说，与已上采样的基本层纹理相关的参考图片被分配一个参考图片索引，即参考图片索引RefIdx。此方案被称为参考图片索引RefIdx模式。与参考图片相关的运动向量也被存储并用于帧间预测。相应地，对于被放大的(up-scaled)的基本层参考图片，相关的运动向量也需被放大。RefIdx模式对现有的HEVC语法影响较小。

[0025] 在SHM-1.0帧内基本层模式Intra_BL mode中，在基本层中对应的区块的中心运动向量(即，图2中位置f处的运动向量)被缩放，并设置为增强层合并候选清单中的第一合并候选以作为层间合并候选。层间合并候选的运动向量缩放过程与在HEVC过程中的运动向量缩放过程不同。在SHM-1.0中，基本层运动向量基于在增强层和基本层之间的视频分辨率的比率来缩放。被缩放的运动向量通过如下公式得到：

[0026] mvEL_X＝(mvBL_X×picEL_W+(picBL_W/2-1)×

[0027] sign(mvBL_X))/picBL_W,以及 (5)

[0028] mvEL_Y＝(mvBL_Y×picEL_H+(picBL_H/2-1)×

[0029] sign(mvBL_Y))/picBL_H, (6)

[0030] 其中，(mvEL_X,mvEL_Y)为增强层中被缩放的运动向量，(mvBL_X,mvBL_Y)为基本层中对应区块的中心运动向量，picEL_W和picEL_H为增强层图片的图片宽度和高度，以及picBL_W和picBL_H为基本层中图片的宽度和高度。

[0031] 在SHM-1.0中，对于具有像素位置等于(xEL,yEL)的增强层中的像素，像素位置映射用于得到对应增强层像素的基本层参考像素，该像素位置映射可通过如下公式得到：

[0032] xBL＝(xEL×picBL_W+picEL_W/2)/picEL_W,以及 (7)

[0033] yBL＝(yEL×picBL_H+picEL_H/2)/picEL_H, (8)

[0034] 其中，(xBL,yBL)为在基本层中的参考像素的像素位置，picEL_W和picEL_H为在增强层图片的图片宽度和高度，以及picBL_W和picBL_H为基本层图片的图片宽度和高度。

[0035] 在SHM-1.0纹理上采样中，基本层中参考像素的基本层像素位置以1/16个采样像素单位来输出。1/16个采样像素单位的基本层像素位置的推导描述如下：

[0036] 通过如下公式得到变量xBL16：

[0037] xBL16＝(xEL×picBL_W×16+picEL_W/2)/picEL_W。

[0038] 通过如下公式得到变量yBL16：

[0039] 若cIdx等于0，则变量yBL16通过如下公式得到：

[0040] yBL16＝(yEL×picBL_H×16+picEL_H/2)/picEL_H,

[0041] 否则，变量yBL16通过如下公式得到：

[0042] yBL16＝(yEL×picBL_H×16+picEL_H/2)/picEL_H-offset,

[0043] 其中，cIdx为颜色组分索引，以及通过如下描述得到偏移offset：

[0044] 若(picEL_H＝＝picBL_H)

[0045] offset＝0；

[0046] 否则若(picEL_H＝＝1.5*picBL_H)

[0047] offset＝1；以及

[0048] 否则若(picEL_H＝＝2.0*picBL_H)

[0049] offset＝2。

[0050] 在通过SHVC测试模型1.0(SHM-1.0)支持的参考图片索引RefIdx模式中，已解码的基本层图片被上采样并被包括于长期参考图片清单中，以作为层间参考图片。对于层间参考图片来说，不仅纹理自基本层图片上采样，而且运动场(motion field)根据增强层和基本层之间的空间比率而自基本层图片上采样和映射，图3为具有1.5倍空间可伸缩的运动场映射的示例。在此示例中，基本层(即，b0～b3)中的四个最小预测单元(SPUs)被映射至增强层(即，e0～e8)中的九个最小预测单元。在增强层中的九个预测单元的运动场自基本层的运动场来得到。

[0051] 为降低运动数据缓冲器的尺寸，增强层中的运动场在运动映射后被压缩为具有16x16区块的单元大小。图4描述了在压缩后用于表示16x16区块的运动向量的16x16区块的中心运动向量(由C表示)的示意图。如图4所示，在SHM-1.0中，在压缩后，16x16区块的中心运动向量(由C表示)用于代表此16x16区块的运动向量。

[0052] 如公式(5)和公式(6)所示，运动向量缩放涉及每一个运动向量的一些操作。在这些操作之间，推导过程最花时间或最复杂。此情况与公式(7)和公式(8)所示的层间像素位置映射相同。因此，需要开发一种简化用于层间编码的运动向量缩放和像素位置映射的方法。

发明内容

[0053] 本发明提供一种用于可伸缩视频编码的层间运动向量缩放方法。其中运动向量缩放利用层间运动向量缩放因子来降低计算复杂性。视频序列数据被配置为基本层和增强层，以及在该增强层中的增强层图片具有比在该基本层中的基本层图片更高的空间分辨率。根据本发明的实施方式接收关于视频序列的增强层图片和基本层图片的图像大小信息；并基于关于增强层图片和基本层图片的图像大小信息，确定层间运动向量缩放因子；接收与基本层图片相关的基本层运动向量；基于基本层运动向量和层间运动向量缩放因子，确定被缩放的运动向量；并且被缩放的运动向量被提供以用于增强层图片的层间预测编码。

[0054] 在一个实施方式中，层间运动向量缩放因子与增强层图片的已裁剪的增强层图片分辨率和基本层图片的已裁剪的基本层图片分辨率相关。层间运动向量缩放因子自已偏差预缩放的已裁剪增强层图片分辨率至已裁剪基本层图片分辨率的比率来确定，其中已偏差预缩放的已裁剪增强层图片分辨率通过将偏差值与预缩放的已裁剪增强层图片分辨率相加来得到，以及其中该预缩放的已裁剪增强层图片分辨率通过应用算术左移K比特至该已裁剪的增强层图片分辨率来得到，以及K为非负整数。该比率进一步剪切至具有最低值和最高值之间的范围内。

[0055] 在另一实施方式中，单个层间运动向量缩放因子被确定以用于水平方向和垂直方向。用于水平方向和垂直方向的单个层间运动向量缩放因子在序列级、图片级、或切片级中被发送出去。用于该水平方向和该垂直方向的该单个层间运动向量缩放因子在序列参数级、图片参数级、切片头、序列参数级扩展、图片参数级扩展或切片段头扩展中被发送出去。一个标志用于指示该单独的层间运动向量缩放因子是否相等。

[0056] 在又一实施方式中，层间运动向量缩放因子被确定一次，以用于增强层图像单元，以及在增强层图像单元中的所有区块共享层间运动向量缩放因子，其中增强层图像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个编码树区块、一个编码单元、或一个预测单元。在又一实施方式中，基于层间运动向量缩放因子，确定层间位置映射缩放因子，其中层间位置映射缩放因子用于确定对应于增强层像素位置的基本层映射位置，以及其中基本层映射位置基于增强层像素位置和层间位置映射缩放因子来确定。

[0057] 本发明提供一种用于可伸缩视频编码的层间位置映射方法。其中，像素位置映射利用层间位置映射缩放因子以降低计算复杂性。根据本发明的实施方式接收关于视频序列的增强层图片和基本层图片的图像大小信息；并基于关于增强层图片和基本层图片的图像大小信息，确定层间位置映射缩放因子。对应于增强层像素位置的基本层映射位置基于增强层像素位置和层间位置映射缩放因子被确定，并且基本层映射位置被提供以用于增强层图片的层间预测编码。

[0058] 在一个实施方式中，层间位置映射缩放因子与基本层图片的已裁剪的基本层图片分辨率和增强层图片的已裁剪的增强层图片分辨率相关。层间位置映射缩放因子自已偏差预缩放的已裁剪基本层图片分辨率至已裁剪增强层图片分辨率的比率来确定，其中已偏差预缩放的已裁剪基本层图片分辨率通过将偏差值与预缩放的已裁剪基本层图片分辨率相加来得到，以及其中预缩放的已裁剪基本层图片分辨率通过应用算术左移N比特至已裁剪的基本层图片分辨率来得到，以及N为非负整数。

[0059] 用于给定增强层像素位置的基本层映射位置通过将第一偏移项加至第一乘积来确定，其中该第一偏移项对应于基本层图片的剪切起始位置，第一乘积通过将层间位置映射缩放因子与第一距离相乘来得到，该第一距离为从给定增强层像素位置至增强层图片剪切起始位置的距离。第一乘积进一步与偏差值相加，而得到已偏差的第一乘积，并应用算术右移N比特至已偏差的第一乘积，以及N为非负整数。用于给定的增强层像素位置的基本层映射位置通过将第二偏移项与第一偏移项和第一乘积相加来确定，其中第二偏移项对应于与应用于增强层图片和基本层图片的上采样和下采样相关的相移。增强层像素位置和基本层像素位置可被剪切至一个范围。

[0060] 在另一实施方式中，基于层间位置映射缩放因子，确定层间运动向量缩放因子，其中层间运动向量缩放因子基于该基本层运动向量和层间运动向量缩放因子，确定被缩放的运动向量。

[0061] 本发明所提出的用于可伸缩视频编码的层间预测方法，可降低计算复杂性。

附图说明

[0062] 图1为由三层组成的可伸缩视频编码系统的预测结构的示意图。

[0063] 图2为基于对应的基本层区块和基本层区块的相邻区块的运动信息的用于增强层区块的多个候选的推导的示意图。

[0064] 图3描述了对应于1.5倍空间可伸缩的运动场映射的示意图。

[0065] 图4描述了在压缩后用于表示16x16区块的运动向量的16x16区块的中心运动向量(由C表示)的示意图。

[0066] 图5描述了自基本层图片得到用于增强层图片的层间同一位置运动向量的示意图。

[0067] 图6为包括在被缩放的运动向量推导中的层间运动向量缩放因子的可伸缩视频编码系统的示范性流程图。

[0068] 图7描述了包括在基本层像素位置映射中的层间位置映射缩放因子的可伸缩视频编码系统的示范性流程图。

具体实施方式

[0069] 如上所述，在基于AVC/H.264(可伸缩视频编码)或基于HEVC(SHVC)的可伸缩视频编码中，处理过程涉及运动向量缩放和层间像素位置映射的适当计算。本发明揭示了降低需要的计算复杂性的各种实施方式。

[0070] 层间运动向量缩放

[0071] 层间运动向量缩放因子与增强层图片的已裁剪的增强层图片分辨率和基本层图片的已裁剪的基本层图片分辨率相关。层间运动向量缩放因子自已偏差预缩放的已裁剪增强层图片分辨率至已裁剪基本层图片分辨率的比率来确定，其中已偏差预缩放的已裁剪增强层图片分辨率通过将偏差值与预缩放的已裁剪增强层图片分辨率相加来得到，以及其中预缩放的已裁剪增强层图片分辨率通过应用算术左移K比特至已裁剪的增强层图片分辨率来得到，以及K为非负整数。该比率进一步剪切(clip)至具有最低值和最高值之间的范围内。

[0072] 如公式(5)和公式(6)所示，除法需要被执行以用于每一个层间运动向量，即使增强层至基本层的图片分辨率比率为固定值。另外，公式(5)和公式(6)没有考虑帧的裁剪问题。本发明的实施方式揭示了用于SHVC的层间运动信息的推导，以降低需要的计算复杂性。

[0073] 在一个实施方式中，首先，两个层间运动向量缩放因子被得到，以用于层间运动向量缩放。如公式(4)所示的在HEVC中的运动向量缩放过程被重使用。一个缩放因子被用于水平方向(MV_x)，以及另一个缩放因子被用于垂直方向(MV_y)。对于层间运动向量缩放因子来说，裁剪因子也被考虑。根据本发明实施方式，根据如下内容得到在X方向上的层间运动向量缩放因子：

[0074] ILScalingFactor_x＝(((picELCropWidth)<

[0075] (9)

[0076] 其中，ILScalingFactor_x为在x方向上的层间运动向量缩放因子，picELCropWidth为已裁剪的增强层图片宽度，picBLCropWidth为已裁剪的基本层图片宽度，offset1_x为偏差值。picELCropWidth＝picEL_W-picELCropLeftOffset-picELCropRightOffset以及picBLCropWidth＝picBL_W-picBLCropLeftOffset-picBLCropRightOffset。其中，picEL_W为增强层图片的图片宽度，picBL_W为基本层中图片的宽度，picELCropLeftOffset为增强层图片裁剪左偏移，picELCropRightOffse为增强层图片裁剪右偏移，picBLCropLeftOffset为基本层图片裁剪左偏移，picBLCropRightOffset为基本层图片裁剪右偏移。增强层图片在左侧根据picELCropLeftOffset像素而裁剪，以及在右侧根据picELCropRightOffset像素而裁剪。基本层图片在左侧根据picBLCropLeftOffset像素而裁剪，以及在右侧根据BLCropRightOffset像素而裁剪。偏移offset 1_x可以为0，或可以导出为(picBLCropWidth)>>1或((picBLCropWidth)>>1)-1。K1为整数，以及举例来说，K1可为8。

[0077] 如公式(9)所示，缩放因子ILScalingFactor_x与已裁剪的增强层图片宽度(即，picELCropWidth)至已裁剪的基本层图片宽度(即，picBLCropWidth)的比率相关，以及ILScalingFactor_x为整数。然而，picELCropWidth通过应用算术左移K1比特来预缩放。此外，偏差值(即，offset1_x)与预缩放的picELCropWidth相加。然后，已相加偏差的、预缩放的picELCropWidth除以picBLCropWidth，以得到缩放因子ILScalingFactor_x。

[0078] 根据本发明的实施方式，根据如下内容得到在y方向上的层间运动向量缩放因子：

[0079] ILScalingFactor_y＝(((picELCropHeight)<

[0080] (10)

[0081] 其中，ILScalingFactor_y为在y方向上的层间运动向量缩放因子，picELCropWidth为已裁剪的增强层图片宽度，picBLCropWidth为已裁剪的基本层图片宽度，offset1_y为偏差值。picELCropHeight＝picEL_H-picELCropTopOffset-picELCropBottomOffset以及picBLCropHeight＝picBL_H-picBLCropTopOffset-picBLCropBottomOffset。其中，picEL_H为增强层图片的图片高度，picBL_H为基本层中图片的高度，picELCropTopOffset为增强层图片裁剪上偏移，picELCropBottomOffset为增强层图片裁剪下偏移，picBLCropTopOffset为基本层图片裁剪上偏移，picBLCropBottomOffset为基本层图片裁剪下偏移。增强层图片在顶部根据picELCropTopOffset像素而裁剪，以及在底部根据picELCropBottomOffset像素而裁剪。基本层图片在顶部根据picBLCropTopOffset像素而裁剪，以及在底部根据
picBLCropBottomOffset像素而裁剪。偏移offset 1_y可以为0，或可以导出为(picBLCropHeight)>>1或((picBLCropHeight)>>1)-1。

[0082] 如公式(10)所示，缩放因子ILScalingFactor_y与已裁剪的增强层图片高度(即，picELCropHeight)至已裁剪的基本层图片高度(即，picBLCropHeight)的比率相关，以及缩放因子ILScalingFactor_y为整数。然而，picELCropHeight通过应用算术左移K1比特来预缩放。此外，偏差值(即，offset1_y)与预缩放的picELCropHeight相加。然后，已相加偏差的、预缩放的picELCropHeight除以picBLCropHeight，以得到缩放因子ILScalingFactor_y。

[0083] 为求方便，在本揭露书中，picELCropLeftOffset和picELCropTopOffset被称为增强层图片第一边缘。相似地，在本揭露书中，picBLCropLeftOffset和picBLCropTopOffset被称为基本层图片第一边缘。

[0084] 尽管相同的参数K1用于公式(9)和公式(10)所示的ILScalingFactor_x和ILScalingFactor_y的推导，但是也可以使用两个不同的参数。若增强层图片没有水平地裁剪，则picELCropLeftOffset和picELCropRightOffset将为0。若基本层图片没有水平地裁剪，则picBLCropLeftOffset和picBLCropRightOffset将为0。若增强层图片没有垂直地裁剪，则picELCropTopOffset和picELCropBottomOffset将为0。若基本层图片没有垂直地裁剪，则picBLCropTopOffset和picBLCropBottomOffset将为0。

[0085] 层间运动向量缩放因子可进一步剪切于一定的范围内。根据本发明实施方式的具有剪切的层间运动向量缩放因子的推导如下所示：

[0086] ILScalingFactor_x＝clip(clip_floor1_x,clip_ceiling1_x,(((picELCropWidth)<

[0087] +offset1_x)/(picBLCropWidth)),以及 (11)ILScalingFactor_y＝clip(clip_floor1_y,clip_ceiling1_y,(((picELCropHeight)<

[0088] +offset1_y)/(picBLCropHeight)) (12)

[0089] 其中，clip_floor1_x，clip_ceiling1_x，clip_floor1_y以及clip_ceiling1_y为整数。clip_floor1_x，clip_ceiling1_x，clip_floor1_y以及clip_ceiling1_y分別是x方向上的最小剪切值、最大剪切值、y方向上的最小剪切值、最大剪切值。举例来说，clip_floor1_x和clip_floor1_y可为–(2^O1)或0。clip_ceiling1_x和clip_ceiling1_y可为(2^P1-1)。其中，O1和P1为整数。举例来说，O1和P1为14。在公式(11)和公式(12)中，尽管clip_floor1_x和clip_floor1_y使用相同的值，他们也可以使用不同的值。相似地，尽管clip_ceiling1_x和clip_ceiling1_y使用相同的值，他们也可以使用不同的值。clip(x,y,z)为剪切函数，其定义为：

[0090]

[0091] 在上述推导中，参数picELCropLeftOffset，picELCropRightOffset,picELCropTopOffset和picELCropBottomOffset指定在已编码视频序列中的已裁剪的增强层图片的采样。增强层图片的采样自解码过程产生以及已剪切的增强层图片的采样通过已裁剪的增强层图片周围的四个偏移量在矩形区域中指定。另一方面，参数picBLCropLeftOffset，picBLCropRightOffset，picBLCropTopOffset以及picBLCropBottomOffset指定在已编码视频序列中的已裁剪的基本层图片的采样。已裁剪的基本层图片的采样自解码过程而产生，以及基本层图片的采样通过已裁剪的基本层图片周围的偏移量在矩形区域中指定。

[0092] 层间被缩放的运动向量的最终步骤可重使用HEVC的运动向量的缩放过程。可通过如下内容得到：

[0093] 层间运动向量缩放方法-1：

[0094] mvEL_X＝sign(ILScalingFactor_x×mvBL_X)×

[0095] ((abs(ILScalingFactor_x×mvBL_X)+add2_x)>>K2,以及 (13)mvEL_Y＝sign(ILScalingFactor_y×mvBL_Y)×

[0096] ((abs(ILScalingFactor_y×mvBL_Y)+add2_y))>>K2, (14)

[0097] 被缩放的运动向量可进一步剪切于一定范围内。具有剪切的运动向量推导如下所示：

[0098] 具有剪切的层间运动向量缩放方法-2：

[0099] mvEL_X＝clip(clip_floor2_x,clip_ceiling2_x,sign(ILScalingFactor_x×mvBL_X)

[0100] ×((abs(ILScalingFactor_x×mvBL_X)+add2_x))>>K2),以及(15)mvEL_Y＝clip(clip_floor2_y,clip_ceiling2_y,sign(ILScalingFactor_y×mvBL_Y)

[0101] ×((abs(ILScalingFactor_y×mvBL_Y)+add2_y))>>K2), (16)

[0102] 其中，add2_x和add2_y可为0，2^(K2-1)或(2^(K2-1)-1)，clip_floor2_x和clip_floor2_y可为–(2^O2)，clip_ceiling2_x和clip_ceiling2_y可为(2^P2-1)，其中，K2，O2和P2为任意正整数。举例来说，K2可为8、O2和P2可为15。

[0103] 可简化如上所示的层间运动向量缩放方法-1。符号部分可分别自mvBL_X和mvBL_Y而确定。相应地，层间被缩放的运动向量的推导可简化为：

[0104] mvEL_X＝sign(mvBL_X)×

[0105] ((abs(ILScalingFactor_x×mvBL_X)+add2_x)>>K2,以及 (17)mvEL_Y＝sign(mvBL_Y)×

[0106] ((abs(ILScalingFactor_y×mvBL_Y)+add2_y))>>K2, (18)

[0107] 对应于公式(17)和公式(18)的具有剪切的运动向量的简化推导如下所示：

[0108] mvEL_X＝clip(clip_floor2_x,clip_ceiling2_x,sign(mvBL_X)×

[0109] ((abs(ILScalingFactor_x×mvBL_X)+add2_x))>>K2),以及 (19)mvEL_Y＝clip(clip_floor2_y,clip_ceiling2_y,sign(mvBL_Y)×

[0110] ((abs(ILScalingFactor_y×mvBL_Y)+add2_y))>>K2), (20)

[0111] 因此，对于一个增强层来说，对于所有的编码区块ILScalingFactor_x和ILScalingFactor_y相同。因此，ILScalingFactor_x和ILScalingFactor_y的计算可执行一次，以及结果可重使用以用于在增强层中的所有编码区块。也就是说，根据本发明的实施方式，层间运动向量缩放因子被确定一次，以用于增强层图像单元，以及在增强层图像单元中的所有区块共享该层间运动向量缩放因子，其中该增强层图像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个编码树区块、一个编码单元、或一个预测单元。相应地，当基本层中的运动向量被缩放时，上述揭示的实施方式可降低增强层中的运动向量缩放的计算复杂性。

[0112] 在一个实施方式中，ILScalingFactor_x和ILScalingFactor_y可在序列/图片/切片级中被发送出去。举例来说，ILScalingFactor_x和ILScalingFactor_y可在序列参数级(sequence parameter set,SPS)、图片参数级(picture parameter set,PPS)、切片头、序列参数级扩展(SPS extension)、图片参数级扩展(PPS extension)或切片头段扩展(slice segment header extension)中被发送出去。一个标志可被发送以指示ILScalingFactor_x和ILScalingFactor_y是否相同。若ILScalingFactor_x等于ILScalingFactor_y，仅它们中间的一个需要被发送出去。

[0113] 层间像素位置映射方法

[0114] 该层间位置映射缩放因子与基本层图片的已裁剪的基本层图片分辨率和增强层图片的已裁剪的增强层图片分辨率相关。层间位置映射缩放因子自已偏差预缩放的已裁剪基本层图片分辨率至已裁剪增强层图片分辨率的比率来确定，其中已偏差预缩放的已裁剪基本层图片分辨率通过将偏差值与预缩放的已裁剪基本层图片分辨率相加来得到，以及其中预缩放的已裁剪基本层图片分辨率通过应用算术左移N比特至该已裁剪的基本层图片分辨率来得到，以及N为非负整数。

[0115] 如公式(7)和公式(8)所示，除法需要被执行以用于每一个层间像素位置映射，即使增强层至基本层的图片分辨率比率为固定值。另外，公式(7)和公式(8)没有考虑帧的裁剪问题。本发明的实施方式揭示了用于SHVC的层间基本层像素位置映射的推导，以降低需要的计算复杂性。

[0116] 相似于层间运动向量缩放，两个层间位置映射缩放因子先被得到以用于层间像素位置映射。然后，缩放因子被重使用以得到在基本层中的参考像素位置。一个缩放因子被用于水平方向(x-方向)，以及另一个缩放因子被用于垂直方向(y-方向)。对于层间位置映射缩放因子来说，裁剪因子也被考虑。根据本发明实施方式，根据如下内容得到在X方向上的层间位置映射缩放因子：

[0117] ILPosScalingFactor_x＝(((picBLCropWidth<

[0118] (21)其中，ILPosScalingFactor_x为在x方向上的层间位置映射缩放因子，offset_x为偏差值。picELCropWidth＝picEL_W-picELCropLeftOffset-picELCropRightOffset以及picBLCropWidth＝picBL_W-picBLCropLeftOffset-picBLCropRightOffset。偏移offset_x可以为0，或可以导出为(picELCropWidth)>>1或((picELCropWidth)>>1)-1。N1为整数，以及举例来说，N1可为8、10、12、14或16。如公式(21)所示，缩放因子ILPosScalingFactor_x与已裁剪的基本层图片宽度(即，picBLCropWidth)至已裁剪的增强层图片宽度(即，picELCropWidth)的比率相关，以及ILPosScalingFactor_x为整数。然而，picBLCropWidth通过应用算术左移N1比特来预缩放。此外，偏差值(即，offset_x)与预缩放的picBLCropWidth相加。然后，已相加偏差的、预缩放的picBLCropWidth除以picELCropWidth，以得到缩放因子ILPosScalingFactor_x。

[0119] 相似地，根据本发明的实施方式，根据如下内容得到在y方向上的层间位置映射缩放因子：

[0120] ILPosScalingFactor_y＝(((picBLCropHeight<

[0121] 其中，ILPosScalingFactor_y为在y方向上的层间位置映射缩放因子，offset_y为偏差值。picELCropHeight＝picEL_H-picELCropTopOffset-picELCropBottomOffset以及picBLCropHeight＝picBL_H-picBLCropTopOffset-picBLCropBottomOffset。偏移offset_y可以为0，或可以导出为(picELCropHeight)>>1或((picELCropHeight)>>1)-1。如公式(22)所示，缩放因子ILPosScalingFactor_y与已裁剪的基本层图片高度(即，picBLCropHeight)至已裁剪的增强层图片高度(即，picELCropHeight)的比率相关，以及ILPosScalingFactor_y为整数。然而，picBLCropHeight通过应用算术左移N1比特来预缩放。此外，偏差值(即，offset_y)与预缩放的picBLCropHeight相加。然后，已相加偏差的、预缩放的picBLCropHeight除以picELCropHeight，以得到缩放因子ILPosScalingFactor_y。尽管使用相同的参数N1以用于ILPosScalingFactor_x和ILPosScalingFactor_y的推导，但是也可以使用不同的参数。

[0122] 在上述推导中，参数picELCropLeftOffset，picELCropRightOffset,picELCropTopOffset和picELCropBottomOffset指定在已编码视频序列中的已裁剪的增强层图片的采样。已裁剪的增强层图片的采样自解码过程产生以及增强层图片的采样通过已裁剪的增强层图片周围的四个偏移量在矩形区域中指定。另一方面，参数picBLCropLeftOffset，picBLCropRightOffset，picBLCropTopOffset以及picBLCropBottomOffset指定在已编码视频序列中的已裁剪的基本层图片的采样。基本层图片的采样自解码过程而产生，以及基本层图片的采样通过已裁剪的基本层图片周围的四个偏移量在矩形区域中指定。如上所示，若增强层图片没有裁剪，则picELCropLeftOffset，picELCropRightOffset，picELCropTopOffset和picELCropBottomOffset将为0。若基本层图片没有裁剪，则picBLCropLeftOffset，picBLCropRightOffset，picBLCropTopOffset和picBLCropBottomOffset将为0。

[0123] 根据本发明的实施方式，对于具有像素位置等于(xEL,yEL)的增强层中的像素，基本层中参考像素位置可通过如下内容得到：

[0124] xBL＝(((xEL-picELCropLeftOffset)×ILPosScalingFactor_x+add3_x)>>N1)+picBLCropLeftOffset,以及 (23)

[0125] yBL＝(((yEL-picELCropTopOffset)×ILPosScalingFactor_y+add3_y)>>N1)+picBLCropTopOffset, (24)

[0126] 其中，(xBL,yBL)为在基本层中的参考像素的像素位置，偏差add3_x和偏差add3_y等于0、(2^(N1-1))或(2^(N1-1))-1。如公式(23)中所示，项(xEL–picELCropLeftOffset)对应于在当前增强层像素位置(即，xEL)和在x方向上的增强层图片第一边缘之间的水平距离。然后，该水平距离乘以ILPosScalingFactor_x以获得第一乘积项。将偏差(即，add3_x)与第一乘积相加。然后将结果通过应用算术右移N1比特来预缩放。在x方向上的基本层映射位置通过将picBLCropLeftOffset与预缩放结果相加来确定。如公式(24)所示，在y方向上的基本层映射位置的确定方法相似。

[0127] 由于增强层和基本层的相位可能没有对齐。举例来说，上采样和下采样滤波器使用不同的相位。由于基本层图片通过利用下采样而自原始的高分辨率图片来得到。对于层间预测来说，基本层图片必须上采样以匹配增强层图片的分辨率。若下采样滤波和上采样滤波没有适当完成，在上采样和下采样数据中将发生相位移。根据本发明的实施方式，为补偿相位移，对于在增强层中具有像素方向等于(xEL,yEL)的像素，在基本层中的参考像素位置可自如下内容得到：xBL＝(((xEL-picELCropLeftOffset)×ILPosScalingFactor_x+add3_x)>>N1)+

[0128] picBLCropLeftOffset-horizontal_phase_offset,以及(25)yBL＝(((yEL-picELCropTopOffset)×ILPosScalingFactor_y+add3_y)>>N1)+

[0129] picBLCropTopOffset-vertical_phase_offset,(26)

[0130] 其中，horizontal_phase_offset和vertical_phase_offset为在基本层和增强层之间的相位移。在增强层和基本层的相位对齐的情况下，horizontal_phase_offset和vertical_phase_offset将为0。

[0131] 在层间像素位置映射中，在像素映射之前或之后(xEL,yEL)和(xBL,yBL)可被剪切于有效的范围内。举例来说，(xEL,yEL)和(xBL,yBL)可被剪切于图片帧中。例如，在确定对应于增强层像素位置的基本层映射位置之前，增强层像素位置(xEL,yEL)被剪切至与增强层图片的增强层图片大小或已裁剪的增强层图片大小相关的范围。在确定对应于增强层像素位置的基本层映射位置之后，基本层映射像素位置(xBL,yBL)被剪切至与基本层图片的基本层图片大小或已裁剪的基本层图片大小相关的范围。

[0132] 在一个示例中，在层间像素位置映射之前，(xEL,yEL)可被剪切。随后的剪切函数可在公式(23)和公式(24)之前应用。

[0133] xEL＝clip(0,picEL_W,xEL),以及

[0134] yEL＝clip(0,picEL_H,yEL). (27)

[0135] 可选地，根据以下内容也可完成剪切：

[0136] xEL＝clip(0+picELCropLeftOffset,picEL_W-picELCropRightOffset,xEL),[0137] 以及

[0138] yEL＝clip(0+picELCropTopOffset,picEL_H-picELCropBottomOffset,yEL). (28)[0139] 用于(xBL,yBL)的剪切函数可在层间像素位置映射之后(即，在公式(23)～公式(24)之后)添加：

[0140] xBL＝clip(0,picBL_W,xBL)

[0141] yBL＝clip(0,picBL_H,yBL) (29)

[0142] 可选地，根据以下内容也可完成剪切：

[0143] xBL＝clip(0+picBLCropLeftOffset,picBL_W-picBLCropRightOffset,xBL)[0144] yBL＝clip(0+picBLCropTopOffset,picBL_H-picBLCropBottomOffset,yBL)[0145] (30)进一步，对于每一个增强层来说，ILPosScalingFactor_x和ILPosScalingFactor_y对于所有像素均相同。因此，ILPosScalingFactor_x和ILPosScalingFactor_y的计算可执行一次，以及结果可重使用以用于增强层中的所有像素。也就是说，层间位置映射缩放因子被确定一次，以用于增强层图像单元，以及在增强层图片单元中的所有区块共享层间位置映射缩放因子，其中图像单元对应于一个视频序列、一个图片、一个切片、一个编码树单元、一个编码树区块、一个编码单元、或一个预测单元。
相应地，本发明的实施方式可实质上降低用于层间像素位置映射的计算复杂性。

[0146] ILPosScalingFactor_x和ILPosScalingFactor_y可在序列级、图片级、或切片级中被发送出去。举例来说，ILPosScalingFactor_x和ILPosScalingFactor_y可在序列参数级、图片参数级、切片头、序列参数级扩展、图片参数级扩展或切片段头扩展中被发送出去。一个标志可被发送以指示ILPosScalingFactor_x和ILPosScalingFactor_y是否相同。若ILPosScalingFactor_x等于

[0147] ILPosScalingFactor_y，则仅ILPosScalingFactor_x和ILPosScalingFactor_y中间的一个被发送出去。

[0148] 此外，若ILScalingFactor_x和ILScalingFactor_y已存在，则ILPosScalingFactor_x和ILPosScalingFactor_y可分别自ILScalingFactor_x和ILScalingFactor_y而得到。举例来说，根据本发明的实施方式，若ILScalingFactor_x和ILScalingFactor_y已存在，则ILPosScalingFactor_x和ILPosScalingFactor_y可根据如下内容来得到：

[0149] ILPosScalingFactor_x＝((1<>N2,以及

[0150] (31)ILPosScalingFactor_y＝((1<>N2,

[0151] (32)

[0152] 其中，M2和N2为任意整数。尽管相同参数M2用于ILPosScalingFactor_x和ILPosScalingFactor_y的推导，但是也可以使用不同的参数。相似地，相同参数N2用于ILPosScalingFactor_x和ILPosScalingFactor_y的推导，也可以使用不同的参数。

[0153] 另一方面，ILScalingFactor_x可自ILPosScalingFactor_x来推导，以及ILScalingFactor_y可自ILPosScalingFactor_y来推导，当ILPosScalingFactor_x和ILPosScalingFactor_y已存在时。举例来说，根据本发明的实施方式，若ILPosScalingFactor_x和ILPosScalingFactor_y已存在，则ILScalingFactor_x和ILScalingFactor_y可根据如下内容来得到：

[0154] ILScalingFactor_x＝((1<>N3,以及

[0155] (33)ILScalingFactor_y＝((1<>N3,

[0156] (34)

[0157] 其中，M3和N3可为任意整数。

[0158] 在层间位置映射缩放因子和基本层推导中参考像素位置的推导中,因子N3和M3可依赖于增强层的图片大小、基本层的图片大小、增强层的已裁剪的图片大小、基本层的已裁剪的图片大小的信息、增强层的级索引(level index)/信息、基本层的级索引/信息。

[0159] 可选地，ILScalingFactor_x和ILScalingFactor_y可根据如下内容推导：

[0160] Factor_X＝(2^I3+|wBL/2|)/wBL,以及 (35)

[0161] ILScalingFactor_x＝clip(K3,L3,(wEL×Factor_X+(1<<(J3-1))>>J3),[0162] (36)

[0163] 其中，Factor_X为缩放因子计算中间值，I3，J3，K3和L3为整数，wBL为基本层的宽度.，wEL为增强层的宽度。wBL＝(picBL_W-picBLCropLeftOffset-picBLCropRightOffset)，wEL＝(picEL_W-picELCropLeftOffset-
picELCropRightOffset)。I3，J3，K3和L3为整数。举例来说，I3可为14，J3可为6，K3可为-
4096或0，以及L3可为4095。

[0164] Factor_Y＝(2^I3+|hBL/2|)/hBL,以及 (37)

[0165] ILScalingFactor_Y＝clip(K3,L3,(hEL×Factor_Y+(1<<(J3-1))>>J3),(38)其中，Factor_Y为缩放因子计算中间值，I3，J3，K3和L3为整数，hBL为基本层的高度，hEL为增强层的高度。hBL＝(picBL_H-picBLCropTopOffset-picBLCropBottomOffset)，hEL＝(picEL_H-picELCropTopOffset-picELCropBottomOffset)。虽然ILScalingFactor_Y的推导可使用相同的参数，I3，J3，K3和L3可以与ILScalingFactor_X derivation一样，但是也可以使用不同的参数。

[0166] 层间像素位置映射可以如下所示更一般的形式来推导：

[0167] xBL＝(((xEL+factor_EL_x)×ILPosScalingFactor_x+add5_x)>>N4)+factor_BL_x,以及 (39)

[0168] yBL＝(((yEL+factor_EL_y)×ILPosScalingFactor_y+add5_y)>>N4)+factor_BL_y, (40)

[0169] 其中，偏差add5_x和偏差add5_y可为0，(2^(N4-1))或(2^(N4-1))-1。factor_EL_x可自picELCropLeftOffset，picELCropRightOffset，增强层的水平相位移，增强层的颜色格式，或增强层的颜色组分的信息来推导。factor_BL_x可自picBLCropLeftOffset，picBLCropRightOffset，基本层的水平相位移，基本层的颜色格式，或基本层的颜色组分的信息来推导。factor_EL_y可自picELCropTopOffset，picELCropBottomOffset，增强层的垂直相位移，增强层的颜色格式，或增强层的颜色组分的信息来推导。factor_BL_y可自picBLCropTopOffset，picBLCropBottomOffset，基本层的垂直相位移，基本层的颜色格式，或基本层的颜色组分的信息来推导。尽管相同参数N4用于xBL和yBL的推导，但是也可以使用不同的参数。

[0170] 对于纹理上采样过程来说，基本层像素位置在1/M5个像素的单元中得到。ILPosScalingFactor_x和ILPosScalingFactor_y可被替换为ILPosScalingFactor_x*M5和ILPosScalingFactor_y*M5以用于得到对应的(collocated)基本层像素位置。factor_BL_x，factor_BL_y，factor_EL_x,factor_EL_y可根据M4的值而改变。举例来说，[0171] xBL_M5＝(((xEL+factor_EL_x)×ILPosScalingFactor_x*M5+add6_x)>>N5)+factor_BL_x,以及

[0172] (41)

[0173] yBL_M5＝(((yEL+factor_EL_y)×ILPosScalingFactor_y*M5+add6_y)>>N5)+factor_BL_y,

[0174] (42)

[0175] 其中，xBL_M5为基本层x方向采样像素位置，yBL_M5为基本层y方向采样像素位置。偏差add6_x，偏差add6_y，参数M5和参数N5为整数。尽管相同的参数M5用于xBL和yBL的推导，但是也可以使用不同的参数。相似地，相同的参数N5用于xBL和yBL的推导，也可以使用不同的参数。

[0176] 在其他示例中，纹理上采样像素位置考虑在增强层和基本层中采样之间的相位移。变量xBL_M6和变量yBL_M6的推导如下所示：

[0177] xBL_M6＝((xEL×ILPosScalingFactor_x*M6+add7_x)>>N6)

[0178] -BL_phase_offset_x (43)

[0179] 变量yBL_M6可根据如下内容来得到：

[0180] 若cIdx等于0，则变量yBL_M6的推导如下：

[0181] yBL_M6＝((yEL×ILPosScalingFactor_y*M6+add7_y)>>N6)

[0182] -BL_phase_offset_y (44)

[0183] 否则，变量yBL_M6的推导如下：

[0184] yBL_M6＝((yEL×ILPosScalingFactor_y*M6)>>N6)

[0185] -offset-BL_phase_offset_y (45)

[0186] 其中，cIdx为颜色组分索引，偏差add7_x，偏差add7_y，M6和N6为整数，BL_phase_offset_x和BL_phase_offset_y为相位移并可为0。当BL_phase_offset_x和BL_phase_offset_y为0以及M6为16时，偏移值可以与SHM-1.0相同的方式来得到。

[0187] 在又一实施方式中，基本层像素位置在1/M5个像素单元(例如，用于纹理上采样)中来得到，如下所示：

[0188] ILPosScalingFactorM5_x＝

[0189] (((picBL_W-picBLCropLeftOffset-picBLCropRightOffset)<

[0190] 其中，ILPosScalingFactorM5_x为在x方向上的层间位置映射缩放因子。offset_x可为0，((picEL_W-picELCropLeftOffset-picELCropRightOffset)>>1)或((picEL_W–picELCropLeftOffset-picELCropRightOffset)>>1)-1。

[0191] ILPosScalingFactorM5_y＝

[0192] (((picBL_H-picBLCropTopOffset-picBLCropBottomOffset)<

[0193] 其中，ILPosScalingFactorM_y为在y方向上的层间位置映射缩放因子。offset_y可为0，((picEL_H–picELCropTopOffset-picELCropBottomOffset)>>1)或((picEL_H-picELCropTopOffset-picELCropBottomOffset)>>1)-1。

[0194] 在1/M5个像素单元中的基本层中的参考像素位置(xBL_M5,yBL_M5)通过如下内容得到：

[0195] xBL_M5＝((xEL×ILPosScalingFactor_x+add6_x)>>N5)–BL_phase_offset_x[0196] (48)

[0197] 对于基本层中的像素位置yBL_M5来说，可通过如下内容来得到：

[0198] 若cIdx等于0，则

[0199] yBL_M5＝((yEL×ILPosScalingFactor_y+add6_y)>>N5)–BL_phase_offset_y；(49)

[0200] 否则，

[0201] yBL_M5＝((yEL×ILPosScalingFactor_y)>>N5)–offset–BL_phase_offset_y；(50)其中，cIdx为颜色组分索引，BL_phase_offset_y和BL_phase_offset_x可为0。当BL_phase_offset_x和BL_phase_offset_y为0以及M6为16时，偏移值可以与SHM-1.0相同的方式来得到。

[0202] 在又一实施方式中，基本层像素位置在1/M5像素单元(例如，用于纹理上采样)中来得到，如下所示：

[0203] ILPosScalingFactorM_x＝

[0204] (((picBL_W–picBLCropLeftOffset–picBLCropRightOffset)<>1)或((picEL_W–picELCropLeftOffset–
picELCropRightOffset)>>1)–1。

[0207] ILPosScalingFactorM_y＝

[0208] (((picBL_H–picBLCropTopOffset–picBLCropBottomOffset)<>1)或((picEL_H-picELCropTopOffset-
picELCropBottomOffset)>>1)-1。

[0211] 在1/M5个像素单元中的基本层中的参考像素位置(xBL_M5,yBL_M5)通过如下内容得到：

[0212] xBL_M5＝((xEL×ILPosScalingFactor_x+add6_x)>>(N5-Ceil(Log2(M5))))[0213] –BL_phase_offset_x (53)

[0214] 对于基本层中的像素位置yBL_M5来说，可通过如下内容来得到：

[0215] 若cIdx等于0，则

[0216] yBL_M5＝((yEL×ILPosScalingFactor_y+add6_y)>>(N5-Ceil(Log2(M5))))[0217] –BL_phase_offset_y； (54)

[0218] 否则，

[0219] yBL_M5＝((yEL×ILPosScalingFactor_y)>>(N5-Ceil(Log2(M5))))–offset[0220] –BL_phase_offset_y (55)

[0221] 其中，Ceil()为向上整化函数。cIdx为颜色组分索引，偏差add6_x和偏差add6_y可为0、(2^(N5-1-Ceil(Log2(M5))))或(2^(N5-1-Ceil(Log2(M5))))-1，BL_phase_offset_y和BL_phase_offset_x可为0。当相同像素M5和N5用于xBL_M5和yBL_M5的推导，也可以使用不同的参数。当BL_phase_offset_y和BL_phase_offset_x为0，以及M5和N5为16时，偏移值可以与SHM-1.0相同的方式来得到。

[0222] 在层间位置映射缩放因子和基本层推导中参考像素位置的推导中,因子N(即，公式(39)-公式(55)中的N4-N6)可依赖于增强层的图片大小、基本层的图片大小、增强层的已裁剪的图片大小、基本层的已裁剪的图片大小的信息、增强层的级索引(level index)/信息、基本层的级索引/信息。

[0223] 运动场映射

[0224] 如图2所示，在HEVC时间运动向量预测(以下简称为TMVP)的推导中，对应于预测向量的位置T的运动向量可被使用。换句话说，在右下方的方向向上的运动向量在TMVP推导中更重要。

[0225] 由于在SHVC中的已映射的运动场用于TMVP的推导，在本发明的一个实施方式中，右下的预测单元的运动向量用于运动场映射。对于层间参考图片来说，16x16区块的右下运动向量(属于16x16区块的右下像素的运动向量)用于在运动映射之后表示此16x16区块的运动向量。

[0226] 基本层像素位置整化(Rounding)

[0227] 在SHVC运动场映射中，16x16区块的中心点的同一位置的基本层运动向量用于表示16x16区块的运动向量。为与HEVC兼容，基本层运动场被压缩为具有16x16区块的单元。16x16区块的左上运动向量用于表示此16x16区块的运动向量。由于在基本层运动场中被压缩，得到的基本层运动向量可为最佳运动向量。图5描述了得到的基本层运动向量不是最佳运动向量的情形，其中，点P的运动向量被映射值区块1的运动向量。然而，由于区块4的运动向量更接近点P的运动向量，区块4可提供点P更优的运动向量。

[0228] 因此，本发明的另一实施方式整化基本层像素位置映射以得到最接近的运动向量。对于在增强层(xEL,yEL)中的某一点，在基本层(xBL,yBL)中对应的像素位置可通过层间像素位置映射来得到。对于层间对应的运动向量推导来说，整化偏移(rounding offset)与(xBL,yBL)相加以得到最近的已压缩的基本层运动向量。相应地，若运动场被压缩为具有NxN单元，则(N/2–1)偏移被添加以用于(xBL,yBL)。

[0229] 在SHVC中，N等于16。因此，(7,7)偏移被添加至(xBL,yBL)以用于层间同一位置的运动向量的推导。

[0230] 差分层间参考图片

[0231] 在SHVC参考索引refIdx模式中，当前帧的已上采样的基本层图片被插入参考帧清单。为改善编码效率，本发明的另一实施方式插入另一差分层间参考图片于参考图片清单中。此差分层间参考图片通过将当前帧(帧C)的已上采样的基本层图片与一个增强层参考帧(帧B)相加，并通过减去一个增强层参考帧(帧D)的已上采样的基本层图片来产生。在差分层间参考图片中的点(x,y)的像素值由如下公式所示：

[0232] DIRP(x,y)＝clip(pixel_min_value,pixel_max_value,(B(x,y)+C(x,y)–D(x,y))) (56)

[0233] 其中，DIRP(x,y)为在差分层间参考图片中的点(x,y)处的像素值，pixel_min_value为像素最大值，pixel_max_value为像素最小值，B(x,y)为在一个增强层参考帧中的点(x,y)的像素值，C(x,y)为当前帧的已上采样的基本层图片的点(x,y)处的像素值，D(x,y)为一个增强层参考帧的已上采样的基本层图片的点(x,y)处的像素值。此差分层间参考图片可被插入以作为参考帧清单中的最后一个。

[0234] 图6为根据本发明实施方式的包括层间运动向量缩放因子的可伸缩视频编码系统的示范性流程图。视频数据被配置为基本层和增强层，其中基本层视频数据具有比基本层视频数据更高的分辨率。如步骤610所示，系统接收关于视频序列的增强层图片和基本层图片的图像大小信息。对于编码端来说，图像大小信息可通过编码器来确定。对于解码端来说，图像大小信息可自已编码的比特流来确定。如步骤620所示，层间运动向量缩放因子可基于关于增强层图片和基本层图片的图像大小信息来确定。如步骤630所示，然后与基本层图片相关的基本层运动向量被确定。在编码端，基本层运动向量利用运动估计来确定以及已推导的基本层运动向量可包括于比特流中。在解码端，基本层运动向量可自已编码的比特流来确定。如步骤640和步骤650所示，被缩放的运动向量可基于基本层运动向量和层间运动向量缩放因子来确定，以及被缩放的运动向量可被提供以用于增强层图片的层间编码。

[0235] 图7为根据本发明实施方式的包括层间位置映射缩放因子的可伸缩视频编码系统的示范性流程图。如步骤710所示，系统接收关于视频序列的增强层图片和基本层图片的图像大小信息。如步骤720所示，层间位置映射缩放因子基于关于增强层图片和基本层图片的图像大小信息来确定。如步骤730所示，对应于增强层像素位置的基本层映射位置基于增强层像素位置和层间位置映射缩放因子来确定。如步骤740所示，在基本层映射位置处上采样的基本层图片被提供以用于增强层图片的层间编码。

[0236] 根据本发明的实施方式，基于层间运动向量缩放因子，确定层间位置映射缩放因子，其中层间位置映射缩放因子用于确定对应于增强层像素位置的基本层映射位置，以及其中基本层映射位置基于增强层像素位置和层间位置映射缩放因子来确定。根据本发明的另一实施方式，基于层间位置映射缩放因子，确定层间运动向量缩放因子，其中层间运动向量缩放因子基于基本层运动向量和层间运动向量缩放因子，确定被缩放的运动向量。

[0237] 如上所示流程图用于解释可伸缩视频编码的示例。本领域技术人员可修改每一个步骤、重新排列步骤、差分步骤、或合并步骤以在不脱离本发明精神的范围内实现本发明。

[0238] 在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。

[0239] 以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital Signal Processor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

[0240] 在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

标题	发布/更新时间	阅读量
分层结构预判的快速视频编码方法-专利编号CN102186070A	2020-05-13	388
用于可伸缩视频编码的层间预测方法-专利编号CN105052144B	2020-05-11	1151
多层视频编码-专利编号CN101313583A	2020-05-11	915
基于多层的视频编码方法及其装置-专利编号CN101467461B	2020-05-12	693
用于可缩放视频编码的层间预测-专利编号CN105765979A	2020-05-13	1193
视频编码中的层切换-专利编号CN105612746A	2020-05-11	406
用于多层视频编码的编解码器架构-专利编号CN104429071A	2020-05-12	986
用于增强层视频编码的适应性量化-专利编号CN102057677B	2020-05-12	646
多层视频编码-专利编号CN101313583B	2020-05-11	761
用于增强层视频编码的适应性量化-专利编号CN102057677A	2020-05-13	237

用于可伸缩视频编码的层间预测方法

用于可伸缩视频编码的层间预测方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式