推导运动向量预测子的方法与装置

摘要

本发明揭露一种推导运动向量预测子的方法，该方法包含：选择对应于同位图像的同位块；接收与同位块相关的一或多个同位参考块的一或多个参考运动向量；决定搜索集合，其中搜索集合包含与一或多个同位参考块相关的一或多个搜索运动向量；决定搜索集合的搜索顺序，其中，搜索顺序开始于搜索对应于给定参考列表的搜索运动向量，若对应于给定参考列表的搜索运动向量不存在，则搜索顺序接着搜索对应于与给定参考列表不同的参考列表的搜索运动向量；基于搜索集合及搜索顺序决定用于当前块的运动向量预测子；以及提供用于当前块的运动向量预测子。以上所述的方法与装置可减少与运动向量相关的边信息的传送。

权利要求

1.一种推导运动向量预测子的方法，用于在帧间、合并或跳过模式下推导当前图像中当前块的运动向量的运动向量预测子，其特征在于，该运动向量是与该当前块以及给定参考列表中目标参考图像中的对应块相关，该推导运动向量预测子的方法包含：选择对应于同位图像的同位块；

接收与该同位块相关的多个同位参考块的一或多个参考运动向量；其中，该多个同位参考块包含位于该同位块中心的内部同位块以及从该同位块的右下角跨过该同位块且位于该同位块的外部的外部同位块；

决定搜索集合，其中该搜索集合包含与该多个同位参考块相关的一或多个搜索运动向量；

决定搜索集合的搜索顺序，其中，先搜索与该外部同位块相关的该搜索运动向量，再搜索与该内部同位块相关的该搜索运动向量，且用于每一同位参考块的该搜索顺序开始于搜索对应于该给定参考列表的该搜索运动向量，若对应于该给定参考列表的该搜索运动向量不存在，则该搜索顺序接着搜索对应于与该给定参考列表不同的参考列表的该搜索运动向量；

基于该搜索集合及该搜索顺序决定用于该当前块的该运动向量预测子；以及提供用于该当前块的该运动向量预测子。

2.如权利要求1所述的推导运动向量预测子的方法，其特征在于，与该同位块相关的该同位图像是由一旗标指示，且与该旗标相关的信息是整合于序列级、图像级、或条带级。

3.如权利要求1所述的推导运动向量预测子的方法，其特征在于，与该同位块相关的该同位图像是依据隐式的方法被推导出。

4.如权利要求3所述的推导运动向量预测子的方法，其特征在于，用于与该同位块相关的该同位图像的选择方法是依据该给定参考列表决定的。

5.如权利要求4所述的推导运动向量预测子的方法，其特征在于，该选择方法是于不同于该给定参考列表的参考列表中选择该同位图像。

6.如权利要求1所述的推导运动向量预测子的方法，其特征在于，用于与该同位块相关的该同位图像的选择方法是基于与该多个同位参考块的该一或多个参考运动向量相关的时间距离。

7.如权利要求6所述的推导运动向量预测子的方法，其特征在于，该选择方法选择该同位块，其中与该同位块相关的该一或多个参考运动向量具有最短的时间距离。

8.如权利要求1所述的推导运动向量预测子的方法，其特征在于，用于与该同位块相关的该同位图像的选择方法是基于该同位图像的图像类型。

9.如权利要求1所述的推导运动向量预测子的方法，其特征在于，用于与该同位块相关的该同位图像的选择方法是基于在一分层图像组中的该同位图像的层，或基于在一图像组中的该同位图像的图像顺序，或基于在该分层图像组中的相同层中的该同位图像的该图像顺序。

10.如权利要求1所述的推导运动向量预测子的方法，其特征在于：

当未找到运动向量预测子或找到的该运动向量预测子与从该当前块的相邻块导出的先前运动向量预测子相同时，该决定该运动向量预测子的步骤进一步搜索与该内部同位块相关的该一或多个搜索运动向量。

11.如权利要求10所述的推导运动向量预测子的方法，其特征在于，在与该内部同位块相关的该搜索运动向量被搜索后，若未找到运动向量预测子或找到的该运动向量预测子与该先前运动向量预测子相同，则该运动向量预测子被设置为0、缺省值、预设值、或从运动向量预测子的候选者集合中移除。

12.如权利要求1所述的推导运动向量预测子的方法，其特征在于，若该决定该运动向量预测子的步骤没有从与第一同位参考块相关的该搜索运动向量中发现运动向量预测子，或发现的该运动向量预测子与从当前块的相邻块导出的先前运动向量预测子相同，则该决定该运动向量预测子的步骤搜索与第二同位参考块相关的该搜索运动向量。

13.如权利要求12所述的推导运动向量预测子的方法，其特征在于，当搜索该搜索集合中与该同位参考块相关的搜索运动向量后，若未找到运动向量预测子或找到的该运动向量预测子与该先前运动向量预测子相同，则该运动向量预测子被设置为0、一缺省值、一预设值、或从运动向量预测子的候选者集合中移除。

14.如权利要求1所述的推导运动向量预测子的方法，其特征在于，该运动向量预测子是根据与所选运动向量预测子相关的第一时间距离以及与该当前块的该运动向量相关的第二时间距离被缩放的。

15.一种推导运动向量预测子的装置，用于在帧间、合并或跳过模式下推导当前图像中当前块的运动向量的运动向量预测子，其特征在于，该运动向量是与该当前块以及给定参考列表中目标参考图像中的对应块相关，该推导运动向量预测子的装置包含：选择对应于同位图像的同位块的模块；

接收与该同位块相关的多个同位参考块的一或多个参考运动向量的模块；其中，该多个同位参考块包含位于该同位块中心的内部同位块以及从该同位块的右下角跨过该同位块且位于该同位块的外部的外部同位块；

决定搜索集合的模块，其中该搜索集合包含与该多个同位参考块相关的一或多个搜索运动向量；

决定搜索集合的搜索顺序的模块，其中，该搜索顺序开始于先搜索与该外部同位块相关的该搜索运动向量，再搜索与该内部同位块相关的该搜索运动向量，且用于每一同位参考块的搜索对应于该给定参考列表的该搜索运动向量，若对应于该给定参考列表的该搜索运动向量不存在，则该搜索顺序接着搜索对应于与该给定参考列表不同的参考列表的该搜索运动向量；

基于该搜索集合及该搜索顺序决定用于该当前块的该运动向量预测子的模块；以及提供用于该当前块的该运动向量预测子的模块。

16.如权利要求15所述的推导运动向量预测子的装置，其特征在于，与该同位块相关的该同位图像是由一旗标指示，且与该旗标相关的信息是整合于序列级、图像级、或条带级。

说明书

推导运动向量预测子的方法与装置

[0001] 相关申请的交叉引用

[0002] 本申请要求如下申请的优先权：2011年4月14日递交的申请号为61/452,531，标题为“New Derivation Method for Temporal Motion Vector Predictor”的美国临时案。在此合并参考该申请案的全部内容。

技术领域

[0003] 本发明有关于视频编码，且特别有关于与推导时间运动向量候选者(candidate)和运动向量预测候选者相关的编码技术。

背景技术

[0004] 在视频编码系统中，可利用空间与时间预测来减少空间与时间冗余(spatial and temporal redundancy)，从而减少被传送的信息。空间与时间预测分别利用同一图像和参考图像的解码像素来形成当前欲解码像素的预测。在传统的编码系统中，可能必须传送对应于空间与时间预测的边界信息(side information)，这将占用压缩视频数据的一些带宽。用于时间预测的运动向量的传送可能需要占用压缩视频数据的很大一部分(noticeable portion)，在低比特率(low-bitrate)应用中尤为如此。为了进一步减少运动向量的相应比特率，近年来在视频编码领域使用了一种叫做运动向量预测(Motion Vector Prediction，MVP)的技术。MVP技术可从空间上和时间上减少相邻运动向量之间的静态冗余。在本申请的其他部分，根据上下文的描述，MVP有时可被称为“运动向量预测”或“运动向量预测子(motion vector predictor)”。

[0005] 在高效视频编码(High-Efficiency Video coding，HEVC)的开发中，标准本身考虑了一种叫做先进运动向量预测(Advanced Motion Vector Prediction，AMVP)的技术。AMVP技术利用明确的信令来指示从MVP候选者集合中选出的MVP。在HEVC测试模型版本2.0(HM-2.0)中，AMVP的MVP候选者集合包含空间MVP以及一个时间MVP，其中空间MVP包含从当前块的两个相邻组中分别选出的两个MVP。所述时间MVP是基于来自参考图像的个别(respective)区域的运动向量而通过将当前图像的当前块映射至所述参考图像推导出的。
所述个别区域，亦即，参考图像中的同位块(co-located block)可能不具有与当前块相同的块尺寸(预测单元尺寸)。当所述个别区域使用的块尺寸比当前块小时，则同位块中的多个块中的一个被选作同位参考块(co-located reference block)。在HM-2.0中，时间预测子与所述个别区域中心的块(center block)相关，而HM的之前版本则利用同位块的左上方参考块(above-left reference block)。若用于同位参考块的MV不存在，则时间MVP不可用。因此需要开发一种新的推导MVP的方法，以提升来自相邻块的MVP的有效性。所述改进的MVP推导方法可致使运动向量残差较小，从而带来更好的编码效率。更进一步来说，需要一种可在解码器端基于解码的信息推导MVP候选者以减少额外边信息传送的MVP推导方法。

发明内容

[0006] 本发明揭露一种推导运动向量预测子的装置与方法，用于在合并模式、帧间模式、或跳过模式下推导当前块的运动向量的运动预测子。在根据本发明的一个实施例中，所述用于在合并模式、帧间模式、或跳过模式下推导当前块的运动向量的运动预测子方法及装置包含：选择对应于同位图像的同位块；接收与所述同位块相关的一或多个同位参考块的一或多个参考运动向量；决定搜索集合以及决定用于所述搜索集合的搜索顺序；基于搜索集合和搜索顺序决定当前块的运动向量预测子；以及提供用于当前块的运动向量预测子。所述搜索集合包含与同位参考块相关的一或多个搜索运动向量，且每一同位参考块与一或多个搜索运动向量相关。

[0007] 本发明的一方面有关于用于决定运动向量预测子的同位参考块及相应的搜索集合的配置。在根据本发明的一个实施例中，同位参考块包含同位块内部的一个内部同位块和同位块外部的一个外部同位块、或两个内部同位块、或两个外部同位块。举例来说，同位块的中心块可被选作内部同位块。于另一实施例中，外部同位块位于同位块的外部且从同位块的右下角穿过。于又一实施例中，搜索运动向量包含穿过当前图像的第一搜索运动向量、与给定参考列表中同位图像相关的第二搜索运动向量、以及与其他参考列表中的同位图像相关的第三搜索运动向量。

[0008] 本发明的另一方面有关于用于决定运动向量预测子的搜索顺序。在根据本发明的一个实施例中，与当前图像位于相同参考列表中的同位图像相关的搜索运动向量的搜索优先级比与其他参考列表中的同位图像相关的搜索运动向量的搜索优先级高。在根据本发明的另一个实施例中，穿过当前图像的搜索运动向量的搜索优先级比其他搜索运动向量的搜索优先级高。用于决定运动向量预测子的搜索可首先于每一同位参考块相关的搜索运动向量上执行，或于用于每一搜索运动向量的同位参考块上执行。在根据本发明的又一个实施例中，搜索到的运动向量预测子与先前运动向量预测子进行比较。若搜索到的运动向量预测子与先前运动向量预测子相同，则运动向量预测子的搜索结束。若通过搜索集合的搜索没有发现运动向量预测子，则运动向量预测子被设定为0、缺省值、或预设值、或从运动向量预测子的候选者集合中移除。

[0009] 本发明的又一方面有关于用于决定运动向量预测子的同位图像的选择。与指示同位图像的旗标相关的信息可于序列级、图像级、或条带级被整合。与同位块相关的同位图像可依据旗标指示的隐式法或显式法推导出。在根据本发明的一个实施例中，当使用隐式法时，与同位块相关的同位图像的选择方法可依据给定的参考列表决定，所述给定的参考列表例如与给定的参考列表不同的参考列表。在根据本发明的另一个实施例中，当使用隐式法时，同位图像的选择方法可基于与参考运动向量相关的时间距离进行，所述参考运动向量例如具有最短时间距离的参考运动向量。

[0010] 以上所述的方法与装置可减少与运动向量相关的边信息的传送。

附图说明

[0011] 图1是依据高效视频编码用于推导帧间及跳过模式下空间/时间运动向量预测候选者集合的相邻块和同位块的配置示意图。

[0012] 图2是通过将块中心映射至同位块以替代所述块的起始的时间预测子的示意图。

[0013] 图3是依据HM-2.0用于推导合并模式下空间/时间运动向量预测候选者集合的相邻块和同位块的配置示意图。

[0014] 图4是依据HM-2.0用于推导合并模式下N×2N编码单元中第一预测单元的空间/时间运动向量预测候选者集合的相邻块和同位块的配置示意图。

[0015] 图5是依据HM-2.0用于推导合并模式下2N×N编码单元中第一预测单元的空间/时间运动向量预测候选者集合的相邻块和同位块的配置示意图。

[0016] 图6是H.264视频编码标准中用于推导时间运动向量预测的同位块的示意图。

[0017] 图7是依据本发明实施例的帧间及跳过模式下运动向量预测的推导方法的示意图，其中亦揭露了用于推导时间运动向量预测的搜索集合范例和搜索顺序范例。

[0018] 图8是依据本发明实施例的合并模式下运动向量预测的推导方法的示意图，其中亦揭露了用于推导时间运动向量预测子的搜索集合范例和搜索顺序范例。

[0019] 图9是依据本发明另一实施例的运动向量预测的推导方法的示意图，其中亦揭露了用于推导时间运动向量预测的搜索集合范例和搜索顺序范例。

[0020] 图10是依据本发明又一实施例的运动向量预测的推导方法的示意图，其中亦揭露了用于推导时间运动向量预测的搜索集合范例和搜索顺序范例。

[0021] 图11是依据本发明实施例的运动向量预测的示意图，其中当前块的运动向量预测是通过对同位图像的同位参考运动向量的缩放得到的。

[0022] 图12是依据本发明另一实施例的运动向量预测的示意图，其中当前块的运动向量预测是通过对同位图像的同位参考运动向量的缩放得到的。

具体实施方式

[0023] 在视频编码系统中，可利用空间与时间预测来减少信息传送或存储，以利用空间与时间冗余(spatial and temporal redundancy)。空间预测是利用同一图像的解码像素来形成当前欲解码像素的预测。空间预测通常是在逐块(block by block)基础上进行的，例如用于H.264/AVC帧内编码的亮度信号的16×16或4×4块。在视频序列中，相邻图像通常具有很大的相似性，且简单地使用图像差异(difference)可有效地减少所传送的与静态背景区域相关的信息。然而，视频序列中的移动物体会产生大量的残差，且需要更高比特率以对残差进行解码。因此，运动补偿预测(Motion Compensated Prediction，MCP)通常被使用以利用视频序列中时间相关性(correlation)。

[0024] MCP可用于前向预测(forward prediction)方式中，其中，当前图像块的预测是使用在显示顺序上位于当前图像之前的一个或多个已解码图像来进行。除前向预测以外，也可使用后向预测以改进MCP的性能。后向预测使用的是在显示顺序上位于当前图像之后的一个或多个已解码图像。由于H.264/AVC的初版已在2003年完成，前向预测和后向预测已分别扩展至列表0预测(list 0prediction)和列表1预测(list 1prediction)，两者皆可包括在显示顺序上位于当前图像之前及/或之后的多个参考图像。下面描述默认参考图像列表的配置(configuration)。对于列表0，位于当前图像之前的参考图像比位于当前图像之后的参考图像的具有更低的参考图像索引(index)。而对于列表1，位于当前图像之后的参考图像比位于当前图像之前的参考图像的具有更低的参考图像指数。对于列表0和列表1两者而言，在应用上述的规则之后，还需要考虑时间距离(temporal distance)：更靠近当前图像的参考图像具有较低的参考图像索引。为说明列表0和列表1参考图像的配置，提供了如下范例，其中，当前图像为图5，且图像0,2,4,6,和8为参考图像，所述数字表示播放顺序。从指数零开始，具有升序排列的参考图像指数的列表0的参考图像为4,2,0,6,和8。从指数零开始，具有升序排列的参考图像指数的列表1的参考图像为6,8,4,2,和0。索引值等于0的参考图像称为同位图像(co-located picture)，且在此实例中，以图像5作为当前图像，图像6为列表1同位图像，而图像4为列表0同位图像。当列表0或列表1同位图像中的块具有和当前图像中当前块相同的块位置时，该块称为列表0或列表1同位块，或称为列表0或列表1中的同位块。在早期的视频标准(例如，MPEG-1,MPEG-2and MPEG-4)中，用于运动估计模式(motion estimation mode)的单元主要基于宏块(macroblock)。在H.264/AVC中，16×16的宏块可分割(segment)为16×16,16×8,8×16以及8×8块以用于运动估计(motion estimation)。此外，8×8块可分割为8×8,8×4,4×8及4×4块以用于运动估计。对于发展中的高效视频编码(High Efficiency Video Coding，HEVC)标准，用于运动估计/补偿的单元被称为预测单元(Prediction Unit，PU)，其中，PU是从最大块尺寸开始进行分层分割而得到的。H.264/AVC标准中的每一条带(slice)亦选择了MCP类型。其中，MCP限制在列表0预测的条带称为P条带(P-slice)。而对于B条带(B-slice)而言，MCP除了包含列表0预测以外，还包括列表1预测。

[0025] 在视频编码系统中，运动向量和编码的残差被传送至解码器以用于在解码器端重建视频。此外，在具有弹性参考图像结构(flexible reference picture structure)的系统中，可能也必须传送与所选择参考图像相关的信息。运动向量的传送可能需要占用全部带宽的很大一部分(noticeable portion)，在低比特率(low-bitrate)、或运动向量与较小块相关的系统、或较高运动准确性的状况下尤为如此。为了进一步减少与运动向量相关的比特率，近年来在视频编码领域使用了一种叫做运动向量预测(Motion  Vector Prediction，MVP)的技术。在不影响理解的情况下，缩写MVP可以指运动向量预测子。MVP技术是利用空间和时间上在相邻运动向量之间的统计冗余(statistic redundancy)。当MVP被使用时，当前运动向量的预测子被选定且运动向量残差(亦即，运动向量和预测子之间的差异)被传送。所述运动向量残差通常也被称为运动向量差异(Motion  Vector Difference，MVD)。MVP机制可应用在闭环架构中，其中，可根据已解码信息在解码器端得到预测子，且无需传送边信息。或者，可在比特流中直接传送边信息以通知解码器所选择的运动向量预测子。

[0026] 正在开发中的HEVC正在考虑针对H.264/AVC的运动向量预测的一些改进。对于HEVC测试模型版本2.0(HM-2.0)中的帧间(Inter)和跳过(Skip)模式而言，多个空间MVP与一个时间MVP联合起来，以为当前块选出最终的MVP。对于HM-2.0中的合并(Merge)模式而言，多个空间MVP也与一个时间MVP联合起来，以选出当前块的最终MVP。在合并和跳过模式中，由于MVD被定义为0，因此最终MVP就是最终MV。在HM-2.0中，帧间和跳过模式考虑了一种叫做先进运动向量预测(Advanced Motion Vector Prediction，AMVP)技术从MVP候选者集合(candidate set)中选择最终MVP。AMVP技术是由McCanne等人提出于2010年4月15-23日在德国德勒斯登召开的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG1视频联合协作小组第一次会议上提出的，其相关文档为编号JCTVC-A124的“Samsung’s Response to the Call for Proposals on Video Compression Technology”(proposed by McCann et al.,entitled“Samsung’s Response to the Call for Proposals on Video Compression Technology”,Document JCTVC-A124,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1,1st Meeting:Dresden,Germany,15-23April,2010)。所选择的MVP的索引也被传送。在HM-2.0的跳过模式中，参考索引总是被设置为0。在帧间模式下，参考索引直接被传送至解码器。

[0027] 在当前的HEVC中，时间MVP是基于来自参考图像的个别(respective)区域的运动向量而通过将当前图像的当前块映射至所述参考图像推导出的。所述个别区域，亦即，参考图像(亦即，同位图像)中的同位块可能不具有与当前块相同的块尺寸(亦即，预测单元尺寸)。当个别区域使用的块尺寸比当前块小时，则同位块中的多个块中的一个被选作同位参考块(co-located reference block)。在HM-2.0中，时间预测子与个别区域的中心块(center block)相关。所述中心块具有映射至当前块的中心的右下角(lower right corner)的坐标(coordinates)。而HM的之前版本中，位于同位块的左上角(upper-left corner)的块与AMVP的时间预测相关。

[0028] 图1是HM-2.0中使用的MVP候选者集合的示意图，其包含两个空间MVP和一个时间MVP：

[0029] 1、左侧预测子(来自E,Am,…,A0的第一可用MV)，

[0030] 2、顶部预测子(来自C,Bn,…,B0,D的第一可用MV)，以及

[0031] 3、时间预测子Tctr(时间MV，通过将块的中心映射至其同位块而得到)。

[0032] MVP索引可被发送以指示候选者集合中的哪个MVP被使用。对于左侧预测子(left predictor)而言，被选作MVP的是从底部块到顶部块中具有与给定参考图像索引(跳过模式下被设置为0，且在帧间模式下被直接传送至解码器)相同的参考图像索引且具有与给定参考列表相同的参考列表的第一可用MV。对于顶部预测子(top predictor)而言，被选作MVP的是从右侧块到左侧块中具有与给定参考图像索引相同的参考图像索引且具有与给定参考列表相同的参考列表的、不同于左侧预测子的第一可用MV。时间预测子是通过将块中心映射至同位图像以替代所述块(亦即，个别区域中左上角的块)的起始(origins)来决定的。对于32×32编码单元(Coding Unit，CU)的三种分割(亦即，2N×2N的210、2N×N的220以及N×N的230)的中心位置如图2所示。块的中心以及起始分别由参考编号214、212、224、222、
234、以及232表示。

[0033] 在HM-2.0中，若块被编码为合并模式，则一MVP索引会被传送以指示候选者集合中的哪一MVP被用于将要被合并的所述块。图3是用于合并模式下推导MVP的相邻块配置的示意图。所述候选者集合包含四个空间MVP以及一个时间MVP：

[0034] 1、左侧预测子(A0)，

[0035] 2、顶部预测子(B0)，

[0036] 3、时间预测子Tctr(时间MV，通过将块的中心映射至其同位图像得到)[0037] 4、右上方预测子(C)，以及

[0038] 5、左下方预测子(E)。

[0039] 对于合并模式下的空间MVP而言，其参考图像索引将被设置为与所选块的参考图像索引相同。举例而言，若依据MVP索引，块C被选中，则来自块C的MV及参考图像索引被用于合并，亦即，来自块C的MV及参考图像索引被用于当前PU。若块具有两个MV，则所述两个MV及其参考图像索引被用于双向预测(bi-prediction)。具体而言，每一CU可被整体(亦即，2N×2N)合并或部分合并。若分割类型N×2N或2N×N被选定用于帧间预测的CU，则此CU的第一分割(亦即，PU)被强制为合并模式。也就是说，N×2N或2N×N的CU的第一PU将不具有其自己的运动向量；而是，其必须共享其相邻块之一的运动向量。与此同时，N×2N或2N×N的CU的第二PU可以是合并模式或帧间模式。图4是用于第一N×2N PU的部分合并的MVP的示意图，其中空间MVP以参考编号410表示，时间MVP以参考编号420表示。图5是用于第一2N×N PU的部分合并的MVP的示意图，其中空间MVP以参考编号510表示，时间MVP以参考编号520表示。

[0040] 运动向量预测是用于预测当前块的运动向量，且其是视频编码中的一个重要部分。通常而言，运动向量预测子(MVP)是作为运动向量预测的结果使用，其可从空间及时间相邻块中推导出来。所述时间相邻块通常是指最近参考图像中位于相同位置的块。如图6所示，对于B图像(B-picture)来说，其具有多于一个的同位块。在H.264中，后续的(succeeding)同位块被隐式地(implicitly)选中以推导运动向量预测子。在本发明中，提出了一种推导时间运动向量预测子或运动向量预测子候选者的新的方法。为简单起见，本发明使用与H.264相同的标记，例如用于索引参考图像的参考图像列表0及参考图像列表1。

[0041] 如上所述，在H.264中，对于B图像而言，当前块可基于先前参考图像及后续参考图像并利用运动补偿来预测。因此，时间MVP可基于图6所示的选自参考图像列表0或参考图像列表1中的同位图像。先前参考图像610中的对应同位块612或后续参考图像630中的对应同位块632可被用于推导当前图像620中当前块622的时间MVP。在H.264中，后续的同位块被隐式地选中以推导运动向量预测子。AMVP是用于减少与基本MV(underlying MV)的传送相关的信息的有效方法。AMVP的效率取决于MVP的可用性(availability)以及MVP的品质(亦即，MVP的准确性)。当MVP不可用时，基本MV必须被传送且不具有预测，或与预测值0、缺省值、或预设值一并传送。MVP的可用性及其品质需要提升。因此，依据各种实施例，本发明提出了一种扩展的时间搜索机制，一旗标被用于指示同位图像且时间MVP可基于同位块推导出来。与同位块相关的参考运动向量被使用以形成搜索集合且MVP可依据一搜索顺序从搜索集合中得出。

[0042] 图7是依据本发明的一个实施例的示意图，其中相邻块(A0,…,Am,B0,…,Bn,C,D,E)被用于推导空间MVP，且与同位块相关的TBR及Tctr被用于推导帧间及跳过模式下的时间MVP。传统方法通常使用同位块730中的一个块来推导时间MVP。图7所示的实施例亦利用了同位块730外的块来推导时间MVP。此外，超过一个的块可被用于推导时间MVP，例如内部块及外部块，而传统方法则总是利用单一的同位块。图7所示为作为内部块的中心块Tctr以及作为外部块的与同位块右下角相邻的块TBR的范例。在本发明的描述中，用于时间MVP推导的、与同位块及同位块的相邻块相关的块被称为同位参考块。在本发明的描述中，同位块内部用于推导时间MVP的块被称为内部同位块。类似地，在本发明的描述中，同位块外部用于推导时间MVP的块被称为外部同位块。用于同位参考块的运动向量可被接收以用于推导时间MVP。用于每一同位参考块可具有多于一个的运动向量。举例而言，对应B图像，一个运动向量可指向参考列表0中的图像，而另一个运动向量可指向参考列表1中的图像。在本发明的描述中，用于同位参考块的运动向量被称为参考运动向量(MV)。

[0043] 搜索集合(search set)可基于同位参考块来决定，而搜索顺序(search order)可用于决定时间MVP。在图7所示的范例中，若TBR存在，则同位参考块TBR的参考MV首先被搜索，接着同位参考块Tctr的参考MV被搜索以决定时间MVP。所述搜索集合包含与一或多个同位参考块相关的搜素MV，且每一同位参考块与一或多个搜素MV相关。举例而言，同位参考块TBR具有两个MV，一个指向列表0中的参考图像，另一个指示列表1中的参考图像。在依据本发明的不同实施例中，可形成各种搜素集合以决定时间MVP。类似地，在依据本发明的不同实施例中，亦可形成各种搜素顺序以决定时间MVP。图7所示的搜索集合包含与同位参考块TBR及Tctr相关的搜索MV。穿过(cross)当前图像的搜索MV、对应于同位参考块且指向给定参考列表中的参考图像的搜索MV，以及对应于同位参考块且指向其他参考列表中的参考图像的搜索MV被依序搜索。图7所示的搜索顺序是从穿过当前图像的搜索MV开始，到对应于同位参考块且指向给定参考列表中的参考图像的搜索MV，再到对应于同位参考块且指向其他参考列表中的参考图像的搜索MV。在依据本发明的一个实施例中，穿过当前图像的搜索MV总是被分配较高的优先级，而在只有一个MV穿过当前图像时，此搜索MV被选作时间MVP。若列表0和列表1中的MV都穿过当前图像，或没有MV穿过当前图像，则对应于同位参考块且指向给定参考列表中的参考图像的搜索MV被选作时间MVP。若对应于同位参考块且指向给定参考列表中的参考图像的搜索MV不存在，则对应于同位参考块且指向其他参考列表中的参考图像的搜索MV被选作MVP。换句话说，只有在同位参考块为单一预测(uni-prediction)，其只有一个MV对应于其他参考列表时，对应于其他参考列表的搜索MV才会被选中。相应地，在本发明的描述中，被分配了第一搜索优先级的搜索MV被称为第一搜索MV。另一方面，在本发明的描述中，被分配了第二搜索优先级的搜索MV被称为第二搜索MV。在图7所示的范例中，若存在一个用于TBR的运动向量MVBR，且存在一个用于Tctr的运动向量MVctr，则图7所示的搜索机制选择MVBR作为时间MVP。为了正确使用MVBR作为时间MVP，MVBR需要依据与当前MV及所选MVP(MVBR)相关的时间距离而被缩放。

[0044] 在其他实施例中，若不考虑穿过当前图像的MV，则图7所示的搜索顺序变成先搜索对应于给定参考列表的TBR的搜索MV，若TBR为单一预测且仅具有其他参考预测列表中的MV，则搜索对应于其他参考列表的TBR的搜索MV。在同位块TBR不存在的状况下，则搜索顺序变成先搜索对应于给定参考列表的Tctr的搜索MV，再搜索对应于其他参考列表的Tctr的搜索MV。

[0045] 基于相邻块来推导空间MVP的方法有很多种。举例而言，由McCanne等人于2010年4月15-23日在德国德勒斯登召开的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG1视频联合协作小组第一次会议上以文档编号为JCTVC-A124发表的“Samsung’s Response to the Call for Proposals on Video Compression Technology”(proposed by McCann et al.,entitled“Samsung’s Response to the Call for Proposals on Video Compression Technology”,Document JCTVC-A124,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1,1st Meeting:Dresden,Germany,15-23April,2010)中提出的AMVP技术，其描述了基于左侧相邻块及上方相邻块来推导空间MVP的方法。2011年7月7日提出的、编号13/177,808、名称为“Method and Apparatus for Derivation of Spatial Motion Vector Candidate and Motion Vector Prediction Candidate Method and Apparatus for Derivation of Spatial Motion Vector Candidate and Motion Vector Prediction Candidate”的美国专利申请(US Patent Application,Serial No.13/177,808,entitled“Method and Apparatus for Derivation of Spatial Motion Vector Candidate and Motion Vector Prediction Candidate”,filed July 7,2011)提出了一种基于相邻块的改进的空间MVP的推导方法。依据本发明实施例的时间MVP的推导可与任何空间MVP推导方法结合以用于空间/时间MVP推导。

[0046] 图8是依据本发明实施例的用于合并模式下推导空间/时间运动向量预测候选者集合的相邻块和同位块的配置的示意图。与图7所示相同的搜索集合与搜索顺序被用于合并模式。虽然特定同位参考块(亦即，TBR及Tctr)被用于作为同位参考块的范例，但同位块及其相邻块中的其他块也可被使用以作为同位参考块。更进一步，每一同位参考块的三个搜索MV被使用以作为范例。然而，每一同位参考块亦可使用更多或更少的搜索MV。此外，并非每一同位参考块都需要包含多个搜索MV。举例而言，如图7和图8所示，同位参考块TBR可包含标记为1、2、3的搜索MV，而同位参考块Tctr可仅包含标记为1的一个搜索MV。另外，图7和图8所示的特定搜索顺序为：先搜索穿过当前图像的搜索MV，再搜索指向给定参考图像列表中参考图像的搜索MV。若仍未找出MVP，则继续搜索指向其他参考图像列表中参考图像的搜索MV。然而，亦可使用其他搜索顺序。

[0047] 图9是依据本发明另一实施例的MVP的推导方法的示意图，其亦揭露了用于推导时间MVP的搜索集合范例和搜索顺序范例。除了将从同位参考块TBR找到的MVP与一或多个先前MVP比较之外，所述的时间MVP推导方法与图7所示的方法类似。所述先前MVP可以是用于决定最终MVP的、MVP候选者集合中的先前得到的MVP，举例而言，所述先前MVP可以是先前得到的空间MVP。若找到的MVP与先前的一个MVP相同，则时间MVP的搜索于其他同位参考块(例如，Tctr)继续。若找到一个MVP，则将此MVP与先前MVP比较。若找到的MVP还是与先前的一个MVP相同，则MVP被设置为0、或一缺省值，或此MVP被直接从候选者集合中移除(亦即，时间MVP不可用)。

[0048] 图10是依据本发明又一实施例的MVP的推导方法的示意图，其亦揭露了用于推导时间MVP的搜索集合范例和搜索顺序范例。图9所示的搜索顺序是在移至下一同位参考块前搜索每一同位参考块相关的所有搜索MV，而图10则揭露了另一种搜索顺序。图10所示的搜索顺序是先搜索所有同位参考块的第一搜索MV。若找到一个MVP，则将其与先前MVP进行比较。若找到的MVP与先前MVP相同或没有找到MVP，则时间MVP的搜索继续以搜索所有同位参考块的下一搜索MV。在所有搜索MV都被搜索之后，若找到MVP，则将找到的MVP与先前找到的MVP进行比较。若找到的MVP与先前MVP相同或未找到MVP，则MVP被设置为0、一缺省值、或一预设值，或此MVP被直接从候选者集合中移除(亦即，时间MVP不可用)。在空间/时间MVP推导方法中，空间MVP通常在时间MVP之前被决定。因此，所述的先前MVP可以是在时间MVP推导开始前决定的任何空间MVP。

[0049] 图11是依据本发明实施例的运动向量预测的示意图，其利用了从同位块得到的缩放的(scaled)运动向量。在图11中，具有当前块1110的当前图像以图像索引k标记。目标参考图像以图像索引j来标记。图像l是被选定以决定同位块1120的同位图像。假定当前块的参考图像列表为列表1。两个同位参考MV(mvL0l及mvL1l)中，mvL0l指向列表0中的参考图像，而mvL1l则指向列表1中的参考图像。因此，mvL1l指向与当前块相同的参考列表中的参考图像，而mvL0l则指向不同参考列表中的参考图像。如图11所示，参考运动向量mvL0l是从图像l指向图像i。因此，参考运动向量mvL0l穿过当前图像k。时间MVP可依据搜素顺序得出。图11所示的范例为相同参考列表中的搜索MV分配了较高的搜索优先级。因此，相比于与指向其他参考列表中参考图像的mvL1l对应的缩放的运动向量1122而言，与指向相同参考列表中参考图像的mvL0l对应的缩放的运动向量112被选中。所述缩放的MV可依据与所选MVP相关的第一时间距离和与当前目标参考图像相关的第二时间距离而从各自的参考MV中得到。在图11所示的范例中，与mvL1l相关的时间距离可依据相关图像索引的差异(亦即，|m-l|)计算出来。另一方面，与当前目标参考图像相关的时间距离可依据相关图像索引的差异(亦即，|k-j|)计算出来。2005年1月，Tourapis等人在IEEE Trans.On Circuits and Systems for Video Technology第15卷，编号1，第119-126页发表的“Direct Mode Coding for Bipredictive Slices in  the H.264Standard”(“Direct Mode Coding for Bipredictive Slices in the H.264Standard”,authored by Tourapis et al.,in IEEE Trans.on Circuits and Systems for Video Technology,Vol.15,No.1,pp.119-126,Jan.2005)提出了一种推导缩放的运动向量的范例。

[0050] 图12是依据本发明另一实施例利用从同位块得到的缩放的运动向量的运动向量预测的示意图，其中MVP依据另一搜索顺序选出。图11所示范例为指向相同参考列表中图像的搜索MV指派了高于指向其他参考列表中图像的搜索MV的搜索优先权，而图12中的搜索顺序则为穿过当前图像的搜索MV指派了更高的搜索优先权。因此，对应于穿过当前图像的mvL0l的缩放的运动向量1122被选中。

[0051] 被选出以决定同位块(亦即，同位图像)的参考图像可被隐式地(implicitly)或显式地(explicitly)决定。一旗标可被整合至比特流以表示是否使用了隐式法或显式法。与所述旗标相关的信息可于序列级(sequence level)、图像级(picture level)或条带级(slice level)被整合。使用隐式法的优势在于，与参考图像选择相关的边信息较少或者不存在。当隐式法被使用，用于与同位块相关的同位图像的选择方法可依据给定的参考列表来决定。举例而言，若当前图像在参考列表0中，则于同位块相关的同位图像从参考列表1中选出。另一方面，若当前图像在参考列表1中，则于同位块相关的同位图像从参考列表0中选出。当隐式法被使用时，用于与同位块相关的同位图像的选择方法可基于与参考MV相关的时间距离进行。更进一步，所述选择方法选择同位图像，其中与同位图像相关的参考MV具有最短的时间距离。在依据本发明的一个实施例中，若所述旗标指示隐式法被使用，则用于与同位块相关的同位图像的选择方法可基于同位图像的图像类型进行。在依据本发明的另一个实施例中，若所述旗标指示隐式法被使用，则用于与同位块相关的同位图像的选择方法可基于同位图像在分层(hierarchical)图像组(Group of Pictures，GOP)中的层(layer)来进行，或基于同位图像在GOP中的图像顺序来进行，或基于同位图像在GOP的相同层中的图像顺序来进行。

[0052] 在上述内容中，同位参考块的配置范例被提出以说明本发明。用于帧间/跳过模式和合并模式的配置范例是单独提出的，但用于帧间/跳过模式的配置范例也可用于合并模式，反之亦然。此外，用于帧间/跳过模式和合并模式的搜索方法范例是单独提出的，然而，用于帧间/跳过模式的搜索方法范例也可用于合并模式，反之亦然。更进一步，虽然上述内容仅以几种同位参考块的配置范例来说明，但本领域的技术人员亦可在不脱离本发明精神的前提下利用其他配置来实施本发明。

[0053] 上述的根据本发明的MVP推导的实施例可以不同硬件、软件代码、或两者的结合来实施。举例而言，依据本发明的一实施例，其可以是用来实施所述方法的、整合至视频压缩芯片中的电路，或是整合至视频压缩软件中的程序代码。依据本发明的另一实施例，其也可以是数字信号处理器(Digital Signal Processor，DSP)上执行的、用来实施所述方法的程序代码。本发明亦可包含由计算机处理器、DSP、微处理器、或现场可编程门阵列(Field Programmable Gate Array，FPGA)执行的一系列功能。依据本发明，通过执行定义了本发明实施例特定方法的机器可读软件代码或固件代码，这些处理器可被设置为执行特定的任务。所述软件代码或固件代码可通过不同的编程语言及不同格式/样式来开发。所述软件代码亦可符合不同的目标平台。然而，执行与本发明相应的任务的、具有不同代码格式、样式及语言的软件代码，以及其他方式形成的代码都应包含在本发明的范围内。

[0054] 在不脱离本发明的精神及基本特征的前提下，本发明亦可用其他特定形式来实施。以上所述的实施例仅仅是为了例示本发明，并非本发明的限制。本发明的范围当所附的权利要求为准，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。