在利用视频序列中的时间冗余度的视频编码系统中，运动估计是 一个关键要素。运动估计是根据在先前解码的帧中的块来估计要预测 的帧中的当前宏块(或块)的过程。通常，该过程包括根据为最小化 失真而进行的测量，搜索预测帧来寻找与当前块相匹配的块。例如， 当前所使用的测量包括差值绝对值之和(SAD)和差值平方和(SSD)。 通常，搜索基于采用运动矢量预测得到的初始估计(在参考帧中的位 置)而开始。
在视频编解码在运动矢量预测中结合了多个参考帧和多种宏块 类型的情况中，运动矢量预测过程引入了极大的计算量。实验证明， 运动估计会占用总编码时间的60％(一个参考帧)至90％(5个参 考帧)。减小运动估计中的计算复杂度并同时保持失真率是具有挑战 性的课题。当前，相关研究集中在获得更准确的运动矢量预测值，以 及通过检测到零块来实现及早的终止，以便减少处理时间或者甚至跳 过像素搜索步骤。在控制总运动估计时间中，所预测的运动矢量的准 确度是至关重要的。在由ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11和ITU-T SG16 Q.6)的视频联合工作组(JVT)2003 年9月第9次会议JVT-I050(JVT标准)所提出的H.264视频编解码 中的有关运动矢量预测的标准中，采用了多种方法，通过引入更多运 动矢量候选来改进运动矢量的预测。
例如，如图1所示，使用在当前块102的左方，上方，和右上方 的相邻块来预测当前块的运动矢量：
pre_mv＝median(mv_A，mv_B，mv_C) 在此，pred_mv定义为中值预测值，mv_A，mv_B，mv_C分别是块 A 104、B 106、C 108的运动矢量。为了更好地利用在7个帧间预测 模式之间的运动关系，一种方案使用了从模式1到7的分层搜索次序， 而不是在JVT标准中所建议的搜索次序。在图2中示出了当前块的 上层的运动矢量，其被视为用于预测当前块运动矢量的候选。其它方 案通过考虑相应相邻块和所有参考帧的运动矢量，而在时间序列中使 用了更多的运动矢量候选。如在图3和图4中所示，先前参考帧和其 它参考帧的相应运动矢量也用作预测候选。应注意，在图4的多参考 帧模型中，参考帧中的运动矢量是根据其与当前帧的时间距离来定标 的。
运动矢量预测的精确性在控制计算量减少的步骤中，例如在运动 估计中的及早终止、快速搜索方法以及快速模式判定(例如，跳过模 式)中，起到关键作用。

在此描述的实施例提供了用于运动矢量预测的4种方法，以及将 这些方法合并的方案，以实现在失真率方面的性能改善。在此所述的 方法和设备提高了运动矢量预测的准确度。在一个实施例中，通过使 用从原始视频帧的较低分辨率形式而来的更多空间相关信息，将当前 块的所有非因果关系块的运动矢量并入到对运动矢量预测值的计算 中。在另一个实施例中，将色度分量与亮度分量相结合，通过使用颜 色信息来预测更准确的运动矢量。在再一个实施例中，系统考虑了可 能存在于视频流传输系统中MPEG-2元数据(metadata)流中的运动 矢量信息。在再另一个实施例中，采用了运动矢量处理技术来消除 (即，平滑)错误的运动矢量，以提高该技术的准确度。
从随后的详细说明中，其它目的、特征和优点对于本领域技术人 员而言将变得显而易见。然而，要理解的是，详细描述和特定示例虽 然指示了本发明的实施例，但是是以说明的方式给出的而不具有局限 性。在不脱离本发明的精神的情况下，可以在本描述的范围内进行各 种改变和修改，并且本发明包括所有的这些修改。

通过参考附图，本发明将更加容易理解，其中：
图1示出了现有技术的使用特定相邻块的运动矢量预测方案；
图2示出了使用分层搜索方案的运动矢量预测方案；
图3示出了使用来自先前参考帧的运动矢量的运动矢量预测方 案；
图4示出了使用来自先前参考帧的运动矢量的运动矢量预测方 案；
图5示出了用于运动矢量预测的非因果关系参考块的位置；
图6是示出用于运动矢量预测的非因果关系参考块的使用的流 程图；
图7是示出来自下采样视频帧的较为粗略的运动矢量的创建的 示意图；
图8示出了在视频传输系统中的数据流；
图9示出了使用元数据来预测在下一帧中的相应块的运动矢量；
图10示出了在彩色图像中的亮度分量和色度分量；
图11示出了在运动矢量预测之后三个典型运动矢量场的排列； 以及
图12是无线系统的接入终端和接入点的方框图。
在附图中类似的数字表示类似的元件。

运动矢量预测的精确性在控制以下的计算量减少步骤，例如及早 终止、快速搜索方法以及快速模式决定(例如跳过模式)中起到关键 作用。本方法提出了四种新方法来改进在视频编解码中的运动矢量的 创建。在一个实施例中，利用了宏块之间的空间相关性，首先对视频 帧进行下采样以创建较低分辨率形式的视频帧，并对该较低分辨率的 视频帧执行运动估计。因此获得一组运动矢量，称为“较为粗略”的 运动矢量。将较为粗略的运动矢量映射到原始视频帧。因此，能够将 包括较为粗略的运动矢量(源自较低分辨率视频帧)和因果关系运动 矢量在内的所有相邻块的运动矢量用作候选运动矢量。在另一个实施 例中，使用了从上游MPEG-2编码器输入给视频编解码器的元数据信 息，所述元数据信息包含每个宏块的MPEG-2运动矢量信息，其可以 用于预测相应块的运动矢量。在又一个实施例中，将亮度分量并入到 对运动矢量的计算中，以充分利用颜色信息。在再另一个实施例中， 使用了运动矢量平滑技术，以尽可能纠正错误预测的运动矢量并去除 噪声。
1.非因果关系运动矢量
图5示出了采用非因果关系运动矢量来在如图6的流程图中所示 的预测过程600中预测当前帧500的当前块502的运动矢量。在上述 JVT标准中，在预测中只使用了3个因果关系块，与JTV标准相比， 在一个实施例中，所有与当前块502相邻的块504-518都可以用作 在帧序列中除帧内帧(I帧)之外所有帧的运动矢量预测的候选，如 在步骤602和步骤604所示。对于I帧不执行预测，因为对于此类帧 无需运动矢量预测。然而，如在以下步骤中所述，对于所有其它帧， 通过“较为粗略”运动矢量的创建，使得所有相邻块的运动矢量都可 用。因此，当视频帧不是I帧时，对该视频帧进行下采样，以创建较 低分辨率帧702，在帧702中确定因果关系运动矢量是否可用。参照 图5作为实例，因果关系运动矢量仅对块504(A)、块506(B)、和 块508(C)及块510(H)是可用的，因为块512(D)，块518(E)， 块516(F)和块514(G)按照扫描次序还没有被处理。因此，操作 会继续到步骤608，在此对视频帧500进行下采样以创建较低分辨率 帧702，如图7中所示。随后，在步骤608，对该较低分辨率视频帧 702执行运动估计，得到一组运动矢量，称为一组“较为粗略”的运 动矢量，随后在步骤610中，将该运动矢量组映射回原始视频帧中， 其在图7中示出。
因此，即使因果关系运动矢量不可用时，由于可以使用较为粗略 的运动矢量，在步骤612中可以执行运动矢量预测。例如，参照图6， 在一个实施例中，使用关于因果关系运动矢量的当前标准中的模式来 执行当前块502的预测，在该标准中只有块510(H)、块506(B) 和块508(C)用于预测，但也使用了从非因果关系块得到的另外的 矢量(即，从中得到的较为粗略的运动矢量)。尤其是，为块510(H)、 块506(B)和块508(C)的三个运动矢量所设定的值按照如下来确 定：
1.如果H不可用(位于图像之外)，则将其MV设定为(0，0)。
2.如果C不可用，则将其MV设定为A。
3.如果B和C都不可用，则将两个MV都设定为(0，0)。
这些运动矢量与来自块512(D)、块518(E)、块516(F)和块 514(G)的较为粗略的运动矢量组合来计算中值预测值。
在另一实施例中，所使用的参考块包括所有块(即块504(A)、 块506(B)、块508(C)、块512(D)、块518(E)、块516(F)和 块514(G)、及块510(H))。于是，中值预测值计算为：
pred_mv＝median(mv_A，mv_B，mv_C，mv_D，mv_E，mv_F，mv_G，
                  mv_H，mv_PrevCurrent)
在此，mv_PrevCurrent定义为在先前参考帧中的相应块的运动矢量。
2.来自MPEG-2上游元数据的运动矢量信息
图8示出了视频传输系统800的数据流，在此，输入视频编解码 器806的视频数据源是从来自MPEG-2解码器802的被解码MPEG-2 视频流传输而来的。在一个实施例中，所有原始源视频数据都作为 MPEG-2流进行传输，并随后进行解码。由预处理器804对被解码的 原始视频数据进行进一步处理并将其按比例减小为1/4的VGA大小 (QVGA)，并将其提供给视频编解码器806来将其编码为新的格式， 例如H.264。视频编解码器806还接收诸如帧大小，帧速率，每个宏 块的宏块类型和运动矢量之类的MPEG-2元数据。在一个实施例中， 在编码过程中，视频编解码器806由此将MPEG-2运动矢量用作相应 宏块的运动矢量预测候选。在一个实施例中，在宏块的大小是16× 16的块大小的情况中，MPEG-2运动矢量还被视为所有子层块的上层 运动矢量。
在一个实施例中，使用从先前格式到新格式的元数据的概念仅用 于这样的代码转换情况中：在目标编码器中，例如视频编解码器806 中，可以采用来自输入格式解码的编码参数和边信息。此外，由于运 动矢量是从先前帧为P和B帧预测的，因此其只适于从紧随其后的 未来帧的元数据中预测运动矢量。如在图9中所示，序列中在时间t-1 处的运动矢量只用于预测序列中在时间t处的对应块的运动矢量。在 一个实施例中，当前帧的参考帧号用于定位与先前参考帧的元数据有 关联的运动矢量。
3.颜色运动估计
在当前视频编解码标准中，例如MPEG-4和H.264中，两个色度 分量(Cb和Cr)的运动矢量源自相应的亮度分量(Y)。由于假定亮 度分量能够提供足够的信息且无需额外的开销来预测色度，因此随后 在速率失真(RD)和运动矢量预测过程中省略了色度分量。然而， 对于具有低亮度或复杂颜色信息的视频序列而言，色度分量对于更准 确的运动矢量预测而言是有用的。因此，在一个实施例中，运动估计 采用亮度分量和两个色度分量。例如，当在具有带有丰富颜色信息的 对象的视频帧中取出色度信息时，对象的运动会更加难以预测。因此， 使用颜色运动预测所预测的视频帧很可能会比仅采用亮度分量运动 预测所预测的视频帧具有较少的伪像。
如在图10中所示，将色度分量半采样到对应于亮度分量的水平 和垂直坐标上。如果只考虑帧编码，则色度分量的运动矢量按照如下 来计算：
MVC_X＝1/2*MVL_X
MVC_Y＝1/2*MVL_Y
在此，(MVL_X，MVL_Y)是亮度运动矢量，(MVC_X，MVC_Y)是色 度运动矢量。在一个实施例中，色度运动矢量用于为合并到运动矢量 预测和RD优化中的色度运动矢量计算差值绝对值之和(SAD)。对 于仅仅亮度的RD优化方程为：
L＝R+λD
因此，运动预测能够视为使得该拉格朗日代价函数最小。这里， 失真D表示作为亮度分量的SAD来测量的预测误差，R是比特数量， 拉格朗日乘法器与量化参数(QP)相关联，其值控制RD折衷。考 虑色度分量，则引入了以下的代价函数：
L＝R+λ(W1*DL+W2*DC)
W1∈(1，2)，W2∈(0，1)
其中DL和DC分别表示在亮度分量和色度分量中的失真，W1和W2 是根据实验得到的适合于特定视频序列的加权参数。在一个实施例 中，因为色度分量具有较少信息，因此其SAD计算仅使用了整数值 的运动矢量，因此无需插值。
4.运动矢量平滑
在视频捕捉和编码的视频序列传输期间所遇到的任何噪声或丢 帧经常转化为在重放期间序列质量的降低。另外，在运动矢量预测中， 块匹配运动矢量预测过程也引入了误差。矢量中值滤波(VMF)可 以用作另一种有效的方法来提高运动矢量预测准确度并减小噪声，同 时保留视频序列细节。VMF的基本概念是在自然视频序列中的相邻 运动矢量总是彼此相关的。如在图11中所示，在运动矢量预测过程 之后，会出现三种类型的运动矢量场，包括平滑区域运动矢量场1110、 在运动矢量场1120中的离群值(outlier)运动矢量1122、和示出由 多个运动矢量1132(a)-(c)所定义的对象边缘的运动矢量场1130，其 中，运动矢量1132(a)-(c)的方向与运动矢量场1130中其它运动矢量 方向相反。
在一个实施例中，选择3×3的块大小来执行中值操作。继续参 照图11，在离群值运动矢量场1120中，“错误”(或离群值)运动矢 量能够被纠正。然而，当对象边界出现在块内部时，例如在运动矢量 场1130中时，就不能使用VMF。在一个实施例中，边缘检测和对象 分割方法可以用于处理此情况。
所提出的每种运动矢量预测方法能够单独或组合使用。例如，在 一个实施例中，在代码转换期间，提取并保存在输入视频比特流中可 用的运动矢量数据，以在目标编码器中，例如视频编解码器806中使 用。该数据从属于输入视频帧。将运动矢量数据重新映射到输入到目 标编码器的源帧上。在使用单一参考帧的过程中，能够模拟在先前N 个帧上的运动矢量数据，以找到在这N个帧上的运动轨迹。然后能 够采用运动矢量平滑来移除离群值并提高轨迹的准确度。对轨迹进行 外插得到对要进行编码的块的运动矢量的更准确估计。另外，从输入 视频比特流中提取的运动矢量数据可以是也可以不是真实运动矢量。 这些运动矢量的准确度通常取决于在上游源编码器中所使用的运动 搜索算法。根据这些运动矢量来获得每个被解码帧的运动场，并应用 合适的运动矢量平滑技术，这将会有助于消除离群值。当不能确定运 动矢量的准确度时，能采用其它方法，例如基于空间相邻或并列相邻 的方法。
如果可以得到足够的信息以实现一种以上的所提出的方法，则建 议在获得运动矢量估计时采用以下优先级别：
1.根据从元数据或预处理功能中得到的附加信息来对每种方法 的准确度进行分级(例如使用从0-1的范围)。例如，如果将解交错 或反向电视电影处理(telecine)用作预处理的部分，则就需要对运动 矢量进行适当的映射。如果运动矢量平滑的结果是不确定的，则该方 法的准确度就较差。如果所提取的运动矢量、经过运动矢量平滑的运 动矢量和经过预处理和和重新映射的运动矢量很接近，则该运动矢量 估计的准确度就很高。此外，对于色度运动估计而言，准确度取决于 在源内容中色度信息相对于亮度信息的比例。当可能时，会使用来自 所有参考帧的非因果关系运动矢量和因果关系运动矢量。
2.根据其排列顺序，对每种方法进行加权。
3.使用非线性选择算法来选择方法。
对视频编解码器的上述附加方法尽可能提高运动矢量预测过程 的准确度。尽管在每种方法的实现中都包含了计算，但运动矢量预测 准确度的提高会减少在像素搜索步骤、SAD计算和RD优化中的计算 量。因此，总编码时间将会减小，并会实现更好的视频质量。
图12示出了在无线系统中接入终端1202x和接入点1204x的方 框图，其中每个都可以实现在此所述的运动矢量预测过程。在此所述 的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接 入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算 设备，或者其可以是独立设备，例如个人数字助理。接入终端还可以 指用户单元、移动站点、移动设备(mobile)、远程站点、远程终端、 用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无 线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电 话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线 连接功能的手持设备、或者连接到无线调制解调器上的其他处理设 备。在此所述的“接入点”指的是通过空中接口经过一个或多个扇区 与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空 中接口帧转换为IP分组，来充当在接入终端与包括IP网络在内的接 入网络的其他部分之间的路由器。接入点还协调空中接口的属性管 理。
对于反向链路而言，在接入终端1202x，发射(TX)数据处理器 1214接收来自数据缓冲器1212的通信量数据，根据所选择的编码和 调制方案来处理(例如，编码、交错、以及符号映射)每个数据分组， 并提供数据符号。数据符号是数据的调制符号，导频符号(pilot symbol)是导频(其已知为先验的)的调制符号。调制器1216接收 数据符号、导频符号，并且可能还有反向链路的信令，执行系统所指 定的(例如OFDM)调制和/或者其他处理，并提供输出芯片的流。 发射器单元(TMTR)1218处理(例如转换为模拟、滤波、放大、和 频率上转换)输出芯片流并生成经过调制的信号，该信号是从天线 1220发射的。
在接入点1204x，由与接入点1204x通信的接入终端1202x和其 他终端所发射的经过调制的信号被天线1252接收。接收器单元 (RCVR)1254处理(例如，调节和数字化)来自天线1252的所接 收信号，并提供所接收采样。解调器(Demod)1256处理(例如， 解调和检测)所接收采样，并提供所检测的数据符号，其是由终端发 射到接入点1204x的数据符号的噪声估计。接收(RX)数据处理器 1258处理(例如，符号解映射、解交错和解码)每个终端的所检测 的数据符号，并提供该终端的被解码数据。
对于前向链路，在接入点1204x，由TX数据处理器1260处理通 信量数据以生成数据符号。调制器1262接收数据符号、导频符号、 和前向链路的信令，执行(例如OFDM)调制和/或者其他相关处理， 并提供输出芯片流，所述芯片流由发射器单元1264进行进一步调节， 并从天线1252发射。前向链路信令可以包括由控制器1270对所有终 端所产生的功率控制命令，其在反向链路上发射到接入点1204x。在 接入终端1202x，由接入点1204x所发射的被调制信号由天线1220 所接收，由接收器单元1222进行调节和数字化，并由解调器1224进 行处理，以获得所检测的数据符号。RX数据处理器1226处理所检测 的数据信号，并为终端提供被解码数据并提供前向链路信令。控制器 1230接收功率控制命令，并控制在反向链路上到接入点1204x的数 据传输和发射功率。控制器1230和1270分别控制接入终端1202x和 接入点1204x的操作。存储器单元1232和1272分别存储控制器1230 和1270所使用的程序代码和数据。
所公开的实施例可以应用到以下技术中的任意一种或者其组合： 码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA (W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA) 系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
与在此所公开的实施例有关的所述方法和算法的步骤可以直接 用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块 可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM 存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、 CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储 介质耦合到处理器，从而使得存储器能够从存储介质中读出信息，并 将信息写入存储介质中。可替换的，存储介质可以集成到处理器中。 处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。 可替换的，处理器和存储介质可以作为分立部件而位于用户终端中。
应该注意的是，在此所述的方法可以在本领域技术人员已知的各 种通信硬件、处理器和系统上实现。例如，对于客户机按照在此所述 进行操作的通常要求是，客户机具有用于显示内容和信息的显示器、 用于控制客户机操作的处理器和用于存储与客户机操作相关的数据 和程序的存储器。在一个实施例中，客户机是蜂窝电话。在另一实施 例中，客户机是具有通信能力的手持计算机。在再一实施例中，客户 机是具有通信能力的个人计算机。另外，诸如GPS接收器之类的硬 件可以按照需要结合到客户机中，来实现各种实施例。与在此所公开 的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用 通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、 现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或 晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能 的以上的任何组合来实现或者执行。通用处理器可以是微处理器，但 是可替换的是，该处理器可以是任何传统的处理器、控制器、微控制 器或者状态机。处理器还可以实现为计算器件的组合，例如，DSP 和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或 多个微处理器，或者任何其他的这种配置。
与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模 块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途 集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻 辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计 为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器 可以是微处理器，但是可替换的是，处理器可以是任何传统的处理器、 控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合， 例如，DSP和微处理器的组合、多个微处理器的组合、与DSP核协 作的一个或多个微处理器，或者任何其他的这种配置。
上述实施例是示例性的实施例。在不脱离在此所公开的发明性概 念的情况下，本领域技术人员可以实现上述实施例的许多用途和改 变。对于这些实施例的各种修改对于本领域技术人员是显而易见的， 并且在此所定义的一般原理可以应用到其他实施例而不会脱离所述 实施例的精神和范围，例如，应用在即时消息服务中或者任何普通无 线数据通信应用中。因此，本描述的范围不是要局限于在此所示的实 施例，而是要对其给予与在此所公开的原理和新颖特征相一致的最大 范围。单词“示例性”在此专用于“用作示例、实例或者举例说明” 的意思。在此作为“示例性”所述的任何实施例不是必须要构建为优 于其他实施例的。
在35 U.S.C§119下的优先权要求
本专利申请要求分配给同一代理人的于2004年7月20日提交的 题目为“Method and Apparatus for Motion Vector Prediction in Temporal Video Compression”的临时专利申请No.60/589,818，因此在此将其引 入作为参考。