译码数字影像序列的方法及装置

摘要

一种译码数字影像序列的方法。该方法包含有对数字影像序列中的一第一画面进行译码以产生一已译码第一画面；对该第一画面的至少一成分进行向量量化来减少该已译码第一画面的资料量，其中进行向量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；将减少资料量后的该已译码第一画面储存至一存储器；读取减少资料量后的该已译码第一画面中的一参考区域；以及依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

权利要求

1.一种由影像播放器执行的译码数字影像序列的方法，其包含有：对该数字影像序列中一第一画面进行译码以产生一已译码第一画面；

由该影像播放器的一压缩器对该第一画面的至少一成分进行向量量化来减少该已译码第一画面的资料量，其中进行向量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；

将减少资料量后的该已译码第一画面以字节为单位储存至该影像播放器的一存储器；

从该存储器中读取减少资料量后的该已译码第一画面中的一预测区块；

由该影像播放器的一解压缩器对减少资料量后的该已译码第一画面中的该预测区块中选择的成份进行反向量量化以还原该已译码第一画面中的预测区块；

依据该已译码第一画面中的该还原的预测区块译码该数字影像序列中一第二画面的一区块；

由该压缩器对该第二画面的该选择的成分进行向量量化来减少该已译码第二画面的资料量；

将减少资料量后的该已译码第二画面储存至该存储器；

从该存储器中读取减少资料量后的该已译码的第二画面；

由该影像播放器的另一解压缩器对减少资料量后的该已译码第二画面的该选择的成份进行反向量量化以还原该已译码第二画面；以及显示该还原的第二画面。

2.如权利要求1所述的方法，其中上述向量量化是执行一全搜寻向量量化程序。

3.如权利要求1所述的方法，其中上述向量量化是执行一分类向量量化程序。

4.如权利要求3所述的方法，其中该分类向量量化程序首先是将画面中的区块区分成多个阴影区块以及多个边缘区块，然后再分别对该些阴影区块以及该些边缘区块进行向量量化。

5.如权利要求1所述的方法，其中减少该已译码第一画面的资料量另包含：在执行向量量化之前，将该第一画面中至少一成分降低取样率。

6.如权利要求1所述的方法，其中该第一画面中被向量量化的成分为该第一画面的彩度成分。

7.一种由影像播放器执行的译码一数字影像序列的方法，其包含有：对该数字影像序列中一第一画面进行译码以产生一已译码第一画面；

由该影像播放器的一压缩器对该第一画面的至少一成分进行纯量量化来减少该已译码第一画面的资料量，其中进行纯量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；

将减少资料量后的该已译码第一画面以字节为单位储存至该影像播放器的一存储器；

通过该影像播放器的一解压缩器对减少资料量后的该已译码第一画面中的一预测区块进行反纯量量化以还原该已译码第一画面中的预测区块；

依据该已译码第一画面中的该预测区块来对该数字影像序列的一第二画面中的一待处理区块进行译码；

由该压缩器对该第二画面的该选择的成分进行纯量量化来减少该已译码第二画面的资料量；

将减少资料量后的该已译码第二画面以字节为单位储存至该存储器；

从该存储器中读取减少资料量后的该已译码的第二画面；

由该影像播放器的另一解压缩器对减少资料量后的该已译码第二画面的该选择的成份进行反纯量量化以还原该已译码第二画面；以及显示该还原的第二画面。

8.如权利要求7所述的方法，其中该纯量量化是以均匀纯量量化的方式来进行。

9.如权利要求7所述的方法，其中该纯量量化是以非均匀纯量量化的方式来进行。

10.如权利要求7所述的方法，其中减少该已译码第一画面的资料量另包含：在执行纯量量化之前，将该第一画面中至少一成分降低取样率。

11.一种由影像播放器执行的译码一数字影像序列的方法，其包含有：对该数字影像序列中的一第一画面进行译码以产生一已译码第一画面；

通过该影像播放器的一压缩器先将该第一画面的至少一成分降低取样率，接着对降低取样率后的该成分进行量化来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；

将减少资料量后的该已译码第一画面以字节为单位储存至该影像播放器的一存储器；

从该存储器中读取减少资料量后的该已译码第一画面中的一预测区块；

通过该影像播放器的一解压缩器对减少资料量后的该已译码第一画面中的该预测区块中选择的成份进行反量化以还原该已译码第一画面中的预测区块；

依据减少资料量后的该已译码第一画面中的该预测区块来对该数字影像序列的一第二画面中的一区块进行译码；

由该压缩器对该第二画面的该选择的成分进行量化来减少该已译码第二画面的资料量；

将减少资料量后的该已译码第二画面以字节为单位储存至该存储器；

从该存储器中读取减少资料量后的该已译码的第二画面；

由该影像播放器的另一解压缩器对减少资料量后的该已译码第二画面的该选择的成份进行反量化以还原该已译码第二画面；以及显示该还原的第二画面。

12.一种译码一数字影像序列的装置，其包含有：

一译码模块，用于对该数字影像序列中的一第一画面进行译码以产生一已译码第一画面；

一资料量减少单元，用来对该第一画面的至少一成分进行向量量化来减少该已译码第一画面的资料量，其中进行向量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；以及一存储器，用于储存以字节为单位的减少资料量后的该已译码第一画面，其中，该译码模块还用于从该存储器中读取减少资料量后的该已译码第一画面中的一预测区块；

一第一解压缩器，用于对减少资料量后的该已译码第一画面中的该预测区块中选择的成份进行反向量量化以还原该已译码第一画面中的预测区块；以及一第二解压缩器和一显示模块；

其中，该译码模块还用于依据该已译码第一画面中的该还原的预测区块译码该数字影像序列中一第二画面的一区块，该资料量减少单元还用于对该第二画面的该选择的成分进行向量量化来减少该已译码第二画面的资料量,该存储器还用于储存以字节为单位的减少资料量后的该已译码第二画面，该第二解压缩器用于对减少资料量后的该已译码第二画面的该选择的成份进行反向量量化以还原该已译码第二画面，以及该显示模块用于显示该还原的第二画面。

13.如权利要求12所述的装置，其中该资料量减少单元是执行一全搜寻向量量化程序来进行向量量化。

14.如权利要求12所述的装置，其中该资料量减少单元是执行一分类向量量化程序来执行向量量化。

15.如权利要求14所述的装置，其中该分类向量量化程序首先是将画面中的区块区分成多个阴影区块以及多个边缘区块，然后再分别对该些阴影区块以及该些边缘区块进行向量量化。

16.如权利要求12所述的装置，其中该资料量减少单元在进行向量量化之前，将该第一画面中至少一成分降低取样率。

17.如权利要求12所述的装置，其中该第一画面中被向量量化的成分为该第一画面的彩度成分。

18.一种译码一数字影像序列的装置，其包含有：

一译码模块，用于对该数字影像序列中的一第一画面进行译码以产生一已译码第一画面；

一资料量减少单元，用于对该第一画面的至少一成分进行纯量量化来减少该已译码第一画面的资料量，其中进行纯量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；以及一存储器，用于储存以字节为单位的减少资料量后的该已译码第一画面，其中，该译码模块还用于从该存储器中读取减少资料量后的该已译码第一画面中的一预测区块；

一第一解压缩器，用于对减少资料量后的该已译码第一画面中的该预测区块中选择的成份进行反纯量量化以还原该已译码第一画面中的预测区块；以及一第二解压缩器和一显示模块；

其中，该译码模块还用于依据该已译码第一画面中的该还原的预测区块译码该数字影像序列中一第二画面的一区块，该资料量减少单元还用于对该第二画面的该选择的成分进行纯量量化来减少该已译码第二画面的资料量,该存储器还用于储存以字节为单位的减少资料量后的该已译码第二画面，该第二解压缩器用于对减少资料量后的该已译码第二画面的该选择的成份进行反纯量量化以还原该已译码第二画面，以及该显示模块用于显示该还原的第二画面。

19.如权利要求18所述的装置，其中该纯量量化是以均匀纯量量化的方式来进行。

20.如权利要求18所述的装置，其中该纯量量化是以非均匀纯量量化的方式来进行。

21.如权利要求18所述的装置，其中该资料量减少单元另用来在进行纯量量化之前将该第一画面中至少一成分降低取样率。

22.一种译码一数字影像序列的装置，其包含有：

一译码模块，用于对该数字影像序列中的一第一画面进行译码以产生一已译码第一画面；

一资料量减少单元，用于先将该第一画面的至少一成分降低取样率，接着对降低取样率后的该成分进行量化来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；

一存储器，用于储存以字节为单位的减少资料量后的该已译码第一画面，其中，该译码模块还用于从该存储器中读取减少资料量后的该已译码第一画面中的一预测区块；

一第一解压缩器，用于对减少资料量后的该已译码第一画面中的该预测区块中选择的成份进行反量化并提升采样率以还原该已译码第一画面中的预测区块；以及一第二解压缩器和一显示模块；

其中，该译码模块还用于依据该已译码第一画面中的该还原的预测区块译码该数字影像序列中一第二画面的一区块，该资料量减少单元还用于对该第二画面的该选择的成分降低取样率后进行量化来减少该已译码第二画面的资料量,该存储器还用于储存以字节为单位的减少资料量后的该已译码第二画面，该第二解压缩器用于对减少资料量后的该已译码第二画面的该选择的成份进行反量化并提升采样率以还原该已译码第二画面，以及该显示模块用于显示该还原的第二画面。

说明书

译码数字影像序列的方法及装置

技术领域

[0001] 本发明提供一种数字影像译码机制，尤指一种可减少存储器需求的数字影像译码方法及其装置。

背景技术

[0002] 动画专家群(Moving Picture Experts Group，MPEG)所制订的MPEG-2规范(ISO-13818)是应用于视音讯的编码处理，MPEG-2规范提供一种编码与压缩后的比特流，因而可大幅降低频宽的使用量，该压缩是先以会在表现主观上造成损失的方式进行压缩，随后再以无损失的方式编码，而编码与压缩后的数字影像资料是由一符合MPEG-2规范的译码器(MPEG-2 Standard CompliantDecoder)来依序进行解压缩与译码以还原其原本的资料。

[0003] MPEG-2规范是制订一种适用于高压缩率技术的比特流格式与编码/译码器，其不但可产生原本无法单独由帧内编码(Intraframe Coding)或帧间编码(Interframe Coding)获得的影像比特流压缩，并同时保留了帧内编码所拥有的随机存取(Random Access)的优点。对于MPEG-2规范来说，于频率域以宏区块进行编码(Block Based Frequency Domain)的帧内编码与内插式(Interpolative)/预测式(Predictive)的帧间编码的组合事实上是结合了帧内编码的优点及帧间编码的优点。

[0004] 进一步而言，MPEG-2规范定义了内插式(Interpolative)/预测式(Predictive)的帧间编码以及于频率域运作的帧内编码。宏区块移动补偿(Block Based Motion Compensation)是用来减少时间轴上的冗余信息(Temporal Redundancy)，而以宏区块为单位来运作的离散余弦转换(Discrete Cosine Transform，DCT)则是为了减少空间上的冗余信息(SpatialRedundancy)。在MPEG-2规范下，移动补偿是经由预测编码
(PredictiveCoding)、内插编码(Interpolative Coding)及可变长度编码移动向量(Variable Length Coded Motion Vector)三种方式来产生，其中与位移有关的信息是奠基于16×16像素矩阵，并伴随空间资料(spatial information)而传输出去。移动资料是利用可变长度编码方式(例如Huffman编码)来进行压缩。

[0005] 一般而言，在画面/影像中的颜色、几何形状或是其它特征值会存在一些空间相似性(spatial similarity)，为了消除这些空间上的冗余信息，必须辨别出画面中重要的部分，并移除其它不重要的冗余信息，举例来说，依据MPEG-2规范，一画面是分别利用彩度取样(Chrominance Sample)、离散余弦转换(DCT)及量化(Quantization)三种方式来消除上述空间上的冗余信息，以达到压缩的目的；另一方面，由于影像资料是由一连串的画面所集结而成，其是经由人眼形成视觉暂留的现象而变成一动态画面，在此影像资料中，由于画面间的时间间隔非常短，所以相邻两画面的差异也很小，通常仅有物体位置的改变，因此，MPEG-2规范便利用相邻画面的相似性来消除时间上的冗余信息，并以此方法来压缩影像资料。

[0006] 为了要消除上述时间上的冗余信息，MPEG-2规范是利用所谓的移动补偿(Motion Compensation)技术，其中移动补偿是与画面间的冗余信息有关。在进行移动补偿前，一目前画面(current picture)基本上细分为多个16×16像素大小的宏区块(Macroblocks，MB)，对于每一目前宏区块(Current MB)而言，前一画面或下一画面中的宏区块被当作候选区块来与目前宏区块做比较，然后选出与目前宏区块最相似的预测宏区块(Prediction Block)出来，其中该最相似的预测宏区块即用来作为一参考宏区块(Reference Block)，而该目前宏区块与该参考宏区块之间的位置差量即被记录为一移动向量(MotionVector)。上述所提的获得移动向量的过程即称为移动估计(MotionEstimation)，如果该参考宏区块所属的画面在时间轴上是位于该目前宏区块所属的画面之前，则上述操作便称为前向移动预测(Forward Prediction)；反之，如果该参考宏区块所属的画面在时间轴上是位于该目前宏区块所属的画面之后，则上述操作便称为后向移动预测(Backward Prediction)；另一方面，倘若该目前宏区块是同时参考时间轴上前一个画面与后一个画面，则上述操作称为双向预测(Bi-Directional Prediction)。宏区块比对法(Block-Matching method)为常用的移动预测方法之一，由于该参考宏区块与该目前宏区块不一定完全一致，当使用宏区块比对法时，必须计算该目前宏区块与该参考宏区块的差异，其亦称为预测误差(Prediction Error)，该预测误差是在译码该目前宏区块作补偿之用。

[0007] MPEG-2规范定义了三种画面编码模式，分别为框内编码(Intra Encoding)模式、预测编码(Predictive Encoding)模式以及双向预测编码(Bi-directionally Predictive)模式。一框内编码画面，又称I画面(I-picture)，其特性为独立编码，因此并不需要比较前一张画面或是后一张画面来进行编码；一预测编码画面，又称P画面(P-picture)，其比较前一张参考画面所编码而成，其中，该前一张参考画面须为I画面或是P画面；另外，一双向预测编码画面，又称B画面(B-picture)，其参考前一张画面与后一张画面所编码而成，而双向预测编码画面有最高的压缩率，并在译码时需要时间轴上的前一张画面及后一张画面来进行资料重构，请注意，B画面(即双向预测编码画面)本身无法用来当作一参考画面。由于I画面或是P画面可被其它画面所参考以进行译码，故可称为“参考画面(ReferencePicture)”；而B画面无法当作参考画面使用，所以亦称为“非参考画面(Non-reference Picture)”。请注意，在其它影像压缩规范(例如SMPTE VC-1)中，B画面可用来当作参考画面以译码其它画面，因此，属于“参考画面”或“非参考画面”的画面编码模式是随着不同的影像压缩规范而异。

[0008] 如上所述，一画面是由多个宏区块所组成，且该画面是以宏区块为单位来进行编码。每个宏区块具有一相对应的移动型态参数(Motion TypeParameter)，用于代表其移动补偿的型态。以MPEG-2规范为例，一框内编码画面中的每个宏区块均为框内编码(intra-coded)的宏区块；而一预测编码画面中的宏区块可以是框内编码或是前向移动补偿(Forward MotionCompensated)的宏区块；另外，一双向预测编码画面中的宏区块即可为框内编码、前向移动补偿、后向移动补偿(Backward Motion Compensated)或是双向位移补偿(Bi-directional Motion Compensated)的宏区块。由公知技术可知，一框内编码宏区块为独立编码，其无须参考前一张画面或是后一张画面即可自行进行编码；而一前向移动补偿宏区块必须利用过去画面内一最相似的宏区块中，读取一前向预测资料以进行编码；另外，一双向位移补偿宏区块必须从过去与后续参考画面的参考宏中，读取前向与后向预测资料以进行译码。依据框内编码画面形成一预测编码画面的特性以及依据过去与后续画面来形成双向预测编码画面的特性，均为MPEG-2规范的重要特征。

[0009] 图1为公知宏区块比对法进行位移预测的示意图。一目前画面(currentpicture)120划分为多个宏区块，每一宏区块的大小为任意值。以MPEG-2规范为例，目前画面120分为多个大小为16×16像素的宏区块，而目前画面120中的每一个宏区块是依据其与前一画面
110所属宏区块的差异，或是其与下一画面130所属宏区块的差异来进行编码。当一目前宏区块100进行宏区块比对的操作时，其是与前一画面110的一搜寻范围115中比对出一相似的宏区块，或与下一画面130的一搜寻范围135中比对出一相似的宏区块，而此一相似的宏区块称为候选宏区块(Candidate Block)，更进一步地说，宏区块比对是于前一画面110的候选宏区块及下一画面130的候选宏区块中，选出与目前宏区块100差异最小的宏区块(例如前一画面110中的参考宏区块150)出来，此差异最小的宏区块即被选择来作为一参考宏区块(Reference Block)。并且，参考宏区块150与目前宏区块100间的移动向量(Motion Vectors)与残余值(Residues)会被算出与编码，因此，在解压缩时，便可利用参考宏块150的编码资料，并配合移动向量与残余值来将目前宏区块100的原本资料译码还原回来。

[0010] 在MPEG-2规范下的移动补偿单位为宏区块，而依据MPEG-2规范所规定的宏区块大小为16×16像素。移动信息(Motion Information)包含有一个相对于前向移动预测宏区块的向量、一个相对于后向宏区块的向量以及两个相对于双向预测宏区块的向量，不同的位移信息各自代表相对应的宏区块，并且编码在参考宏区块中，如此一来，一宏区块的像素可由前一个画面或是下一个画面的宏区块中的像素的转换而加以预测得知，原始像素(source pixel)及预测像素(predicted pixel)之间的差异是记录在相对应的比特流里，换句话说，一影像编码器所输出的数字影像比特流包含了可被一译码系统所译码的已编码画面(encoded picture)。

[0011] 图2为公知MPEG-2规范中画面的播放顺序及传输顺序的差异的示意图。如上所提，MPEG-2规范提供多种预测及内插工具来消除时间轴上的冗余信息，图2中是图标三种不同型式的帧(frame)(亦可称“画面”)，其分别为I画面(亦即框内编码画面)、P画面(亦即预测编码画面)及B画面(亦即双向预测编码画面)。如图2所示，为了将已编码画面(如P画面及B画面)译码，数字影像比特流中的画面传输顺序并不会相同于所要的画面播放顺序。

[0012] 传统上，一影像译码器会增加一个修正项(correction term)至具有预测像素(predicted pixel)的宏区块中以产生重建区块(reconstructedblock)，换句话说，该影像译码器接收到数字比特流，并且产生一个储存在视频信号缓冲存储器(frame buffer)的存储器区域中的已译码数字影像信息(Decoded Digital Video Information)，如上所提与图2所示，P画面中每一个宏区块可依据时间轴上后续最接近的I画面，或是依据后续最接近的P画面来进行编码；同理，B画面中每一个宏区块可藉由时间轴上过去最接近的I画面或P画面进行前向移动预测编码、时间轴上后续最接近的I画面或P画面来进行后向移动预测编码、或是同时藉由过去最接近的I画面或P画面及后续最接近的I画面或P画面来进行双向预测编码。因此，为了适当地对所有型式的已编码画面进行译码以播放该数字影像信息，至少必须有下列三种视频信号缓冲存储器：

[0013] 1.过去参考视频信号缓冲存储器(past reference frame buffer)

[0014] 2.未来参考视频信号缓冲存储器(future reference frame buffer)

[0015] 3.解压缩B帧视频信号缓冲存储器(decompressed B-frame buffer)

[0016] 每个缓冲存储器的容量必须够大来包含一个完整画面的数字影像资料，例如MPEG-2主要规范/主层级(MPEG-2Main Profile/Main Level)所需的720×480个像素的资料；另一方面，如熟习此项技艺者所知，亮度资料及彩度资料亦需要相类似的处理，因此，为了降低影像译码产品的成本，如何减少支持译码功能所需的外部存储器的容量(例如视频信号缓冲存储器的大小)为一重要的课题。

发明内容

[0017] 本发明提供一种译码数字影像比特流所传递画面的方法及装置。依据本发明的实施例，其揭露一种译码数字影像序列的方法。该方法包含有：对一数字影像序列中一第一画面进行译码以产生一已译码第一画面；对该第一画面的至少一成分进行向量量化来减少该已译码第一画面的资料量，其中进行向量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；将减少资料量后的该已译码第一画面储存至一存储器；读取减少资料量后的该已译码第一画面中的一参考区域；以及依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

[0018] 此外，依据本发明的实施例，其另揭露一种译码数字影像序列的方法，该方法包含有：对一数字影像序列中一第一画面进行译码以产生一已译码第一画面；加入随机产生的一数值至该已译码第一画面中的至少一成分；量化该第一画面中该成分来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；将减少资料量后的该已译码第一画面储存至一存储器；对减少资料量后的该已译码第一画面中的一参考区域予以反量化；以及依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

[0019] 再者，依据本发明的实施例，其更揭露一种译码数字影像序列的方法，该方法包含有：对一数字影像序列中的一第一画面进行译码以产生一已译码第一画面；先将该第一画面的至少一成分降低取样率，接着对降低取样率后的该成分进行量化来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；将减少资料量后的该已译码第一画面储存至一存储器；读取减少资料量后的该已译码第一画面中的一参考区域；以及依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

[0020] 再者，依据本发明的实施例，其揭露一种译码数字影像序列的装置。该装置包含有：一译码模块，用于对一数字影像序列中的一第一画面进行译码以产生一已译码第一画面；一资料量减少单元，用来对该第一画面的至少一成分进行向量量化来减少该已译码第一画面的资料量，其中进行向量量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；以及一存储器，用于储存减少资料量后的该已译码第一画面。该译码模块另读取减少资料量后的该已译码第一画面中的一参考区域，并且依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

[0021] 再者，依据本发明的实施例，其揭露一种译码数字影像序列的装置。该装置包含有：一译码模块，用于对一数字影像序列中的一第一画面进行译码以产生一已译码第一画面；一资料量减少单元，用于加入随机产生的一数值至该已译码第一画面中的至少一成分，以及量化该第一画面中该成分来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；一存储器，用于储存减少资料量后的该已译码第一画面；以及一反量化器，用于对减少资料量后的该已译码第一画面中的一参考区域进行反量化。该译码模块另依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

[0022] 再者，依据本发明的实施例，其揭露一种译码数字影像序列的装置。该装置包含有：一译码模块，用于对一数字影像序列中的一第一画面进行译码以产生一已译码第一画面；一资料量减少单元，用于先将该第一画面的至少一成分降低取样率，接着对降低取样率后的该成分进行量化来减少该已译码第一画面的资料量，其中进行量化的该成分是从该第一画面的亮度成分以及彩度成分中选取出来；以及一存储器，用于储存减少资料量后的该已译码第一画面。该译码模块另读取减少资料量后的该已译码第一画面中的一参考区域，并且依据减少资料量后的该已译码第一画面中的该参考区域来对该数字影像序列的一第二画面中的一待处理区域进行译码。

附图说明

[0023] 图1为公知宏区块比对法进行位移预测的示意图。

[0024] 图2为公知MPEG-2规范中画面的播放顺序及传输顺序的差异的示意图。

[0025] 图3为公知YUV 4:2:0格式的示意图。

[0026] 图4为在YUV 4:2:0格式下存储器用来储存亮度值与彩度值所需的相对字节数目的示意图。

[0027] 图5为本发明可减少存储器需求的数字影像译码实施例的存储器使用示意图。

[0028] 图6为本发明可减少存储器需求的数字影像译码另一实施例的存储器使用示意图。

[0029] 图7为本发明可减少存储器需求的数字影像译码另一实施例的存储器使用示意图。

[0030] 图8为本发明可减少存储器需求的数字影像译码另一实施例的存储器使用示意图。

[0031] 图9为本发明可减少存储器需求的数字影像译码又一实施例的存储器使用示意图。

[0032] 图10为本发明影像播放系统实施例的功能方块图。

[0033] 图11为图10所示的影像译码系统的详细功能方块图。

[0034] 图12为图10所示的显示控制系统的详细功能方块图。

[0035] 符号说明：

[0036] 100目前宏区块          110、120、130画面

[0037] 115、125、135搜寻范围   150参考宏区块

[0038] 200影像播放系统        210比特流分析系统

[0039] 220中央处理系统        230显示控制系统

[0040] 240存储器管理系统      250影像译码系统

[0041] 260音频译码系统        270总线

[0042] 280存储器              310可变长度译码器

[0043] 320反量化单元          330离散余弦反转换器

[0044] 340区块重建单元        350移动补偿器

[0045] 360压缩器              362彩度降取样模块

[0046] 364量化模块            370、410解压缩器

[0047] 372、412反量化模块      374、414彩度升取样模块

[0048] 420显示模块

具体实施方式

[0049] 请参考图3，图3为YUV 4:2:0格式的示意图。其中YUV是代表一色差影像信号，其包含有一亮度元素(Y)以及两个彩度元素(U跟V)，YUV亦可标示成YCbCr，其中Cb以及Cr分别代表相对应的彩度值U及V。YUV以及YCbCr是可以互换使用的。在图3中，X是代表亮度取样(Y)，而0则代表一对的彩度取样(U跟V)。如图3所示，在YUV 4:2:0格式中，其彩度取样UV在垂直方向或水平方向皆以2∶1的方式降低取样率(down-sampling)，换句话说，一对彩度取样(U跟V)是由四个像素所共有，而该四个像素中每个像素本身即具有一个亮度取样Y。

[0050] 在MPEG-2影像编码系统中，YUV 4:2:0取样格式是现今最被广泛使用的取样格式，举例来说，典型MPEG-2主要规范/主层级(MPEG-2MainProfile/Main Level)的影像比特流就是利用YUV 4:2:0取样格式来进行编译码的动作。从图4到图9说明不同情况下的存储器配置示意图，其中重建画面(reconstructed picture)的高度为H而宽度为W。请参考图4，图4为在YUV 4:2:0格式下存储器所需用来储存亮度值与彩度值的相关字节的示意图。图4中的左半部分表示一个画面帧中每个像素拥有一个相对应的亮度值Y，另一方面，该画面同框中每四个像素拥有一对相对应的彩度值UV(即为图4到图9所示的Cb与Cr)，在YUV 4:2:0格式的画面中，彩度取样(Cb与Cr)的数目在水平方向为亮度取样数目的一半，因此，储存在每一列(row)的彩度取样(Cb与Cr)与储存在每一列的亮度取样Y的字节数目是一样的，如图4所示，储存在存储器中的每一列的亮度取样Y以及每一列的彩度取样Cb、Cr的数目皆为720字节；同理，由于彩度取样(Cb与Cr)的数目在垂直方向为亮度取样数目的一半，因此储存彩度取样(Cb与Cr)所需的列数目只有亮度取样Y的一半。

[0051] 由于人的眼睛对于亮度变化较敏感，而对于彩度的变化相对地较不易查觉。对于一个画面(尤其是参考画面)而言，即可在影像品质上没有明显损失的情况下，藉由仅对色彩或是彩度的信息降低取样率来减少所需的存储器。因此，可藉由单一水平方向、单一垂直方向、或是同时在水平以及垂直方向上把原本符合4:2:0取样格式的彩度取样进一步地降低取样率，而大大地减少画面缓冲区所需的存储器需求。

[0052] 请参考图5，图5为本发明可减少存储器需求的数字影像译码实施例其存储器使用示意图，所示是YUV 4:2:0格式下，存储器中用来储存亮度值与彩度值的相对的字节数目。在图5所示的例子中，彩度值是进一步地在垂直方向藉由2∶1的比例降低取样率，藉由比较图4以及图5可得知，在图5中彩度取样Cb、Cr所用的列数目只有图4中彩度取样Cb、Cr所用的列数目的一半，因此，图5中储存彩度取样Cb、Cr所需的存储器容量亦只有图4中所需的存储器容量的一半。请注意，从图4到图9当中所描述的画面为4:2:0格式且其画面大小为720×
480，但是本发明并不限定在此一规格的画面。

[0053] 请参考图6，图6为本发明可减少存储器需求的数字影像译码另一实施例其存储器使用示意图，所示是YUV 4:2:0格式下，存储器中用来储存亮度值与彩度值的相对的字节数目。在图6所示的例子中，彩度值进一步地在水平方向藉由2∶1的比例降低取样率，藉由比较图4以及图6可得知，在图6中每一列的彩度取样Cb、Cr只有图4中每一列的彩度取样Cb、Cr的一半，因此在图6中储存彩度取样Cb、Cr所需的存储器容量亦只有图4中所需存储器容量的一半，而每一列的彩度取样Cb、Cr仅占用存储器的360个字节。

[0054] 同理，在本发明的其它数字影像译码实施例中，在YUV 4:2:0格式下，彩度值可同时在水平方向以及垂直方向藉由2∶1的比例降低取样率，因此，其储存彩度取样Cb、Cr所需的存储器容量便只有原本4:2:0格式中储存彩度取样Cb、Cr的存储器容量的四分之一。

[0055] 影像帧亦可在影像品质上没有明显损失的情况下，藉由量化(quantizing)色彩或是彩度信息的位表示来减少所需的储存存储器大小。量化是指一种将影像资料中连续数值的集合用大致接近的有限(通常很小)的数值集合来表示的过程，量化器(quantizer)的输入端输入原始资料，然后其输出一有限的位阶(level)值，换句话说，量化器输出一组离散(discrete)且有限(finite)的输出值，统括来说，量化就是一种近似(approximation)的过程，而一个好的量化器是代表量化后的资料于还原后，相较于原始资料可具有最小的损失或失真。

[0056] 一般来说，量化有两种的方式：一是纯量量化(scalar quantization)，另一则是向量量化(vector quantization)。在纯量量化中，每一个输入的符号(symbol)是个别地用来产生输出信号，而在向量量化中，一群输入的符号集合在一起则称为向量，并以此种方式产生输出信号，这一群集合在一起的资料被当作单一单元，虽然可提升量化的最佳化，但是，却会造成运算复杂度的增加。另一方面，纯量量化进一步细分为均匀(uniform)量化以及非均匀(non-uniform)量化，而向量量化的两种实施方法为全搜寻向量量化法(fullsearch vector quantization，FSVQ)以及分类向量量化法(classifiedvector quantization，CVQ)，在分类向量量化法的应用中，画面中的区块(block)被分类为阴影区块(shade block)以及边缘区块(edge block)，然后向量量化分别对阴影区块与边缘区块各自进行量化的动作。

[0057] 纯量量化器(scalar quantizer)可藉由其输入部分以及输出电平(outputlevel)(亦可称为再生点(reproduction point))来做进一步的分类，若输入范围被分隔成等间隔的多个电平，则此纯量量化器即称为均匀量化器(uniform quantizer)，反之，若输入范围没有被分隔成等间隔的多个电平，则此纯量量化器即称为非均匀量化器(non-uniform quantizer)。均匀量化器可藉由其下限以及步阶大小(step size)而予以界定，且相较于非均匀量化器，均匀量化器在实作上较简单。然而，向量量化器可同时提供高压缩比与准确的量化结果。如同量化器划分其输入且输出离散(不连续)的电平，同样地，反量化器(dequantizer or inverse quantizer)接收一量化器的输出电平，并将每一电平转换至实际资料范围的再生点(reproduction point)而输出一般资料(normal data)。

[0058] 本发明的某些实施例是应用纯量量化于画面取样上，尤其是应用在彩度取样上。可藉由纯量量化器(均匀纯量量化器或是非均匀纯量量化器)在储存取样资料之前先量化取样资料。请参考图7，图7为本发明可减少存储器需求的数字影像译码另一实施例的存储器使用示意图，其显示在YUV 4:2:0格式下，一画面中彩度值被纯量量化(scalar quantized)后，存储器中用来储存亮度值与彩度值的相对的字节数目。如图所示，原本8位大小的取样Cb0被纯量量化成4位大小的取样Cb0，而原本8位大小的取样Cr0亦被纯量量化成4位大小的取样Cr0，4位的取样Cb0以及Cr0一起被储存同一字节中(如图7所示)，藉由比较图4以及图7可得知，在图7中，每一列经纯量量化后的彩度取样Cb、Cr所需的储存容量只有图4中每一列没有被纯量量化过的彩度取样Cb、Cr的所需储存容量的一半，因此可降低存储器需求。所以，每一列的彩度取样Cb、Cr仅占用存储器的360个字节。

[0059] 参考画面的彩度取样在经过纯量量化后储存的情况下，当进行移动补偿的动作而从彩度取样纯量量化后的画面中读取的预测区块，该被读取出来的纯量量化后的8位资料必须在当作移动补偿时参考用的预测区块之前，先进行反纯量量化(inverse scalar quantized)转换回原来16位大小的取样资料Cb0Cr0；另一方面，显示控制系统(未显示)亦可在将资料输出至显示装置之前，先执行反纯量量化的动作，亦即把所读出的纯量量化后的8位资料反纯量量化(inverse scalar quantize)成原来16位大小的取样资料Cb0Cr0。

[0060] 在本发明的某些实施例中，另有一种所谓的颤化处理(dither process)可应用在彩度取样被纯量量化之前来增进更大范围的量化值以及达成很好的效能，量化误差(quantization error)的最大值主要是落在中点(halfway point)对资料进行纯量量化，由于二进制资料只对应两种状态，例如“0”跟“1”，“on”跟“off”，“high”跟“low”等等，因此并没有所谓的中点，为了解决此一问题，在对彩度取样进行纯量量化之前，利用颤化处理加入一个随机产生的值到彩度取样里，因此，经由颤化处理可以帮助信号值往上提高或是往下变小而更远离中点，亦即信号值可以随机地进位或舍去，进而创造出更大范围的量化值。

[0061] 请参考图8，图8为本发明可减少存储器需求的数字影像译码另一实施例的存储器使用示意图，其显示在一个YUV 4:2:0格式的画面中，存储器于彩度值被向量量化(vector quantized)后储存亮度值以及彩度值所需的相对字节数目。向量量化可取代纯量量化而应用在减少储存彩度取样所需的存储器容量上，举例来说，向量量化可以用在区块中同一列中的四个相邻的取样中，换句话说，一列中的四个取样同时地被向量量化，而向量量化的方法中不仅可利用全搜寻向量量化法(full search vector quantization，FSVQ)，亦可使用分类向量量化法(classified vector quantization，CVQ)。

[0062] 如前所述，在图8中，区块中一列中的四个取样可被用来当成一个输入向量，对于建立FSVQ编码资料库(codebook)的过程说明如下。首先，搜集典型的影像且藉由分析多组彩度取样，每一组包含了Cb(n)、Cr(n)、Cb(n+1)、以及Cr(n+1)等四个彩度取样，而推导出训练向量(training vector)，然后VQ编码资料库可利用公知LBG算法来建立FSVQ编码资料库，公知LBG算法已出现于一些相关文献中，例如Y.Linde et al.在the IEEE Trans.onCommunications，Vol.COM-28，no.1，Jan.1980中所提到的文章“Analgorithm for vector quantizer design”已有详细解释，另外，可在R.M.Gray and A.Gersho于Kluwer Academic Publishers，1991，所发表的“VectorQuantization and Signal Processing”中找到有关FSVQ的技术。在编码资料库取得以后，已译码画面中所属区块的每一列中四个取样(亦即输入向量)便可予以向量量化，然后该向量量化的结果是被储存至画面缓冲器中。

[0063] 在图8中，四个水平相邻且具有8位大小的彩度取样Cb0、Cr0、Cb1以及Cr1，被当成一个32位大小的输入向量，假设VQ编码资料库的项次数目(number of entries)为256，仅需储存8个位(log2(256)＝8bits)的VQ编码资料库指针(VQ codebook index)至画面缓冲区，而不是储存32位至画面缓冲区里，因此，仅仅剩下原来储存至画面缓冲区中的32位大小的资料的四分之一而已。参考画面的彩度取样在经过向量量化后而储存的情况下，当进行移动补偿的动作而从彩度取样向量量化后的画面中读取的预测区块，该被读取的向量量化后的8位资料必须在当作移动补偿时参考用的预测区块之前，先借助VQ编码资料库来进行反向量量化(inverse scalar quantized)以转换回原来32位大小的取样资料Cb(n)、Cr(n)、Cb(n+1)、以及Cr(n+1)，如图8所示，原本32位被向量量化后成为8位，每一列的彩度取样Cb、Cr是只需储存至180字节大小的存储器中；另一方面，显示控制系统(未显示)亦可将资料输出至一显示装置之前，先执行反向量量化的动作，亦即对所读取的向量量化后的8位资料进行反向量量化(inverse scalar quantized)以还原成原来32位大小的取样资料Cb(n)、Cr(n)、Cb(n+1)以及Cr(n+1)。

[0064] 请参考图9，图9为本发明可减少存储器需求之数字影像译码另一实施例的存储器使用示意图，其显示在一个YUV 4:2:0格式的画面中，彩度取样于垂直方向依2∶1的比例降低取样率并进行向量量化(vector quantized)后，存储器储存亮度值以及彩度值所需的字节。大体上，图9与图8是相同的，但是在图9中，彩度取样Cb、Cr所用的列数目是只有图8中彩度取样Cb、Cr所用之列数目的一半，亦即在图9中储存彩度取样Cb、Cr所需的存储器容量亦只有图8中储存彩度取样Cb、Cr所需之存储器容量的一半。

[0065] 如上所述，除了利用全搜寻向量量化法(FSVQ)以外，亦可利用分类向量量化法(CVQ)来达成本发明向量量化的目的。一般的向量量化(VQ)会因为使用传统失真测量法，例如均方根差(mean square error，MSE)造成边缘劣化(edge degradation)的问题，由于边缘在影像上是一个非常重要成分，一个可以忠实保留边缘部分完整性的编码方式是很重要的，但是不幸地，公知均方根差法并无法完整保留边缘的信息，为了要减少向量量化所造成的边缘劣化的问题，B.Ramamurthi以及A.Gersho两人在IEEE Trans.Commun，Vol.COM-34，pp.1105-1115，Nov.1986中提出“Classified vector quantizationof image”的文章，揭露一种奠基于复合讯源架构(composite source model)上的分类向量量化法(classified vector quantization，CVQ)，在复合讯源架构中，影像被表示成阴影区块以及具有特定方向以及位置的边缘区块，一个区分器(classifier)负责区分这两种区块，然后为了要保留每一类(class)的相关显示上的特性，仅有与副区块(subblock)隶属同一类的编码向量(codevector)会用来编码该副区块，因此，由于分类向量量化法(CVQ)保留了每一类于显示上的特性(例如边缘部分)，其重建后的影像品质即可大大地改善。所以，影像中一区块可视为一个输入向量，然后利用上述分类向量量化法的运作来对输入向量进行向量量化的动作，并将其结果储存至缓冲器中。

[0066] 请参考图10到图12，图10为本发明影像播放系统200(例如一DVD播放系统)实施例的功能方块图。图11为图10所示的影像译码系统250的详细功能方块图，而图12为图10所示的显示控制系统230的详细功能方块图。影像播放系统200是将进入的比特流S译码成音频信号A以及影像信号V，比特流分析系统(bit-stream parsing system)210接收符合MPEG规格的比特流S，然后将比特流S分离成两种编码比特流：一者为已编码音频比特流Ca，而另一者则是已编码影像比特流Cv，这两个已编码比特流Ca及Cv藉由存储器管理系统240被储存至存储器280中，然后这两个已编码比特流Ca及Cv分别进入音频译码系统260以及影像译码系统250并分别被译码成音频信号A以及影像信号V，接下来，已译码的音频信号A以及已译码的影像信号V再一次藉由存储器管理系统240而被储存至存储器280中。显示控制系统230是会采集存储器280中的已译码影像信号V，并伴随着已译码音频信号A输出至外部显示装置(例如一电视机)中。中央处理系统220是用来控制并调节系统中的资料流量，同时资料是经由一传递总线270而在系统中传递。

[0067] 图11为图10所示的影像译码系统250的详细功能方块图。影像译码系统250包含有一可变长度译码器(variable length decoder，VLD)310、一反量化单元320、一离散余弦反转换(IDCT)器330、一区块重建单元340、一移动补偿器350、一压缩器360以及一解压缩器370。可变长度译码器310接收影像比特流Cv并输出第一译码参数至反量化单元320以及离散余弦反转换器330来进行反量化以及反离散余弦转换的操作，然后，转换后的结果便输出至区块重建单元340；另一方面，可变长度译码器310也输出第二译码参数至移动补偿器
350，而移动补偿器350可藉由解压缩器370从储存在存储器280中的已压缩参考画面中将预测区块还原回来，并且进行相关移动补偿的操作。解压缩器370包含一反量化模块372以及一彩度升取样模块(chromaup-sampling module)374，其中反量化模块372是用于反量化彩度取样，而彩度升取样模块374则用于执行彩度取样的升取样操作。从已压缩参考画面中所采集的预测区块的彩度取样是藉由反量化模块372而予以反量化，然后再经由彩度升取样模块374进一步地提升取样率，之后，还原的彩度预测区块即可送至动态补偿器350以进行彩度动态补偿的操作。至于亮度预测区块的部分，解压缩器370没有做任何的改变便将其直接地送至移动补偿器350以执行亮度移动补偿的操作。然后，已移动补偿过的区块便经由移动补偿器350被送至区块重建单元340，而区块重建单元340是结合离散余弦反转换器330的输出结果以及移动补偿器350的输出结果，以产生已译码画面中的重建区块。

[0068] 压缩器360从区块重建单元340接收到重建区块后，其即对该重建区块进行压缩并将压缩影像储存至存储器280。压缩器360包含一彩度降取样模块(chroma down-sampling module)362以及一量化模块364，其中彩度降取样模块362是将彩度取样降低取样率，而量化模块364则用于量化彩度取样。对于重建区块中亮度取样部分而言，压缩器360对亮度取样没有做任何的改变便将其直接送至存储器280中，压缩器360中的彩度降取样模块362以及量化模块364皆可以减少存储器280中储存彩度取样所需的存储器大小；另一方面，本发明可单独使用彩度降取样模块362、单独使用量化模块364，或者同时使用此两种模块来进一步减少所需的存储器大小。当彩度降取样模块362被激活时，其相对应的彩度升取样模块374亦会被激活；同样地，当量化模块364被激活时，其相对应的反量化模块372亦会被激活。
请注意，量化模块364所执行的量化动作可以是一伴随颤化处理的均匀纯量量化操作、一未伴随颤化处理的均匀纯量量化操作、一伴随颤化处理的非均匀纯量量化操作、一未伴随颤化处理的非均匀纯量量化操作、一伴随颤化处理的向量量化操作或者一未伴随颤化处理的向量量化操作。若于量化前进行颤化处理，则量化模块364另包含一随机数字产生器以及一加法器来执行颤化的操作，其中随机数字产生器是用于产生一个随机的数字，而加法器则将上述随机产生的数字加入彩度取样里，然后量化模块364便针对加法器所输出的颤化处理后的彩度取样予以量化。

[0069] 如图12所示，显示控制系统230包含有一解压缩器410以及一显示模块420。解压缩器410的功能是相反于图11中的压缩器360，解压缩器410包含有一反量化模块412以及一彩度升取样模块414，其中反量化模块412用于对彩度取样执行反量化的动作，而彩度升取样模块414是用于对彩度取样提升取样率。压缩过的彩度取样在输出至显示模块420之前，解压缩器410是负责对该已压缩的彩度取样进行解压缩的动作。

[0070] 为了得到不同等级的压缩品质以及影像品质，本发明可分别或是一起对彩度取样降低取样率或是进行量化，另一方面，为了更进一步地减少所需的存储器容量，这些动作皆可用于参考画面或是非参考画面上，而且彩度取样率降低的程度可加以改变来控制储存在存储器中彩度取样的数量。进一步来说，本发明可利用均匀纯量量化或非均匀纯量量化，或是利用向量量化(例如全搜寻向量量化或是分类向量量化)等等的方式来进行量化的动作，上述所提的各种处理方法皆可应用于参考画面或是非参考画面上，因此可藉由执行各种不同的方法组合来达到减少存储器需求的目的。

[0071] 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。