一种视频解码方法和装置转让专利
申请号 : CN200810118099.X
文献号 : CN101340584B
文献日 : 2010-09-29
发明人 : 陈磊 , 陈益强 , 纪雯 , 张绘国
申请人 : 中国科学院计算技术研究所
摘要 :
本发明提供一种视频解码方法，包括下列步骤：1)根据预设所需减少的时间百分比K，确定环路滤波的处理级别；2)计算视频宏块的残差矩阵；3)根据已经解码的视频宏块计算预测值矩阵；4)对所述残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。根据本发明，给定一个百分比K，所述视频解码方法可以使计算时间减少原先的K，同时保持图像质量可以接受。
权利要求 :
1.一种视频解码方法，包括下列步骤：
1)估算B帧环路滤波占整个解码时间的百分比LFB，根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：
11)对于K≤LFB，确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
12)对于K＞LFB，确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
2)计算视频宏块的残差矩阵；
3)根据已经解码的视频宏块计算预测值矩阵；
4)对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
2.根据权利要求1所述的方法，其特征在于，所述步骤11)中所述视频B帧内部分宏块平均分布在每个B帧中。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤11)中所述视频B帧内部分宏块分布于接近图像边缘的区域。
4.根据权利要求1所述的方法，其特征在于，所述步骤12)中所述视频P帧内部分宏块平均分布在每个P帧中。
5.根据权利要求1或4所述的方法，其特征在于，所述步骤12)中所述视频P帧内部分宏块分布于接近图像边缘的区域。
6.根据权利要求1所述的方法，其特征在于，
所述步骤1)包括：13)估算环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved；
所述步骤3)包括：31)对于K＞LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别，根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测，从而计算所述预测值矩阵。
7.根据权利要求6所述的方法，其特征在于，所述步骤3)中的亮度插值的处理级别包括：a)保持原始插值处理；b)只进行1/2插值或整像素点处理；c)只进行整像素点处理。
8.根据权利要求6或7所述的方法，其特征在于，所述步骤31)包括：
311)根据预设的亮度插值处理级别，帧间预测每个处理单元第一个B帧的第一个非帧内预测宏块；
312)根据所述K、所述LFsaved、所述处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个非帧内预测宏块的亮度插值处理级别。
9.根据权利要求8所述的方法，其特征在于，所述步骤311)所述预设的亮度插值处理级别是保持原始插值处理。
10.根据权利要求6所述的方法，其特征在于，所述步骤3)包括根据所述K、所述LFsaved、处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个处理单元中省略解码操作的B帧的个数。
11.一种视频解码装置，包括：
分级控制器，用于估算B帧环路滤波占整个解码时间的百分比LFB，并根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：对于K≤LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
对于K＞LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
计算残差矩阵单元，用于计算视频宏块的残差矩阵；
帧预测单元，用于根据已经解码的视频宏块计算预测值矩阵；
环路滤波单元，用于对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
12.根据权利要求11所述的装置，其特征在于，
所述分级控制器，用于估算所述环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved，根据所述K、所述LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别；
所述帧预测单元，用于根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测。
13.根据权利要求12所述的装置，其特征在于，
所述分级控制器，还用于根据所述K、所述LFsaved、处理单元内已经解码的宏块的累计解码时间和所述处理单元内已解码的B帧内宏块的亮度插值分级处理所节省的时间，确定省略解码下一个处理单元中的B帧的个数x；
所述计算残差矩阵单元和所述帧预测单元，用于根据所述x，省略下一个处理单元内的B帧的解码操作。
说明书 :
技术领域
本发明涉及数字视频信号的处理，具体地说，本发明涉及一种视频解码方法和装置。
背景技术
移动通信技术日趋发达，手机、PDA等移动终端设备在视频应用方面的技术越来越先进。视频被发送或下载到移动终端后，在移动终端解码播放。视频质量的提高的同时，视频解码过程中的计算复杂度也大大增加，加大了移动终端的处理器的运算负荷，解码过程中消耗的功率也随之增大。移动设备的电池技术在不断发展，但是由于电池电量增长的速度无法抵消移动设备日益复杂丰富的应用带来的能量消耗，加上移动设备无法随时随地充电，能耗控制对于移动设备来说，一直是最重要的问题之一。随着3G用户数量的不断增长，可下载的视频内容越来越丰富，消费者对移动设备优质视觉体验的需求也日益增长。播放视频所消耗的能量占移动设备消耗总能量的比重也将不断增加。因此，视频播放时，对解码器功率的控制成为一个重要的问题。
如果能够降低解码器的计算复杂度，就可以缩短解码的时间，而播放视频的速度是一定的，这样移动设备的处理器就可以有更多的空闲时间，从而达到降低功率的效果。计算复杂度的减少需要引入一些近似计算，这样图像质量会有所下降。因此，需要这样一种技术，即可以根据需求，通过近似计算，减少解码过程中的计算复杂度，又能够保持图像质量在用户可接受的范围。当电量充足或是用户需要高质量的图像时，解码器可以不进行任何近似计算，解出高质量的图像，当电量不足或是用户希望省电时，解码器可以适当降低图像质量，以满足功率减小的需要。
申请号为02813469.9名称为“资源可分级解码”的中国专利申请公开了一种复杂性可分级的解码器系统和方法。该系统包括：具有多个功能块的解码器，用于对压缩视频数据解码。解码器还包括多个分级功能，可以有选择地减少至少一个功能块的复杂性。本地资源控制器用于为解码器生成分级规则，其中，为响应来自系统资源管理器的复杂性请求而选择一个分级规则，再者，分级规则是从本地资源控制器可用的多个预先确定的规则中进行选择。在查询表中查找预先确定的分级规则，而查询表是在脱机状态下设计的。综上所述在该发明中，分级规则来自脱机状态下设计的查找表，不涉及对计算复杂度进行准确控制。
申请号为200580010306.4名称为“用于复杂度可伸缩视频解码器的方法和设备”的中国专利申请中，采用了不同的图像分辨率，需要编码器提供基层图像和增强层图像的比特流。该发明同样不涉及对计算复杂度的准确控制。
如果能够降低解码器的计算复杂度，就可以缩短解码的时间，而播放视频的速度是一定的，这样移动设备的处理器就可以有更多的空闲时间，从而达到降低功率的效果。计算复杂度的减少需要引入一些近似计算，这样图像质量会有所下降。因此，需要这样一种技术，即可以根据需求，通过近似计算，减少解码过程中的计算复杂度，又能够保持图像质量在用户可接受的范围。当电量充足或是用户需要高质量的图像时，解码器可以不进行任何近似计算，解出高质量的图像，当电量不足或是用户希望省电时，解码器可以适当降低图像质量，以满足功率减小的需要。
申请号为02813469.9名称为“资源可分级解码”的中国专利申请公开了一种复杂性可分级的解码器系统和方法。该系统包括：具有多个功能块的解码器，用于对压缩视频数据解码。解码器还包括多个分级功能，可以有选择地减少至少一个功能块的复杂性。本地资源控制器用于为解码器生成分级规则，其中，为响应来自系统资源管理器的复杂性请求而选择一个分级规则，再者，分级规则是从本地资源控制器可用的多个预先确定的规则中进行选择。在查询表中查找预先确定的分级规则，而查询表是在脱机状态下设计的。综上所述在该发明中，分级规则来自脱机状态下设计的查找表，不涉及对计算复杂度进行准确控制。
申请号为200580010306.4名称为“用于复杂度可伸缩视频解码器的方法和设备”的中国专利申请中，采用了不同的图像分辨率，需要编码器提供基层图像和增强层图像的比特流。该发明同样不涉及对计算复杂度的准确控制。
发明内容
本发明要解决不能对解码器的计算复杂度进行准确控制的技术问题，从而提供一种视频解码装置和方法，能够准确控制解码时间减少到未经分级处理时的某个百分比，同时保持图像质量可以接受。
为了实现上述发明目的，根据本发明的一个方面，提供了一种视频解码方法，包括下列步骤：
1)估算B帧环路滤波占整个解码时间的百分比LFB，根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：
11)对于K≤LFB，确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
12)对于K＞LFB，确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
2)计算视频宏块的残差矩阵；
3)根据已经解码的视频宏块计算预测值矩阵；
4)对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
上述方法中，所述步骤11)中所述视频B帧内部分宏块平均分布在每个B帧中。
上述方法中，所述步骤11)中所述视频B帧内部分宏块分布于接近图像边缘的区域。
上述方法中，所述步骤12)中所述视频P帧内部分宏块平均分布在每个P帧中。
上述方法中，所述步骤12)中所述视频P帧内部分宏块分布于接近图像边缘的区域。
上述方法中，所述步骤1)包括：13)估算环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved；
所述步骤3)包括：31)对于K＞LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别，根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测，从而计算所述预测值矩阵。
上述方法中，所述步骤3)中的亮度插值的处理级别包括：a)保持原始插值处理；b)只进行1/2插值或整像素点处理；c)只进行整像素点处理。
上述方法中，所述步骤31)包括：
311)根据预设的亮度插值处理级别，帧间预测每个处理单元第一个B帧的第一个非帧内预测宏块；
312)根据所述K、所述LFsaved、所述处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个非帧内预测宏块的亮度插值处理级别。
上述方法中，所述步骤311)所述预设的亮度插值处理级别是保持原始插值处理。
上述方法中，所述步骤3)包括根据所述K、所述LFsaved、处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个处理单元中省略解码操作的B帧的个数。
根据本发明的另一方面，还提供了一种视频解码装置，包括：
分级控制器，用于估算B帧环路滤波占整个解码时间的百分比LFB，并根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：
对于K≤LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
对于K＞LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
计算残差矩阵单元，用于计算视频宏块的残差矩阵；
帧预测单元，用于根据已经解码的视频宏块计算预测值矩阵；
环路滤波单元，用于对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
上述装置中，所述分级控制器，用于估算所述环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved，根据所述K、所述LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别；
所述帧预测单元，用于根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测。
上述装置中，所述分级控制器，还用于根据所述K、所述LFsaved、处理单元内已经解码的宏块的累计解码时间和所述处理单元内已解码的B帧内宏块的亮度插值分级处理所节省的时间，确定省略解码下一个处理单元中的B帧的个数x；
所述计算残差矩阵单元和所述帧预测单元，用于根据所述x，省略下一个处理单元内的B帧的解码操作。
本发明的效果是，给定一个百分比K，本发明所述的可分级解码器可以使计算时间减少原先的K，同时保持图像质量可以接受。
为了实现上述发明目的，根据本发明的一个方面，提供了一种视频解码方法，包括下列步骤：
1)估算B帧环路滤波占整个解码时间的百分比LFB，根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：
11)对于K≤LFB，确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
12)对于K＞LFB，确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
2)计算视频宏块的残差矩阵；
3)根据已经解码的视频宏块计算预测值矩阵；
4)对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
上述方法中，所述步骤11)中所述视频B帧内部分宏块平均分布在每个B帧中。
上述方法中，所述步骤11)中所述视频B帧内部分宏块分布于接近图像边缘的区域。
上述方法中，所述步骤12)中所述视频P帧内部分宏块平均分布在每个P帧中。
上述方法中，所述步骤12)中所述视频P帧内部分宏块分布于接近图像边缘的区域。
上述方法中，所述步骤1)包括：13)估算环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved；
所述步骤3)包括：31)对于K＞LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别，根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测，从而计算所述预测值矩阵。
上述方法中，所述步骤3)中的亮度插值的处理级别包括：a)保持原始插值处理；b)只进行1/2插值或整像素点处理；c)只进行整像素点处理。
上述方法中，所述步骤31)包括：
311)根据预设的亮度插值处理级别，帧间预测每个处理单元第一个B帧的第一个非帧内预测宏块；
312)根据所述K、所述LFsaved、所述处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个非帧内预测宏块的亮度插值处理级别。
上述方法中，所述步骤311)所述预设的亮度插值处理级别是保持原始插值处理。
上述方法中，所述步骤3)包括根据所述K、所述LFsaved、处理单元内已经解码的视频宏块的累计解码时间和所述处理单元内已解码的B帧内非帧内预测宏块的亮度插值分级处理所节省的时间，确定下一个处理单元中省略解码操作的B帧的个数。
根据本发明的另一方面，还提供了一种视频解码装置，包括：
分级控制器，用于估算B帧环路滤波占整个解码时间的百分比LFB，并根据预设所需减少的时间百分比K与LFB的关系确定环路滤波的处理级别：
对于K≤LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
对于K＞LFB，用于确定所述环路滤波的处理级别为：省略对视频B帧全部宏块的残差矩阵与预测值矩阵之和做环路滤波，且省略对视频P帧内部分或全部宏块的残差矩阵与预测值矩阵之和做环路滤波；
计算残差矩阵单元，用于计算视频宏块的残差矩阵；
帧预测单元，用于根据已经解码的视频宏块计算预测值矩阵；
环路滤波单元，用于对残差矩阵与预测值矩阵之和，根据所述环路滤波的处理级别进行环路滤波。
上述装置中，所述分级控制器，用于估算所述环路滤波分级处理节省的时间占整个解码时间的百分比LFsaved，根据所述K、所述LFsaved，确定B帧内非帧内预测宏块的亮度插值的处理级别；
所述帧预测单元，用于根据所述B帧内非帧内预测宏块的亮度插值的处理级别进行帧间预测。
上述装置中，所述分级控制器，还用于根据所述K、所述LFsaved、处理单元内已经解码的宏块的累计解码时间和所述处理单元内已解码的B帧内宏块的亮度插值分级处理所节省的时间，确定省略解码下一个处理单元中的B帧的个数x；
所述计算残差矩阵单元和所述帧预测单元，用于根据所述x，省略下一个处理单元内的B帧的解码操作。
本发明的效果是，给定一个百分比K，本发明所述的可分级解码器可以使计算时间减少原先的K，同时保持图像质量可以接受。
附图说明
图1是公知的视频解码器的结构图；
图2是根据本发明的一个实施例的视频解码器的结构图；
图3是亮度插值示意图；
图4是根据本发明的一个实施例的参数示意图。
图2是根据本发明的一个实施例的视频解码器的结构图；
图3是亮度插值示意图；
图4是根据本发明的一个实施例的参数示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的视频解码器进一步详细说明。应当理解，此处所描述的具体实施过程仅仅用以解释本发明，并不用于限定本发明。
本发明适用于采用混合差分脉冲编码调制/离散余弦变换(hybridDPCM/DCT)的各种视频标准，包括H.263，H.264，MPEG-4，AVS等。在本发明介绍的具体实施例中，以AVS标准为例。
AVS标准的一个解码顺序例如：
I P B B P B B I B B P B B
如上所示，帧分为3类，帧内解码图像(I帧)、前向帧间解码图像(P帧)、双向帧间解码图像(B帧)。I帧采用帧内预测，P帧可以参考前面的1或2帧。B帧参考前后各1帧，只有I帧和P帧可以作为参考帧。每隔若干帧，就会出现一个I帧，这个间隔是由编码器决定的。连续的B帧的数目是由编码器决定的一个定值，取值范围是0到2。对于其他视频编解码标准，其视频序列结构是类似的。
图1是现有的通用解码器的结构示意图。解码一般过程是以宏块，即16×16的像素区域作为运算基本单元。解码器收到视频码流之后，首先由计算残差矩阵单元计算残差矩阵。包括：熵解码(VLD)，熵解码解出的变换系数，经过反量化和反变换得到残差矩阵。另一方面，如果进行帧内预测，使用当前帧已经解码的宏块计算出当前宏块的预测值。如果进行帧间预测，将从解码器输出得到的运动矢量传递到运动补偿模块101，由运动矢量和参考帧计算得到预测值，其中参考帧是先前解码的1帧或2帧。预测值矩阵和残差矩阵相加，再经过环路滤波(Loop Filter，记为LF)100去除块效应，提高图像质量，从而完成当前帧的解码。解码器将解码完成的帧输出，同时例如帧内解码图像(I帧)和前向帧间解码图像(P帧)等需要作为后面的帧的参考帧，被存入帧缓存。
本发明的思想是，利用系统时钟得到宏块的处理时间，并计算解码器各模块分级处理所节省的时间，估计或计算各模块时间占总解码时间的比例，根据这些比例与需求的比较结果，动态调整各模块分级处理的级别。根据本发明一个实施例，首先获取需要减少的计算量K，也即需要减少的解码运算时间，通过对解码器的几个主要模块，如环路滤波100、运动补偿101的分级处理来实现计算量或解码运算时间减少K。其中运动补偿101的分级处理体现为帧间预测的亮度插值(Luminance Interpolation，记作LIP)的分级处理。将环路滤波100、运动补偿模块101的处理分为几个不同的级别，每个级别对应不同的计算复杂度，减少的计算越多，图像的失真一般也越大。分级处理的基本思想是根据需求精简一部分的计算，并且尽量保持图像质量，这就要求精简计算复杂度大但是对图像质量影响不大的操作。由于B帧不作为参考帧，因此，B帧中由于分级处理造成图像质量的下降不会引起差错传递，可以将近似计算在B帧中进行，甚至跳过某些B帧，即不进行解码。相反的，I帧和P帧的图像质量必须有保证，在本实施例所述的解码器中，对于I帧不进行任何近似计算和分级处理，对于P帧只进行环路滤波的分级处理。这是因为环路滤波计算复杂度大，而且对于图像质量的影响是各模块中最小的。
图2是根据本发明的一个实施例的分级解码器结构示意图。在视频序列解码前，分级控制器根据K的大小确定环路滤波的分级处理级别。在解码过程中，B帧的每个非帧内预测宏块解码之前，分级控制器以环路滤波分级处理所节省的时间百分比LFsaved为依据，确定运动补偿模块101的亮度插值分级处理的级别。另外，分级控制器还根据已经解码的宏块的累计解码时间和已解码的B帧内宏块的亮度插值分级处理所节省的时间，确定是否应该跳过B帧。当B帧被跳过时，其相应的码流将不进行熵解码以及随后的所有操作。
如果视频帧序列中连续B帧数目为0，那么只进行P帧环路滤波的分级处理，这种情况在实际应用中出现非常少。根据本发明的一个实施例，每组连续B帧数目为2，以P帧B帧B帧或I帧B帧B帧为一个“处理单元”。按照解码顺序从第2帧开始，上述处理单元循环出现直到序列结束。根据视频帧序列本身的此特点，按照处理单元进行解码可以循环操作。另外，因为本发明的方法中包括预测和估算的步骤，而各处理单元是独立的，所以可以避免由于个别单元控制不准确而影响到全局解码的问题。本领域技术人员应该理解，若连续B帧数目为1，则以P帧B帧或I帧B帧为一个“处理单元”。当然也可以不划分处理单元，对整个视频的所有的P帧和B帧顺次处理。下面将详细描述根据处理单元进行分级处理的方法。
首先根据需要节省的计算时间的百分比K确定环路滤波模块的处理方式。环路滤波模块的分级处理方式具体为，先考虑不做B帧的环路滤波，如果不能满足计算复杂度减少的要求，则考虑不做P帧的环路滤波。环路滤波以宏块为单位进行，在作分级处理时，一次省去一个宏块的环路滤波操作。
不同内容不同特点的视频，B帧和P帧中每个宏块环路滤波的平均时间也各不相同。对于实际视频序列，可能在不同时间段包含了不同的特性，但B帧和P帧环路滤波占整个解码时间的比例是一个相对固定的值。这两个比例也可以通过大量解码统计得到，计作LFB，LFP。如果K≤LFB，说明只需要对B帧的部分或全部宏块不进行环路滤波就可以满足计算复杂度减小的需求，选择这些不作环路滤波的宏块，使它们平均分布在每个B帧中，且在每个B帧中尽量分布于接近图像的边缘人眼不关注的区域。如果K＞LFB，需要对B帧所有宏块不作环路滤波，则还需要节省的计算时间的百分比为M＝K-LFB，比较M与LFP，如果M≤LFP，说明对P帧的某些宏块不进行LF就可以满足计算复杂度减小的需求，选择这些不作环路滤波的宏块，使它们平均分布在每个P帧中，且在每个P帧中，尽量分布于接近图像的边缘人眼不关注的区域。如果M＞LFP，则对B帧和P帧的所有宏块都不进行环路滤波，但这样仍然不能满足计算复杂度减少的需求，需要进行B帧亮度插值的分级处理或跳过B帧。
当对B帧和P帧的所有宏块均不进行环路滤波，则环路滤波分级处理所节省的百分比IFsaved＝LFB+LFP，还需要节省计算时间百分比N＝M-LFP时，对B帧的非帧内预测宏块的亮度插值进行分级处理或跳过B帧。下面详细描述亮度插值的分级处理和跳过B帧个数的确定。
图3是AVS标准的亮度插值示意图，其中示出了整数像素点、1/2样本点和1/4样本点的位置。其中大写字母表示整数像素点，图中b、h和j表示1/2样本点，除整像素点和1/2样本点以外的各点是1/4样本点。当熵解码得到的运动矢量指向非整数像素点时，为了获得亮度预测值矩阵，需要对参考帧进行亮度插值。大多数标准中都采用1/4插值，对于以D点为左上顶点的16个样本点的正方形区域，运动矢量可能指向D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r中的任意一点，而这些点对应的插值计算的复杂度是不一致的。D点是整数像素点，获得以D点为左上顶点的亮度预测矩阵，不需要插值，因此D点的计算复杂度是最小的；其余各点对应各自的插值操作，计算复杂度有所不同，总体说来，1/2插值的计算复杂度小于1/4插值。只在B帧中进行的亮度插值的分级处理，共分为3个级别：1)保持原始插值处理，即对插值不做简化处理；2)只进行1/2插值或整像素点处理，以图3为例，即a，d，e的插值转为D的处理，c，f，g的插值转为b的插值，i，n，p转为h点插值，k，q，r转为j点插值；3)将a，b...r点插值全部转为整像素点D的处理。对于D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r这1 6个点，每个点的计算复杂度是一定的，解码器在每个点进行亮度插值的时钟数可以通过大量解码统计得到，作为常数保存在解码器中。
亮度插值分级处理的方法如下：在视频序列的每个“处理单元”中，解码第一个B帧的第一个非帧内预测宏块时，首先给定其一个预设的亮度插值的级别，优选的，保持原始插值处理。在每一个处理单元中，如果下一个宏块是B帧的非帧内预测宏块，则根据在不做环路滤波且进行了亮度插值的分级处理的情况下，记录当前处理单元第一帧(I帧或P帧)的解码时间Ta，当前处理单元从B帧第一个宏块到当前宏块的累计解码的时间tb，和当前处理单元从B帧第一个宏块到当前宏块的亮度插值分级处理所节省的时间ts，确定下一个宏块的亮度插值级别，直到当前处理单元结束。在个人计算机(PC)、数字信号处理器(DSP)、可编程逻辑门阵列(FPGA)等平台下，都有获得系统时钟数的方法，因此Ta和tb容易获得。在运动补偿模块中，确定分级前后分别对D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r中的哪两个点进行处理，二者所需时钟数的差值就是亮度插值节省的时间，累计每次亮度插值节省的时间，获得ts。在确定B帧每个非帧内预测宏块亮度插值级别之前，由当前的tb、ts，可以估算出当前处理单元B帧解码时间Tb和当前处理单元亮度插值所能节省的时间Ts。其中BMBcurrent和BMBtotal分别表示当前处理单元已经解码的宏块数和当前处理单元B帧宏块的总数。表示亮度插值节省的时间与不进行分级处理时解码总时间的比，公式中各参数的关系如图4所示，比较IPSaved与N的大小，如果IPSaved比N大的量大于某个阈值，说明亮度插值的近似计算程度太大，可以降低亮度插值的级别，做更精细的计算。如果IPSaved比N小的量大于某个阈值，说明亮度插值的近似计算程度太小，可以提高亮度插值的级别，做更简单的计算。上述阈值接近或等于0，优选的取值范围是[0，0.001]。
在每个处理单元解码结束后，分级处理器还将根据已经解码的各处理单元的Ta，Tb，Ts和K判断跳过下一个处理单元中B帧的个数。亮度插值所能减少的时钟数是有限的，当所有的插值计算都转化为整像素点处理时，亮度插值所耗费的时钟数达到最小值，如果发现已解码单元的亮度插值分级不能满足要求，则跳过下一个处理单元的B帧。对于第一个处理单元的B帧是不跳过的。确定跳过B帧个数的方法具体如下：以S表示除了环路滤波和亮度插值以外的部分应当减少的时钟数，CB表示估算出的跳过B帧所节省的总时间。S和CB的初始值都是0。一个处理单元解码结束时，计算这个处理单元的更新对应于整个视频序列的Stotal，使它等于当前已经解码的各处理单元S的和。(Stotal-CB)表示对环路滤波和亮度插值进行了分级处理，采用了跳过B帧的方法之后，当前应该减少但尚未减少的计算复杂度。如果Stotal-CB＞0，则令其中，这里的表示向下取整，Tb是分级处理后的B帧解码的平均时间，x2表示连续B帧的数目，x是x1、x2二者中的最小值。算出x以后，跳过下一个处理单元的前x个B帧，并更新CB值，使其等于原先的CB加上Tb×x。如果x＝0，表示应该减少但尚未减少的计算复杂度比B帧解码的平均时间小，则不跳过B帧。
上面描述了环路滤波，亮度插值分级处理的算法和跳过B帧的方法。当除了第一个处理单元内B帧外的所有B帧都被跳过之后，计算量是无法继续减小的，这时，视频仅有I帧、去除了环路滤波的P帧和第一个处理单元内的去除了环路滤波且整像素点亮度插值的B帧，对应本发明提出的编解码系统中最基本的图像质量。此时的K就是计算量或计算时间所能减少的最大百分比，记作Kmax。为了保证最基本的图像质量，当K＞Kmax时，不再进行更多的近似计算或分级处理等操作。Kmax由视频序列的内容决定，对于连续B帧数目为2的情况，一般在70％以上。当K＜Kmax时，根据本发明的实施例完全可以达到实际应用中的计算复杂度可分级的要求。
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
本发明适用于采用混合差分脉冲编码调制/离散余弦变换(hybridDPCM/DCT)的各种视频标准，包括H.263，H.264，MPEG-4，AVS等。在本发明介绍的具体实施例中，以AVS标准为例。
AVS标准的一个解码顺序例如：
I P B B P B B I B B P B B
如上所示，帧分为3类，帧内解码图像(I帧)、前向帧间解码图像(P帧)、双向帧间解码图像(B帧)。I帧采用帧内预测，P帧可以参考前面的1或2帧。B帧参考前后各1帧，只有I帧和P帧可以作为参考帧。每隔若干帧，就会出现一个I帧，这个间隔是由编码器决定的。连续的B帧的数目是由编码器决定的一个定值，取值范围是0到2。对于其他视频编解码标准，其视频序列结构是类似的。
图1是现有的通用解码器的结构示意图。解码一般过程是以宏块，即16×16的像素区域作为运算基本单元。解码器收到视频码流之后，首先由计算残差矩阵单元计算残差矩阵。包括：熵解码(VLD)，熵解码解出的变换系数，经过反量化和反变换得到残差矩阵。另一方面，如果进行帧内预测，使用当前帧已经解码的宏块计算出当前宏块的预测值。如果进行帧间预测，将从解码器输出得到的运动矢量传递到运动补偿模块101，由运动矢量和参考帧计算得到预测值，其中参考帧是先前解码的1帧或2帧。预测值矩阵和残差矩阵相加，再经过环路滤波(Loop Filter，记为LF)100去除块效应，提高图像质量，从而完成当前帧的解码。解码器将解码完成的帧输出，同时例如帧内解码图像(I帧)和前向帧间解码图像(P帧)等需要作为后面的帧的参考帧，被存入帧缓存。
本发明的思想是，利用系统时钟得到宏块的处理时间，并计算解码器各模块分级处理所节省的时间，估计或计算各模块时间占总解码时间的比例，根据这些比例与需求的比较结果，动态调整各模块分级处理的级别。根据本发明一个实施例，首先获取需要减少的计算量K，也即需要减少的解码运算时间，通过对解码器的几个主要模块，如环路滤波100、运动补偿101的分级处理来实现计算量或解码运算时间减少K。其中运动补偿101的分级处理体现为帧间预测的亮度插值(Luminance Interpolation，记作LIP)的分级处理。将环路滤波100、运动补偿模块101的处理分为几个不同的级别，每个级别对应不同的计算复杂度，减少的计算越多，图像的失真一般也越大。分级处理的基本思想是根据需求精简一部分的计算，并且尽量保持图像质量，这就要求精简计算复杂度大但是对图像质量影响不大的操作。由于B帧不作为参考帧，因此，B帧中由于分级处理造成图像质量的下降不会引起差错传递，可以将近似计算在B帧中进行，甚至跳过某些B帧，即不进行解码。相反的，I帧和P帧的图像质量必须有保证，在本实施例所述的解码器中，对于I帧不进行任何近似计算和分级处理，对于P帧只进行环路滤波的分级处理。这是因为环路滤波计算复杂度大，而且对于图像质量的影响是各模块中最小的。
图2是根据本发明的一个实施例的分级解码器结构示意图。在视频序列解码前，分级控制器根据K的大小确定环路滤波的分级处理级别。在解码过程中，B帧的每个非帧内预测宏块解码之前，分级控制器以环路滤波分级处理所节省的时间百分比LFsaved为依据，确定运动补偿模块101的亮度插值分级处理的级别。另外，分级控制器还根据已经解码的宏块的累计解码时间和已解码的B帧内宏块的亮度插值分级处理所节省的时间，确定是否应该跳过B帧。当B帧被跳过时，其相应的码流将不进行熵解码以及随后的所有操作。
如果视频帧序列中连续B帧数目为0，那么只进行P帧环路滤波的分级处理，这种情况在实际应用中出现非常少。根据本发明的一个实施例，每组连续B帧数目为2，以P帧B帧B帧或I帧B帧B帧为一个“处理单元”。按照解码顺序从第2帧开始，上述处理单元循环出现直到序列结束。根据视频帧序列本身的此特点，按照处理单元进行解码可以循环操作。另外，因为本发明的方法中包括预测和估算的步骤，而各处理单元是独立的，所以可以避免由于个别单元控制不准确而影响到全局解码的问题。本领域技术人员应该理解，若连续B帧数目为1，则以P帧B帧或I帧B帧为一个“处理单元”。当然也可以不划分处理单元，对整个视频的所有的P帧和B帧顺次处理。下面将详细描述根据处理单元进行分级处理的方法。
首先根据需要节省的计算时间的百分比K确定环路滤波模块的处理方式。环路滤波模块的分级处理方式具体为，先考虑不做B帧的环路滤波，如果不能满足计算复杂度减少的要求，则考虑不做P帧的环路滤波。环路滤波以宏块为单位进行，在作分级处理时，一次省去一个宏块的环路滤波操作。
不同内容不同特点的视频，B帧和P帧中每个宏块环路滤波的平均时间也各不相同。对于实际视频序列，可能在不同时间段包含了不同的特性，但B帧和P帧环路滤波占整个解码时间的比例是一个相对固定的值。这两个比例也可以通过大量解码统计得到，计作LFB，LFP。如果K≤LFB，说明只需要对B帧的部分或全部宏块不进行环路滤波就可以满足计算复杂度减小的需求，选择这些不作环路滤波的宏块，使它们平均分布在每个B帧中，且在每个B帧中尽量分布于接近图像的边缘人眼不关注的区域。如果K＞LFB，需要对B帧所有宏块不作环路滤波，则还需要节省的计算时间的百分比为M＝K-LFB，比较M与LFP，如果M≤LFP，说明对P帧的某些宏块不进行LF就可以满足计算复杂度减小的需求，选择这些不作环路滤波的宏块，使它们平均分布在每个P帧中，且在每个P帧中，尽量分布于接近图像的边缘人眼不关注的区域。如果M＞LFP，则对B帧和P帧的所有宏块都不进行环路滤波，但这样仍然不能满足计算复杂度减少的需求，需要进行B帧亮度插值的分级处理或跳过B帧。
当对B帧和P帧的所有宏块均不进行环路滤波，则环路滤波分级处理所节省的百分比IFsaved＝LFB+LFP，还需要节省计算时间百分比N＝M-LFP时，对B帧的非帧内预测宏块的亮度插值进行分级处理或跳过B帧。下面详细描述亮度插值的分级处理和跳过B帧个数的确定。
图3是AVS标准的亮度插值示意图，其中示出了整数像素点、1/2样本点和1/4样本点的位置。其中大写字母表示整数像素点，图中b、h和j表示1/2样本点，除整像素点和1/2样本点以外的各点是1/4样本点。当熵解码得到的运动矢量指向非整数像素点时，为了获得亮度预测值矩阵，需要对参考帧进行亮度插值。大多数标准中都采用1/4插值，对于以D点为左上顶点的16个样本点的正方形区域，运动矢量可能指向D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r中的任意一点，而这些点对应的插值计算的复杂度是不一致的。D点是整数像素点，获得以D点为左上顶点的亮度预测矩阵，不需要插值，因此D点的计算复杂度是最小的；其余各点对应各自的插值操作，计算复杂度有所不同，总体说来，1/2插值的计算复杂度小于1/4插值。只在B帧中进行的亮度插值的分级处理，共分为3个级别：1)保持原始插值处理，即对插值不做简化处理；2)只进行1/2插值或整像素点处理，以图3为例，即a，d，e的插值转为D的处理，c，f，g的插值转为b的插值，i，n，p转为h点插值，k，q，r转为j点插值；3)将a，b...r点插值全部转为整像素点D的处理。对于D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r这1 6个点，每个点的计算复杂度是一定的，解码器在每个点进行亮度插值的时钟数可以通过大量解码统计得到，作为常数保存在解码器中。
亮度插值分级处理的方法如下：在视频序列的每个“处理单元”中，解码第一个B帧的第一个非帧内预测宏块时，首先给定其一个预设的亮度插值的级别，优选的，保持原始插值处理。在每一个处理单元中，如果下一个宏块是B帧的非帧内预测宏块，则根据在不做环路滤波且进行了亮度插值的分级处理的情况下，记录当前处理单元第一帧(I帧或P帧)的解码时间Ta，当前处理单元从B帧第一个宏块到当前宏块的累计解码的时间tb，和当前处理单元从B帧第一个宏块到当前宏块的亮度插值分级处理所节省的时间ts，确定下一个宏块的亮度插值级别，直到当前处理单元结束。在个人计算机(PC)、数字信号处理器(DSP)、可编程逻辑门阵列(FPGA)等平台下，都有获得系统时钟数的方法，因此Ta和tb容易获得。在运动补偿模块中，确定分级前后分别对D、a、b、c、d、e、f、g、h、i、j、k、n、p、q和r中的哪两个点进行处理，二者所需时钟数的差值就是亮度插值节省的时间，累计每次亮度插值节省的时间，获得ts。在确定B帧每个非帧内预测宏块亮度插值级别之前，由当前的tb、ts，可以估算出当前处理单元B帧解码时间Tb和当前处理单元亮度插值所能节省的时间Ts。其中BMBcurrent和BMBtotal分别表示当前处理单元已经解码的宏块数和当前处理单元B帧宏块的总数。表示亮度插值节省的时间与不进行分级处理时解码总时间的比，公式中各参数的关系如图4所示，比较IPSaved与N的大小，如果IPSaved比N大的量大于某个阈值，说明亮度插值的近似计算程度太大，可以降低亮度插值的级别，做更精细的计算。如果IPSaved比N小的量大于某个阈值，说明亮度插值的近似计算程度太小，可以提高亮度插值的级别，做更简单的计算。上述阈值接近或等于0，优选的取值范围是[0，0.001]。
在每个处理单元解码结束后，分级处理器还将根据已经解码的各处理单元的Ta，Tb，Ts和K判断跳过下一个处理单元中B帧的个数。亮度插值所能减少的时钟数是有限的，当所有的插值计算都转化为整像素点处理时，亮度插值所耗费的时钟数达到最小值，如果发现已解码单元的亮度插值分级不能满足要求，则跳过下一个处理单元的B帧。对于第一个处理单元的B帧是不跳过的。确定跳过B帧个数的方法具体如下：以S表示除了环路滤波和亮度插值以外的部分应当减少的时钟数，CB表示估算出的跳过B帧所节省的总时间。S和CB的初始值都是0。一个处理单元解码结束时，计算这个处理单元的更新对应于整个视频序列的Stotal，使它等于当前已经解码的各处理单元S的和。(Stotal-CB)表示对环路滤波和亮度插值进行了分级处理，采用了跳过B帧的方法之后，当前应该减少但尚未减少的计算复杂度。如果Stotal-CB＞0，则令其中，这里的表示向下取整，Tb是分级处理后的B帧解码的平均时间，x2表示连续B帧的数目，x是x1、x2二者中的最小值。算出x以后，跳过下一个处理单元的前x个B帧，并更新CB值，使其等于原先的CB加上Tb×x。如果x＝0，表示应该减少但尚未减少的计算复杂度比B帧解码的平均时间小，则不跳过B帧。
上面描述了环路滤波，亮度插值分级处理的算法和跳过B帧的方法。当除了第一个处理单元内B帧外的所有B帧都被跳过之后，计算量是无法继续减小的，这时，视频仅有I帧、去除了环路滤波的P帧和第一个处理单元内的去除了环路滤波且整像素点亮度插值的B帧，对应本发明提出的编解码系统中最基本的图像质量。此时的K就是计算量或计算时间所能减少的最大百分比，记作Kmax。为了保证最基本的图像质量，当K＞Kmax时，不再进行更多的近似计算或分级处理等操作。Kmax由视频序列的内容决定，对于连续B帧数目为2的情况，一般在70％以上。当K＜Kmax时，根据本发明的实施例完全可以达到实际应用中的计算复杂度可分级的要求。
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。