视频压缩中的帧类型的控制方法和装置

摘要

本发明公开一种控制具有I、P和B帧的视频压缩系统中的帧类型的方法在垂直、垂直时间和水平方向计算视频信号的活动图像。通过使用本发明，在一电视场内的垂直活动小于在一帧内的垂直时间活动的具有低复杂度的视频序列被无使用B帧地编码而具有高复杂度也就是高空间细节的序列被使用B帧地编码。与B帧相关联的缺点通过选择性的使用B帧被减小。

权利要求

1.一种控制具有I、P和B帧的视频压缩系统中的帧类型的方法，包括步骤：确定(41-56)第一视频序列，在该第一视频序列中，电视场内的垂直活动小于一帧内的垂直时间活动，并且垂直和水平的场内空间活动低于平均值，并区别所述第一视频序列和所有其它情况；和依赖于所述确定，所述第一视频序列被无B帧地编码而所有其它情况被有B帧地编码。

2.如权利要求1所述的控制具有I、P和B帧的视频压缩系统中的帧类型的方法，其中，确定第一视频序列包括步骤：(1)在电视场内的垂直方向从视频输入信号确定活动图像；

(2)在帧内的垂直时间方向从视频输入信号确定活动图像(41-53)；(3)在沿电视扫描线的水平方向和在沿电视场中的扫描线的垂直方向确定场内空间活动图像；

判断(54)：

在步骤(1)中确定的在电视场内的垂直方向的活动图像是否小于在步骤(2)中确定的在帧内的垂直时间方向的活动图像；以及在步骤(3)中确定的在沿电视扫描线的水平方向和在沿电视场中的扫描线的垂直方向的场内空间活动图像是否小于预定的阈值，如果是，则计数器的计数值增加1，否则将计数器置位为0；以及如果所述计数器中的计数值大于预定的数N，则不使用B帧，否则使用B帧。

3.如权利要求2所述的控制具有I、P和B帧的视频压缩系统中的帧类型的方法，进一步包括步骤：提供隔行扫描视频信号(41，42，44，46)的采样a、b、c、d、e，其中采样a未被延迟(41)，

采样b被延迟一条扫描线(42)，

采样c被延迟一个电视场加一条扫描线(44)，

采样d被延迟一个电视场加二条扫描线(46)，

采样e被延迟一个电视场加一条扫描线加沿所述扫描线(49)的进一步延迟；

应用所述采样到差分装置(43，47，45，50，48)以确定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|，累加(51，52，53)所述差分装置的合成输出以提供(i)在一个电视场上(|b-a|+|c-d|)                        (1)(ii)在一个电视场上(|c-a|+|c-b|)                       (2)(iii)在一个电视场上(|c-e|+|c-d|)                      (3)判断(54)：(1)在一个电视场上(|b-a|+|c-d|)是否小于(2)在一个电视场上(|c-a|+|c-b|)；

且(3)在一个电视场上(|c-e|+|c-d|)是否小于预定的阈值，如果是，则计数器(55)加1，否则将所述计数器置位为0；并且如果所述计数器中的计数值大于预定的数N，则不使用B帧，否则在帧转换信号中使用B帧。

4.一种用于控制具有I、P和B帧的视频压缩系统中的帧类型的装置，该装置包括：用于确定(41-56)第一视频序列的装置，在该第一视频序列中，电视场内的垂直活动小于一帧内的垂直时间活动，并且垂直和水平的场内空间活动低于平均值，并且该装置区别所述第一视频序列和所有其它情况；和用于依赖于所述确定，将所述第一视频序列无B帧地编码而将所有其它情况有B帧地编码的装置。

5.如权利要求4所述的用于控制具有I、P和B帧的视频压缩系统中的帧类型的装置，其中所述用于确定第一视频序列的装置包括：用于(1)在电视场内的垂直方向从视频输入信号中确定活动图像，(2)在帧内的垂直时间方向从视频输入信号中确定活动图像，并用于(3)在沿电视扫描线的水平方向和在沿电视场中的所述电视扫描线的垂直方向确定场内空间活动图像的装置；

用于判断在步骤(1)中确定的在电视场内的垂直方向的活动图像是否小于在步骤(2)中确定的在帧内的垂直时间方向的活动图像且在步骤(3)中确定的在沿电视扫描线的水平方向和在沿电视场中的所述电视扫描线的垂直方向的场内空间活动图像是否小于预定的阈值的装置；

用于在上述条件被满足的情况下，使计数器的计数值增加1，否则将所述计数器置位为0的装置；

和用于在所述计数器中的计数值大于预定的数的情况下，产生不使用B帧的转换信号，否则产生使用B帧转换信号的装置。

6.如权利要求5所述的用于控制具有I、P和B帧的视频压缩系统中的帧类型的装置，其中，所述用于确定第一视频序列的装置进一步包括：提供隔行扫描视频信号(41，42，44，46)的采样a、b、c、d、e，其中用于提供采样的装置(41)其中a未被延迟，

用于提供采样的装置(42)其中b被延迟一条扫描线，用于提供采样的装置(44)其中c被延迟一个电视场加一条扫描线，用于提供采样的装置(46)其中d被延迟一个电视场加二条扫描线，用于提供采样的装置(49)其中e被延迟一个电视场加一条扫描线加沿所述扫描线的进一步延迟，用于将所述采样应用到差分装置以确定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|的装置(43，47，45，50，48)；

用于累加所述差分装置的合成输出以提供

(i)在一个电视场上(|b-a|+|c-d|)                    (1)(ii)在一个电视场上(|c-a|+|c-b|)                   (2)(iii)在一个电视场上(|c-e|+|c-d|)                        (3)的装置(51，52，53)；

其中，用于判断的装置包括用于判断(1)在一个电视场上(|b-a|+|c-d|)是否小于(2)在一个电视场上(|c-a|+|c-b|)且(3)在一个电视场上(|c-e|+|c-d|)是否小于预定的阈值的装置：如果是，则计数器(55)增加1，否则将所述计数器置位为0，并且，其中，用于产生转换信号的装置包括用于判断所述计数器的计数值是否大于预定的数N的装置，如果是则上述判断装置不使用B帧，否则在帧转换信号中使用B帧。

说明书

技术领域

本发明涉及控制用于视频压缩中的帧类型。

背景技术

一种已知的运动图像编码系统是由通常所说的MPEG(运动图像专家组)提出的，在该系统中GOP(图像组)结构由多幅图像构成，每幅图像用数据格式表示。在MPEG结构中，I图像、P图像和B图像被规定为图像编码格式。
I图像是内编码图像并被用于表示帧内编码图像。I图像代表整个图像平面，其被内编码并按照与原图像相同的顺序被编码。P图像是预测图像并且是帧间前向的预测编码帧，也就是说，它是从前面的图像运动补偿预测的图像。在一些情况下，P图像包括图像平面中一小块单元的内编码部分并且P图像按照与原图像相同的顺序被编码。双向预测图像(B)是双向预测的编码信息，也就是说，它是从前面和后面的图像运动补偿预测的图像。B图像可包括图像帧中一小块单元的内编码部分。在GOP中至少有一幅I图像并且例如在MPEG1中规定GOP的开头是比特流中的I图像，以及在原图像平面的顺序中的GOP的结尾是I或P图像。
因为以下这些原因双向预测B帧改进了编码效率：
(a)有更多的编码模式可以从B帧中选择，因为B帧能根据前面以及后面的帧来预测。
(b)在B帧中可能根据后面的帧预测未覆盖的区域。
(c)组合预测的可能性，也就是说，对两个预测取“平均”，一个来自前面的帧并且一个来自后面的帧，有助于某些类型的运动图像和干扰图像。
然而，使用B帧也引入一些缺点。
(i)为了能从后面的帧预测，这些后面的帧需要被首先预测。然而，由于这些预测必须跨过多帧周期作出，这些帧通常较少地相关并且预测就不太准确。为了清楚起见，在本公开中每个电视帧由两个正常隔行扫描的电视场组成。
(ii)如果预测从一帧到下一帧被作出，以某一速度运动的对象可能在搜索范围内，但是如果预测需要后面两个或更多帧才能作出，该对象可能在搜索范围外。
图1用示意图形式显示了B帧预测是怎样从前面和后面的帧作出的。它还显示了P帧的预测必须跨过涉及的I或P帧与P帧之间的所有B帧作出。I与P帧在时间上速率的不同可能会中断运动估计的搜索范围从而降低图像质量。实际上，依赖于压缩算法、搜索范围等，图像素材的主要部分由于有B帧而改进，但是总有一小部分序列最好用无B帧的方式编码。为了避免B帧的缺点而利用它们的优点，适当地，要求在有B帧编码和无B帧编码之间自适应转换。
图2用示意图形式显示了自适应编码序列的一个实施例.在图2中，编码序列的第一部分使用B帧但在第二部分B帧没有被使用.诸如在图2中所示的序列中B帧有时被使用有时不被使用，这种序列可在诸如非实时编码器的一些编码器中可用，在该编码器中两部分序列被分开编码.因此自然地，自适应地转换B帧使用和不使用的处理不是新颖的.然而困难在于决定何时B帧应被使用以及何时它们不应被使用.目前的发明者设想的一种配置是平行地编码两种数据流，一种有B帧，一种没有B帧.然而，这种配置对于实时编码器代价是非常高的，因为该编码器需要两倍的处理能力.
视频数字信号的自适应和选择性编码被公开在美国专利5,227,878和5,828,787。

发明内容

本发明试图提供用于控制视频压缩中的帧类型，特别是B类型帧的方法和装置，其至少部分缓和了上述缺点。
根据本发明最广泛的方面，提供了控制具有I、P和B帧的视频压缩系统中的帧类型的方法，包括如下步骤：
确定具有很小空间活动的快速运动场景并将这些场景和慢速运动场景或具有高空间细节的场景区别开，和
依赖于该确定，快速运动场景被无B帧地编码而慢速运动场景或具有高空间细节的场景被有B帧地编码。
根据本发明的第一方面，提供了控制具有I、P和B帧的视频压缩系统中的帧类型的方法，包括步骤：
(1)在电视场内的垂直方向从视频输入信号确定活动图像；
(2)在帧内的垂直时间方向从视频输入信号确定活动图像；
(3)在沿电视扫描线的水平方向和沿电视场内的扫描线的垂直方向确定场内空间活动图像；
判断：
在步骤(1)中确定的在电视场内的垂直方向的活动图像是否小于在步骤(2)中确定的在帧内的垂直时间方向的活动图像，且在步骤(3)中确定的在沿电视扫描线的水平方向和沿电视场内的扫描线的垂直方向的场内空间活动图像是否小于预定的阈值，
如果是，则计数器的计数值增加1，否则将计数器复位为0；
如果计数器中的计数值大于预定的数N，则不使用B帧，否则使用B帧。
在本发明的一个特征中，提供了控制具有I、P和B帧的视频压缩系统中的帧类型的方法，包括步骤：
提供隔行扫描视频信号的采样a、b、c、d、e，其中：
采样a未被延迟，
采样b被延迟一条扫描线，
采样c被延迟一个电视场加一条扫描线，
采样d被延迟一个电视场加两条扫描线，
采样e被延迟一个电视场加一条扫描线加沿该扫描线的进一步延迟；
将这些采样应用到差分装置以确定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|；
累加差分装置的合成输出以提供
(i)在一个电视场上的(|b-a|+|c-d|)          (1)
(ii)在一个电视场上的(|c-a|+|c-b|)         (2)
(iii)在一个电视场上的(|c-e|+|c-d|)        (3)
判断：
(1)是否小于(2)，
(3)是否小于预定的阈值，
如果是，则将计数器增加1，否则将计数器复位为0；
如果计数器中的计数值大于预定的数N，则不使用B帧，否则在帧转换信号中使用B帧。
根据本发明的第二方面，提供了控制具有I、P和B帧的视频压缩系统中的帧类型的装置，包括：
用于(1)在电视场内的垂直方向从视频输入信号确定活动图像，和(2)在帧内的垂直时间方向从视频输入信号确定活动图像的装置；
用于(3)在沿电视扫描线的水平方向和沿电视场内的电视扫描线的垂直方向确定场内空间活动图像的装置；
用于判断在步骤(1)中确定的在电视场内的垂直方向的活动图像是否小于在步骤(2)中确定的在帧内的垂直时间方向的活动图像且在步骤(3)中确定的在沿电视扫描线的水平方向和沿电视场内的电视扫描线的垂直方向的场内空间活动图像是否小于预定的阈值的装置；
然后如果上述条件被满足，用于使计数器的计数值增加1，否则将计数器置位为0的装置；
和如果计数器中的计数值大于预定的数，则用于产生不使用B帧的转换信号，否则产生使用B帧的转换信号的装置。
在本发明的一个特征中，提供了控制在具有I、P和B帧的视频压缩系统中的帧类型的装置，包括：
提供隔行扫描视频信号的采样a、b、c、d、e，其中
用于提供采样的装置，其中a未被延迟，
用于提供采样的装置，其中b被延迟一条扫描线，
用于提供采样的装置，其中c被延迟一个电视场加一条扫描线，
用于提供采样的装置，其中d被延迟一个电视场加二条扫描线，
用于提供采样的装置，其中e被延迟一个电视场加一条扫描线加沿该扫描线的进一步延迟；
用于将这些采样应用到差分装置以确定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|的装置，
用于累加差分装置的合成输出以提供：
(i)在一个电视场上的(|b-a|+|c-d|)                            (1)
(ii)在一个电视场上的(|c-a|+|c-b|)                           (2)
(iii)在一个电视场上的(|c-e|+|c-d|)                (3)
的装置，
用于判断(1)是否小于(2)，(3)是否小于预定的阈值的装置；
如果是，则以计数器增加1，否则将计数器复位为0，和
用于判断计数器中的计数值是否大于预定的数N的装置，如果是则该判断装置不使用B帧，否则在帧转换信号中使用B帧。

附图说明

本发明将被参照附图举例描述，其中：
图1用示意图方式显示了B帧怎样从前面和后面的帧预测；
图2用示意图方式显示了B帧被用于序列的第一部分但不用于第二部分的编码序列。
图3显示了隔行扫描视频信号的垂直时间采样位置的图；
图4显示了根据本发明的装置的框图。

具体实施方式

在本发明中作出是否使用B帧的决定并且该决定从通过对输入视频信号的分析计算出的一组参数获得。本发明基于在垂直(也就是在一个电视场内)、垂直-时间(vertical-temporal)(在两个电视场上的一帧内)和水平方向(沿扫描线)计算许多视频信号的活动图像。
发明人已发现一个电视场内的垂直活动(vertical activity)小于一帧内的垂直时间活动(vertical-temporal activity)的视频序列最好无B帧地编码。然而这种具有高复杂度，即具有空间细节的序列，仍然主观地最好有B帧地编码。因此场内空间活动(垂直和水平)也应该低于平均值以无B帧地编码。在所有其它情况下B帧应被使用。
上述内容可简单表述为具有很小空间细节的快速运动场景应被不使用B帧地编码而慢速运动场景或具有高空间细节的场景应被有B帧地编码。
图3显示了隔行扫描视频信号的时间空间采样模式的图示.视频扫描线a和b代表电视场2内的相邻扫描线而视频扫描线c和d为电视场1内相邻的扫描线.当考虑视频帧1时，视频扫描线a和b均与视频扫描线c垂直时间相邻.注意到视频采样e未显示在图3中，但是和采样c在同一视频扫描线，但是被一个亮度时钟周期隔开(在同一视频扫描线上的相邻采样).用于执行本发明的装置被显示在图4中，在该装置中视频信号采样被应用到输入扫描线41，这样采样a被应用到一个1扫描线延迟42和绝对值减法器43.延迟42的输出由采样b表示，采样b被应用到具有一个电视场加一条扫描线的延迟44，即用于625扫描线标准的321扫描线延迟或用于525扫描线标准的262扫描线延迟，采样b还被输入绝对值减法器43和绝对值减法器45.延迟44的输出由采样c表示，采样c被输入一个1扫描线延迟46和绝对值减法器45以及其他绝对值减法器47和48.由采样d表示的延迟46的输出也被作为绝对值减法器48的输入.采样c被应用到一个1采样延迟49，也就是说采样e和采样c在同一视频扫描线但是被一个亮度时钟周期延迟.采样e被应用到绝对值减法器50，该绝对值减法器50也接收采样c作为输入.来自绝对值减法器43和48的输出被应用到累加器51，来自绝对值减法器47和45的输出被应用到累加器52，并且来自绝对值减法器48和50的输出被应用到累加器53.累加器51，52和53的输出被应用到比较器54，比较器的输出被应用到在输出端56产生B帧转换信号的计数器55.图4的配置累加一个电视场周期内的采样差分的绝对值|b-a|+|c-d|、|c-a|+|c-b|和|c-e|+|c-d|.通过在每帧周期后比较累加值，B帧转换信号被推导如下：
如果    ∑场(|b-a|+|c-d|)＜∑场(|c-a|+|c-b|)                  (1)
且      ∑场(|c-e|+|c-d|)＜阈值                               (2)
则      用1增加计数器
否      则将计数器置位为0
如      果计数器＞N
则      不使用B帧
否则    使用B帧
计数器被用于防止在两种模式间快速转换。例如，对于N＝3，在B帧被不使用之前，最少有4帧必须显示场内活动比帧内活动和低空间活动更少。然而，场内活动大于帧内活动或空间活动大于“平均”的单一帧将使B帧再一次被使用。用于空间活动的阈值被设置为足够大的测试序列集合的空间活动中值。
以下表1显示了B帧怎样取决于累加的活动数(数)而被转换到使用和不使用的实施例，其中N＝3且阈值等于5000。
表1
  帧   ∑场  (|b-a|+|c-d|)  (1)   ∑场  (|c-a|+|c-b|)  (2)   ∑场  (|c-e|+|c-d|)  (3)   满足标准   计数器  使用B帧   0   474   117   3945   (2)   0   是   1   475   223   3961   (2)   0   是   2   478   385   3897   (2)   0   是   3   483   497   3983   (1)和(2)   1   是   4   480   522   4276   (1)和(2)   2   是   5   496   552   4109   (1)和(2)   3   是   6   502   613   4224   (1)和(2)   4   否   7   556   634   4610   (1)和(2)   5   否   8   603   689   4837   (1)和(2)   6   否
  帧   ∑场  (|b-a|+|c-d|)  (1)   ∑场  (|c-a|+|c-b|)  (2)   ∑场  (|c-e|+|c-d|)  (3)   满足标准   计数器  使用B帧   ...   95   597   678   4809   (1)和(2)   93   否   96   625   730   5126   (1)   0   是