一种视频解码错误恢复方法

摘要

本发明公开了一种视频解码错误恢复方法，通过对固定参考帧间隔和非固定参考帧间隔的码流先区分，然后再根据前后帧的情况进行错误恢复，以达到更好的视频质量。采用本发明提出的视频解码错误恢复方法，比通常的视频解码错误恢复方法具有更好的错误恢复性能。

权利要求

1.一种视频解码错误恢复方法，其特征在于，所述方法包括以下处理过程：

1)确定当前待解码码流中的参考帧间隔模式；

2)对于使用参考帧间隔的待解码码流在解码发生错误时，利用前后间隔的参考帧对当前帧出错的部分进行错误恢复；

所述步骤2)中若当前待解码码流为非固定参考帧间隔，则按原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下步骤进行错误恢复：确定当前帧出错部分和上一帧对应部分的图像行为属性；然后对当前帧进行错误恢复；

所述图像行为属性根据图像的运动幅度和纹理变化程度的大小设为属性大和属性小两个档位；确定当前帧出错部分的图像行为属性具体包括以下过程：

21)如果下一帧使用了当前帧出错部分进行运动补偿，则当前帧出错部分的图像行为属性为小；否则说明当前帧出错部分的图像行为属性为大；

22)如果下一帧也存在错误，则默认当前帧出错部分的图像行为属性为小。

2.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中若当前待解码码流为固定参考帧间隔，则按原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下方式进行错误恢复：使用前后相邻的两个帧对当前帧出错的部分进行双向错误恢复。

3.根据权利要求2所述的视频解码错误恢复方法，其特征在于，所述步骤2)中还包括从码流中得到固定参考帧间隔的处理步骤。

4.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中还包括从码流中得到最大参考帧间隔的处理步骤。

5.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的图像行为属性为小，则采用上一帧对当前帧进行前向错误恢复。

6.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的图像行为属性为小，则下一帧使用上一帧进行解码重建，用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误恢复。

7.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的图像行为属性为大，则采用上上一帧对当前帧进行前向错误恢复。

8.根据权利要求1所述的视频解码错误恢复方法，其特征在于，所述步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的图像行为属性为大，则下一帧使用上一帧进行解码重建，用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误恢复。

说明书

技术领域

本发明属于视频信息压缩领域，具体涉及一种使用参考帧间隔码流的视频解码错误恢复方法。

背景技术

随着网络技术和视频编解码技术的发展，视频通讯的应用范围越来越广泛。在目前的很多视频应用系统中，视频解码的错误恢复是一个非常重要的方向。这是因为视频经过编码以后，对误码和丢包非常敏感，会造成视频码流的码字错误，在进行帧内或帧间预测的时候容易使错误扩散，持续影响视频解码质量。如图1所示的现有解码方式中如果不进行错误恢复，错误将在后续码流的解码过程中被扩散。
在现有的视频通讯系统中，通常在视频编码端采用一些容错控制的方法，来提高视频码流对错误的鲁棒性。常用的方法有分层编码、多描述编码、独立分段编码、重同步编码和冗余编码等。其中I帧刷新或I块刷新是最常用的方法之一，可采用固定间隔刷新、随机刷新或者基于反馈的刷新。因为I帧或帧内编码宏块不使用参考帧信息，这样错误能够在I帧或I块位置立即被阻止。但由于I帧和I块的编码效率低，特别是I帧编码对带宽要求高、码流抖动大，且错误扩散的范围受到I帧间隔限制。
另外一种有效的方法是参考帧选择，特别是在有反馈信道的时候，编码端根据反馈信息选择合适的参考帧，这样既可以提供较好的容错能力，编码效率也相对较高。不过这种方法需要有编解码之间的反馈，单在很多视频通讯应用中是没有反馈信道的，这样就无法完成交互。而且在使用多参考帧的编码系统中，一般来说由于紧邻的两帧之间相关性最强，所以大部分情况下宏块编码的参考就是紧邻的上一帧。这样在视频通讯过程中，如果码流发生错误的话，这种错误还是会在后续帧的解码过程中被扩散，持续影响视频质量。

发明内容

本发明所要解决的技术问题是提供一种视频解码错误恢复方法，可以对固定参考帧间隔和非固定参考帧间隔的码流进行错误恢复，以达到更好的视频质量。
为达到上述目的，本发明采用下述技术方案：
一种视频解码错误恢复方法，包括以下处理过程：
1)确定当前待解码码流中的参考帧间隔模式；
2)对于使用参考帧间隔的待解码码流在解码发生错误时，利用前后间隔的参考帧对当前帧出错的部分进行错误恢复；
所述步骤2)中若当前待解码码流为非固定参考帧间隔，则按原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下步骤进行错误恢复：
确定当前帧出错部分和上一帧对应部分的图像行为属性；然后对当前帧进行错误恢复；
所述图像行为属性根据图像的运动幅度和纹理变化程度的大小设为属性大和属性小两个档位；
确定当前帧出错部分的图像行为属性具体包括以下过程：
21)如果下一帧使用了当前帧出错部分进行运动补偿，则当前帧出错部分的图像行为属性为小；否则说明当前帧出错部分的图像行为属性为大；
22)如果下一帧也存在错误，则默认当前帧出错部分的图像行为属性为小。
优选的，所述步骤2)中若当前待解码码流为固定参考帧间隔，则按原解码方式对码流进行解码处理，并对解码发生错误的当前帧按照以下方式进行错误恢复：使用前后相邻的两个帧对当前帧出错的部分进行双向错误恢复。
优选的，所述步骤2)中还包括从码流中得到固定参考帧间隔的处理步骤。
优选的，所述步骤2)中还包括从码流中得到最大参考帧间隔的处理步骤。
优选的，，所述步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的图像行为属性为小，则采用上一帧对当前帧进行前向错误恢复。
优选的，，所述步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的图像行为属性为小，则下一帧使用上一帧进行解码重建，用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误恢复。
优选的，，所述步骤2)中，若当前帧出错部分的行为属性为小，且上一帧对应部分的图像行为属性为大，则采用上上一帧对当前帧进行前向错误恢复。
优选的，，所述步骤2)中，若当前帧出错部分的行为属性为大，且上一帧对应部分的图像行为属性为大，则下一帧使用上一帧进行解码重建，用下一帧对当前帧进行后向错误恢复，或者用上一帧和下一帧结合对当前帧进行双向错误恢复。
采用本发明提出的视频解码错误恢复方法，比通常的视频解码错误恢复方法具有更好的错误恢复性能。

附图说明

图1是现有原始单帧参考帧模式示意图；
图2是本发明提出的视频解码错误恢复方法流程图；
图3是本发明优选实施例固定参考帧间隔s＝1时定周期的参考帧间隔示例示意图；
图4是本发明优选实施例固定参考帧间隔s＝2时定周期的参考帧间隔示例示意图；
图5是本发明优选实施例最大参考帧间隔k＝1时不定周期的参考帧间隔示例一示意图；
图6是本发明优选实施例最大参考帧间隔k＝1时不定周期的参考帧间隔示例二示意图；
图7是本发明优选实施例最大参考帧间隔k＝1时不定周期的参考帧间隔示例三示意图；
图8是本发明优选实施例最大参考帧间隔k＝1时不定周期的参考帧间隔示例四示意图；
图9是本发明优选实施例最大参考帧间隔k＝2时不定周期的参考帧间隔示例示意图。

具体实施方式

下面结合附图给出实施例，对本发明的技术方案作进一步的详细描述。
如图2所示的视频解码错误恢复方法流程，包括以下处理过程：
第一步：判断当前待解码码流中的参考帧间隔模式，若没有使用参考帧间隔，则采用采用原解码方式进行解码，不进行错误恢复处理；若为固定参考帧间隔则进入第二步，否则为非固定参考帧间隔进入第四步。
第二步：对于固定参考帧间隔，从码流中得到固定参考帧间隔s(s＞0)进入第三步。
第三步：在当前帧解码发生错误时，使用前后相邻的两帧对当前帧出错的部分进行双向错误恢复。
第四步：对于非固定参考帧间隔，从码流中得到最大参考帧间隔k(k＞0)，进入第五步。
第五步：在当前帧解码发生错误时，从码流中得到下一帧的参考帧使用情况，以判断出当前帧出错部分的图像行为属性。如果下一帧使用了当前帧出错的部分进行运动补偿，则说明当前帧出错部分的图像行为属性小，否则说明当前帧出错部分的图像行为属性大。如果下一帧也存在错误，无法得知是否使用当前帧进行了运动补偿，则可以默认当前帧出错部分的图像行为属性为小。在这里，图像行为属性定义为图像的运动幅度和纹理变化程度。进入第六步。
第六步：根据得到的当前帧出错部分的图像行为属性和上一帧对应部分的图像行为属性，采用相应的方法对当前帧进行错误恢复。
从以上方法可以看出错误恢复过程区分固定参考帧间隔和非固定参考帧间隔进行分别处理。固定参考帧的处理方式比较简单，如图3、4所示，假设P5帧出错，此时P6帧参考P4帧进行解码重建(如图3)或者P6帧参考P3帧进行解码重建(如图4)，然后用P4帧和P6帧结合对P5帧进行双向错误恢复。
下面再对非固定参考帧间隔的方法进行展开说明。
假设当前待解码的P帧在整个视频码流中的编号为n(n≥1)。
第一步：对于非固定参考帧间隔，从码流中得到最大参考帧间隔k(k＞0)，进入第二步。
第二步：在当前帧解码发生错误时，从码流中得到后续第n+1帧的参考帧使用情况，以判断出当前帧出错部分的图像行为属性。如果第n+1帧使用了第n帧出错的部分进行运动补偿，则说明第n帧出错部分的图像行为属性小，否则说明第n帧出错部分的图像行为属性大。如果第n+1帧也存在错误，无法得知是否使用第n帧进行了运动补偿，则可以默认第n帧出错部分的图像行为属性为小。在这里，图像行为属性定义为图像的运动幅度和纹理变化程度。进入第三步。
第三步：根据得到的当前帧出错部分的图像行为属性和第n-1帧对应部分的图像行为属性，采用相应的方法对当前帧进行错误恢复。下面结合附图进行说明：
如图5中，假设P5帧出错，首先根据上一步得知P5帧的图像行为属性为小(此时P6帧参考P5帧)，则说明P5和P4帧的之间变化较小，此时P4帧对应部分的图像行为属性为小，所以可以采用P4帧对P5帧进行前向错误恢复。
如图6中，假设P5帧出错，首先根据上一步得知P5帧的图像行为属性为大，则说明P5和P4帧的之间变化较大，此时P6帧参考P4帧，所以可以正确解码重建，这样在P6帧解码后，此时P4帧对应部分的图像行为属性为小，对P5帧进行后向或与P4帧结合进行双向错误恢复。
如图7中，假设P5帧出错，首先根据上一步得知P5帧的图像行为属性为小(此时P6帧参考P5帧)，则说明P5和P3帧的之间变化较小，此时P4帧对应部分的图像行为属性为大，可以采用P3帧对P5帧进行前向错误恢复。
如图8中，假设P5帧出错，首先根据上一步得知P5帧的图像行为属性为大，则说明P5和P3帧的之间变化较大，此时P6帧参考P4帧，可以正确解码重建，可以采用P6帧解码后，此时P4帧对应部分的图像行为属性为大，对P5帧进行后向或与P4帧结合进行双向错误恢复。
本发明给出的可变参考帧间隔下的视频解码错误恢复方法，比通常的视频解码错误恢复方法具有更好的错误恢复性能。比如在图1中P5帧的错误会在后续帧的解码过程中被扩散，而在图6中P6帧的解码不会受任何影响，并且P5帧可以在P6帧解码之后，进行更有效的错误恢复。
再如图9中的情况，因为P5是大运动图像，所以P6编码不参考P5，增加阈值后继续判断P4仍是大运动图像，则选择P3作为运动参考。这样P4发生错误以后，不会将错误扩散到P5帧和P6帧；P5发生错误以后，不会将错误扩散到P6帧。反过来，正确的P5帧，还可以用来对P4帧进行后向错误隐蔽；或者跟P3帧结合，对P4帧进行双向错误隐蔽。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。