视频解码方法转让专利

申请号 : CN201610308620.0

文献号 : CN105828085B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 宋振翰林晶娟金海光文柱禧李英烈韩钟基全炳宇

申请人 : SK电信有限公司

摘要 :

视频解码方法。本发明的实施方式涉及用于利用运动信息集成生成编码运动信息/恢复运动信息的方法和装置,并且涉及利用该方法和装置的图像编码/解码方法和装置。本发明的实施方式涉及用于利用运动信息集成生成编码运动信息/恢复运动信息的方法和装置,其中,该方法和装置基于已经编码的信息确定是否通过集成对运动信息进行编码,并且有效地集成运动信息并对该运动信息进行编码。本发明的实施方式还涉及利用上述方法和装置的图像编码/解码方法和装置。

权利要求 :

1.一种视频解码方法,该视频解码方法包括以下步骤:进行重构的步骤,该步骤包括:

接收编码数据,

提取编码运动信息和量化系数串,以及

重构量化频率残差块;

对所述量化频率残差块进行解量化和逆变换,以重构残差块;

进行帧间预测的步骤,该步骤包括:

基于合并标记决定是否通过合并来重构当前块的运动信息,其中,所述合并标记被包括在所述编码运动信息中,当所述合并标记代表合并时,从合并方向标记重构所述当前块的所述运动信息,其中,所述合并方向标记被包括在所述编码运动信息中,并且,所述合并方向标记代表合并候选块中的、其运动信息与所述当前块的所述运动信息相同的块,以及利用所重构的运动信息来生成所述当前块的预测块;以及将所述预测块与重构的残差块相加,以重构所述当前块,其中,所述合并候选块是从所述当前块的相邻块的集合得到的,并且其中,相邻块的所述集合包括:包括位于所述当前块内上侧最左样本的左侧样本正上方的样本在内的相邻块;和包括位于所述当前块内上侧最右样本右侧正上方的样本在内的相邻块。

2.根据权利要求1所述的视频解码方法,其中,通过确定基准帧以及运动向量是否彼此相同,来做出所述相邻块的运动信息是否彼此相同的决定。

说明书 :

视频解码方法

[0001] 本申请是原案申请号为201180060212.3的发明专利申请(申请日:2011年12月15日,PCT申请号:PCT/KR2011/009673,发明名称:利用运动信息集成来生成编码运动信息/恢复运动信息的方法和装置、使用该方法和装置的图像编码/解码方法和装置)的分案申请。

技术领域

[0002] 本公开在一个或更多个实施方式中涉及用于利用运动信息合并在重构之前生成编码运动信息的装置和方法以及使用该装置和方法进行图像编码/解码的装置和方法。更具体地,本公开涉及用于利用运动信息合并在重构之前生成编码运动信息的装置和方法以及使用该装置和方法进行图像编码/解码的装置和方法,其中,基于先前编码的信息决定是否通过合并来对运动信息进行编码,以在其编码之前有效地合并运动信息。

背景技术

[0003] 这一部分中的说明仅提供与本公开相关的背景信息而可能不构成现有技术。
[0004] 运动图像专家组(MPEG)和视频编码专家组(VCEG)开发了H.264AVC(高级视频编码)(一种优于现有的MPEG-4部分2和H.263标准的视频压缩标准),并且积极开发了HEVC(高效率视频编码)。按照与现有视频压缩技术相似的方式,考虑中的测试模型(Test Model under Consideration,TMuC)将图像划分为块并且通过频率转换进行熵编码并通过运动估计或帧内预测对残差块进行量化。HEVC的TMuC利用多个基准帧进行运动估计,将基准帧索引和运动向量编码作为运动信息,并且输出比特流。
[0005] HEVC的TMuC利用合并方法有效地对运动信息进行编码。传统的合并方法从解码的相邻图像块生成由N条合并方向运动信息组成的运动信息候选的集合,以对当前块的运动信息进行编码。当在运动信息候选集合中存在与当前运动信息相同的运动信息时,合并标记信息被指定为“未合并”。另一方面,当在运动信息候选集合中存在与当前运动信息相同的运动信息时,合并标记信息被指定为“合并”,并且合并方向信息被指定为代表运动信息候选集合中的相同的运动信息。
[0006] 尽管合并标记信息是“合并”,但是当运动信息候选集合中的所有多条运动信息彼此相同时,合并方向信息不被指定。合并标记信息被输出到比特流,并且当合并标记是“未合并”时,当前运动信息被输出到比特流。也就是说,当合并标记是“合并”并且运动信息候选集合的所有多条运动信息彼此相同时,合并方向信息不被输出到比特流。否则,合并方向信息被输出到比特流。具体地,HEVC的TMuC将运动信息候选集合配置为包括位于当前块的最左上侧样本的正上方的样本在内的块的运动信息和包括位于紧靠左侧的样本在内的块的运动信息。然而,通过上述方法的运动信息合并针对全部情况对合并标记进行编码。因而,有效的编码变得困难。
[0007] 因此,需要能够在通过合并运动信息进行编码时,通过基于预编码信息决定是否通过合并对运动信息进行编码,来有效地对运动信息进行编码和解码的视频编码/解码方法。

发明内容

[0008] 技术问题
[0009] 因此,本公开涉及当通过合并运动信息来编码时通过基于预编码信息决定是否通过合并对运动信息进行编码来提高视频压缩效率,从而减少合并相关的标记的编码并且有效地对运动信息进行编码。
[0010] 技术方案
[0011] 本公开的实施方式提供了一种包括视频编码器和视频解码器的视频编码/解码装置。所述视频编码器被配置为,利用运动补偿生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,根据决定结果生成当前块的编码运动信息,从当前块减去预测块以生成残差块,对残差块进行频率变换和量化以生成量化频率残差块,以及对编码运动信息和量化频率残差块进行熵编码以生成比特流。所述视频解码器被配置为,接收比特流,重构被编码的运动信息和残差块,基于预解码信息决定是否通过合并重构运动信息,根据决定结果从编码运动信息重构当前块的运动信息,以及将所重构的残差块与利用所重构的运动信息生成的预测块相加以重构所述当前块。
[0012] 本公开的另一个实施方式提供了一种视频编码装置,该视频编码装置包括帧间预测单元、减法单元、变换和量化单元以及编码单元。所述帧间预测单元被配置为,利用运动补偿生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,以及根据决定结果生成当前块的编码运动信息。所述减法单元被配置为,从所述当前块减去所述预测块以生成残差块。所述变换和量化单元被配置为,对所述残差块进行频率变换和量化以生成量化频率残差块。所述编码单元被配置为,对量化频率残差块和所述编码运动信息进行熵编码以生成比特流。
[0013] 所述当前块的相邻块的运动信息组成经过合并的合并相关块的运动信息,并且根据所有多条合并相关块运动信息之间的相似度或不相似度生成编码运动信息。
[0014] 所述帧间预测单元包括合并决定单元、合并运动信息生成器和非合并运动信息生成器。所述合并决定单元被配置为,根据所有多条合并相关块运动信息之间的相似度或不相似度来决定是否通过合并对编码运动信息进行编码。所述合并运动信息生成器被配置为,当所述合并决定单元决定通过合并对编码运动信息进行编码时,根据所述当前块的运动信息是否与由相邻块的运动信息组成的合并候选块运动信息相同,来通过合并生成编码运动信息。并且所述非合并运动信息生成器被配置为,当所述合并决定单元决定不通过合并对所述编码运动信息进行编码时,在不合并的情况下生成编码运动信息。
[0015] 当由相邻块的运动信息组成的多条合并候选块运动信息的集合具有与当前块的运动信息相同的一条运动信息时,通过合并生成的编码运动信息可以包括代表“合并”的合并标记。当所述多条合并候选块运动信息的集合具有与所述当前块的运动信息不同的部分运动信息时,通过合并生成的编码运动信息可以包括代表“合并”的合并标记和代表所述合并候选块当中的具有与所述当前块的运动信息相同的运动信息的块的方向的合并方向标记。并且,当多条合并候选块运动信息的集合中的所有多条运动信息与所述当前块的运动信息不同时,通过合并生成的编码运动信息可以包括代表“未合并”的合并标记和所述当前块的运动信息。
[0016] 在不合并的情况下立即生成的所述编码运动信息可以不包括所述合并标记并且包括所述当前块的运动信息。
[0017] 可以通过另外地确定所述当前块的大小是否大于预定大小来做出是否通过合并对编码运动信息进行编码的决定。
[0018] 可以通过包括所述当前块的上侧最左样本的左侧样本在内的相邻块的运动信息、包括所述当前块的上侧最左样本的上侧样本在内的相邻块的运动信息、包括位于所述当前块的上侧最左样本的左侧样本正上方的样本在内的相邻块的运动信息和包括位于所述当前块的上侧最右样本右侧正上方的样本在内的相邻块的运动信息中的一个或更多个来配置所述多条合并相关块运动信息的集合或者所述多条合并候选块运动信息的集合。
[0019] 所述多条合并相关块运动信息的集合和所述多条合并候选块运动信息的集合可以彼此相同或不同。
[0020] 可以单独利用运动向量,或者仅在基准帧彼此相同时利用运动向量,做出所述多条运动信息是否彼此相似或者是否彼此相同的决定。
[0021] 本公开的另一个实施方式提供了一种视频解码装置,该视频解码装置包括解码单元、解量化和逆变换单元、帧间预测单元和加法单元。所述解码单元被配置为,接收编码数据,提取编码运动信息和量化系数串,并且重构量化频率残差块。所述解量化和逆变换单元被配置为,对所述量化频率残差块进行解量化和逆变换以重构所述残差块。所述帧间预测单元被配置为,基于预解码信息决定是否通过合并对运动信息进行解码,根据决定结果从编码运动信息重构当前块的运动信息,并且利用所重构的运动信息生成所述当前块的预测块。并且,所述加法单元被配置为,将所述预测块与所重构的残差块相加以重构所述当前块。
[0022] 所述当前块的相邻块的运动信息组成经过合并的合并相关块的运动信息,并且根据所有多条合并相关块运动信息之间的相似度或不相似度生成编码运动信息。
[0023] 所述帧间预测单元包括合并决定单元、合并运动信息解码器和非合并运动信息解码器。所述合并决定单元被配置为,根据所有多条合并相关块运动信息之间的相似度或不相似度来决定是否通过合并进行运动信息重构。所述合并运动信息解码器被配置为,当所述合并决定单元决定通过合并进行运动信息重构时接收所述编码运动信息中包括的合并标记;当所述合并标记代表“合并”并且所有多条所述合并候选块运动信息彼此相同时,将所述多条合并候选块运动信息中的一个设定为所述当前块的所述运动信息;当所有多条合并候选块运动信息不彼此相同时接收合并方向标记;将所述合并方向标记代表的块的运动信息设定为所述当前块的运动信息;当所述合并标记代表“未合并”时,接收所述编码运动信息中包括的运动信息;以及将接收到的运动信息设定为所述当前块的运动信息。并且所述非合并运动信息解码器被配置为,当所述合并决定单元决定不通过合并进行运动信息重构时,从所述编码运动信息提取所述当前块的运动信息。
[0024] 所述合并方向标记代表的块可以是由所述相邻块的运动信息组成的合并候选块的集合中的一个块。通过包括所述当前块的上侧最左样本的左侧样本在内的相邻块的运动信息、包括所述当前块的上侧最左样本的上侧样本在内的相邻块的运动信息、包括位于所述当前块的上侧最左样本的左侧样本正上方的样本在内的相邻块的运动信息和包括位于所述当前块的上侧最右样本右侧正上方的样本在内的相邻块的运动信息中的一个或更多个来配置所述多条合并相关块运动信息的集合或者所述多条合并候选块运动信息的集合。
[0025] 所述多条合并相关块运动信息的集合和所述多条合并候选块运动信息的集合是彼此相同或不同的。
[0026] 可以单独利用运动向量,或者仅在基准帧彼此相同时利用运动向量,来做出所述多条运动信息是否彼此相似的决定。
[0027] 本公开的另一个实施方式提供了一种编码运动信息生成装置,该编码运动信息生成装置包括合并决定单元、合并运动信息生成器和非合并运动信息生成器。所述合并决定单元被配置为,根据由当前块的相邻块的运动信息组成的所有多条合并相关块运动信息之间的相似度或不相似度来决定是否通过合并对编码运动信息进行编码。所述合并运动信息生成器被配置为,当所述合并决定单元决定通过合并对编码运动信息进行编码时,根据所述当前块的运动信息是否与由相邻块的所述运动信息组成的合并候选块运动信息相同,来通过合并生成编码运动信息。并且,所述非合并运动信息生成器被配置为,当所述合并决定单元决定不通过合并来对所述编码运动信息进行编码时,在不合并的情况下生成编码运动信息。
[0028] 本公开的另一个实施方式提供了一种运动信息重构装置,该运动信息重构装置包括合并决定单元、合并运动信息解码器和非合并运动信息解码器。所述合并决定单元被配置为,根据由当前块的相邻块的运动信息组成的所有多条合并相关块运动信息之间的相似度或不相似度来决定是否通过合并进行运动信息重构。所述合并运动信息解码器被配置为,如果所述合并决定单元决定通过合并进行运动信息重构,则接收所述编码运动信息中包括的合并标记;当所述合并标记代表“合并”并且所有多条所述合并候选块运动信息彼此相同时,将所述多条合并候选块运动信息中的一个设定为所述当前块的运动信息;当所有多条合并候选块运动信息不彼此相同时,接收合并方向标记;将所述合并方向标记代表的块的运动信息设定为所述当前块的运动信息;当所述合并标记代表“未合并”时,接收所述编码运动信息中包括的运动信息;以及将所接收到的运动信息设定为所述当前块的运动信息。并且所述非合并运动信息解码器被配置为,如果所述合并决定单元决定不通过合并进行运动信息重构,则从所述编码运动信息提取所述当前块的运动信息。
[0029] 本公开的另一个实施方式提供了一种包括视频编码和视频解码的视频编码/解码方法。所述视频编码步骤包括以下步骤:利用运动补偿来生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,根据决定结果生成当前块的编码运动信息,从当前块减去预测块以生成残差块,对残差块进行频率变换和量化以生成量化频率残差块,以及对编码运动信息和量化频率残差块进行熵编码以生成比特流。并且所述视频解码步骤包括以下步骤:接收比特流,重构被编码的运动信息和残差块,基于预解码信息决定是否通过合并重构运动信息,根据决定结果从编码运动信息重构当前块的运动信息,以及将所重构的残差块与利用所重构的运动信息生成的预测块相加以重构所述当前块。
[0030] 本公开的另一个实施方式提供了一种视频编码方法,该视频编码方法包括以下步骤:进行帧间预测;从当前块减去预测块以生成残差块;对残差块进行频率变换和量化以生成量化频率残差块;以及对量化频率残差块和编码运动信息进行熵编码以生成比特流。进行帧间预测的步骤包括以下步骤:利用运动补偿来生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,以及根据决定结果生成当前块的编码运动信息。
[0031] 本公开的另一个实施方式提供了一种视频解码方法,该视频解码方法包括以下步骤:进行重构;对量化频率残差块进行解量化和逆变换以重构残差块;进行帧间预测;以及将所述预测块与重构的残差块相加以重构所述当前块。进行重构的步骤包括以下步骤:接收编码数据,提取编码运动信息和量化系数串,以及重构量化频率残差块。进行帧间预测的步骤包括以下步骤:基于预解码信息决定是否通过合并重构运动信息,根据决定结果从编码运动信息重构当前块的运动信息,以及利用重构的运动信息来生成所述当前块的预测块。
[0032] 本公开的另一个实施方式提供了一种编码运动信息生成方法,该编码运动信息生成方法包括以下步骤:进行合并决定,其包括,根据由当前块的相邻块的运动信息组成的所有多条合并相关块运动信息之间的相似度或不相似度来决定是否通过合并来对编码运动信息进行编码。所述编码运动信息生成方法还包括以下步骤:当进行合并决定的步骤做出通过合并对编码运动信息进行编码的决定时,根据所述当前块的运动信息是否与由相邻块的所述运动信息组成的合并候选块运动信息相同,来通过合并生成编码运动信息。并且编码运动信息生成方法还包括以下步骤:当进行合并决定的步骤做出不通过合并对编码运动信息进行编码的决定时,在不合并的情况下生成编码运动信息。
[0033] 本公开的另一个实施方式提供了一种运动信息重构方法,该运动信息重构方法包括以下步骤:根据由当前块的相邻块的运动信息组成的所有多条合并相关块运动信息来进行是否通过合并进行运动信息重构的合并决定;进行合并运动信息解码;以及进行非合并运动信息解码。所述进行合并运动信息解码的步骤包括以下步骤:当进行合并决定的步骤通过合并进行运动信息重构时,接收编码运动信息中包括的合并标记;当所述合并标记代表“合并”并且所有多条合并候选块运动信息彼此相同时,将所述多条合并候选块运动信息中的一个设定为当前块的运动信息;当所有多条合并候选块运动信息不彼此相同时,接收合并方向标记;将所述合并方向标记代表的块的运动信息设定为所述当前块的运动信息;当所述合并标记代表“未合并”时,接收所述编码运动信息中包括的运动信息;以及将所接收到的运动信息设定为所述当前块的运动信息。并且,所述进行非合并运动信息解码的步骤包括以下步骤:当进行合并决定的步骤不通过合并进行运动信息重构时,从编码运动信息提取所述当前块的运动信息。
[0034] 有益效果
[0035] 根据如上所述的本公开,当通过合并运动信息进行编码时,基于预编码信息决定是否对运动信息进行编码。因此,合并相关数据的量减少,从而有效地对运动信息进行编码,并且提高视频压缩效率。结果,提高了视频压缩效率,并且有效地重构编码数据。
[0036] 另外,当通过合并运动信息来进行编码时,检查要编码的块的大小,并且当对应的图像被确定为复杂区域时,在不合并的情况下对块进行编码。根据图像特性来选择性地合并要编码的块。这减少了相关合并标记信息的量,以有效地重构编码数据的更小传输。

附图说明

[0037] 图1是根据本公开的一个或更多个实施方式的视频编码装置的构造的示意框图;
[0038] 图2是根据本公开的一个或更多个实施方式的编码运动信息生成装置的构造的示意框图;
[0039] 图3是可用于生成候选相邻块集合的预编码图像块(Ln,Un,ULn,URn)的示意图;
[0040] 图4是根据本公开的一个或更多个实施方式的编码运动信息生成方法的示例性流程图;
[0041] 图5是根据本公开的一个或更多个实施方式的视频解码装置的构造的示意框图;
[0042] 图6是根据本公开的一个或更多个实施方式的运动信息重构装置(600)的构造的示意框图;以及
[0043] 图7是根据本公开的一个或更多个实施方式的运动信息重构方法的示例性流程图。

具体实施方式

[0044] 下文中,以下描述的视频编码装置和视频解码装置可以是诸如个人计算机(PC)、笔记本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PSP)、无线通信终端、智能电话、TV等的用户终端或者诸如应用服务器、服务服务器等的服务器终端,并且可以是指包括诸如通信调制解调器等的用于与各种类型的装置或有线/无线通信网络进行通信的通信装置、用于存储用于进行视频编码或解码或者针对编码或解码进行帧间或帧内预测的各种类型的程序和数据的存储器以及用于执行程序以进行操作和控制的微处理器等的各种装置。
[0045] 此外,被视频编码装置编码为比特流(编码数据)的视频可以通过诸如互联网、无线个人区域网(WPAN)、无线局域网(WLAN)、WiBro(无线宽带,也称为WiMax)网络、移动通信网络等的有线/无线通信网络或者通过诸如电缆、通用串行总线(USB)等的各种通信接口实时或非实时地发送到视频解码装置,因而在视频解码装置中解码并且重构和再现为视频。
[0046] 视频通常可以包括一系列画面,各个画面被划分为诸如帧或者块的预定区域。当视频的区域被划分为块时,根据编码方法,所划分的块可以分为帧内块或帧间块。帧内块是指通过帧内预测编码方法进行编码的块,该帧内预测编码方法通过利用经历了先前编码和解码的重构块的像素预测当前块的像素来生成预测块,接着对预测块与进行当前编码的当前画面内的当前块的像素之间的差值进行编码。帧间块是指通过帧间预测编码方法进行编码的块,该帧间预测编码方法通过参照一个或更多个过去画面或将来画面预测当前画面中的当前块来生成预测块,接着对预测块与当前块的差值进行编码。在此,在当前画面的编码或解码中参照的画面被称为基准画面。
[0047] 图1是示意性地示出根据本公开的一个或更多个实施方式的视频编码装置的构造的框图。
[0048] 根据本公开的一个或更多个实施方式的视频编码装置100可以包括帧内预测单元110、帧间预测单元120、减法单元130、变换和量化单元140、编码单元150、解量化和逆变换单元160、加法单元170和帧存储器180。
[0049] 基于编码块单位输入要编码的输入图像。在本公开中,编码块具有MxN形式,其中M和N可以彼此相同或不同。另外,编码块可以被划分为各种大小的预测单位块。
[0050] 帧内预测单元110利用相邻像素生成预测块,以预测当前预测单位块。也就是说,帧内预测单元110利用通过编码处理先前重构的当前块的相邻像素根据帧内预测单元110的模式生成预测块。
[0051] 帧间预测单元120利用基准帧生成预测块,以预测当前预测单位块。也就是说,帧间预测单元120在通过编码处理先前重构的先前帧中根据帧间预测单元120的模式通过运动估计生成包括运动向量、基准帧索引和运动向量分辨率在内的运动信息,并且利用该运动信息在运动补偿处理中生成预测块。另外,帧间预测单元120基于预编码信息决定是否通过合并对运动信息进行编码。当决定不通过合并对运动信息进行编码时,利用传统方法生成包括运动信息在内的编码运动信息。当决定通过合并对运动信息进行编码时,利用传统合并方法生成包括合并标记和合并方向标记或者合并标记和运动信息在内的编码运动信息。
[0052] 帧间预测单元120可以包括编码运动信息生成单元(未示出),并且编码运动信息生成单元可以由单独的硬件或软件模块实现,并且可以用如图2所示的编码运动信息生成装置200来配置。下面将参照图2详细描述编码运动信息生成单元的操作。
[0053] 减法单元130通过从当前块减去预测块来生成残差块。也就是说,减法单元130通过从当前块的像素值减去由帧内预测单元110或帧间预测单元120生成的预测块的像素值来生成残差块。
[0054] 变换和量化单元140将减法单元130生成的残差块变换为频率系数,并且对经变换的残差块进行量化。也就是说,变换和量化单元140生成具有由减法单元130生成的残差块的残差系数作为频率系数的残差块,并且对频率系数的残差块进行量化。作为此处使用的变换方法,可以使用诸如基于哈达玛(Hadamard)变换或离散余弦变换的整数变换的用于对空间域的图像信号进行变换的方法。作为量化方法,可以使用包括死区均匀阈值量化(在下文称为“DZUTQ”)或者量化加权矩阵在内的各种量化方法。
[0055] 编码单元150可以通过对由变换和量化单元140进行变换和量化的残差块进行编码来生成编码数据(比特流)。作为编码技术,可以使用熵编码技术。然而,本公开不限于此,并且还可以使用各种编码技术。
[0056] 另外,编码单元150可以不仅包括从对量化频率系数的编码得到的比特流,而且包括对编码数据中的编码的频率系数比特流进行解码所需的各条信息。也就是说,编码数据可以包括第一字段,该第一字段包括编码了编码块模式(CBP)、差量量化参数和量化频率系数的比特流;以及第二字段,该第二字段包括用于预测所需的信息的比特(例如,在帧内预测的情况下的帧内预测模式或者在帧间预测的情况下的运动信息)。
[0057] 解量化和逆变换单元160通过对由变换和量化单元140变换和量化的残差块进行解量化和逆变换来生成残差块。可以通过逆向进行变换和量化单元140的变换和量化处理来进行逆量化和逆变换。也就是说,解量化和逆变换单元160可以通过对从变换和量化单元140传送来的量化块进行解量化并且对经解量化的频率块进行逆变换,来生成具有残差系数的残差块。
[0058] 加法单元170通过将帧内预测单元110或帧间预测单元120生成的预测块与解量化和逆变换单元160生成的残差块相加来生成重构块。
[0059] 帧存储器180存储加法单元170生成的重构块,并且所存储的重构块在帧内预测或帧间预测的处理中被用作用于生成预测块的基准块。
[0060] 图2是示意地示出根据本公开的一个或更多个实施方式的编码运动信息生成装置的构造的框图。编码运动信息生成装置200基于预编码信息决定是否通过合并对运动信息进行编码。当决定不通过合并对运动信息进行编码时,利用传统方法生成编码运动信息。当决定通过合并对运动信息进行编码时,通过合并生成编码运动信息。图1的帧间预测单元120可以包括编码运动信息生成装置200。
[0061] 参照图2,根据本公开的一个或更多个实施方式的编码运动信息生成装置200包括合并决定单元210、合并运动信息生成器220和非合并运动信息生成器230。合并决定单元210基于预编码信息决定是否通过合并对运动信息进行编码。在合并决定单元210决定通过合并对运动信息进行编码的情况下,合并运动信息生成器220通过合并生成编码运动信息。
在合并决定单元210决定不通过合并对运动信息进行编码的情况下,非合并运动信息生成器230在不合并的情况下生成编码运动信息。
[0062] 图3是示出当前块Hn和可用于对当前块Hn的运动信息进行编码的预编码相邻图像块Ln、Un、ULn和URn的示例的图。在此,n是用于标识当前块和相邻图像块的符号。
[0063] 在图3中,Hn代表运动信息要被编码的当前块,Ln代表包括当前块Hn的上侧最左样本的左侧样本在内的左侧相邻块,并且Un代表包括当前块Hn的最左侧样本的上侧样本在内的上侧相邻块。ULn代表包括位于当前块Hn的上侧最左样本的左侧样本正上方的样本在内的左上相邻块,并且URn代表包括位于当前块Hn的上侧最右样本右侧正上方的样本在内的右上相邻块。
[0064] 图3示出一个图像被划分为四个32x32代码块的示例,各个32x32代码块被划分为各种大小的预测单位块。根据本公开的一个或更多个实施方式,由相邻块的运动信息组成的合并相关块的运动信息集合可以包括一个或更多个相邻块的运动信息。在此实施方式中,合并相关块的运动信息集合可以包括各个相邻块的运动信息集合。例如,合并相关块的运动信息集合可以包括两个相邻块Ln和Un的运动信息MV_Ln和MV_Un,或者可以包括Ln、Un、ULn和URn的运动信息。运动信息可以包括基准索引、运动向量和运动向量分辨率。
[0065] 合并决定单元210基于由相邻块的运动信息组成的全部多条合并相关块运动信息是否彼此相似,来决定是否在合并运动信息生成器220中生成要编码的当前块的编码运动信息,或者是否在非合并运动信息生成器230中生成要编码的当前块的编码运动信息。当合并决定单元210基于相邻块的预编码信息和当前块的模式信息决定几乎不可能通过合并来对运动信息进行编码时,编码运动信息生成装置200在非合并运动信息生成器230中生成要编码的编码运动信息,而不通过合并运动信息生成器220。因此,合并标记信息的编码被缩减以提高压缩效率。
[0066] 图4示例性地示出根据本公开的一个或更多个实施方式的编码运动信息生成方法的流程图。具体地,图4示例性地示出基于由相邻块的运动信息组成的全部多条合并相关块运动信息是否彼此相似,来确定是否在合并运动信息生成器220中或者在非合并运动信息生成器230中计算要编码的当前块的编码运动信息的流程图。
[0067] 在图像中,运动非常复杂的区域被划分为小块,并且很有可能的是,诸如相邻块的运动向量的多条运动信息不彼此相似。在此条件下,几乎不可能的是,当前块的运动信息将被合并到相邻块的运动信息中。另外,在当前运动信息在编码之前被合并到Ln或Un中的情况下,如果Ln的运动信息与Un的运动信息不同,则至少两条信息(合并标记和合并方向标记)可以被编码。合并方向标记是指代表具有与Hn的运动信息相同的运动信息的块的方向的信息。针对表示方向的信息,Ln可以被分配诸如0的1个比特,并且Un可以被分配诸如1的1个比特。
[0068] 合并决定单元210可以参照相邻块集合(例如,{Ln,Un,ULn,URn})的运动信息集合作为针对当前块的合并相关块运动信息(S410)。被合并决定单元210参照的相邻块集合可以按照各种方法配置,例如,{Ln,Un}、{Ln,Un,ULn}、{Ln,Un,URn},并且本公开不限于此。另外,合并决定单元210可以通过附加地决定当前块的大小是否大于预定大小,来决定是否通过合并对编码运动信息进行编码。也就是说,合并决定单元210确定关于当前块Hn的大小是否小于或等于预定大小PxQ(例如,4x4或8x8),或者相邻块集合{Ln,Un,ULn,URn}的全部多条运动信息是否彼此相似的条件(S420)。如果不满足条件,则确定对应的区域是当前块和/或相邻块的运动非常复杂的区域,因而在不合并的情况下生成编码运动信息(S430)。如果当前块Hn的大小大于预定大小PxQ(例如,4x4或8x8)并且合并相关块中包括的相邻块集合{Ln,Un,ULn,URn}的全部多条运动信息彼此相似,则通过合并生成编码运动信息(S440)。确定在帧内模式下编码的相邻块的运动信息与其它相邻块的运动信息不同。可以通过确定运动信息中包含的运动向量之间的相似度和非相似度来做出合并相关块运动信息项目是否具有相似度的确定。在此情况下,可以通过确定合并相关块的组中包括的相邻块的运动向量之间的距离是否小于预定阈值信息来做出关于运动向量是否相似的确定。此时,运动向量之间的距离可以使用二维欧几里得距离或城市块距离。另外,可以利用多条运动信息当中的一部分信息(例如,仅利用运动向量)来做出关于多条运动信息是否彼此相似的确定。另外,可以通过附加地确定运动信息的基准帧是否彼此相同来做出关于多条运动信息是否彼此相似的确定。也就是说,当基准帧以及运动向量彼此相同时,可以确定多条运动信息彼此相似。
[0069] 根据本公开的实施方式的合并运动信息生成器220和非合并运动信息生成器230可以遵循视频编码委员会的联合合作组(JCT-VC)的HEVC的TMuC。
[0070] 根据HEVC的TMuC,合并运动信息生成器220可以基于合并候选块的运动信息生成包括合并标记和/或合并方向标记在内的编码运动信息,在合并候选块中,利用预编码相邻图像块的多条运动信息配置代表基准帧的基准索引信息和包括运动向量和运动向量分辨率在内的当前块的运动信息。
[0071] 例如,在合并候选块是{Ln,Un}的情况下,合并运动信息生成器220接收当前块Hn和包括{Ln,Un}的合并候选块集合的运动信息,在当前块Hn的运动信息与{Ln,Un}的多条运动信息当中的任何一条运动信息不同时,将合并标记信息设定为“未合并”;并且在当前块Hn的运动信息与{Ln,Un}的多条运动信息中的任何一个相同时,将合并标记信息设定为“合并”。当合并标记代表“合并”时,合并方向标记被设定为代表运动信息与合并候选块{Ln,Un}的多条运动信息当中的当前块的运动信息相同的块,并且生成包括合并标记和合并方向标记在内的编码运动信息。尽管合并标记信息是“合并”,但是当{Ln,Un}的全部多条运动信息彼此相同时,合并方向标记不被包括在编码运动信息中。另外,在合并候选块的运动信息集合当中的全部多条运动信息与当前块的运动信息不同的情况下,通过合并生成的编码运动信息包括代表“未合并”的合并标记和当前块的运动信息。当合并标记代表“未合并”时,合并运动信息生成器220生成包括基准索引、运动向量和运动向量分辨率中的一个或更多个的运动信息以及合并标记作为编码运动信息。在此情况下,通过从预编码时间/空间相邻运动向量计算预测运动向量来生成运动信息作为差运动向量,并且可以与合并标记一起配置编码运动信息。
[0072] 按照与以上描述的“未合并”情况相同的方法,非合并运动信息生成器230可以生成包括诸如基准索引、运动向量和运动向量分辨率的运动信息在内的编码运动信息而没有合并标记。
[0073] 如以上参照图2至图4所述,如果使用编码运动信息生成装置200,则当通过合并运动信息进行编码时,根据图像的特性减少了对合并标记信息的编码。因此,运动信息被有效地编码,从而增加编码效率并且提高压缩效率。
[0074] 图5是示意性地示出根据本公开的一个或更多个实施方式的视频解码装置的构造的框图。
[0075] 根据本公开的实施方式的视频解码装置500可以包括解码单元510、解量化和逆变换单元520、帧内预测单元530、帧间预测单元540、加法单元550和帧存储器560。
[0076] 解码单元510对编码数据(比特流)进行解码以提取诸如帧间预测模式、编码运动信息、帧内预测模式和纹理的进行块解码所需的数据。也就是说,解码单元510通过对编码数据进行解码来提取量化频率系数串,按照诸如逆向锯齿扫描的各种逆向扫描方法对量化频率系数串进行逆向扫描,并且生成具有量化频率系数的残差块。在此情况下,解码单元510可以从编码数据中包括的第一字段提取残差块,并且对所提取的残差块进行解码。解码单元510可以从编码数据中包括的第二字段提取诸如帧内预测模式、帧间预测模式和编码运动信息的进行预测所需的信息。解码单元510可以将所提取的进行预测所需的信息传送给帧内预测单元530或帧间预测单元540,使得对应的预测单元可以按照与视频编码装置
100的对应预测单元相同的方法预测当前块。要解码的编码运动信息可以包括运动信息。在一些情况下,合并标记和合并方向标记可以取代运动信息被包括在编码运动信息中,并且运动信息和合并标记可以被包括在编码运动信息中。
[0077] 解量化和逆变换单元520通过对量化残差块进行解量化来生成解量化残差块,并且通过对解量化块进行逆变换来生成残差块。
[0078] 帧内预测单元530利用从解码单元510传送来的进行帧内预测所需的信息生成当前块的预测块。
[0079] 帧间预测单元540利用从解码单元510传送来的进行帧间预测所需的信息来生成当前块的预测块。此时,当帧间预测单元540从解码单元510接收到编码运动信息并且由相邻块的运动信息组成的全部多条合并相关块运动信息彼此相同时,可以根据编码运动信息中包括的合并标记从由相邻块的运动信息组成的合并候选块的运动信息集合或者编码运动信息中包括的运动信息来重构当前块的运动信息,并且可以利用所重构的运动信息来生成当前块的预测块。另外,在由相邻块的运动信息组成的全部多条合并相关块运动信息不彼此相似的情况下,帧间预测单元540可以利用编码运动信息中包括的运动信息来重构当前块的运动信息,并且利用所重构的运动信息来生成当前块的预测块。帧间预测单元540可以包括运动信息重构单元(未示出)。运动信息重构单元可以由单独的硬件或软件模块实现,并且可以利用图6所示的运动信息重构装置600来配置。下面将参照图6详细描述运动信息重构装置600的操作。
[0080] 加法单元550通过将预测块与残差块相加来重构当前块。加法单元550重构的当前块可以被传送到帧存储器560,并且可以在预测单元中用于预测其它块。
[0081] 帧存储器560存储重构图像并且使得能够生成帧内预测块和帧间预测块。
[0082] 帧间预测单元530可以包括运动信息重构单元,该运动信息重构单元从解码单元510接收编码运动信息,对运动信息进行解码,并且利用解码的运动信息生成预测块。运动信息重构单元可以由单独的硬件或软件模块实现,并且可以利用图6所示的运动信息重构装置600来配置。
[0083] 图6是示意性地示出根据本公开的一个或更多个实施方式的运动信息重构装置600的构造的框图。
[0084] 根据本公开的一个或更多个实施方式的运动信息重构装置600包括合并决定单元610、合并运动信息解码器620和非合并运动信息解码器630。按照与视频编码装置100中使用的方式相同或相似的方式,合并决定单元610根据由相邻块的运动信息组成的全部多条合并相关块运动信息是否彼此相似来决定是否通过合并对运动信息进行解码。在合并决定单元610决定通过合并对运动信息进行解码的情况下,合并运动信息解码器620接收编码运动信息中包括的合并标记,并且在合并标记代表“合并”并且合并候选块的全部多条运动信息彼此相同时,将合并候选块的多条运动信息中的一个设定为当前块的运动信息。当合并候选块的全部多条运动信息不彼此相同时,合并运动信息生成器610接收合并方向标记,并且将合并方向标记代表的合并候选块当中的对应块的运动信息设定为当前块的运动信息。
当合并标记代表“未合并”时,合并运动信息解码器620接收编码运动信息中包括的运动信息,并且将所接收到的运动信息设定为当前块的运动信息。在合并决定单元610决定不通过合并对运动信息进行解码的情况下,非合并运动信息解码器630从解码单元510提取的解码运动信息中提取当前块的运动信息。
[0085] 合并运动信息解码器620生成合并候选集合,当编码运动信息中包括的合并标记代表“合并”并且由合并候选块的运动信息组成的合并候选块的运动信息集合当中的全部多条运动信息彼此相同时,生成合并候选块的运动信息集合中的一个作为要解码的当前块的运动信息,并且利用编码运动信息中包括的合并方向标记生成由合并方向标记代表的相邻块的运动信息作为合并候选块集合当中的当前块的运动信息。另外,当编码运动信息中包括的合并标记代表“未合并”时,合并运动信息解码器620从编码运动信息中包括的运动信息提取当前块的运动信息。
[0086] 当合并决定单元610决定在不合并的情况下直接对运动信息进行解码时,非合并运动信息解码器630接收经解码的编码运动信息中包括的诸如基准索引、运动向量和运动向量分辨率的运动信息,并且将所接收到的运动信息设定为当前块的运动信息。
[0087] 图7是示例性地示出根据本公开的一个或更多个实施方式的运动信息重构方法的流程图的图。
[0088] 如图7所示,合并决定单元610可以参照相邻块集合{Ln,Un,ULn,URn}的运动信息作为针对当前块的合并相关块的运动信息集合(S710)。组成合并相关块集合的相邻块可以与组成用于实际合并的合并候选块集合的相邻块不同。另外,合并决定单元610可以通过附加地决定当前块的大小是否大于预定大小,来决定是否通过合并对编码运动信息进行编码。也就是说,合并决定单元610确定关于当前块Hn的大小是否小于或等于预定大小PxQ(例如,4x4或8x8),或者相邻块集合{Ln,Un,ULn,URn}的全部多条运动信息是否彼此相似的条件(S720)。如果不满足条件,则确定对应的区域是当前块和/或相邻块的运动非常复杂的区域,因而在不合并的情况下生成编码运动信息(S730)。如果当前块Hn的大小大于预定大小PxQ(例如,4x4或8x8)并且相邻块集合{Ln,Un,ULn,URn}的全部多条运动信息彼此相似,则通过合并来生成编码运动信息(S740)。确定在帧内模式下编码的相邻块的运动信息与其它相邻块的运动信息不同。在此实施方式中,PxQ可以被设定为8x8或4x4。可以通过确定相邻块的运动向量之间的距离是否小于预定阈值信息来做出针对合并相关块的运动信息中包含的运动向量之间的相似度或不相似度的确定。此时,运动向量之间的距离可以使用二维欧几里得距离或城市块距离。另外,可以利用多条运动信息当中的一部分信息(例如,仅利用运动向量)来做出关于多条运动信息是否彼此相似的确定。另外,可以通过附加地确定运动信息的基准帧是否彼此相同来做出关于多条运动信息是否彼此相似的确定。也就是说,当基准帧以及运动向量彼此相同时,可以确定多条运动信息彼此相似。
[0089] 此外,可以通过将图1的视频编码装置100的编码数据(比特流)输出端子连接到图5的视频解码装置500的编码数据(比特流)输入端子来配置根据本公开的一个或更多个实施方式的视频编码/解码装置。
[0090] 根据本公开的一个或更多个实施方式的视频编码/解码装置包括:视频编码器,该视频编码器用于利用运动补偿生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,根据决定结果生成当前块的编码运动信息,通过从当前块减去预测块来生成残差块,通过对残差块进行频率变换和量化来生成量化频率残差块,并且通过对编码运动信息和量化频率残差块进行熵编码来生成比特流;以及视频解码器,该视频解码器用于接收比特流,重构编码运动信息和残差块,基于预解码信息决定是否通过合并重构运动信息,根据决定结果从编码运动信息重构当前块的运动信息,并且通过将所重构的残差块与利用所重构的运动信息生成的预测块相加来重构当前块。
[0091] 可以利用根据本公开的一个或更多个实施方式的视频编码装置100实现视频编码器,并且可以利用根据一个或更多个实施方式的视频解码装置500实现视频解码器。
[0092] 根据本公开的一个或更多个实施方式的视频编码方法包括以下步骤:帧内预测步骤(S810),利用运动补偿来生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,根据决定结果生成当前块的编码运动信息;减法步骤(S820),通过从当前块减去预测块来生成残差块;变换和量化步骤(S830),通过对残差块进行频率变换和量化来生成量化频率残差块;以及编码步骤(S840),通过对编码运动信息和量化频率残差块进行熵编码来生成比特流。
[0093] 由于预测步骤(S810)、减法步骤(S820)、变换和量化步骤(S830)以及编码步骤(S840)分别对应于预测单元120、减法单元130、变换和量化单元140以及编码单元150的操作,所以其详细描述将被省略。
[0094] 根据本公开的一个或更多个实施方式的视频解码方法包括以下步骤:解码步骤(S910),接收编码数据,提取编码运动信息和量化系数串,并且重构量化频率残差块;解量化和逆变换步骤(S920),通过对量化频率残差块进行解量化和逆变换来重构残差块;帧间预测步骤(S930),基于预解码信息决定是否通过合并对运动信息进行解码,根据决定结果从编码运动信息重构当前块的运动信息,并且利用重构的运动信息生成当前块的预测块;以及加法步骤(S940),通过将预测块与所重构的残差块相加来重构当前块。
[0095] 由于解码步骤(S910)、解量化和逆变换步骤(S920)、帧间预测步骤(S830)以及加法步骤(S940)分别对应于解码单元510、解量化和逆变换单元520、帧间预测单元840和加法单元550的操作,所以其详细描述将被省略。
[0096] 根据本公开的一个或更多个实施方式的编码运动信息生成方法包括以下步骤:合并决定步骤(S1010),根据由相邻块的运动信息组成的全部多条合并相关块运动信息是否彼此相似来决定是否通过合并对编码运动信息进行编码;合并运动信息生成步骤(S1020),当决定对编码运动信息进行编码时,根据当前块的运动信息是否与由相邻块的运动信息组成的合并候选块的运动信息相同,来通过合并生成编码运动信息;非合并运动信息生成步骤(S1030),当决定不通过合并对编码运动信息进行编码时,在不合并的情况下生成编码运动信息。
[0097] 由于合并决定步骤(S1010)、合并运动信息生成步骤(S1020)和非合并运动信息生成步骤(S1030)分别对应于合并决定单元210、合并运动信息生成器220和非合并运动信息生成器230的操作,所以其详细描述将被省略。
[0098] 根据本公开的一个或更多个实施方式的运动信息解码方法包括以下步骤:合并决定步骤(S1110),根据由相邻块的运动信息组成的全部多条合并相关块运动信息来决定是否通过合并对运动信息进行解码;合并运动信息解码步骤(S1120),在合并决定步骤中决定通过合并对运动信息进行解码的情况下,接收编码运动信息中包括的合并标记,并且当合并标记代表“合并”并且合并候选块的全部多条运动信息彼此相同时,将合并候选块的多条运动信息中的一个设定为当前块的运动信息,当合并候选块的全部多条运动信息不彼此相同时接收合并方向标记,并且将合并方向标记代表的块的运动信息设定为当前块的运动信息,当合并标记代表“未合并”时接收编码运动信息中包括的运动信息,并且将所接收到的运动信息设定为当前块的运动信息;以及非合并运动信息解码步骤(S1130),在合并决定步骤中决定不通过合并对运动信息进行解码的情况下,从编码运动信息提取当前块的运动信息。
[0099] 由于合并决定步骤(S1110)、合并运动信息解码步骤(S1120)和非合并运动信息解码步骤(S1130)分别对应于合并决定单元610、合并运动信息解码器620和非合并运动信息解码器630的操作,所以其详细描述将被省略。
[0100] 可以通过根据本公开的一个或更多个实施方式的视频编码方法和根据本公开的一个或更多个实施方式的视频解码方法的组合来实现根据本公开的一个或更多个实施方式的视频编码/解码方法。
[0101] 根据本公开的一个或更多个实施方式的视频编码/解码方法包括视频编码步骤,该视频编码步骤利用运动补偿来生成当前块的预测块,基于预编码信息决定是否通过合并对运动信息进行编码,根据决定结果生成当前块的编码运动信息,通过从当前块减去预测块来生成残差块,通过对残差块进行频率变换和量化来生成量化频率残差块,并且通过对编码运动信息和量化频率残差块进行熵编码来生成比特流。视频编码/解码方法还包括视频解码步骤,该视频解码步骤接收比特流,重构编码运动信息和残差块,基于预解码信息确定是否通过合并重构运动信息,根据确定结果从编码运动信息重构当前块的运动信息,并且通过将所重构的残差块与利用所重构的运动信息生成的预测块相加来重构当前块。
[0102] 可以通过根据本公开的一个或更多个实施方式的视频编码方法来实现视频编码步骤,并且可以通过根据一个或更多个实施方式的视频解码方法来实现视频解码步骤。
[0103] 在以上描述中,尽管本公开的实施方式的全部组件被说明为组合或者可操作地连接为单元,但是本公开不旨在将自己限制为这些实施方式。相反,在本公开的目的范围内,各个组件可以按照任何数量选择性地并且可操作地组合。这些组件中的每一个还可以自己在硬件中实现,并且各个组件可以选择性地部分或整体组合并且在具有用于执行硬件等同的功能的程序模块的计算机程序中实现。本领域技术人员可以容易地获得用于组成这种程序的代码或代码段。计算机程序可以存储在计算机可读介质中,该计算机程序在运行中可以实现本公开的实施方式。计算机可读介质可以包括磁性记录介质、光学记录介质和载波介质。
[0104] 相关申请的交叉引用
[0105] 如果可申请,本申请根据35U.S.C§119(a)要求2010年12月15日在韩国提交的专利申请No.10-2010-0127985的优先权,通过引用将其全部内容并入本文。另外,基于该韩国专利申请,根据相同的原因,该非临时申请要求在除美国之外的其它国家的优先权,通过引用将其全部内容并入本文。