一种基于CTU级下采样的8K视频编码方法及装置

摘要

本发明公开了一种基于CTU级下采样的8K视频编码方法及装置，属于视频编码领域。8K视频编码方法，包括：对原始8K视频序列逐CTU进行编码，得到第一重建CTU块将第一重建CTU块放入编码图像缓冲区；将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列；对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块；对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块；将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第三重建CTU块；将编码图像缓冲区中CTU块的码流组合成最终的码流。本发明可以在保证一定编码质量的前提下降低码流大小的目的。

权利要求

1.一种基于CTU级下采样的8K视频编码方法，其特征在于，包括：对原始8K视频序列逐CTU进行编码，得到第一重建CTU块；

将第一重建CTU块放入编码图像缓冲区；

将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列；

对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块；

对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块；

将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块；

将编码图像缓冲区中CTU块的码流组合成最终的码流；

将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块，包括：分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；

若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块；

8K视频编码方法还包括：

将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列；

对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块；

对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块；

将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块；

其中，第二分辨率大于第一分辨率；

将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块，包括：对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；

若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

2.根据权利要求1所述的一种基于CTU级下采样的8K视频编码方法，其特征在于，第一分辨率为1080P，第二分辨率为4K。

3.一种基于CTU级下采样的8K视频编码装置，其特征在于，包括：第一CTU编码模块，用于对原始8K视频序列逐CTU进行编码，得到第一重建CTU块，并将第一重建CTU块放入编码图像缓冲区；

第一下采样模块，用于将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列；

第二CTU编码模块，用于对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块；

第一超分模块，用于对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块；

第一更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第三重建CTU块；

重组模块，用于将编码图像缓冲区中CTU块的码流组合成最终的码流；

所述第一更新模块具体用于：

分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；

若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块；

8K视频编码装置还包括：

第二下采样模块，用于将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列，第二分辨率大于第一分辨率；

第三CTU编码模块，用于对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块；

第二超分模块，用于对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块；

第二更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第五重建CTU块；

所述第二更新模块具体用于：

对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；

若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

4.根据权利要求3所述的一种基于CTU级下采样的8K视频编码装置，其特征在于，第一分辨率为1080P，第二分辨率为4K。

说明书

一种基于CTU级下采样的8K视频编码方法及装置

技术领域

[0001] 本发明属于视频编码领域，特别是涉及一种基于CTU级下采样的8K视频编码方法及装置。

背景技术

[0002] 随着视频行业的发展，大场景下对高分辨率视频特别是8K视频的需求不断增加。然而，目前的8K视频编解码仍存在一些挑战和问题，限制了其应用范围和实际效果。

[0003] 8K视频所包含的数据量远远超过传统高清分辨率视频，导致编码后的码流大小大幅增加，进而需要更高的传输带宽。然而传输带宽通常十分有限，这使得直接应用现有的8K视频编码方法变得困难。因此，如何在低码率条件下实现8K大场景视频的高效编码成为当前亟需解决的行业难题。

发明内容

[0004] 本发明的目的在于克服现有技术的不足，提供一种基于CTU级下采样的8K视频编码方法及装置。

[0005] 本发明的目的是通过以下技术方案来实现的：

[0006] 本发明的第一方面提供了一种基于CTU级下采样的8K视频编码方法，包括：

[0007] 对原始8K视频序列逐CTU进行编码，得到第一重建CTU块；

[0008] 将第一重建CTU块放入编码图像缓冲区；

[0009] 将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列；

[0010] 对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块；

[0011] 对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块；

[0012] 将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块；

[0013] 将编码图像缓冲区中CTU块的码流组合成最终的码流。

[0014] 进一步地，将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块，包括：

[0015] 分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；

[0016] 若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块。

[0017] 进一步地，8K视频编码方法还包括：

[0018] 将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列；

[0019] 对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块；

[0020] 对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块；

[0021] 将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块；

[0022] 其中，第二分辨率大于第一分辨率。

[0023] 进一步地，将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块，包括：

[0024] 对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；

[0025] 若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

[0026] 进一步地，第一分辨率为1080P，第二分辨率为4K。

[0027] 本发明的第二方面提供了一种基于CTU级下采样的8K视频编码装置，包括：

[0028] 第一CTU编码模块，用于对原始8K视频序列逐CTU进行编码，得到第一重建CTU块，并将第一重建CTU块放入编码图像缓冲区；

[0029] 第一下采样模块，用于将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列；

[0030] 第二CTU编码模块，用于对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块；

[0031] 第一超分模块，用于对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块；

[0032] 第一更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第三重建CTU块；

[0033] 重组模块，用于将编码图像缓冲区中CTU块的码流组合成最终的码流。

[0034] 进一步地，所述第一更新模块具体用于：

[0035] 分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；

[0036] 若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块。

[0037] 进一步地，8K视频编码装置还包括：

[0038] 第二下采样模块，用于将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列，第二分辨率大于第一分辨率；

[0039] 第三CTU编码模块，用于对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块；

[0040] 第二超分模块，用于对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块；

[0041] 第二更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第五重建CTU块。

[0042] 进一步地，所述第二更新模块具体用于：

[0043] 对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；

[0044] 若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

[0045] 进一步地，第一分辨率为1080P，第二分辨率为4K。

[0046] 本发明的有益效果是：本发明通过将8K视频下采样至低分辨率进行编码，接着再超分回8K分辨率，然后与原始编码结果进行率失真择优选择，因此只要选择了超分后的编码块，那么码流就一定会减小，并且还有着更好的率失真性能表现，从而达到在保证一定编码质量的前提下降低码流大小的目的，可以在带宽受限的条件下完成8K视频的传输。

附图说明

[0047] 图1为本发明中8K视频编码方法的一种实施例的流程图；

[0048] 图2为本发明中8K视频编码装置的一种实施例的组成框图。

具体实施方式

[0049] 下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0050] 参阅图1至图2，本发明提供一种基于CTU级下采样的8K视频编码方法及装置：

[0051] 本实施例的第一方面公开了一种基于CTU级下采样的8K视频编码方法。如图1所示，8K视频编码方法包括S100至S700。

[0052] S100.对原始8K视频序列逐CTU进行编码，得到第一重建CTU块。

[0053] CTU（Coding Tree Unit）指编码树单元，视频在编码时不会直接对整帧的数据进行编码，而是会先将其划分为一个一个的小块，每次编码只一个小块，这个小块就是CTU，所以视频编码是以CTU为单位进行编码的。在一些实施例中，CTU为64×64尺寸的CTU；在另一些实施例中，CTU还可以按照四叉树递归向下划分为更小尺寸。

[0054] 具体的，先接收要进行编码的原始8K视频序列，然后逐个对原始8K视频序列中的CTU进行编码，得到若干个第一重建CTU块。

[0055] S200.将第一重建CTU块放入编码图像缓冲区。

[0056] 对于逐CTU进行编码得到的所有第一重建CTU块，将这些第一重建CTU块全部存入编码图像缓冲区（CPB）。

[0057] S300.将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列。

[0058] 将原始8K视频序列下采样为低分辨率的视频序列，第一分辨率小于原始的8K分辨率。例如，第一分辨率为1920×1080，也可以根据需要将原始8K视频序列下采样为其他分辨率的视频序列，下采样的倍数越大，那么编码后的码流就更小，相应质量可能会差一点。

[0059] S400.对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块。

[0060] 具体的，逐个对第一下采样视频序列中的CTU进行编码，得到若干个第二重建CTU块。

[0061] S500.对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块。

[0062] 分别对每个第二重建CTU块进行超分辨率重建，得到原始分辨率的第三重建CTU块，即为8K分辨率的第三重建CTU块。

[0063] S600.将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块。

[0064] 在一些实施例中，将编码图像缓冲区中符合第一预设规则的第一重建CTU块替换为对应的第三重建CTU块，包括：计算第一重建CTU块和第三重建CTU块的率失真性能；分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块。

[0065] 本实施例的方法可以在低分辨率下进行编码，得到的码流更小，但与原始重建块经率失真性能比较选中后又可超分回8K分辨率，实现低码率传输超高清视频的目的。该方法不依赖视频内容特性，并且最后的率失真性能会更好。另外，为了进一步降低编码后的码率，可以修改率失真函数模型，通过改变码率和失真的权重，使得编码器会更多的选择超分后的重建块，码流也会相应减小。

[0066] S700.将编码图像缓冲区中CTU块的码流组合成最终的码流。

[0067] 在一些实施例中，将编码图像缓冲区中CTU块的码流组合成最终的码流，包括：将编码图像缓冲区中第一重建CTU块的码流和第三重建CTU块的码流组合成最终的码流。

[0068] 在一些实施例中，8K视频编码方法还包括：将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列；对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块；对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块；将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块；其中，第二分辨率大于第一分辨率。

[0069] 在一些实施例中，将编码图像缓冲区中CTU块的码流组合成最终的码流，包括：将编码图像缓冲区中第一重建CTU块的码流、第三重建CTU块的码流和第五重建CTU块的码流组合成最终的码流。

[0070] 在一些实施例中，将编码图像缓冲区中符合第二预设规则的第一重建CTU块替换为对应的第五重建CTU块，包括：对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

[0071] 在一些实施例中，下采样得到两路不同分辨率的下采样视频序列，例如，将原始8K视频序列下采样为1080P的第一下采样视频序列和4K的第二下采样视频序列，进行率失真性能比较时，先将第一下采样视频序列得到的第三重建CTU块与编码图像缓冲区中的第一重建CTU块进行率失真性能比较，然后再将编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块与第二下采样视频序列得到的第五重建CTU块进行率失真性能比较，从而得到最终的编码结果。

[0072] 在一些实施例中，可以将本实施例的方法在型号为HEVC参考平台HM‑16.20的编码平台上运行。

[0073] 本实施例的第二方面公开了一种基于CTU级下采样的8K视频编码装置。如图2所示，8K视频编码装置包括第一CTU编码模块、第一下采样模块、第二CTU编码模块、第一超分模块、第一更新模块和重组模块。

[0074] 第一CTU编码模块，用于对原始8K视频序列逐CTU进行编码，得到第一重建CTU块，并将第一重建CTU块放入编码图像缓冲区。

[0075] 第一下采样模块，用于将原始8K视频序列下采样到第一分辨率，得到第一下采样视频序列。

[0076] 第二CTU编码模块，用于对第一下采样视频序列逐CTU进行编码，得到第二重建CTU块。

[0077] 第一超分模块，用于对第二重建CTU块进行超分辨率重建，得到8K分辨率的第三重建CTU块。

[0078] 第一更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第三重建CTU块。

[0079] 重组模块，用于将编码图像缓冲区中CTU块的码流组合成最终的码流。

[0080] 在一些实施例中，所述第一更新模块具体用于：分别比较每个第一重建CTU块和对应第三重建CTU块的率失真性能；若某个第一重建CTU块的率失真性能差于对应的第三重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第三重建CTU块。

[0081] 在一些实施例中，8K视频编码装置还包括第二下采样模块、第三CTU编码模块、第二超分模块和第二更新模块。

[0082] 第二下采样模块，用于将原始8K视频序列下采样到第二分辨率，得到第二下采样视频序列，第二分辨率大于第一分辨率。

[0083] 第三CTU编码模块，用于对第二下采样视频序列逐CTU进行编码，得到第四重建CTU块。

[0084] 第二超分模块，用于对第四重建CTU块进行超分辨率重建，得到8K分辨率的第五重建CTU块。

[0085] 第二更新模块，用于将编码图像缓冲区中符合预设规则的第一重建CTU块替换为对应的第五重建CTU块。

[0086] 在一些实施例中，所述第二更新模块具体用于：对于编码图像缓冲区中未被第三重建CTU块替换的第一重建CTU块，分别比较每个第一重建CTU块和对应第五重建CTU块的率失真性能；若某个第一重建CTU块的率失真性能差于对应的第五重建CTU块，则将图像编码缓冲区中的该第一重建CTU块替换为对应的第五重建CTU块。

[0087] 需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或者装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

[0088] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。