图像帧的环路滤波方法、装置及电子设备和存储介质

摘要

本发明实施方式提出图像帧的环路滤波方法、装置及电子设备和存储介质。方法包括：确定图像帧中的感兴趣区域和非感兴趣区域；基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波，基于所述环路滤波算法的第二执行策略对所述非感兴趣区域执行环路滤波或不对所述非感兴趣区域执行环路滤波；其中所述第一执行策略的复杂度高于所述第二执行策略的复杂度。本发明实施方式既可以保证感兴趣区域的图像效果，还能够整体降低环路滤波的复杂度。

权利要求

1.一种图像帧的环路滤波方法，其特征在于，包括：

确定图像帧中的感兴趣区域和非感兴趣区域；

基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波，基于所述环路滤波算法的第二执行策略对所述非感兴趣区域执行环路滤波或不对所述非感兴趣区域执行环路滤波；其中所述第一执行策略的复杂度高于所述第二执行策略的复杂度；

所述环路滤波算法为样本自适应偏移算法；所述第一执行策略包括：采用第一滤波模式集执行环路滤波，所述第一滤波模式集包含合并模式、边带补偿模式和N个边界补偿模式，其中N为正整数；所述第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含合并模式、边带补偿模式和M个边界补偿模式，且M小于或等于N，所述M个边界补偿模式是从所述N个边界补偿模式中选出的；或所述环路滤波算法为自适应环路滤波算法；所述第一执行策略包括：采用第一滤波器系数组集执行环路滤波，所述第一滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和J个实时计算滤波器系数组；所述第二执行策略包括：采用第二滤波器系数组集执行环路滤波，所述第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J，所述E个实时计算滤波器系数组是从所述J个实时计算滤波器系数组中选出的；

其中，感兴趣区域为计算机视觉算法感兴趣的特定区域，包括：基于自动图像分割技术，或基于人工框选识别感兴趣区域；

当所述环路滤波算法为样本自适应偏移算法时，还包括：确定所述感兴趣区域中的重点目标和普通目标；所述基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波包括：从所述第一滤波模式集中选择K个模式对所述重点目标执行环路滤波，从所述K个模式中选择T个模式对所述普通目标执行环路滤波，其中K和T都为正整数，T小于K；

当所述环路滤波算法为自适应环路滤波算法时，还包括：确定所述感兴趣区域中的重点目标和普通目标；所述基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波包括：从所述第一滤波器系数组集中选择P个滤波器系数组对所述重点目标执行环路滤波，从所述P个滤波器系数组中选择Q个滤波器系数组对所述普通目标执行环路滤波，其中P和Q都为正整数，Q小于P；

所述确定图像帧中的感兴趣区域及非感兴趣区域包括：将所述图像帧输入已训练的目标检测模型；基于所述目标检测模型，确定所述图像帧中的前景区域及背景区域；将所述前景区域确定为所述感兴趣区域，将所述背景区域确定为所述非感兴趣区域；所述确定所述感兴趣区域中的重点目标和普通目标包括：基于所述目标检测模型，确定所述前景区域中的重点目标和普通目标。

2.一种图像帧的环路滤波装置，其特征在于，包括：

确定模块，被配置为确定图像帧中的感兴趣区域和非感兴趣区域；

环路滤波模块，被配置为基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波，基于所述环路滤波算法的第二执行策略对所述非感兴趣区域执行环路滤波或不对所述非感兴趣区域执行环路滤波；其中所述第一执行策略的复杂度高于所述第二执行策略的复杂度；

所述环路滤波算法为样本自适应偏移算法；所述第一执行策略包括：采用第一滤波模式集执行环路滤波，所述第一滤波模式集包含合并模式、边带补偿模式和N个边界补偿模式，其中N为正整数；所述第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含合并模式、边带补偿模式和M个边界补偿模式，且M小于或等于N，所述M个边界补偿模式是从所述N个边界补偿模式中选出的；或所述环路滤波算法为自适应环路滤波算法；所述第一执行策略包括：采用第一滤波器系数组集执行环路滤波，所述第一滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和J个实时计算滤波器系数组；所述第二执行策略包括：采用第二滤波器系数组集执行环路滤波，所述第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J，所述E个实时计算滤波器系数组是从所述J个实时计算滤波器系数组中选出的；

其中，感兴趣区域为计算机视觉算法感兴趣的特定区域，包括：基于自动图像分割技术，或基于人工框选识别感兴趣区域；

所述确定模块，被配置当所述环路滤波算法为样本自适应偏移算法时，确定所述感兴趣区域中的重点目标和普通目标；

所述环路滤波模块，被配置为从所述第一滤波模式集中选择K个模式对所述重点目标执行环路滤波，从所述K个模式中选择T个模式对所述普通目标执行环路滤波，其中K和T都为正整数，T小于K；

所述确定模块，被配置为当所述环路滤波算法为自适应环路滤波算法时，确定所述感兴趣区域中的重点目标和普通目标；

所述环路滤波模块，被配置为从所述第一滤波器系数组集中选择P个滤波器系数组对所述重点目标执行环路滤波，从所述P个滤波器系数组中选择Q个滤波器系数组对所述普通目标执行环路滤波，其中P和Q都为正整数，Q小于P；

所述确定图像帧中的感兴趣区域及非感兴趣区域包括：将所述图像帧输入已训练的目标检测模型；基于所述目标检测模型，确定所述图像帧中的前景区域及背景区域；将所述前景区域确定为所述感兴趣区域，将所述背景区域确定为所述非感兴趣区域；所述确定所述感兴趣区域中的重点目标和普通目标包括：基于所述目标检测模型，确定所述前景区域中的重点目标和普通目标。

3.一种电子设备，其特征在于，包括：

存储器；

处理器；

其中所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1所述的图像帧的环路滤波方法。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行如权利要求1所述的图像帧的环路滤波方法。

说明书

图像帧的环路滤波方法、装置及电子设备和存储介质

技术领域

[0001] 本发明属于视频编解码技术领域，特别是涉及图像帧的环路滤波方法、装置及电子设备和存储介质。

背景技术

[0002] 视频编码是通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。基于块的混合编码算法会导致块与块之间的不连续性，影响帧间预测的效率和视觉观感。为了改善该问题，通常在反量化后引入环路滤波（Loop Filter）对图像进一步处理。环路滤波后的重建图像一方面作为显示输出，另一方面作为参考帧继续参与后续帧的运动补偿。环路滤波能够有效提升视频的主客观质量，但是复杂度过高的缺陷阻碍了广泛应用。

[0003] 在现有技术中，对整帧图像不区分地执行相同策略的环路滤波。

发明内容

[0004] 本发明实施方式提出图像帧的环路滤波方法、装置及电子设备和存储介质。

[0005] 本发明实施方式的技术方案如下：

[0006] 一种图像帧的环路滤波方法，包括：

[0007] 确定图像帧中的感兴趣区域和非感兴趣区域；

[0008] 基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波，基于所述环路滤波算法的第二执行策略对所述非感兴趣区域执行环路滤波或不对所述非感兴趣区域执行环路滤波；其中所述第一执行策略的复杂度高于所述第二执行策略的复杂度。

[0009] 在示范性实施方式中，所述环路滤波算法为样本自适应偏移（Sample Adaptive Offset，SAO）算法；

[0010] 所述第一执行策略包括：采用第一滤波模式集执行环路滤波，所述第一滤波模式集包含合并模式、边带补偿（Band Offset，BO）模式和N个边界补偿模式（Edge Offset，EO），其中N为正整数；

[0011] 所述第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含合并模式、BO模式和M个EO模式，或包含合并模式和至多N个EO模式且不包含BO模式，或包含BO模式和至多N个EO模式且不包含合并模式，或包含合并模式和BO模式且不包含EO模式，或包含合并模式且不包含EO模式和BO模式，或包含BO模式且不包含合并模式和EO模式，或包含至多N个EO模式且不包含合并模式和BO模式；其中M小于N。

[0012] 在示范性实施方式中，还包括：

[0013] 确定所述感兴趣区域中的重点目标和普通目标；

[0014] 所述基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波包括：

[0015] 从所述第一滤波模式集中选择K个模式对所述重点目标执行环路滤波，从所述K个模式中选择T个模式对所述普通目标执行环路滤波，其中K和T都为正整数，T小于K。

[0016] 在示范性实施方式中，所述环路滤波算法为自适应环路滤波（Adaptive Loop Fitler，ALF）算法；

[0017] 所述第一执行策略包括：采用第一滤波器系数组集执行环路滤波，所述第一滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和J个实时计算滤波器系数组；

[0018] 所述第二执行策略包括：采用第二滤波器系数组集执行环路滤波，所述第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J。

[0019] 在示范性实施方式中，还包括：

[0020] 确定所述感兴趣区域中的重点目标和普通目标；

[0021] 所述基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波包括：

[0022] 从所述第一滤波器系数组集中选择P个滤波器系数组对所述重点目标执行环路滤波，从所述P个滤波器系数组中选择Q个滤波器系数组对所述普通目标执行环路滤波，其中P和Q都为正整数，Q小于P。

[0023] 在示范性实施方式中，所述确定图像帧中的感兴趣区域及非感兴趣区域包括：

[0024] 将所述图像帧输入已训练的目标检测模型；

[0025] 基于所述目标检测模型，确定所述图像帧中的前景区域及背景区域；

[0026] 将所述前景区域确定为所述感兴趣区域，将所述背景区域确定为所述非感兴趣区域；

[0027] 所述确定所述感兴趣区域中的重点目标和普通目标包括：

[0028] 基于所述目标检测模型，确定所述前景区域中的重点目标和普通目标。

[0029] 一种图像帧的环路滤波装置，包括：

[0030] 确定模块，被配置为确定图像帧中的感兴趣区域和非感兴趣区域；

[0031] 环路滤波模块，被配置为基于环路滤波算法的第一执行策略对所述感兴趣区域执行环路滤波，基于所述环路滤波算法的第二执行策略对所述非感兴趣区域执行环路滤波或不对所述非感兴趣区域执行环路滤波；其中所述第一执行策略的复杂度高于所述第二执行策略的复杂度。

[0032] 在示范性实施方式中，所述环路滤波算法为SAO算法；

[0033] 所述第一执行策略包括：采用第一滤波模式集执行环路滤波，所述第一滤波模式集包含合并模式、BO模式和N个EO模式，其中N为正整数；

[0034] 所述第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含合并模式、BO模式和M个EO模式，或包含合并模式和至多N个EO模式且不包含BO模式，或包含BO模式和至多N个EO模式且不包含合并模式，或包含合并模式和BO模式且不包含EO模式，或包含合并模式且不包含EO模式和BO模式，或包含BO模式且不包含合并模式和EO模式，或包含至多N个EO模式且不包含合并模式和BO模式；其中M小于N。

[0035] 在示范性实施方式中，所述确定模块，被配置为确定所述感兴趣区域中的重点目标和普通目标；

[0036] 所述环路滤波模块，被配置为从所述第一滤波模式集中选择K个模式对所述重点目标执行环路滤波，从所述K个模式中选择T个模式对所述普通目标执行环路滤波，其中K和T都为正整数，T小于K。

[0037] 在示范性实施方式中，所述环路滤波算法为ALF算法；

[0038] 所述第一执行策略包括：采用第一滤波器系数组集执行环路滤波，所述第一滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和J个实时计算滤波器系数组；

[0039] 所述第二执行策略包括：采用第二滤波器系数组集执行环路滤波，所述第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J。

[0040] 在示范性实施方式中，所述确定模块，被配置为确定所述感兴趣区域中的重点目标和普通目标；

[0041] 所述环路滤波模块，被配置为从所述第一滤波器系数组集中选择P个滤波器系数组对所述重点目标执行环路滤波，从所述P个滤波器系数组中选择Q个滤波器系数组对所述普通目标执行环路滤波，其中P和Q都为正整数，Q小于P。

[0042] 在示范性实施方式中，所述确定模块，被配置为将所述图像帧输入已训练的目标检测模型；基于所述目标检测模型，确定所述图像帧中的前景区域及背景区域；将所述前景区域确定为所述感兴趣区域，将所述背景区域确定为所述非感兴趣区域；基于所述目标检测模型，确定所述前景区域中的重点目标和普通目标。

[0043] 一种电子设备，包括：

[0044] 存储器；

[0045] 处理器；

[0046] 其中所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上任一项所述的图像帧的环路滤波方法。

[0047] 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行如上任一项所述的图像帧的环路滤波方法。

[0048] 从上述技术方案可以看出，在本发明实施方式中，确定图像帧中的感兴趣区域和非感兴趣区域；基于环路滤波算法的第一执行策略对感兴趣区域执行环路滤波，基于环路滤波算法的第二执行策略对非感兴趣区域执行环路滤波或不对非感兴趣区域执行环路滤波；其中第一执行策略的复杂度高于第二执行策略的复杂度。本发明实施方式基于对图像帧中的感兴趣区域与非感兴趣区域的划分，对不同区域实施不同的环路滤波策略，既保证感兴趣区域的图像质量，还降低非感兴趣区域的滤波复杂度，从而在图像质量与滤波复杂度之间实现良好折中。

附图说明

[0049] 图1为本发明实施方式的图像帧的环路滤波方法的示范性流程图。

[0050] 图2为本发明实施方式对图像帧进行区域划分的示意图。

[0051] 图3为本发明实施方式的EO模式中的分类示意图。

[0052] 图4为本发明实施方式的SAO滤波方法的示范性流程图。

[0053] 图5为本发明实施方式的ALF滤波方法的示范性流程图。

[0054] 图6为本发明实施方式的图像帧的环路滤波的示范性示意图。

[0055] 图7为本发明实施方式的图像帧的环路滤波装置的示范性结构图。

[0056] 图8为本发明实施方式的电子设备的示范性结构图。

具体实施方式

[0057] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

[0058] 为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

[0059] 以下，对本公开实施方式涉及的术语进行解释说明。

[0060] 编码树单元（Coding Tree Unit，CTU）：每个编码树单元内包含1个亮度（Luma）编码树块（Coding Tree Block，CTB）、2个色度（Chroma）编码树块以及记录额外信息的语法元素。编码树单元的大小可以调整。

[0061] SAO：编码器对去块滤波(deblocking)后的重建图像进行偏移值的操作，偏移值在CTB指定。SAO以CTB为基本单位，包括EO模式、BO模式和合并（Merge）模式。

[0062] EO模式：通过比较当前像素和相邻像素的大小对当前像素分类。

[0063] BO模式：将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的补偿值。根据重构像素点所处的条带，选择相应的带状补偿值进行补偿。

[0064] Merge模式：SAO也存在Merge模式。若当前块采用Merge模式，则可复用相邻块（左侧或上方）的SAO参数，从而减小编码SAO参数的计算复杂度。

[0065] ALF：ALF处于去块效应滤波（Deblocking Filtering, DF）和SAO之后。

[0066] 申请人发现：现有技术中通常对整帧图像不区分地执行相同的环路滤波策略（此处的环路滤波通常不包含DF）。然而，如果统一对整帧图像都采用高复杂度的滤波策略，则滤波过程过于复杂；如果统一对整帧图像都采用低复杂度的滤波策略，则环路滤波对图像质量改善有限。这种矛盾关系的存在，导致本领域技术人员对具体采用何种策略的环路滤波方式存在疑惑。申请人还发现：针对一些具体的场景中(如安防监控)，人们对整帧图像关注度是有区别的，如对感兴趣区域的图像质量要求较高，非感兴趣区域图像质量要求不高，或者没有要求。根据这种具体需求以及考虑环路滤波的复杂度的情况，本发明实施方式提出一种结合感兴趣区域来对路环路滤波进行优化的技术方案。

[0067] 本发明实施方式不再对整帧图像不区分地执行相同的环路滤波策略。显著区别于现有技术的是：本发明实施方式基于对图像帧中的感兴趣区域与非感兴趣区域的划分，对不同区域实施不同的环路滤波策略，既保证感兴趣区域的图像质量，还降低非感兴趣区域的滤波复杂度，从而在图像质量与滤波复杂度之间实现良好折中。

[0068] 图1为本发明实施方式的图像帧的环路滤波方法的示范性流程图。本发明实施方式采用的环路滤波方法例如SAO和ALF，下面将结合实施例进行详细说明。

[0069] 如图1所示，图像帧的环路滤波方法包括：

[0070] 步骤101：确定图像帧中的感兴趣区域（Region Of Interest，ROI）和非感兴趣区域。

[0071] 在这里，图像帧为对原始图像帧采用视频编码压缩技术以减少码率后的重构图像帧。比如，视频编码压缩技术可以包括：

[0072] （1）、ISO‑MPEG/ITU‑T 系列：由国际标准组织机构（ISO）下属的运动图像专家组（MPEG）和国际电传视讯联盟远程通信标准化组织（ITU‑T）开发的系列编码标准，具体包括：（1.1）、H.265，也被称为高效率视频编码（High Efficiency Video Coding，HEVC），是 H.264 的继任者；（1.2）、H.266，也被称为多功能视频编码（Versatile Video Coding， VVC），是 H.265 的继任者，等等。

[0073] （2）、AOM 系列：开放媒体联盟（Alliance for Open Media，AOM）开发的编码标准。具体包括：（2.1）、VP8；（2.2）、VP9；（2.3）、AV1，等等。

[0074] （3）、AVS 系列：具体包括：（3.1）、第二代数字音视频编解码技术标准（AVS2）；第二代数字音视频编解码技术标准（AVS3），等等。

[0075] 以上示范性描述了视频编码压缩技术的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

[0076] 在本发明实施方式中，图像帧中的感兴趣区域为用户或计算机视觉算法感兴趣的特定区域。非感兴趣区域为相比较感兴趣区域而言，用户或计算机视觉算法较不感兴趣的特定区域。其中：非感兴趣区域是相对于感兴趣区域而言的，并不应被理解为用户或计算机视觉算法彻底不感兴趣的区域。

[0077] 比如，感兴趣区域可以为基于图像分割技术从图像帧中分割出的前景区域（通常为车辆等移动目标或人脸等特定目标），非感兴趣区域为基于图像分割技术从图像帧中分割出的背景区域（比如，通常为静止不动的图案背景）。

[0078] 在本发明实施方式中，可以采用自动图像分割技术对图像帧中的感兴趣区域和非感兴趣区域进行自动识别，或基于人工框选方式进行识别。举例，自动图像分割技术可以包括：传统图像分割方法（比如：分水岭法、GrabCut法、MeanShift法和背景扣除法，等等）和基于深度学习的图像分割方法（比如：全卷积层网络、具有Encode‑Decode结构的UNet网络及空间金字塔池化网络（PSPNet），等等）。

[0079] 以上示范性描述了在图像帧中识别感兴趣区域和非感兴趣区域的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。

[0080] 步骤102：基于环路滤波算法的第一执行策略对感兴趣区域执行环路滤波，基于环路滤波算法的第二执行策略对非感兴趣区域执行环路滤波或不对非感兴趣区域执行环路滤波；其中第一执行策略的复杂度高于第二执行策略的复杂度。

[0081] 由于在相同的环路滤波算法中，复杂度高的执行策略具有更好的图像质量，因此执行环路滤波算法的第一执行策略后的、感兴趣区域的图像质量高于执行环路滤波算法的第二执行策略后的、非感兴趣区域的图像质量。而且，由于对非感兴趣区域执行第二执行策略或不执行环路滤波，因此降低了非感兴趣区域的滤波复杂度。

[0082] 在示范性实施方式中，环路滤波算法为SAO算法；第一执行策略包括：采用第一滤波模式集执行环路滤波，第一滤波模式集包含BO模式、Merge模式和N个EO模式，其中N为正整数；第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含Merge模式、BO模式和M个EO模式，或包含Merge和至多N个EO模式且不包含BO模式，或包含BO模式和至多N个EO模式且不包含Merge模式，或包含Merge模式和BO模式且不包含EO模式，或包含Merge模式且不包含BO模式和EO模式，或包含BO模式且不包含Merge模式和EO模式，或包含至多N个EO模式且不包含Merge模式和BO模式；其中M小于N。优选地，本发明实施方式的N为小于或等于4的正整数。

[0083] 在SAO算法中，从像素领域入手降低振铃效应，对重构像素的波谷位置添加正补偿，波峰位置添加负补偿，以此减小像素失真。在SAO中，首先对每个像素进行类别划分，并计算得到每种类别的补偿值，然后通过计算每种类别的率失真情况得到最优类别，再将最优类别对应的补偿值加到相应的像素点上。

[0084] SAO包括EO模式、BO模式和Merge模式。EO模式通过比较当前像素与相邻像素的大小对当前像素进行归类，然后对同类像素补偿相同数值。根据当前像素与相邻像素选取的不同方向，EO模式可分为水平（EO_0）、垂直方向（EO_1）、斜对角135°方向（EO_2）和斜对角45°方向（EO_3）共4种模式。在每种EO模式下，包括5个种类。图3为本发明实施方式的EO模式中的分类示意图。在图3中，示意出EO模式中的4个种类，其他情况则属于第5种类。图3中的c为当前像素，a和b分别为c的相邻像素。

[0085] 在BO模式中，通常将像素范围内等分为32个相同大小的条带，对属于同一个条带内的像素值，它们的像素补偿值均相同。

[0086] Merge模式通常包括merge left和merge up两种，即使用左侧LCU或上面LCU的SAO补偿模式。

[0087] 举例，第一执行策略中的第一滤波模式集包括：BO模式、Merge模式和4个EO模式（E0_0、E0_1、E0_2和 E0_3）），即一共包括6个模式。第二执行策略中的第二滤波模式集可以包括：BO模式、Merge模式和3个EO模式（比如，E0_0、E0_1和 E0_3）），或可以包括：至多4个EO模式（比如，E0_0、E0_1、E0_2和E0_3））和Merge模式，但不包括BO模式，或可以包括：BO模式、Merge模式和2个EO模式（比如，E0_0和E0_1）；或可以包括： BO模式和4个EO模式（比如，E0_0和E0_1），但不包括Merge模式，等等。

[0088] 在第一执行策略中，可以遍历第一滤波模式集以确定出滤波效果最好的模式，并利用滤波效果最好的模式执行滤波。在第二执行策略中，可以遍历第二滤波模式集以确定出滤波效果最好的模式，并利用滤波效果最好的模式执行滤波。第二滤波模式集中的模式数小于第一滤波模式集中的模式数，从而期望感兴趣区域获得更好的图像质量，而且非感兴趣区域的滤波复杂度得到降低。

[0089] 在示范性实施方式中，还包括：确定感兴趣区域中的重点目标和普通目标；基于环路滤波算法的第一执行策略对感兴趣区域执行环路滤波包括：从第一滤波模式集中选择K个模式对重点目标执行环路滤波，从选中的K个模式中再选择T个模式对普通目标执行环路滤波，其中K和T都为正整数，T小于K。

[0090] 在这里，进一步基于感兴趣区域中的目标的重要程度，将目标划分为重点目标和普通目标。比如，重点目标可以为前景区域中的重点识别对象，比如人脸，等等；普通目标可以为前景区域中的普通识别对象，比如移动的动物或车辆，等等。针对重点目标，从第一滤波模式集（包含Merge模式、BO模式和N个EO模式）中选择K个模式对重点目标执行环路滤波，其中K小于或等于（N+2），而且从选出的K个模式中，进一步选择出T个模式对普通目标执行环路滤波，其中T小于K，从而保证重点目标的图像质量强于普通目标的图像质量，而且普通目标的滤波复杂度得到降低。优选地，T大于第二滤波模式集中的模式数，从而保证普通目标的图像质量依然强于非感兴趣区域的图像质量。

[0091] 在示范性实施方式中，环路滤波算法为ALF算法；所述第一执行策略包括：采用第一滤波器系数组集执行环路滤波，所述第一滤波器系数组集包含固定滤波器系数组、自适应参数集（Adaptation Parameter Set，APS）的滤波器系数组和J个实时计算滤波器系数组；所述第二执行策略包括：采用第二滤波器系数组集执行环路滤波，所述第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J。在第一执行策略中，可以遍历第一滤波器系数组集以确定出滤波效果最好的一个滤波器集合（包含25个波器系数组），并利用这个滤波效果最好的滤波器集合执行滤波。在第二执行策略中，可以遍历第二滤波器系数组集以确定出滤波效果最好的一个滤波器集合（包含25个波器系数组），并利用这个滤波效果最好的滤波器集合执行滤波。第二滤波器系数组集中的滤波器系数组数小于第一滤波器系数组集中的滤波器系数组数，从而期望感兴趣区域获得更好的图像质量，而且非感兴趣区域的滤波复杂度得到降低。

[0092] 在示范性实施方式中，还包括：确定感兴趣区域中的重点目标和普通目标；基于环路滤波算法的第一执行策略对感兴趣区域执行环路滤波包括：从第一滤波器系数组集中选择P个滤波器系数组对重点目标执行环路滤波，从P个滤波器系数组中选择Q个滤波器系数组对普通目标执行环路滤波，其中P和Q都为正整数，Q小于P。优选地，P大于第二滤波器系数组集中的滤波器系数组数，从而保证普通目标的图像质量依然强于非感兴趣区域的图像质量。

[0093] 图2为本发明实施方式对图像帧进行区域划分的示意图。

[0094] 由图2可见，图像帧可以被划分为感兴趣区域和非感兴趣区域。感兴趣区域中可以包含多个重点目标和多个普通目标。针对感兴趣区域，以高于非感兴趣区域的复杂度执行环路滤波，从而保证感兴趣区域的图像质量强于非感兴趣区域的图像质量。针对重点目标，以高于普通目标的复杂度执行环路滤波，从而保证重点目标的图像质量强于普通目标的图像质量。

[0095] 在示范性实施方式中，确定图像帧中的感兴趣区域及非感兴趣区域包括：将图像帧输入已训练的目标检测模型；基于目标检测模型，确定图像帧中的前景区域及背景区域；将前景区域确定为感兴趣区域，将背景区域确定为非感兴趣区域；确定感兴趣区域中的重点目标和普通目标包括：基于目标检测模型，确定前景区域中的重点目标和普通目标。

[0096] 在目标检测模型的训练过程中，通过带标签的训练数据使目标检测模型学习到从图像帧中标识出前景区域及背景区域的能力，以及从前景区域中标识出重点目标与普通目标的能力，从而完成目标检测模型的训练过程。

[0097] 图4为本发明实施方式的SAO滤波方法的示范性流程图。

[0098] 如图4所示，该方法包括：

[0099] 步骤401：判断当前CTU是否属于背景区域，如果是，执行步骤404及其后续步骤；否则，执行步骤402及其后续步骤。

[0100] 步骤402：在步骤401中已确定当前CTU不是背景区域，即当前CTU属于前景区域。此时，在步骤402中判断当前CTU是否属于前景区域中的重点目标，如果是，执行步骤405及其后续步骤；否则，执行步骤403及其后续步骤。

[0101] 步骤403：按照第一执行策略中的第二方式，对当前CTU执行SAO，并执行步骤406。

[0102] 步骤404：在步骤401中已认定当前的CTU属于背景区域，也就是当前的CTU属于非感兴趣区域。因此，在步骤404中按照第二执行策略对当前CTU执行SAO，或关闭该当前CTU的SAO功能，并执行步骤406。

[0103] 步骤405：按照第一执行策略中的第一方式，对当前CTU执行SAO，并执行步骤406。

[0104] 步骤406：判断当前CTU是否是图像帧中的最后一个CTU，如果是，结束本流程，如果不是，执行步骤407。

[0105] 步骤407：跳转到下一个CTU，并返回执行步骤401。

[0106] 在图4流程中，第一执行策略包括：采用第一滤波模式集执行SAO，第一滤波模式集包含Merge模式、BO模式和N个EO模式；第二执行策略包括：Merge模式、BO模式和M个EO模式，或包含Merge模式和至多N个EO模式且不包含BO模式，或包含BO模式和至多N个EO模式且不包含Merge模式，或包含Merge模式和BO模式且不包含EO模式，或包含Merge模式且不包含EO模式和BO模式，或包含BO模式且不包含Merge模式和EO模式，或包含至多N个EO模式且不包含Merge模式和BO模式，其中M小于N。

[0107] 第一执行策略中的第一方式包括：从第一滤波模式集（Merge模式、BO模式和N个EO模式）中选择K个模式执行环路滤波；第一执行策略中的第二方式包括：从第一方式中所选定的K个模式中，再选择出T个模式执行环路滤波，其中T小于K。

[0108] 图5为本发明实施方式的ALF滤波方法的示范性流程图。

[0109] 如图5所示，该方法包括：

[0110] 步骤501：判读当前CTU是否属于背景区域，如果是，执行步骤504及其后续步骤；否则，执行步骤502及其后续步骤。

[0111] 步骤502：在步骤501中已确定当前CTU不是背景区域，即当前CTU属于前景区域。此时，在步骤502中判断当前CTU是否属于前景区域中的重点目标，如果是，执行步骤505及其后续步骤；否则，执行步骤503及其后续步骤。

[0112] 步骤503：按照第一执行策略中的第二方式，对当前CTU执行ALF，并执行步骤506。

[0113] 步骤504：在步骤501中已认定当前的CTU属于背景区域，也就是当前的CTU属于非感兴趣区域。因此，在步骤504中按照第二执行策略对当前CTU执行ALF，或关闭该当前CTU的ALF功能，并执行步骤506。

[0114] 步骤505：按照第一执行策略中的第一方式，对当前CTU执行ALF，并执行步骤506。

[0115] 步骤506：判断当前CTU是否是图像帧中的最后一个CTU，如果是，结束本流程，如果不是，执行步骤507。

[0116] 步骤507：跳转到下一个CTU，并返回执行步骤501。

[0117] 在图5流程中，第一执行策略包括：采用包含固定滤波器系数组（一般为16组）、APS的滤波器系数组（最多为8组）和J个实时计算滤波器系数组（J最多为25）的第一滤波器系数组集执行ALF；第二执行策略包括：采用包含固定滤波器系数组、APS的滤波器系数组（最多为8组）以及E个实时计算滤波器系数组的第二滤波器系数组集执行ALF，其中E小于J。第一执行策略中的第一方式包括：从第一滤波器系数组集中选择P个滤波器系数组执行环路滤波；第一执行策略中的第二方式包括：从第一方式中所选定的P个滤波器系数组中，进一步选择Q个滤波器系数组执行环路滤波，其中Q小于P。

[0118] 图6为本发明实施方式的图像帧的环路滤波的示范性示意图。在图6中，对原始视频流中的原始图像帧执行视频编码处理以得到重构图像帧50。重构图像帧50包含背景区域51和前景区域，前景区域包含作为重点目标的人脸区域52和作为普通目标的汽车区域53。

[0119] 首先，对重构图像帧50执行去块效应滤波处理。

[0120] 然后，对执行去块效应滤波处理后的重构图像帧50执行SAO处理。具体地，SAO处理过程包括：

[0121] 步骤（1）：确定第一滤波模式集和第二滤波模式集。优选地，第一滤波模式集中的模式包含第二滤波模式集中的全部模式，且第一滤波模式集不等于第二滤波模式集。比如，第一滤波模式集包含6个模式，分别为4个EO模式、BO模式和Merge模式。第二滤波模式集可以包含Merge模式、BO模式和3个EO模式；或包含Merge模式和4个EO模式，且不包含BO模式；或包含4个EO模式和BO模式，且不包含Merge模式；或仅包含4个EO模式；或仅包含BO模式；或仅包含Merge模式，等等。

[0122] 步骤（2）、利用第二滤波模式集对背景区域51执行滤波。比如，从第二滤波模式集中遍历出背景区域51的图像质量最好的一个模式，并利用该模式对背景区域51执行滤波。在这里，也可以不对背景区域51执行滤波。

[0123] 步骤（3）、利用第一滤波模式集对人脸区域52和汽车区域53执行滤波。比如，从第一滤波模式集中遍历出人脸区域52的图像质量最好的一个模式，并利用该遍历出的模式对人脸区域52执行滤波。另外，从第一滤波模式集中选出（比如随机选择）4个模式（比如EO_0、EO_1、EO_3和BO），再从这4个模式中遍历出汽车区域53的图像质量最好的一个模式，并利用该遍历出的模式对汽车区域53执行滤波。

[0124] 然后，再对上述完成SAO处理的重构图像帧50执行ALF处理。具体地，ALF处理过程包括：

[0125] 步骤（1）：确定第一滤波器系数组集和第二滤波器系数组集。比如，第一滤波器系数组集包含：（1）、16个预设的固定滤波器系数组：（2）、来自APS的滤波器系数组（比如，最多8个）；（3）、J个经过实时计算所确定出的滤波器系数组（比如，J最多为25）。第二滤波器系数组集包含：（1）、16个预设的固定滤波器系数组：（2）、来自APS的滤波器系数组（比如，最多8个）；（3）、E个经过实时计算所确定出的滤波器系数组（E小于J）。

[0126] 步骤（2）、利用第二滤波器系数组集对背景区域51执行滤波。比如，从第二滤波器系数组集中遍历出背景区域51滤波后的图像质量最好的25个滤波器系数组，并利用这25个滤波器系数组对背景区域51执行滤波。在这里，也可以不对背景区域51执行滤波。

[0127] 步骤（3）、利用第一滤波器系数组集对人脸区域52和汽车区域53执行滤波。比如，可以从第一滤波器系数组集中选择P个滤波器系数组（P大于25），从这P个滤波器系数组中遍历出人脸区域52的图像质量最好的25个滤波器系数组，并利用该遍历出的25个滤波器系数组对人脸区域52执行滤波。而且，从这P个滤波器系数组中选出（比如随机选择）Q个滤波器系数组（Q大于或等于25），从这Q个滤波器系数组中遍历出汽车区域53的图像质量最好的25个滤波器系数组，并利用从Q个滤波器系数组中遍历出的、汽车区域53的图像质量最好的
25个滤波器系数组对汽车区域53执行滤波。

[0128] 图7为本发明实施方式的图像帧的环路滤波装置的示范性结构图。

[0129] 如图7所示，图像帧的环路滤波装置700包括：

[0130] 确定模块701，被配置为确定图像帧中的感兴趣区域和非感兴趣区域；

[0131] 环路滤波模块702，被配置为基于环路滤波算法的第一执行策略对感兴趣区域执行环路滤波，基于环路滤波算法的第二执行策略对非感兴趣区域执行环路滤波或不对非感兴趣区域执行环路滤波；其中第一执行策略的复杂度高于第二执行策略的复杂度。

[0132] 在示范性实施方式中，环路滤波算法为SAO算法；采用第一滤波模式集执行环路滤波，所述第一滤波模式集包含Merge模式、BO模式和N个EO模式，其中N为正整数；所述第二执行策略包括：采用第二滤波模式集执行环路滤波，所述第二滤波模式集包含Merge模式、BO模式和M个EO模式，或包含Merge模式和至多N个EO模式且不包含BO模式，或包含BO模式和至多N个EO模式且不包含Merge模式，或包含Merge模式和BO模式且不包含EO模式，或包含Merge模式且不包含EO模式和BO模式，或包含BO模式且不包含Merge模式和EO模式，或包含至多N个EO模式且不包含合并模式和BO模式；其中M小于N。

[0133] 在示范性实施方式中，确定模块701，被配置为确定感兴趣区域中的重点目标和普通目标；环路滤波模块702，被配置为从第一滤波模式集中选择K个模式对重点目标执行环路滤波，从K个模式中选择T个模式对普通目标执行环路滤波，其中K和T都为正整数，T小于K。

[0134] 在示范性实施方式中，环路滤波算法为ALF算法；第一执行策略包括：采用第一滤波器系数组集执行环路滤波，第一滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和J个实时计算滤波器系数组；第二执行策略包括：采用第二滤波器系数组集执行环路滤波，第二滤波器系数组集包含固定滤波器系数组、自适应参数集的滤波器系数组和E个实时计算滤波器系数组；其中E小于J。

[0135] 在示范性实施方式中，确定模块701，被配置为确定感兴趣区域中的重点目标和普通目标；环路滤波模块702，被配置为从第一滤波器系数组集中选择P个滤波器系数组对重点目标执行环路滤波，从P个滤波器系数组中选择Q个滤波器系数组对普通目标执行环路滤波，其中P和Q都为正整数，Q小于P。

[0136] 在示范性实施方式中，确定模块701，被配置为将图像帧输入已训练的目标检测模型；基于目标检测模型，确定图像帧中的前景区域及背景区域；将前景区域确定为感兴趣区域，将背景区域确定为非感兴趣区域；基于目标检测模型，确定前景区域中的重点目标和普通目标。

[0137] 本发明还分别提出一种电子设备。电子设备包括：处理器；存储器；其中存储器中存储有可被处理器执行的应用程序，用于使得处理器执行如上实施方式的环路滤波方法。其中，存储器具体可以实施为电可擦可编程只读存储器（EEPROM）、快闪存储器（Flash memory）、可编程程序只读存储器（PROM）等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU、MCU或数字信号处理器（DSP）。

[0138] 图8为本发明实施方式的电子设备的示范性结构图。优选地，电子设备800可以实施为边缘设备、本地服务器或云端服务器。

[0139] 电子设备800包括：处理器801和存储器802。处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field‑Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（Central Processing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施方式中，处理器801可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施方式中，处理器801还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。比如，AI处理器可以实施为神经网络处理器。

[0140] 存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。

[0141] 在一些实施方式中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本公开中各个实施方式提供的图像帧的环路滤波方法。在一些实施方式中，电子设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。外围设备接口803可被用于将输入/输出（Input /Output，I/O）相关的至少一个外围设备连接到处理器801和存储器802。在一些实施方式中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施方式中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施方式对此不加以限定。

[0142] 射频电路804用于接收和发射射频（Radio Frequency，RF）信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或无线保真（Wireless Fidelity，Wi‑Fi）网络。在一些实施方式中，射频电路804还可以包括近距离无线通信（Near Field Communication，NFC）有关的电路，本公开对此不加以限定。

[0143] 显示屏805用于显示用户界面（User Interface，UI）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施方式中，显示屏805可以为一个，设置在电子设备800的前面板；在另一些实施方式中，显示屏805可以为至少两个，分别设置在电子设备800的不同表面或呈折叠设计；在一些实施方式中，显示屏805可以是柔性显示屏，设置在电子设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用液晶显示屏（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light‑Emitting Diode，OLED）等材质制备。

[0144] 摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施方式中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实（Virtual Reality，VR）拍摄功能或者其它融合拍摄功能。在一些实施方式中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

[0145] 音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备800的不同部位。
麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施方式中，音频电路807还可以包括耳机插孔。定位组件808用于定位电子设备800的当前地理位置，以实现导航或基于位置的服务（Location Based Service，LBS）。定位组件808可以是基于美国的全球定位系统（Global Positioning System，GPS）、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。

[0146] 本领域技术人员可以理解，上述的结构并不构成对电子设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

[0147] 需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件（如专用处理器，如FPGA或ASIC）用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路（如包括通用处理器或其它可编程处理器）用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路（如由软件进行配置）来实现硬件模块，可以根据成本和时间上的考虑来决定。

[0148] 本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘（如CD‑ROM、CD‑R、CD‑RW、DVD‑ROM、DVD‑RAM、DVD‑RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。

[0149] 以上，仅为本发明的较佳实施方式而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。