视频图像补帧方法、装置、设备及可存储介质

摘要

本发明实施例提供一种视频图像补帧方法、装置、设备及可存储介质，具体实现方案为：该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。通过训练至收敛的中间帧光流生成模型融合时间信息和运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。

权利要求

1.一种视频图像补帧方法，其特征在于，所述方法应用于电子设备，所述方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；

将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；

根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像；

所述提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；

通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据；

所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；

所述通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；

将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；

将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。

2.根据权利要求1所述的方法，其特征在于，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；

所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据，包括：将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；

将所述补帧时间双向光流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。

3.根据权利要求1所述的方法，其特征在于，所述分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据之前，还包括：获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；

将所述第一训练样本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；

采用重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；

若所述预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。

4.根据权利要求1所述的方法，其特征在于，所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据之前，还包括：

获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像；

将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光流生成模型进行训练；

采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛条件；

若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。

5.根据权利要求1所述的方法，其特征在于，所述根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像，包括：根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；

根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。

6.一种视频图像补帧装置，其特征在于，所述装置位于电子设备中，包括：粗粒度光流生成模块，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；

中间帧光流生成模块，用于将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；

中间帧图像生成模块，用于根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像；

所述粗粒度光流生成模块具体用于：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据；

所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；

所述粗粒度光流生成模块在通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据时，具体用于：

通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。

7.一种视频图像补帧设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为由所述处理器执行如权利要求1至5任一项所述的视频图像补帧方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的视频图像补帧方法。

说明书

视频图像补帧方法、装置、设备及可存储介质

技术领域

[0001] 本发明实施例涉及视频图像处理技术领域，尤其涉及一种视频图像补帧方法、装置、设备及可存储介质。

背景技术

[0002] 近年来视频应用软件层出不穷，网络中的视频数据规模爆炸式增长，这给视频优化相关的发展带来了新的机遇和挑战。而视频帧率作为视频的一个重要属性，在视频内容
优化研究中具有极高的意义。首先在高帧率视频方向，现代电影相关行业多采用视觉暂留
技术带给观众观影体验，其主要原理是将静止的画面连续播放，当播放速度达到人眼的欺
骗速度时，人们就感受到了运动。因此，电影的帧率决定了观众的观影体验，通过提高帧率
来增加画面信息量以及对剧烈运动的镜头进行平滑以增强视听震撼力对影视行业的发展
具有重要意义。其次在视频慢放领域，随着互联网的发展，以视频内容为主导的产业逐渐兴
起，而视频慢放将会是一个重要的产品特征，具有重大的应用价值。

[0003] 所以，如何提高帧率成为了视频优化相关问题的重点。而目前提高帧率一般通过对视频图像补帧的方式，而现有技术中得到的中间帧与前后帧关联性较差，导致整体视频
图像的连贯性也较差。

发明内容

[0004] 本发明提供一种视频图像补帧方法、装置、设备及可存储介质，用以解决目前的通过对视频图像补帧的方式所得到的中间帧与前后帧关联性较差，导致整体视频图像的连贯
性也较差的问题。

[0005] 本发明实施例第一方面提供一种视频图像补帧方法，所述方法应用于电子设备，所述方法包括：

[0006] 提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；

[0007] 将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；

[0008] 根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。

[0009] 进一步地，如上所述的方法，所述提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流
数据，包括：

[0010] 提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；

[0011] 通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据。

[0012] 进一步地，如上所述的方法，所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；

[0013] 所述通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据，包
括：

[0014] 通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；

[0015] 将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；

[0016] 将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。

[0017] 进一步地，如上所述的方法，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；

[0018] 所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据，包括：

[0019] 将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；

[0020] 将所述补帧时间双向光流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。

[0021] 进一步地，如上所述的方法，所述分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据之前，还包括：

[0022] 获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；

[0023] 将所述第一训练样本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；

[0024] 采用重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；

[0025] 若所述预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。

[0026] 进一步地，如上所述的方法，所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据之前，还包括：

[0027] 获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像；

[0028] 将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光流生成模型进行训练；

[0029] 采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛条件；

[0030] 若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。

[0031] 进一步地，如上所述的方法，所述根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像，包括：

[0032] 根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；

[0033] 根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。

[0034] 本发明实施例第二方面提供一种视频图像补帧装置，所述装置位于电子设备中，包括：

[0035] 粗粒度光流生成模块，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数
据；

[0036] 中间帧光流生成模块，用于将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；

[0037] 中间帧图像生成模块，用于根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。

[0038] 进一步地，如上所述的装置，所述粗粒度光流生成模块具体用于：

[0039] 提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参
数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据。

[0040] 进一步地，如上所述的装置，所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；

[0041] 所述粗粒度光流生成模块在通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应
的粗粒度光流数据时，具体用于：

[0042] 通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两
帧图像的对齐特征图；将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后
相邻两帧图像对应的粗粒度光流数据。

[0043] 进一步地，如上所述的装置，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；

[0044] 所述中间帧光流生成模块具体用于：

[0045] 将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；将所述补帧时间双向光
流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。

[0046] 进一步地，如上所述的装置，所述装置，还包括：第一训练模块；

[0047] 所述第一训练模块用于获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；将所述第一训练样
本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；采用
重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；若所述预设粗粒度光
流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的
粗粒度光流生成模型。

[0048] 进一步地，如上所述的装置，所述装置，还包括：第二训练模块；

[0049] 所述第二训练模块用于：获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间
帧图像；将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光
流生成模型进行训练；采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛
条件；若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生
成模型确定为训练至收敛的中间帧光流生成模型。

[0050] 进一步地，如上所述的装置，所述中间帧图像生成模块具体用于：

[0051] 根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；

[0052] 根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。

[0053] 本发明实施例第三方面提供一种视频图像补帧设备，包括：存储器，处理器；

[0054] 存储器；用于存储所述处理器可执行指令的存储器；

[0055] 其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的视频图像补帧方法。

[0056] 本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项
所述的视频图像补帧方法。

[0057] 本发明实施例提供的一种视频图像补帧方法、装置、设备及可存储介质，该方法应用于电子设备，该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛
的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；将预先
配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，
以输出中间帧光流数据；根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间
帧图像。通过训练至收敛的中间帧光流生成模型根据目标视频中前后相邻两帧图像输出对
应粗粒度光流数据，通过训练至收敛的中间帧光流生成模型根据预先配置的补帧时间数据
与粗粒度光流数据输出中间帧光流数据。然后根据前后相邻两帧图像和中间帧光流数据生
成目标中间帧图像。本发明实施例的方法，通过训练至收敛的中间帧光流生成模型融合补
帧时间数据的时间信息和粗粒度光流数据中包含的运动信息，使生成的中间帧光流数据与
粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高
了整体视频图像的连贯性。

附图说明

[0058] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

[0059] 图1为可以实现本发明实施例的视频图像补帧方法的场景图；

[0060] 图2为本发明第一实施例提供的视频图像补帧方法的流程示意图；

[0061] 图3为本发明第二实施例提供的视频图像补帧方法的流程示意图；

[0062] 图4为本发明第二实施例提供的视频图像补帧方法中步骤202的流程示意图；

[0063] 图5为本发明第四实施例提供的视频图像补帧方法的训练流程示意图；

[0064] 图6为本发明第五实施例提供的视频图像补帧方法的训练流程示意图；

[0065] 图7为本发明六实施例提供的视频图像补帧装置的结构示意图；

[0066] 图8为本发明七实施例提供的电子设备的结构示意图。

[0067] 通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为
本领域技术人员说明本发明的概念。

具体实施方式

[0068] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

[0069] 下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结
合附图，对本发明的实施例进行描述。

[0070] 首先对本发明实施例所涉及的名词进行解释：

[0071] 帧：是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头，一帧就是一幅静止的画面，连续的帧就形成动画。

[0072] 补帧：指在前后相邻两帧图像中间添加至少一帧图像。

[0073] 光流：指亮度模式的表观运动，光流包含了目标运动的信息。

[0074] 下面对本发明实施例提供的视频图像补帧方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为相邻后帧图像，3为相邻前帧图像，4为第二电子设备，5为第三
电子设备。本发明实施例提供的视频图像补帧方法对应的应用场景的网络架构中包括：第
一电子设备1、第二电子设备4和第三电子设备5。第二电子设备4存储有需要补帧的目标视
频。第一电子设备1从第二电子设备4中获取目标视频的相邻前帧图像3和相邻后帧图像2，
并将前后相邻两帧图像分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻
两帧图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒度光流数据输入至训
练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。根据前后相邻两帧图像和中
间帧光流数据生成目标中间帧图像。在第一电子设备1生成目标中间帧图像后，可以输出目
标中间帧图像至第三电子设备5中。由第三电子设备5获取第二电子设备4中目标视频的相
邻前帧图像3和相邻后帧图像2，并结合目标中间帧图像，以生成补帧后的视频。或者，也可
以通过第一电子设备1将目标中间帧图像结合目标视频以生成补帧后的视频。

[0075] 本发明实施例提供的视频图像补帧方法，通过训练至收敛的中间帧光流生成模型融合补帧时间数据的时间信息和光流数据中的运动信息，使生成的中间帧光流数据与粗粒
度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整
体视频图像的连贯性。

[0076] 下面结合说明书附图对本发明实施例进行介绍。

[0077] 图2为本发明第一实施例提供的视频图像补帧方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为视频图像补帧装置，该视频图像补帧装置可以集成
在电子设备中。则本实施例提供的视频图像补帧方法包括以下几个步骤：

[0078] 步骤S101，提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。

[0079] 首先，本实施例中，前后相邻两帧图像指前帧图像和与前帧图像相邻的后帧图像。比如目标视频中的第一帧图像和第二帧图像，第一帧图像即前帧图像，而第二帧图像为与
前帧图像相邻的后帧图像。其中，目标视频为需要进行视频补帧的视频。

[0080] 目标视频可以是从数据库中获取、从其他电子设备获取或者人工输入的目标视频，本实施例对此不作限定。本实施例中，训练至收敛的粗粒度光流生成模型是已经训练完
成的模型，用于根据前后相邻两帧图像生产对应的粗粒度光流数据。粗粒度光流数据指容
纳的逻辑较多的光流数据。

[0081] 其中，粗粒度光流生成模型可以为网络结构模型，比如U‑net网络结构。其中U‑net网络结构是一种卷积网络结构。同时，网络结构模型可以采用人工智能进行深度学习，以得
到学习后的网络结构模型。

[0082] 步骤S102，将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。

[0083] 本实施例中，预先配置的补帧时间数据与视频需要的补帧情况有关，从而可以根据需要补帧的情况预先配置补帧时间数据，如预先配置的补帧时间数据的范围为[0，1]。比
如目标视频有30帧图像，现在需要通过补帧形成60帧的图像，预先配置的补帧时间数据可
以设为二分之一。如果目标视频需要通过补帧形成90帧的图像，则预先配置的补帧时间数
据可以设为三分之一。

[0084] 本实施例中，训练至收敛的中间帧光流生成模型为已经训练完成的模型，用于根据预先配置的补帧时间数据与粗粒度光流数据生成中间帧光流数据。

[0085] 其中，中间帧光流生成模型可以为网络结构模型。其中，中间帧光流生成模型可以采用具有空间和时间特征的卷积网络结构。

[0086] 本实施例中，中间帧光流数据融合了预先配置的补帧时间数据中的时间信息和粗粒度光流数据中物体运动轨迹的运动信息，也可以称为物体运动轨迹的空间信息。

[0087] 步骤S103，根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。

[0088] 本实施例中，以前后相邻两帧图像为基础结合中间帧光流数据，由于中间帧光流数据中具有中间帧的运动信息，从而可以结合前后相邻两帧图像生成目标中间帧图像。同
时，操作方式可以是将前后相邻两帧图像和结合中间帧光流数据通过映射操作生成目标中
间帧图像。

[0089] 本发明实施例提供的一种视频图像补帧方法，该方法应用于电子设备，该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型
中，以输出前后相邻两帧图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒
度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。根据前
后相邻两帧图像和中间帧光流数据生成目标中间帧图像。通过训练至收敛的中间帧光流生
成模型根据目标视频中前后相邻两帧图像输出对应粗粒度光流数据，通过训练至收敛的中
间帧光流生成模型根据预先配置的补帧时间数据与粗粒度光流数据输出中间帧光流数据。
然后根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。本发明实施例的方
法，通过训练至收敛的中间帧光流生成模型融合补帧时间数据的时间信息和粗粒度光流数
据中包含的运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提
高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。

[0090] 图3为本发明第二实施例提供的视频图像补帧方法的流程示意图，如图3所示，本实施例提供的视频图像补帧方法，是在本发明第一实施例提供的视频图像补帧方法的基础
上，对其中的各个步骤的进一步细化。则本实施例提供的视频图像补帧方法包括以下步骤。

[0091] 其中，步骤201‑202是对步骤101的进一步细化。

[0092] 步骤S201，提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中。

[0093] 本实施例中，步骤201的实现方式与本发明实施例一中的步骤101的实现方式类似，在此不再一一赘述。

[0094] 步骤S202，通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据。

[0095] 本实施例中，图像特征参数包括物体运动向量、像素坐标等。从前后相邻两帧图像中提取对应的图像特征参数是用于将前后相邻两帧图像中的图像特征参数进行比较，从而
输出前后相邻两帧图像对应的粗粒度光流数据。所以本实施例中，根据图像特征参数，输出
前后相邻两帧图像对应的粗粒度光流数据，具体可以为：根据物体运动向量和像素坐标输
出前后相邻两帧图像对应的粗粒度光流数据。

[0096] 通过利用图像特征参数来输出前后相邻两帧图像对应的粗粒度光流数据可以使得到的粗粒度光流数据与前后相邻两帧图像更为对应。

[0097] 需要说明的是，步骤203‑204是对步骤102的进一步细化。同时，可选的，粗粒度光流数据包括粗粒度双向光流数据。中间帧光流生成模型包括融合函数和物体运动轨迹拟合
函数。

[0098] 步骤S203，将预先配置的补帧时间数据与粗粒度双向光流数据通过融合函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。

[0099] 本实施例中，预先配置的补帧时间数据与本发明实施例一中的步骤102的类似，在此不再一一赘述。

[0100] 在本实施例中，融合函数为：

[0101]

[0102] 以及

[0103]

[0104] 其中， 表示补帧时间双向光流数据中方向从相邻后帧图像至相邻前帧图像的光流数据。 表示补帧时间双向光流数据中方向从相邻前帧图像至相邻后帧图像的光流
数据。表示预先配置的补帧时间数据。F0→1表示粗粒度双向光流数据中方向从相邻前帧图
像至相邻后帧图像的光流数据。F1→0表示粗粒度双向光流数据中方向从相邻后帧图像至相
邻前帧图像的光流数据。

[0105] 本实施例中，通过融合函数融合预先配置的补帧时间数据与粗粒度双向光流数据以输出与补帧时间数据对应的补帧时间双向光流数据，可以使补帧时间双向光流数据中包
含时间信息，从而为后续生成目标中间帧图像时提供权值判断的依据。

[0106] 步骤S204，将补帧时间双向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。

[0107] 本实施例中，物体运动轨迹拟合函数可以采用Conv‑LSTM网络中的物体运动轨迹拟合函数或其他物体运动轨迹拟合函数，本实施例对此不作限定。Conv‑LSTM网络是一种将
可以抽取空间特征的卷积操作加到了能抽时序特征的LSTM网络中形成的新的网络结构，这
种网络结构以物体运动轨迹拟合函数为核心。

[0108] 本实施例中，中间帧光流数据由于经过物体运动轨迹拟合函数的优化，使后续生成的目标中间帧图像与前后相邻两帧图像之间关联性更高。

[0109] 需要说明的是，步骤205‑206是对其中步骤103的进一步细化。

[0110] 步骤S205，根据中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值。

[0111] 本实施例中，可以根据中间帧光流数据中包含的时间信息，确认中间帧光流数据中，前后相邻两帧图像所占中间帧光流数据比重的权值。可以预先设置时间信息与权值的
映射关系。比如当时间信息越接近0时，代表相邻前帧图像的权值越高。相对的，当时间信息
越接近1时，代表相邻后帧图像的权值越高。

[0112] 步骤S206，根据权值和前后相邻两帧图像通过映射操作生成目标中间帧图像。

[0113] 本实施例中，生成目标中间帧图像的过程可以是通过映射操作将前后相邻两帧图像与中间帧光流数据分别生成对应的目标前帧和目标后帧，根据权值、目标前帧和目标后
帧进行融合得到目标中间帧图像。融合的过程具体为：根据权值和目标前帧的空间信息得
到加权前帧，根据权值和目标后帧的空间信息得到加权后帧。将加权前帧和加权后帧融合
得到目标中间帧图像。

[0114] 本发明实施例提供的一种视频图像补帧方法，该方法通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧
图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒度双向光流数据通过融合
函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。同时，将补帧时间双
向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。然后根据中间帧光流
数据获取前后相邻两帧图像所占中间帧光流数据比重的权值，根据权值和前后相邻两帧图
像通过映射操作生成目标中间帧图像。

[0115] 本发明实施例的方法，通过训练至收敛的中间帧光流生成模型中包括的融合函数融合预先配置的补帧时间数据与粗粒度双向光流数据，通过将时间信息和运动信息融合生
成对应的补帧时间双向光流数据，然后通过物体运动轨迹拟合函数将补帧时间双向光流数
据进行对应优化，以输出中间帧光流数据。由于中间帧光流数据中包括时间信息，可以根据
中间帧光流数据得到前后相邻两帧图像所占中间帧光流数据比重的权值，从而使生成的目
标中间帧图像按照权值结合了前后相邻两帧图像的内容，使生成的目标中间帧图像精确性
更高，同时也提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯
性。

[0116] 图4为本发明第二实施例提供的视频图像补帧方法中步骤202的流程示意图。如图4所示，本实施例提供的视频图像补帧方法，是在本发明第二实施例提供的视频图像补帧方
法的基础上，对其中步骤202的进一步细化。则本实施例提供的视频图像补帧方法包括以下
步骤。

[0117] 步骤S2021，通过编码网络从前后相邻两帧图像中提取图像特征参数并进行编码，以得到对应的编码结果。其中，粗粒度光流生成模型包括编码解码网络和翻转卷积结构。

[0118] 本实施例中，图像特征参数与本发明实施例二中的步骤202的类似，在此不再一一赘述。

[0119] 其中，编码网络可以是将图像中的图像特征参数等转换成代码信息数据的网络结构。翻转卷积结构是一种卷积网络结构。

[0120] 步骤S2022，将图像特征参数输入翻转卷积结构，得到前后相邻两帧图像的对齐特征图。

[0121] 本实施例中，翻转卷积结构主要用于根据图像特征参数获取前后相邻两帧图像的空间上的相关信息，比如运动信息，并通过对齐特征图的形式来表现。具体过程为：翻转卷
积结构将图像特征参数按照前帧图像的空间信息和后帧图像的对应空间信息生成对齐特
征图。比如将前帧图像的像素点坐标和后帧图像的像素点坐标一一对齐，将前帧图像的物
体的运动向量与后帧图像对应的物体的运动向量进行对齐，从而生成对齐特征图。

[0122] 步骤S2023，将对齐特征图和编码结果输入解码网络，以输出前后相邻两帧图像对应的粗粒度光流数据。

[0123] 其中，解码网络是将代码信息数据转换成光流数据的网络结构。

[0124] 在本实施例中，将对齐特征图和编码结果输入解码网络，通过解码网络将图像参数等信息数据，转换为前后相邻两帧图像对应的粗粒度光流数据。通过翻转卷积结构生成
的对齐特征图可以使获得的前帧图像和后帧图像之间的图像特征变化更为精确，从而使后
续生成的粗粒度光流数据精确度更高。

[0125] 图5为本发明第四实施例提供的视频图像补帧方法的训练流程示意图，如图5所示，本实施例提供的视频图像补帧方法，是在本发明第一至第三实施例提供的视频图像补
帧方法的基础上，增加了粗粒度光流生成模型的训练流程。则本实施例提供的视频图像补
帧方法包括以下步骤。

[0126] 步骤S301，获取第一训练样本，第一训练样本为粗粒度光流生成模型对应的训练样本。第一训练样本中包括：前帧图像和后帧图像。

[0127] 本实施例中，前帧图像和后帧图像可以是前帧图像为目标视频中的第1帧，对应后帧图像为目标视频中的第3帧。同时，前帧图像为目标视频中的第1帧，对应后帧图像为目标
视频中的第5帧。以保证后续得到的实际中间帧图像在目标视频中的有对照的标准中间帧
图像。比如前帧图像为目标视频中的第1帧，对应后帧图像为目标视频中的第3帧时，标准中
间帧图像为目标视频中的第2帧。从而可以将生成的实际中间帧图像与标准中间帧图像进
行比较，确定生成的实际中间帧图像与标准中间帧图像的相似度，从而提高生成的实际中
间帧图像的精确性。

[0128] 步骤S302，将第一训练样本输入到预设粗粒度光流生成模型中，以对预设粗粒度光流生成模型进行训练。

[0129] 本实施例中，通过将第一训练样本输入至需要进行训练的预设粗粒度光流生成模型中，将生成的粗粒度光流数据通过重建损失函数来判断是否满足收敛条件。

[0130] 步骤S303，采用重建损失函数判断预设粗粒度光流生成模型是否满足收敛条件。

[0131] 本实施例中，重建损失函数为：

[0132] Lr1＝|warp_op(frame 1，‑F0→1)‑frame 0|

[0133] Lr2＝|warp_op(frame 0，‑F1→0)‑frame 1|

[0134]

[0135] 其中，Lr1表示后帧中间函数，Lr2表示前帧中间函数，Lr表示重建损失函数，frame 1表示后帧图像，frame 0表示前帧图像，F0→1表示粗粒度光流数据中方向从前帧图像至后帧
图像的光流数据，F1→0表示粗粒度双向光流数据中方向从后帧图像至前帧图像的光流数据，
warp_op表示利用光流数据和输入帧图像产生输出帧图像的操作，x和y代表图像中的像素
点坐标，N代表图像像素数目。

[0136] 本实施例中，重建损失函数主要用于对粗粒度光流数据的生成效果进行监督。

[0137] 步骤S304，若预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。

[0138] 其中，预设粗粒度光流生成模型对应的收敛条件是重建损失函数达到可以优化的最小值时。此时，预设粗粒度光流生成模型满足收敛条件，生成的粗粒度光流精确度较高。

[0139] 本实施例中，通过使用训练后的粗粒度光流生成模型，可以使通过粗粒度光流生成模型生成的粗粒度光流数据更为精确。

[0140] 图6为本发明第五实施例提供的视频图像补帧方法的训练流程示意图，如图6所示，本实施例提供的视频图像补帧方法，是在本发明第四实施例提供的视频图像补帧方法
的基础上，增加了中间帧光流生成模型的训练流程。则本实施例提供的视频图像补帧方法
包括以下步骤。

[0141] 步骤S401，获取第二训练样本，第二训练样本为中间帧光流生成模型对应的训练样本。第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像。

[0142] 本实施例中，第一标准中间帧图像为目标视频中起对照作用的标准中间帧图像。第一实际中间帧图像为训练过程中中间帧光流生成模型生成的实际中间帧图像。

[0143] 步骤S402，将第二训练样本输入到预设中间帧光流生成模型中，以对预设中间帧光流生成模型进行训练。

[0144] 本实施例中，训练过程与本发明实施例四中的步骤302的类似，在此不再一一赘述。

[0145] 步骤S403，采用感知损失函数判断预设中间帧光流生成模型是否满足收敛条件。

[0146] 本实施例中，感知损失函数为：

[0147]

[0148] 其中，Lp表示感知损失函数，φ(I)表示第一实际中间帧图像的特征输出，φ(gt)表示第一标准中间帧图像的特征输出，N代表图像像素数目。

[0149] 本实施例中，感知损失函数主要在较高的语义层级对两个图像进行评判，其损失计算过程一般分为高层特征提取和特征差异计算两个步骤。其中高层特征提取一般采用经
过预训练的深度神经网络中的高层特征，比如可以使用在ImageNet上预训练的VGG16网络
中的conv4_3卷积层的输出，其中，ImageNet是一个用于视觉对象识别软件研究的大型可视
化数据库，VGG16网络为一种网络结构，conv4_3卷积层是VGG16网络中的一个卷积层。

[0150] 步骤S404，若预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。

[0151] 其中，预设中间帧光流生成模型的收敛条件是感知损失函数达到最小值。此时，预设中间帧光流生成模型满足收敛条件，生成的中间帧光流精确度较高。

[0152] 可选的，本实施例中，还可以采用帧间损失函数判断预设中间帧光流生成模型是否满足收敛条件来对中间帧光流生成模型进行训练。此时，训练样本包括：第二标准中间帧
图像和第二实际中间帧图像。

[0153] 帧间损失函数为：

[0154]

[0155] 其中，Lf表示帧间损失函数，I表示第二实际中间帧图像，gt表示第二标准中间帧图像，x，y代表图像中的像素点坐标，N代表图像像素数目。

[0156] 其中，预设中间帧光流生成模型的收敛条件是帧间损失函数达到最小值。此时，预设中间帧光流生成模型满足收敛条件并确定为训练至收敛的中间帧光流生成模型。

[0157] 同时，本实施例中，通过帧间损失函数可以使训练后的中间帧光流生成模型生成的中间帧光流精确性更高。

[0158] 图7为本发明第六实施例提供的视频图像补帧装置的结构示意图，如图7所示，本实施例中，装置位于电子设备中，该视频图像补帧装置500包括：

[0159] 粗粒度光流生成模块501，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。

[0160] 中间帧光流生成模块502，用于将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。

[0161] 中间帧图像生成模块503，用于根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。

[0162] 本实施例提供的视频图像补帧装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。

[0163] 同时，本发明提供的视频图像补帧装置另一实施例在上一实施例提供的视频图像补帧装置的基础上，对视频图像补帧装置500进行了进一步的细化。

[0164] 可选的，本实施例中，粗粒度光流生成模块501具体用于：

[0165] 提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中。

[0166] 同时，通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据。

[0167] 可选的，本实施例中，粗粒度光流生成模型包括编码解码网络和翻转卷积结构。

[0168] 粗粒度光流生成模块501在通过粗粒度光流生成模型从前后两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据时，
具体用于：

[0169] 通过编码网络从前后相邻两帧图像中提取图像特征参数并进行编码，以得到对应的编码结果。

[0170] 同时，将图像特征参数输入翻转卷积结构，得到前后相邻两帧图像的对齐特征图。

[0171] 将对齐特征图和编码结果输入解码网络，以输出前后相邻两帧图像对应的粗粒度光流数据。

[0172] 可选的，本实施例中，粗粒度光流数据包括粗粒度双向光流数据。中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数。

[0173] 中间帧光流生成模块502具体用于：

[0174] 将预先配置的补帧时间数据与粗粒度双向光流数据通过融合函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。

[0175] 同时，将补帧时间双向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。

[0176] 可选的，本实施例中，视频图像补帧装置500，还包括：第一训练模块。

[0177] 第一训练模块用于获取第一训练样本，第一训练样本为粗粒度光流生成模型对应的训练样本，第一训练样本中包括：前帧图像和后帧图像。

[0178] 同时，将第一训练样本输入到预设粗粒度光流生成模型中，以对预设粗粒度光流生成模型进行训练。

[0179] 然后，采用重建损失函数判断预设粗粒度光流生成模型是否满足收敛条件。

[0180] 若预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。

[0181] 可选的，本实施例中，视频图像补帧装置500还包括：第二训练模块。

[0182] 第二训练模块用于获取第二训练样本，第二训练样本为中间帧光流生成模型对应的训练样本，第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像。

[0183] 同时，将第二训练样本输入到预设中间帧光流生成模型中，以对预设中间帧光流生成模型进行训练。

[0184] 然后，采用感知损失函数判断预设中间帧光流生成模型是否满足收敛条件。

[0185] 若预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。

[0186] 可选的，本实施例中，中间帧图像生成模块503具体用于：

[0187] 根据中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值。

[0188] 根据权值和前后相邻两帧图像通过映射操作生成目标中间帧图像。

[0189] 本实施例提供的视频图像补帧装置可以执行图2‑图6所示方法实施例的技术方案，其实现原理和技术效果与图2‑图6所示方法实施例类似，在此不再一一赘述。

[0190] 根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读存储介质。

[0191] 如图8所示，是根据本发明第七实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务
器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移
动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本
文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中
描述的和/或者要求的本发明的实现。

[0192] 如图8所示，该电子设备包括：处理器601、存储器602。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电
子设备内执行的指令进行处理。

[0193] 存储器602即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的视频图像补帧
方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机
执行本发明所提供的视频图像补帧方法。

[0194] 存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的视频图像补帧方法对应的程序指
令/模块(例如，附图7所示的粗粒度光流生成模块501，中间帧光流生成模块502及中间帧图
像生成模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模
块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频图像
补帧方法。

[0195] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些
变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的
本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实
施例的真正范围和精神由下面的权利要求书指出。

[0196] 应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利
要求书来限制。