视频处理方法、装置、终端设备及存储介质

摘要

本申请公开了一种视频处理方法、装置、终端设备及存储介质，其中方法包括：当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第二图像集；对第一图像集进行时域滤波，得到第二帧率的第三图像集；第二帧率小于第一帧率；对第二图像集进行插帧处理，得到第三帧率的第四图像集；第三帧率大于第一帧率；以第二帧率分别对第三图像集和第四图像集进行编码，获得慢动作视频。本申请实施例对终端设备录制的图像集进行处理，可以得到流畅的、完整的慢动作视频。

权利要求

1.一种视频处理方法，其特征在于，包括：当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第二图像集，所述第一时间段是所述第二时间段之前的时长；

对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述拍摄画面内以所述第一帧率录制的原始图像采样得到所述第二帧率的多帧预览图像；

采用运动矢量法计算所述多帧预览图像的各个像素点的运动数据。

3.如权利要求2所述的方法，其特征在于，所述采用运动矢量法计算所述各个像素点的运动数据，包括：

获取所述拍摄画面中的所述多帧预览图像的一个像素点；

对所述一个像素点在所述多帧预览图像中的像素坐标进行矢量运算得到所述一个像素点的位移矢量。

4.如权利要求3所述的方法，其特征在于，当所述各个像素点的位移矢量相同时，所述拍摄画面中不存在运动的物体；

当所述各个像素点的位移矢量存在多个值时，所述拍摄画面中存在运动的物体。

5.如权利要求1所述的方法，其特征在于，所述对所述第一图像集进行时域滤波，得到第二帧率的第三图像集，包括：根据连续采样参数对所述第一图像集进行连续采样得到多帧待融合的图像，所述连续采样参数包括连续采样频率和连续采样帧数，所述连续采样频率是根据所述第一帧率和所述第二帧率确定的；

对所述多帧待融合的图像以所述连续采样帧数进行融合得到所述第二帧率的第三图像集。

6.如权利要求1所述的方法，其特征在于，所述对所述第二图像集进行插帧处理，得到第三帧率的第四图像集，包括：预测所述第二图像集中每两个相邻帧的图像之间的中间帧图像，所述中间帧图像的帧数是基于所述第一帧率和所述第三帧率确定的；

针对每两个相邻帧的图像之间的中间帧图像，将所述中间帧图像插入到所述两个相邻帧的图像之间，获得所述第三帧率的第四图像集。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：配置录制参数，所述录制参数包括所述第一帧率、所述第二帧率和所述第三帧率。

8.一种视频处理装置，其特征在于，包括：录制单元，用于当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第二图像集，所述第一时间段是所述第二时间段之前的时长；

时域滤波单元，用于对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

插帧处理单元，用于对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

编码单元，用于以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

9.一种终端设备，其特征在于，包括处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至

7任意一项所述的视频处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1至7任意一项所述的视频处理方法。

说明书

视频处理方法、装置、终端设备及存储介质

技术领域

[0001] 本申请涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、终端设备及存储介质。

背景技术

[0002] 慢动作视频是指高速摄影视频，即拍摄包含短时间内肉眼看不见的瞬间动的视频，如子弹飞出膛时的运动状态；又如，足球运动员射门时的动作过程，等等。然而，由于支
持拍摄慢动作视频的高速摄影设备价格昂贵，普通用户通常无法录制慢动作视频。因此，如
何使用终端设备录制慢动作视频是视频处理技术中的一个重要研究课题。

发明内容

[0003] 本申请实施例提供了一种视频处理方法、装置、终端设备及存储介质，本申请实施例对终端设备录制的图像集进行处理，可以得到流畅的、完整的慢动作视频。

[0004] 第一方面，本申请提供了一种视频处理方法，该方法包括：

[0005] 当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第
二图像集，所述第一时间段是所述第二时间段之前的时长；

[0006] 对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

[0007] 对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

[0008] 以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

[0009] 结合第一方面，在一些可行的实施方式中，该方法还包括：

[0010] 对所述拍摄画面内以所述第一帧率录制的原始图像采样得到所述第二帧率的多帧预览图像；

[0011] 采用运动矢量法计算所述多帧预览图像的各个像素点的运动数据。

[0012] 结合第一方面，在一些可行的实施方式中，所述采用运动矢量法计算所述各个像素点的运动数据，包括：

[0013] 获取所述拍摄画面中的所述多帧预览图像的一个像素点；

[0014] 对所述一个像素点在所述多帧预览图像中的像素坐标进行矢量运算得到所述一个像素点的位移矢量。

[0015] 结合第一方面，在一些可行的实施方式中，当所述各个像素点的位移矢量相同时，所述拍摄画面中不存在运动的物体；当所述各个像素点的位移矢量存在多个值时，所述拍
摄画面中存在运动的物体。

[0016] 结合第一方面，在一些可行的实施方式中，对所述第一图像集进行时域滤波，得到第二帧率的第三图像集，包括：

[0017] 根据连续采样参数对所述第一图像集进行连续采样得到多帧待融合的图像，所述连续采样参数包括连续采样频率和连续采样帧数，所述连续采样频率是根据所述第一帧率
和所述第二帧率确定的；

[0018] 对所述多帧待融合的图像以所述连续采样帧数进行融合得到所述第二帧率的第三图像集。

[0019] 结合第一方面，在一些可行的实施方式中，所述对所述第二图像集进行插帧处理，得到第三帧率的第四图像集，包括：

[0020] 预测所述第二图像集中每两个相邻帧的图像之间的中间帧图像，所述中间帧图像的帧数是基于所述第一帧率和所述第三帧率确定的；

[0021] 针对每两个相邻帧的图像之间的中间帧图像，将所述中间帧图像插入到所述两个相邻帧的图像之间，获得所述第三帧率的第四图像集。

[0022] 结合第一方面，在一些可行的实施方式中，该方法还包括：

[0023] 配置录制参数，所述录制参数包括所述第一帧率、所述第二帧率和所述第三帧率。

[0024] 第二方面，本申请实施例提供了一种视频处理装置，该装置包括：

[0025] 录制单元，用于当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和
第二时间段的第二图像集，所述第一时间段是所述第二时间段之前的时长；

[0026] 时域滤波单元，用于对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

[0027] 插帧处理单元，用于对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

[0028] 编码单元，用于以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

[0029] 结合第二方面，在一些可行的实施方式中，该装置还包括计算单元，计算单元用于对所述拍摄画面内以所述第一帧率录制的原始图像采样得到所述第二帧率的多帧预览图
像；采用运动矢量法计算所述多帧预览图像的各个像素点的运动数据。

[0030] 结合第二方面，在一些可行的实施方式中，计算单元采用运动矢量法计算所述各个像素点的运动数据，包括：

[0031] 获取所述拍摄画面中的所述多帧预览图像的一个像素点；

[0032] 对所述一个像素点在所述多帧预览图像中的像素坐标进行矢量运算得到所述一个像素点的位移矢量。

[0033] 结合第二方面，在一些可行的实施方式中，当所述各个像素点的位移矢量相同时，所述拍摄画面中不存在运动的物体；

[0034] 当所述各个像素点的位移矢量存在多个值时，所述拍摄画面中存在运动的物体。

[0035] 结合第二方面，在一些可行的实施方式中，时域滤波单元用于对所述第一图像集进行时域滤波，得到第二帧率的第三图像集，包括：

[0036] 根据连续采样参数对所述第一图像集进行连续采样得到多帧待融合的图像，所述连续采样参数包括连续采样频率和连续采样帧数，所述连续采样频率是根据所述第一帧率
和所述第二帧率确定的；

[0037] 对所述多帧待融合的图像以所述连续采样帧数进行融合得到所述第二帧率的第三图像集。

[0038] 结合第二方面，在一些可行的实施方式中，插帧处理单元用于对所述第二图像集进行插帧处理，得到第三帧率的第四图像集，包括：

[0039] 预测所述第二图像集中每两个相邻帧的图像之间的中间帧图像，所述中间帧图像的帧数是基于所述第一帧率和所述第三帧率确定的；

[0040] 针对每两个相邻帧的图像之间的中间帧图像，将所述中间帧图像插入到所述两个相邻帧的图像之间，获得所述第三帧率的第四图像集。

[0041] 结合第二方面，在一些可行的实施方式中，该装置还包括配置单元，用于配置录制参数，所述录制参数包括所述第一帧率、所述第二帧率和所述第三帧率。

[0042] 第三方面，本申请实施例提供了一种终端设备，包括处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，
以执行第一方面所述的视频处理方法。

[0043] 第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的视频处理方法。

[0044] 本发明实施例在对终端设备采集的低帧率的图像集进行处理时，可以预测两个相邻帧的图像之间的中间帧图像，并将所述中间帧图像插入到两个相邻帧图像之间得到高帧
率的图像集。将高帧率的图像集进行编码输出后将得到放慢速率的慢动作视频。除此之外，
终端设备在进行插帧处理前，还另外对一个图像集进行时域滤波处理，将时域滤波处理后
的图像集进行编码得到速率不变的视频。从而，最终的慢动作视频包括速率不变的视频和
速率放慢的视频，具有速率变化的效果。并且，加权融合可以保证时域滤波得到视频的流畅
性。因此，通过本申请实施例的方案，可以通过普通的终端设备获得完整的、流畅的慢动作
视频。进而可以使得用户更自由的录制所需的慢动作视频，提高用户体验。

附图说明

[0045] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0046] 图1是本申请实施例提供的一种终端设备的结构示意图；

[0047] 图2是本申请实施例提供的一种视频处理方法的流程示意图；

[0048] 图3是本申请实施例提供的一种时域滤波的示意图；

[0049] 图4是本申请实施例提供的一种插帧处理的示意图；

[0050] 图5是本申请实施例提供的另一种视频处理方法的流程示意图；

[0051] 图6是本申请实施例提供的一种视频处理装置的结构示意图；

[0052] 图7是本申请实施例提供的另一种终端设备的结构示意图。

具体实施方式

[0053] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于
本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本申请保护的范围。

[0054] 通常，市场上便携式终端设备中的图像采集设备(如图像传感器)以30每秒传输帧数(Frames Per Second，fps)、60fps、120fps和240fps的录制帧率采集视频图像。然而，慢
动作视频图像常常需要高帧率的图像采集设备，普通的终端设备无法录制慢动作视频图
像。为了以高帧率如480fps、960fps等帧率获得慢动作视频图像，终端设备需要配置专用的
图像传感器，如快速读出传感器(FRS)。但是，配置有专用图像传感器的终端设备的成本很
高，普通用户无法利用普通的终端设备录制慢动作视频。因此，为了解决上述问题，本申请
实施例提供了一种能够在普通的终端设备中完成慢动作视频制作的视频处理系统和视频
处理方案。

[0055] 请参见图1，图1示出了一种终端设备的系统架构图。该终端设备可包括但不限于智能手机、膝上计算机、平板电脑和台式计算机等等。在终端设备内，可以包括：图像采集模
块101、硬件驱动模块102、图像处理模块103、编码模块104。其中，图像采集模块101用于录
制拍摄画面内的图像，图像采集模块101可以是图像传感器(sensor)。硬件驱动模块102可
以是图像处理驱动(Image Signal Processing driver，ISP driver)。硬件驱动模块102用
于控制图像采集模块101的录制，例如硬件驱动模块102控制图像采集模块101以第一帧率
录制一个时间段的图像集。图像处理模块103可以是硬件抽象层(HAL层)，图像处理模块103
用于对录制后的图像集进行处理。编码模块104可以是支持VSP协议的编码器，可以用于对
图像处理模块103处理后的图像集进行编码。在具体实现中，本申请实施例所提出的视频处
理方案具体包括：当图像处理模块103基于多帧预览图像的像素点的运动数据确定拍摄画
面中存在运动的物体时，图像处理模块103对硬件驱动模块102配置录制相关参数(例如第
一帧率，第二帧率，第三帧率等等)；硬件驱动模块102控制图像采集模块101对拍摄画面以
第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第二图像集；然后，
图像处理模块103对第一图像集进行时域滤波，得到第二帧率的第三图像集，以及对第二图
像集进行插帧处理，得到第三帧率的第四图像集；最后，编码模块104分别对第三图像集和
第四图像集进行编码获得慢动作视频。

[0056] 由此可见，本申请实施例所提出的视频处理方案利用插帧处理将采集的低帧率图像集转换为高帧率的第四图像集，并且，在插帧处理前，进行时域滤波处理，使得慢动作视
频具有速率变化的效果，且时域滤波可以保证慢动作视频中的速率变化的流畅性。因此，通
过本申请实施例所提供的方案可以在终端设备中录制完整的、流畅的慢动作视频。

[0057] 基于上述的视频处理方案的相关描述，本申请实施例提出了一种视频处理方法；该视频处理方法可以由上述所提及的终端设备执行。参见图2所示，该视频处理方法可包括
以下步骤S201‑S204：

[0058] S201，当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的
第二图像集，第一时间段是第二时间段之前的时长。

[0059] 在一个可行的实施方式中，对拍摄画面以第一帧率进行录制，分别获得的第一时间段的第一图像集和第二时间段的第二图像集是在终端设备检测到触发事件后执行的。

[0060] 终端设备的运动检测功能具有两种状态：开启运动检测状态和关闭运动检测状态。在一个可行的实施方式中，当终端设备处于关闭运动检测状态时，所述触发事件可以是
终端设备检测到用户点击录制按钮。在另一个可行的实施方式中，当终端设备处于开启运
动检测状态时，终端设备获取多帧预览图像中的像素点的运动数据，所述触发事件可以是
终端设备基于多帧预览图像中的像素点的运动数据确定拍摄画面中存在运动的物体。

[0061] 在一个可行的实施方式中，终端设备检测到触发事件后，终端设备获取录制参数，然后根据录制参数中包括的第一帧率对拍摄画面进行录制，分别获得第一时间段的第一图
像集和第二时间段的第二图像集。

[0062] 其中，录制参数是根据业务需求和经验提前配置的，录制参数可以包括本文提及的第一帧率、第二帧率和第三帧率。除此之外，录制参数也还可以包括其他录制所需的参
数，例如拍摄画面的大小、拍摄时的曝光时间等等，这里不做限制。

[0063] 其中，第一时间段是第二时间段之前的时长。可选的，第一时间段和第二时间段所包括的时长可以是根据业务需求或者经验设置的。例如，可以设置第一时间段为1秒，第二
时间段为0.25秒。更进一步的，第二时间段的时长不能超过时长阈值，时长阈值是根据终端
设备的硬件设备确定的，硬件设备包括处理器的处理速率、内存的大小等等。

[0064] 其中，可选的，第一帧率可以直接是终端设备的最大录制帧率。终端设备的最大录制帧率与终端设备的硬件设备(例如图像传感器)相关。例如，假设终端设备支持的最大录
制帧率为240fps，那么第一帧率也为240fps。可选的，第一帧率也可以是根据经验和业务需
求设置的。这里的第一帧率可以小于或等于终端设备的最大录制帧率。例如，假设终端设备
支持的最大录制帧率为240fps，那么第一帧率可以为240fps、120fps，等等。

[0065] S202，对第一图像集进行时域滤波，得到第二帧率的第三图像集；第二帧率小于第一帧率。

[0066] 在一个可行的实施方式中，录制参数中包括第二帧率。终端设备计算第一帧率和第二帧率的比值，并根据第一帧率和第二帧率的比值确定连续采样频率。终端设备获取连
续采样帧数，并基于该连续采样频率和连续采样帧数对第一图像集进行连续采样得到多帧
待融合的图像。对多帧待融合的图像以连续采样帧数进行融合得到第二帧率的第三图像
集。其中，连续采样帧数可以是根据经验和业务需求设置的。

[0067] 在一个可行的实施方式中，第二帧率可以与终端设备的编码速率相等。通常，终端设备的编码速率是30fps，那么第二帧率也可以是30fps。需要明白，随着新业务场景的出
现，第二帧率也可以是其他大小的帧率。这里不做限定。

[0068] 在一个可行的实施方式中，对待融合图像的融合可以是指根据融合参数进行加权融合，这里的融合参数可以是根据业务和经验设置的。

[0069] 为了更好的说明本方案，下面结合一个具体的例子对本申请实施例进行阐述。假设第一帧率为240fps，第二帧率为30fps，终端设备根据第一帧率和第二帧率的比值确定连
续采样的频率为8。如图3所示，设第一时间段为1秒，那么终端设备在第一时间段内以第一
帧率获得包含240帧图像的第一图像集。设连续采样的帧数为3，终端设备可以在240帧图像
中每8帧连续采样3帧得到90帧待融合的图像集。然后再对这90帧中依次将每3帧融合成1
帧，最终得到的第三图像集包含30帧图像。也就是说1秒内的240帧图像经过时域滤波后得
到1秒内包含30帧图像，即对以第一帧率240fps采集的第一图像集进行时域滤波，得到第二
帧率30fps的第三图像集。

[0070] S203，对第二图像集进行插帧处理，得到第三帧率的第四图像集；第三帧率大于第一帧率。

[0071] 在一个可行的实施方式中，录制参数中包括第三帧率。终端设备可以根据第三帧率和第一帧率的比值确定中间帧图像的帧数，并基于中间帧图像的帧数预测第二图像集中
每两个相邻帧的图像之间的中间帧图像。然后，针对每两个相邻帧的图像之间的中间帧图
像，将中间帧图像插入到两个相邻帧的图像之间，获得第三帧率的第四图像集。

[0072] 可选的，终端设备可以利用调用算法预测第二图像集中每两个相邻帧的图像之间的中间帧图像。这里的算法可以是用于预测图像中物体的运动轨迹的算法，例如运动矢量
算法。

[0073] 在一个可行的实施方式中，若在两个相邻帧之间插入较多帧数的中间帧图像，慢动作视频中的相邻图像之间变化较小，用户视觉上容易忽略图像之间的变化，从而感觉慢
动作视频卡顿，慢动作视频不流畅。为了保证慢动作视频的流畅性，终端设备可以根据第一
帧率和预设阈值确定第三帧率，以使得第三帧率和第一帧率的比值小于或等于预设阈值。
承接上述步骤S202描述的实例，第一帧率为240fps，假设预设阈值是4，那么可以根据第一
帧率240fps和预设阈值4确定第三帧率为480fps、720fps、960fps，等等。

[0074] 请参见图4所示，在第一帧率为240fps，第三帧率为960fps时，终端设备计算第三帧率和第一帧率的比值为4，然后将第三帧率和第一帧率的比值减去基数1得到中间帧图像
的帧数为3。也就是说，针对每两个相邻帧的图像，终端设备可以调用算法预测这两个相邻
帧的图像之间的3帧中间帧图像。如图4所示，第N帧图像和第N'帧图像是第二图像集中示例
性的两个相邻帧的图像。终端设备调用算法预测这两个相邻帧图像中的3帧中间帧图像，即
通过预测第N帧图像和第N'帧图像之间主要对象的运动，来生成新的3帧图像，如图4中的第
1帧中间帧图像、第2帧中间帧图像和第3帧中间帧图像。如图4所示的示例中，主要对象是车
辆，其基于第N帧图像和第N'帧图像中车辆的位置变化已经预测并表示在中间帧图像中。

[0075] 设第二时间段为0.25秒，那么终端设备在第二时间段内以第一帧率获得包含60帧图像的第二图像集。针对第二图像集中每两个相邻帧的图像可以获得3帧中间帧图像，将该
3帧中间帧图像插入到两个相邻帧的图像之间，终端设备将得到包括240帧的第四图像集。
也就是说在0.25秒内的60帧图像经过插帧处理后得到0.25秒内包含240帧图像，即对以第
一帧率240fps采集的第二图像集进行插帧处理，得到第三帧率960fps的第四图像集。

[0076] S204，以第二帧率分别对第三图像集和第四图像集进行编码，获得慢动作视频。

[0077] 在一个可行的实施方式中，终端设备获取编码协议，然后根据编码协议以第二帧率对第三图像集进行编码，最后再以第二帧率对第四图像集进行编码，得到最终的慢动作
视频。其中，第三图像集编码得到的视频在慢动作视频中的位置位于第四图像集编码得到
的视频在慢动作视频中的位置之前。

[0078] 承接前文所述，终端设备对1秒内的第一图像集经过时域滤波得到包含30帧图像的第三图像集，以及对0.25秒内的第二图像集经过插帧处理得到包含240帧图像的第四图
像集。终端设备以第二帧率(即30fps)分别对第三图像集和第四图像集进行编码，可以得到
9秒的慢动作视频。其中，在第1秒的慢动作视频内，主要对象在慢动作视频内的运动速率与
主要对象的实际运动速率相等。在第2秒至第9秒的慢动作视频内，主要对象在慢动作视频
内的运动速率小于主要对象的实际运动速率。

[0079] 本发明实施例在对终端设备采集的低帧率的图像集进行处理时，可以预测两个相邻帧的图像之间的中间帧图像，并将所述中间帧图像插入到两个相邻帧图像之间得到高帧
率的图像集。将高帧率的图像集进行编码输出后将得到放慢速率的慢动作视频。除此之外，
终端设备在进行插帧处理前，还另外对一个图像集进行时域滤波处理，将时域滤波处理后
的图像集进行编码得到速率不变的视频。从而，最终的慢动作视频包括速率不变的视频和
速率放慢的视频，具有速率变化的效果。并且，加权融合可以保证时域滤波得到视频的流畅
性。因此，通过本申请实施例的方案，可以通过普通的终端设备获得完整的、流畅的慢动作
视频。进而可以使得用户更自由的录制所需的慢动作视频，提高用户体验。

[0080] 参见上述图2所示的方法实施例的相关描述可知，图2所示的触发事件可以是基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体。为了有效区分拍摄视
角的改变和拍摄画面中存在的运动物体，可以采用运动矢量法计算多帧预览图像的像素点
的运动数据来确定画面中是否存在运动的物体。基于此，本申请实施例还提出了另一种视
频处理方法；参见图5所示，该视频处理方法可包括以下步骤S501‑S507：

[0081] S501，对拍摄画面内以第一帧率录制的原始图像采样得到第二帧率的多帧预览图像。

[0082] 在一个可行的实施方式中，终端设备进入预览模式后，终端设备可以对拍摄画面内以第一帧率录制的原始图像采样得到第二帧率的多帧预览图像。所谓的采样是指利用采
用频率对原始图像进行抽样得到需要进行运动检测的预览图像的方式。采样频率是根据第
一帧率和第二帧率的比值确定的。举例来说，第一帧率为240fps，第二帧率为30fps时，可以
根据第一帧率和第二帧率的比值确定采样频率为8，表明原始图像中每隔8帧需要选取一帧
作为预览图像，那么，终端设备在1秒内采集的240帧图像经过采样得到30帧图像，也就是说
通过采样将第一帧率录制的原始图像转换为第二帧率的多帧预览图像。

[0083] 在一个可行的实施方式中，第二帧率的多帧预览图像还可以通过终端设备的显示屏预览输出。

[0084] S502，采用运动矢量法计算多帧预览图像的各个像素点的运动数据。

[0085] 在一个可行的实施方式中，终端设备可以获取拍摄画面中的多帧预览图像的一个像素点，对一个像素点在多帧预览图像中的像素坐标进行矢量运算得到一个像素点的位移
矢量。

[0086] 其中，多帧预览图像可以是每两帧相邻的预览图像，也可以是连续n帧预览图像。终端设备可以基于块匹配算法从多帧预览图像中找到同一个像素点。举例来说，设多帧预
览图像为连续3帧预览图像，连续3帧预览图像分别为第n‑2帧预览图像、第n‑1帧预览图像
和第n帧预览图像。在第n帧预览图像中任选一个像素点A，然后根据块匹配算法在第n‑1帧
预览图像查找到与像素点A匹配度最高的像素点A1，以及在第n‑2帧预览图像查找到与像素
点A匹配度最高的像素点A2。获取像素点A，像素点A1和像素点A2的像素坐标，并对这三个像
素坐标进行矢量运算得到像素点A的位移矢量。

[0087] S503，根据多帧预览图像的各个像素点的运动数据判定拍摄画面中是否存在运动的物体。

[0088] 若拍摄视角发生了改变(例如用户手部抖动导致拍摄视角偏移)，拍摄画面内各个像素点的运动数据均相同。因此，在一个可行的实施方式中，当各个像素点的位移矢量相同
时，终端设备可以确定拍摄画面中不存在运动的物体。当各个像素点的位移矢量存在多个
值时，拍摄画面内的静止的物体和运动的物体的位移矢量不同，终端设备可以确定拍摄画
面中存在运动的物体。

[0089] 在一个可行的实施方式中，若终端设备确定拍摄画面中存在运动的物体时，则可以触发终端设备执行步骤S504。若终端设备确定拍摄画面中不存在运动的物体时，则终端
设备将重复执行步骤S502和步骤S503。承接步骤S502所述的示例，若第n帧预览图像中的各
个像素点的位移矢量均相同，则终端设备可以根据第n‑1帧预览图像、第n帧预览图像和第n
+1帧预览图像确定第n+1帧预览图像中的各个像素点的位移矢量。并根据第n+1帧预览图像
中的各个像素点的位移矢量判断拍摄画面中是否存在运动的物体。

[0090] S504，对拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第二图像集，第一时间段是第二时间段之前的时长。

[0091] S505，对第一图像集进行时域滤波，得到第二帧率的第三图像集；第二帧率小于所述第一帧率。

[0092] S506，对第二图像集进行插帧处理，得到第三帧率的第四图像集；第三帧率大于第一帧率；

[0093] S507，以第二帧率分别对第三图像集和第四图像集进行编码，获得慢动作视频。

[0094] 本发明实施例在对终端设备采集的低帧率的图像集进行处理时，可以预测两个相邻帧的图像之间的中间帧图像，并将所述中间帧图像插入到两个相邻帧图像之间得到高帧
率的图像集。将高帧率的图像集进行编码输出后将得到放慢速率的慢动作视频。以及，终端
设备在进行插帧处理前，还另外对一个图像集进行时域滤波处理，将时域滤波处理后的图
像集进行编码得到速率不变的视频。从而，最终的慢动作视频包括速率不变的视频和速率
放慢的视频，具有速率变化的效果。并且，加权融合可以保证时域滤波得到视频的流畅性。
因此，通过本申请实施例的方案，可以通过普通的终端设备获得完整的、流畅的慢动作视
频。除此之外，终端设备利用运动矢量算法计算多帧预览图像的像素点的运动数据来确定
画面中是否存在运动的物体。可以有效区分手部抖动导致的拍摄视角的改变和拍摄画面内
运动的物体，提高用户的录制体验。

[0095] 下面详细阐述本申请实施例提供的一种视频处理装置，图6为本申请实施例提供的一种视频处理装置的结构示意图。如图6所示，本实施例中所描述的装置，可以包括录制
单元601、时域滤波单元602、插帧处理单元603和编码单元604。

[0096] 录制单元601，用于当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像
集和第二时间段的第二图像集，所述第一时间段是所述第二时间段之前的时长；

[0097] 时域滤波单元602，用于对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

[0098] 插帧处理单元603，用于对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

[0099] 编码单元604，用于以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

[0100] 在一些可行的实施方式中，该装置还包括计算单元605，计算单元605用于对所述拍摄画面内以所述第一帧率录制的原始图像采样得到所述第二帧率的多帧预览图像；

[0101] 采用运动矢量法计算所述多帧预览图像的各个像素点的运动数据。

[0102] 在一些可行的实施方式中，计算单元605采用运动矢量法计算所述各个像素点的运动数据，包括：

[0103] 获取所述拍摄画面中的所述多帧预览图像的一个像素点；

[0104] 对所述一个像素点在所述多帧预览图像中的像素坐标进行矢量运算得到所述一个像素点的位移矢量。

[0105] 在一些可行的实施方式中，当所述各个像素点的位移矢量相同时，所述拍摄画面中不存在运动的物体；

[0106] 当所述各个像素点的位移矢量存在多个值时，所述拍摄画面中存在运动的物体。

[0107] 在一些可行的实施方式中，时域滤波单元602用于对所述第一图像集进行时域滤波，得到第二帧率的第三图像集，包括：

[0108] 根据连续采样参数对所述第一图像集进行连续采样得到多帧待融合的图像，所述连续采样参数包括连续采样频率和连续采样帧数，所述连续采样频率是根据所述第一帧率
和所述第二帧率确定的；

[0109] 对所述多帧待融合的图像以所述连续采样帧数进行融合得到所述第二帧率的第三图像集。

[0110] 在一些可行的实施方式中，插帧处理单元603用于对所述第二图像集进行插帧处理，得到第三帧率的第四图像集，包括：

[0111] 预测所述第二图像集中每两个相邻帧的图像之间的中间帧图像，所述中间帧图像的帧数是基于所述第一帧率和所述第三帧率确定的；

[0112] 针对每两个相邻帧的图像之间的中间帧图像，将所述中间帧图像插入到所述两个相邻帧的图像之间，获得所述第三帧率的第四图像集。

[0113] 在一些可行的实施方式中，该装置还包括配置单元606，用于配置录制参数，所述录制参数包括所述第一帧率、所述第二帧率和所述第三帧率。

[0114] 在本申请实施例中，录制单元601在当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时
间段的第一图像集和第二时间段的第二图像集，所述第一时间段是所述第二时间段之前的
时长；然后时域滤波单元602对所述第一图像集进行时域滤波，得到第二帧率的第三图像
集；所述第二帧率小于所述第一帧率；接着插帧处理单元603对所述第二图像集进行插帧处
理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；最后编码单元604以所
述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。本申请
实施例在对终端设备采集的低帧率的图像集进行处理时，可以预测两个相邻帧的图像之间
的中间帧图像，并将所述中间帧图像插入到两个相邻帧图像之间得到高帧率的图像集。将
高帧率的图像集进行编码输出后将得到放慢速率的慢动作视频。除此之外，终端设备在进
行插帧处理前，还另外对一个图像集进行时域滤波处理，将时域滤波处理后的图像集进行
编码得到速率不变的视频。从而，最终的慢动作视频包括速率不变的视频和速率放慢的视
频，具有速率变化的效果。并且，加权融合可以保证时域滤波得到视频的流畅性。因此，通过
本申请实施例的方案，可以通过普通的终端设备获得完整的、流畅的慢动作视频。

[0115] 可以理解的是，本实施例的各单元的功能可根据上述实施例图2或图5中的方法具体实现，其具体实现过程可以参照上述图2或图5的方法实施例的相关描述，此处不再赘述。

[0116] 请参见图7，图7为本申请实施例提供的一种终端设备的结构示意图。如图7所示的本实施例中的终端设备可以包括：处理器701和存储器702。上述处理器701、和存储器702通
过总线703连接。存储器702用于存储计算机程序，所述计算机程序包括程序指令，处理器
701用于执行存储器702存储的程序指令。

[0117] 在本申请实施例中，处理器701通过运行存储器702中的可执行程序代码，执行如下操作：

[0118] 当基于多帧预览图像的像素点的运动数据确定拍摄画面中存在运动的物体时，对所述拍摄画面以第一帧率进行录制，分别获得第一时间段的第一图像集和第二时间段的第
二图像集，所述第一时间段是所述第二时间段之前的时长；

[0119] 对所述第一图像集进行时域滤波，得到第二帧率的第三图像集；所述第二帧率小于所述第一帧率；

[0120] 对所述第二图像集进行插帧处理，得到第三帧率的第四图像集；所述第三帧率大于所述第一帧率；

[0121] 以所述第二帧率分别对所述第三图像集和所述第四图像集进行编码，获得慢动作视频。

[0122] 在一些可行的实施方式中，处理器701还用于：

[0123] 对所述拍摄画面内以所述第一帧率录制的原始图像采样得到所述第二帧率的多帧预览图像；

[0124] 采用运动矢量法计算所述多帧预览图像的各个像素点的运动数据。

[0125] 在一些可行的实施方式中，处理器701采用运动矢量法计算所述各个像素点的运动数据，包括：

[0126] 获取所述拍摄画面中的所述多帧预览图像的一个像素点；

[0127] 对所述一个像素点在所述多帧预览图像中的像素坐标进行矢量运算得到所述一个像素点的位移矢量。

[0128] 在一些可行的实施方式中，当所述各个像素点的位移矢量相同时，所述拍摄画面中不存在运动的物体；当所述各个像素点的位移矢量存在多个值时，所述拍摄画面中存在
运动的物体。

[0129] 在一些可行的实施方式中，处理器701对所述第一图像集进行时域滤波，得到第二帧率的第三图像集，包括：

[0130] 根据连续采样参数对所述第一图像集进行连续采样得到多帧待融合的图像，所述连续采样参数包括连续采样频率和连续采样帧数，所述连续采样频率是根据所述第一帧率
和所述第二帧率确定的；

[0131] 对所述多帧待融合的图像以所述连续采样帧数进行融合得到所述第二帧率的第三图像集。

[0132] 结合第一方面，在一些可行的实施方式中，处理器701对所述第二图像集进行插帧处理，得到第三帧率的第四图像集，包括：

[0133] 预测所述第二图像集中每两个相邻帧的图像之间的中间帧图像，所述中间帧图像的帧数是基于所述第一帧率和所述第三帧率确定的；

[0134] 针对每两个相邻帧的图像之间的中间帧图像，将所述中间帧图像插入到所述两个相邻帧的图像之间，获得所述第三帧率的第四图像集。

[0135] 在一些可行的实施方式中，处理器701还用于：

[0136] 配置录制参数，所述录制参数包括所述第一帧率、所述第二帧率和所述第三帧率。

[0137] 应当理解，在本申请实施例中，所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，该处理器701还可以是其他通用处理器、数字信号处理器(Digital 
Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，
ASIC)、现成可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑
器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处
理器也可以是任何常规的处理器等。

[0138] 该存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器，可以存储第一帧率、第二
帧率和第三帧率等。

[0139] 具体实现中，本申请实施例中所描述的处理器701和存储器702可执行本申请实施例图2或图5提供的一种视频处理方法的流程中所描述的实现方式，也可执行本申请实施例
提供图6的一种视频处理装置中所描述的实现方式，在此不再赘述。

[0140] 在本申请实施例中，在对终端设备采集的低帧率的图像集进行处理时，可以预测两个相邻帧的图像之间的中间帧图像，并将所述中间帧图像插入到两个相邻帧图像之间得
到高帧率的图像集。将高帧率的图像集进行编码输出后将得到放慢速率的慢动作视频。除
此之外，终端设备在进行插帧处理前，还另外对一个图像集进行时域滤波处理，将时域滤波
处理后的图像集进行编码得到速率不变的视频。从而，最终的慢动作视频包括速率不变的
视频和速率放慢的视频，具有速率变化的效果。并且，加权融合可以保证时域滤波得到视频
的流畅性。因此，通过本申请实施例的方案，可以通过普通的终端设备获得完整的、流畅的
慢动作视频。

[0141] 本申请实施例中还提供一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，可执行上述
视频处理方法实施例图2或图5中所执行的步骤。

[0142] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质
中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁
碟、光盘、只读存储记忆体(Read‑Only Memory，ROM)或随机存储记忆体(Random Access 
Memory，RAM)等。

[0143] 以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权
利要求所作的等同变化，仍属于申请所涵盖的范围。