延时摄影方法和装置

摘要

第一方面，本申请实施例提供一种延时摄影方法和装置，涉及终端技术领域，方法包括：终端设备显示第一界面；第一界面中包括第一控件，第一界面为录制延时摄影视频的界面；终端设备接收针对第一控件的第一操作；响应于第一操作，终端设备获取摄像头采集得到的预览流数据和拍照流数据；终端设备判断预览流数据是否属于高动态范围HDR场景；当终端设备确定预览流数据不属于HDR场景时，终端设备基于帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。这样，终端设备可以基于帧间内容的差异进行自适应采样，进而更好的体现出延时摄影拍摄过程中的精彩片段。

权利要求

1.一种延时摄影方法，其特征在于，所述方法包括：

终端设备显示第一界面；所述第一界面中包括第一控件，所述第一界面为录制延时摄影视频的界面；

所述终端设备接收针对所述第一控件的第一操作；

响应于所述第一操作，所述终端设备获取摄像头采集得到的预览流数据和拍照流数据；

所述终端设备对所述预览流数据进行多倍下采样，得到预览小图；

所述终端设备获取所述预览小图中的多帧预览数据；

所述终端设备基于所述多帧预览数据中的第一图像所占的比例，判断所述预览流数据是否属于HDR场景；其中，所述第一图像为高亮像素所占的比例超过第一阈值的图像，所述高亮像素为灰度值大于灰度阈值的像素点；

当所述终端设备确定所述预览流数据不属于所述HDR场景时，所述终端设备计算所述预览小图中的第一相邻帧的帧间变化程度；所述第一相邻帧包括第一帧和第二帧；

当所述第一相邻帧的帧间变化程度大于预设阈值时，所述终端设备抽取所述第二帧对应的预览流数据，得到采样处理后的预览流数据；

当所述第一相邻帧的帧间变化程度小于预设阈值时，所述终端设备按照固定采样率从所述预览流数据中抽取第一图像帧，得到采样处理后的预览流数据；

根据所述采样处理后的预览流数据生成包含多个所述第一图像帧的图像帧序列。

2.根据权利要求1所述的方法，其特征在于，所述根据所述采样处理后的预览流数据生成所述包含多个所述第一图像帧的图像帧序列，包括：所述终端设备对所述采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据；

所述终端设备对所述配准处理后的预览流数据进行亮度调整，生成所述包含多个所述第一图像帧的图像帧序列。

3.根据权利要求1所述的方法，其特征在于，所述帧间变化程度包括以下至少一种：所述第一相邻帧之间的像素点的变化数值，所述第一相邻帧之间的灰度值的变化数值，或者，所述第一相邻帧之间的灰度值的平均值的变化数值。

4.根据权利要求3所述的方法，其特征在于，所述终端设备对所述采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据，包括：所述终端设备获取所述采样处理后的预览流数据中的第二相邻帧；所述第二相邻帧包括第三帧和第四帧；

所述终端设备将所述第四帧对齐到所述第三帧，并裁剪掉所述第四帧中的无法对齐的区域，得到裁剪后的第四帧；

所述终端设备基于所述第三帧，对所述裁剪后的第四帧进行插值处理，得到所述配准处理后的预览流数据。

5.根据权利要求1所述的方法，其特征在于，还包括：

当所述终端设备确定所述预览流数据属于所述HDR场景时，所述终端设备对所述拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列。

6.根据权利要求5所述的方法，其特征在于，所述终端设备对所述拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列，包括：所述终端设备对所述拍照流数据进行图像融合处理，得到融合处理后的拍照流数据；

所述终端设备从所述融合处理后的拍照流数据中抽取所述第二图像帧，得到采样处理后的拍照流数据；

所述终端设备对所述到采样处理后的拍照流数据进行配准处理，得到所述包含多个第二图像帧的图像帧序列。

7.根据权利要求5所述的方法，其特征在于，所述终端设备对所述拍照流数据进行图像融合处理，得到融合处理后的拍照流数据，包括：所述终端设备将所述拍照流数据处理为所述预览流数据的画面大小对应的数据，得到画面大小处理后的拍照流数据；

当所述终端设备确定所述画面大小处理后的拍照流数据的画面亮度超过第一亮度阈值时，所述终端设备生成第一数据帧和第二数据帧；

所述终端设备融合所述第一数据帧和所述第二数据帧，得到所述融合处理后的拍照流数据。

8.根据权利要求7所述的方法，其特征在于，还包括：

当所述终端设备确定所述画面大小处理后的拍照流数据的画面亮度不超过第二亮度阈值时，所述终端设备生成所述第一数据帧和第三数据帧；所述第一亮度阈值大于所述第二亮度阈值；

所述终端设备融合所述第一数据帧以及所述第三数据帧，得到所述融合处理后的拍照流数据。

9.根据权利要求6所述的方法，其特征在于，所述终端设备对所述到采样处理后的拍照流数据进行配准处理，得到所述包含多个第二图像帧的图像帧序列，包括：所述终端设备获取所述采样处理后的拍照流数据中的第三相邻帧；所述第三相邻帧包括第五帧和第六帧；

所述终端设备将所述第六帧对齐到所述第五帧，并裁剪掉所述第六帧中的无法对齐的区域，得到裁剪后的第六帧；

所述终端设备基于所述第五帧，对所述裁剪后的第六帧进行插值处理，得到所述包含多个第二图像帧的图像帧序列。

10.根据权利要求5所述的方法，其特征在于，还包括：所述终端设备显示第二界面；所述第二界面中包括第二控件；

所述终端设备接收针对所述第二控件的第二操作；

响应于所述第二操作，所述终端设备将所述包含多个所述第一图像帧的图像帧序列，和/或，所述包含多个第二图像帧的图像帧序列编码为延时摄影视频。

11.根据权利要求1所述的方法，其特征在于，还包括：接收用户打开延时摄影视频文件的第三操作；

所述终端设备显示第三界面；所述第三界面中包括所述延时摄影文件，以及所述延时摄影文件对应的第一标识；所述第一标识用于指示所述延时摄影视频文件的视频类型。

12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1至11任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至11任一项所述的方法。

说明书

延时摄影方法和装置

技术领域

[0001] 本申请涉及终端技术领域，尤其涉及一种延时摄影方法和装置。

背景技术

[0002] 随着手机等终端设备的广泛使用，以及短视频等记录方式的普及，越来越多的用户开始通过视频的方式记录所见所闻。例如，用户可以利用终端设备中的延时摄影功能记录风景或事件等内容。其中，延时摄影(time‑lapse photography)可以理解为缩时摄影，是一种将时间压缩的技术，可以将几分钟、几小时甚至几天录制的影像合成为一段视频，在短时间内再现景物变化的过程。

[0003] 通常情况下，当录制速率确定后，终端设备可以在延时摄影时按照设置好的固定帧率进行采样，进而将采样后的数据帧合成为延时摄影的视频。

[0004] 然而，上述延时摄影方法，画面的细节丢失严重，无法捕捉到拍摄画面中的精彩瞬间，且无法获取画质较好的延时摄影视频。

发明内容

[0005] 本申请实施例提供一种延时摄影方法和装置，可以基于获取的帧间内容的差异进行自适应采样，进而更好的体现出延时摄影拍摄过程中的精彩片段。

[0006] 第一方面，本申请实施例提供一种延时摄影方法，方法包括：终端设备显示第一界面；第一界面中包括第一控件，第一界面为录制延时摄影视频的界面；终端设备接收针对第一控件的第一操作；响应于第一操作，终端设备获取摄像头采集得到的预览流数据和拍照流数据；终端设备判断预览流数据是否属于高动态范围HDR场景；当终端设备确定预览流数据不属于HDR场景时，终端设备基于帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。这样，终端设备可以基于帧间内容的差异进行自适应采样，进而更好的体现出延时摄影拍摄过程中的精彩片段。

[0007] 其中，该第一控件可以为用于开启延时摄影的控件；该第一操作可以点击操作或长按操作等；该预览流数据可以用于实现非HDR场景下生成延时摄影视频；该拍照流数据可以用于实现HDR场景下生成延时摄影视频；该HDR场景可以理解为基于预览小图获取的多帧数据中的HDR图像所占的比例超过第一阈值时对应的场景。

[0008] 在一种可能的实现方式中，终端设备判断预览流数据是否属于高动态范围HDR场景，包括：终端设备对预览流数据进行多倍下采样，得到预览小图；终端设备获取预览小图中的多帧预览数据；终端设备基于多帧预览数据中的第一图像所占的比例，判断预览流数据是否属于HDR场景；其中，第一图像为高亮像素所占的比例超过第一阈值的图像，高亮像素为灰度值大于灰度阈值的像素点。这样，终端设备可以通过预览小图判断当前是否为高动态场景，进而可以优化算法，减少计算时对于内存空间的占用。

[0009] 其中，该第一相邻帧可以为预览小图中的相邻帧。

[0010] 在一种可能的实现方式中，终端设备基于帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列，包括：终端设备计算预览小图中的第一相邻帧的帧间变化程度；第一相邻帧包括第一帧和第二帧；终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。这样，终端设备可以基于帧间变化程度进行自适应采样，进而更好的体现出拍摄过程中的精彩片段。

[0011] 在一种可能的实现方式中，终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列，包括：终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据；终端设备对采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据；终端设备对配准处理后的预览流数据进行亮度调整，生成包含多个第一图像帧的图像帧序列。
这样，终端设备可以基于采样处理、配准处理、以及亮度调整等处理过程，得到画面效果较好的延时摄影视频。

[0012] 在一种可能的实现方式中，终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据，包括：当帧间变化程度大于预设阈值时，终端设备抽取第二帧对应的预览流数据，得到采样处理后的预览流数据；或者，当帧间变化程度小于预设阈值时，终端设备按照固定采样率从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据。这样，终端设备可以基于帧间变化程度进行自适应采样，进而更好的体现出拍摄过程中的精彩片段。

[0013] 其中，预览小图中的多帧数据与多帧预览流数据相对应，该第二帧对应的预览流数据可以理解为，预览小图的第一相邻帧中的帧间变化程度大于预设阈值时，多帧预览流数据中的与该第一相邻帧中的第二帧图像对应的预览流数据。

[0014] 在一种可能的实现方式中，帧间变化程度包括以下至少一种：第一相邻帧之间的像素点的变化数值，第一相邻帧之间的灰度值的变化数值，或者，第一相邻帧之间的灰度值的平均值的变化数值。

[0015] 在一种可能的实现方式中，终端设备对采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据，包括：终端设备获取采样处理后的预览流数据中的第二相邻帧；第二相邻帧包括第三帧和第四帧；终端设备将第四帧对齐到第三帧，并裁剪掉第四帧中的无法对齐的区域，得到裁剪后的第四帧；终端设备基于第三帧，对裁剪后的第四帧进行插值处理，得到配准处理后的预览流数据。这样，即使可能存在终端设备抖动等情况，使得视频播放时画面跳动过大，终端设备也可以基于配准处理，保证延时摄影中画面的流畅。

[0016] 其中，该第三帧可以理解为参考帧，该第四帧可以理解为配准帧，该插值处理可以理解为利用插值算法将裁剪后的第四帧恢复到第三帧对应的画面大小。

[0017] 在一种可能的实现方式中，还包括：当终端设备确定预览流数据属于HDR场景时，终端设备对拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列。这样，在延时摄影中引入HDR，并基于对HDR图像的处理，在延时摄影中可以展现更真实的画面，进而得到更好的延时摄影视频效果。

[0018] 在一种可能的实现方式中，终端设备对拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列，包括：终端设备对拍照流数据进行图像融合处理，得到融合处理后的拍照流数据；终端设备从融合处理后的拍照流数据中抽取第二图像帧，得到采样处理后的拍照流数据；终端设备对到采样处理后的拍照流数据进行配准处理，得到包含多个第二图像帧的图像帧序列。这样，在高动态场景下采用固定间隔采样的方法进行采样处理，可以简化高动态场景中的算法的复杂度。

[0019] 在一种可能的实现方式中，终端设备对拍照流数据进行图像融合处理，得到融合处理后的拍照流数据，包括：终端设备将拍照流数据处理为预览流数据的画面大小对应的数据，得到画面大小处理后的拍照流数据；当终端设备确定画面大小处理后的拍照流数据的画面亮度超过第一亮度阈值时，终端设备生成第一数据帧和第二数据帧；终端设备融合第一数据帧和第二数据帧，得到融合处理后的拍照流数据。这样，终端设备可以基于画面亮度的不同，下发不同的两帧图像，并基于两帧数据的融合，生成画面效果较好的图像帧，进而在延时摄影中可以展现更真实的画面，得到更好的延时摄影视频效果。

[0020] 在一种可能的实现方式中，还包括：当终端设备确定画面大小处理后的拍照流数据的画面亮度不超过第二亮度阈值时，终端设备生成第一数据帧和第三数据帧；第一亮度阈值大于第二亮度阈值；终端设备融合第一数据帧以及第三数据帧，得到融合处理后的拍照流数据。这样，终端设备可以基于画面亮度的不同，下发不同的两帧图像，并基于两帧数据的融合，生成画面效果较好的图像帧，进而在延时摄影中可以展现更真实的画面，得到更好的延时摄影视频效果。

[0021] 在一种可能的实现方式中，终端设备对到采样处理后的拍照流数据进行配准处理，得到包含多个第二图像帧的图像帧序列，包括：终端设备获取采样处理后的拍照流数据中的第三相邻帧；第三相邻帧包括第五帧和第六帧；终端设备将第六帧对齐到第五帧，并裁剪掉第六帧中的无法对齐的区域，得到裁剪后的第六帧；终端设备基于第五帧，对裁剪后的第六帧进行插值处理，得到包含多个第二图像帧的图像帧序列。这样，即使可能存在终端设备抖动等情况，使得视频播放时画面跳动过大，终端设备也可以基于配准处理，保证延时摄影中画面的流畅。

[0022] 本申请实施例中，该第五帧可以理解为参考帧，该第六帧可以理解为配准帧，该插值处理可以理解为利用插值算法将裁剪后的第六帧恢复到第五帧对应的画面大小。

[0023] 在一种可能的实现方式中，还包括：终端设备显示第二界面；第二界面中包括第二控件；终端设备接收针对第二控件的第二操作；响应于第二操作，终端设备将包含多个第一图像帧的图像帧序列，和/或，包含多个第二图像帧的图像帧序列编码为延时摄影视频。

[0024] 其中，该第二控件可以为用于停止延时摄影的控件；该第二操作可以为点击操作、或长按操作等。

[0025] 在一种可能的实现方式中，还包括：接收用户打开延时摄影视频文件的第三操作；终端设备显示第三界面；第三界面中包括延时摄影文件，以及延时摄影文件对应的第一标识；第一标识用于指示延时摄影视频文件的视频类型。这样，终端设备可以提供用于辨识视频是否经过高动态场景下的处理的标识，进而用户可以清晰的确定多个视频中哪个视频是基于高动态场景的处理得到的。

[0026] 其中，第三操作以为点击操作、或长按操作等；该第三界面可以为如图所示的界面，该第一标识可以为高动态场景的HDR标识。

[0027] 第二方面，本申请实施例提供一种延时摄影装置，装置包括：显示单元，用于显示第一界面；第一界面中包括第一控件，第一界面为录制延时摄影视频的界面；处理单元，用于接收针对第一控件的第一操作；响应于第一操作，处理单元，还用于获取摄像头采集得到的预览流数据和拍照流数据；处理单元，还用于判断预览流数据是否属于高动态范围HDR场景；当终端设备确定预览流数据不属于HDR场景时，处理单元，还用于基于帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。

[0028] 在一种可能的实现方式中，处理单元，具体用于对预览流数据进行多倍下采样，得到预览小图；处理单元，还具体用于获取预览小图中的多帧预览数据；处理单元，还具体用于基于多帧预览数据中的第一图像所占的比例，判断预览流数据是否属于HDR场景；其中，第一图像为高亮像素所占的比例超过第一阈值的图像，高亮像素为灰度值大于灰度阈值的像素点。

[0029] 在一种可能的实现方式中，处理单元，具体用于计算预览小图中的第一相邻帧的帧间变化程度；第一相邻帧包括第一帧和第二帧；处理单元，还具体用于基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。

[0030] 在一种可能的实现方式中，处理单元，具体用于基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据；处理单元，还具体用于对采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据；处理单元，还具体用于对配准处理后的预览流数据进行亮度调整，生成包含多个第一图像帧的图像帧序列。

[0031] 在一种可能的实现方式中，当帧间变化程度大于预设阈值时，处理单元，具体用于抽取第二帧对应的预览流数据，得到采样处理后的预览流数据；或者，当帧间变化程度小于预设阈值时，处理单元，还具体用于按照固定采样率从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据。

[0032] 在一种可能的实现方式中，帧间变化程度包括以下至少一种：第一相邻帧之间的像素点的变化数值，第一相邻帧之间的灰度值的变化数值，或者，第一相邻帧之间的灰度值的平均值的变化数值。

[0033] 在一种可能的实现方式中，处理单元，具体用于获取采样处理后的预览流数据中的第二相邻帧；第二相邻帧包括第三帧和第四帧；处理单元，还具体用于将第四帧对齐到第三帧，并裁剪掉第四帧中的无法对齐的区域，得到裁剪后的第四帧；处理单元，还具体用于基于第三帧，对裁剪后的第四帧进行插值处理，得到配准处理后的预览流数据。

[0034] 在一种可能的实现方式中，当终端设备确定预览流数据属于HDR场景时，处理单元，还用于对拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列。

[0035] 在一种可能的实现方式中，处理单元，具体用于对拍照流数据进行图像融合处理，得到融合处理后的拍照流数据；处理单元，还具体用于

[0036] 从融合处理后的拍照流数据中抽取第二图像帧，得到采样处理后的拍照流数据；处理单元，还具体用于对到采样处理后的拍照流数据进行配准处理，得到包含多个第二图像帧的图像帧序列。

[0037] 在一种可能的实现方式中，处理单元，具体用于将拍照流数据处理为预览流数据的画面大小对应的数据，得到画面大小处理后的拍照流数据；当终端设备确定画面大小处理后的拍照流数据的画面亮度超过第一亮度阈值时，处理单元，具体用于生成第一数据帧和第二数据帧；处理单元，具体用于融合第一数据帧和第二数据帧，得到融合处理后的拍照流数据。

[0038] 在一种可能的实现方式中，当终端设备确定画面大小处理后的拍照流数据的画面亮度不超过第二亮度阈值时，处理单元，还用于生成第一数据帧和第三数据帧；第一亮度阈值大于第二亮度阈值；处理单元，还用于融合第一数据帧以及第三数据帧，得到融合处理后的拍照流数据。

[0039] 在一种可能的实现方式中，处理单元，具体用于获取采样处理后的拍照流数据中的第三相邻帧；第三相邻帧包括第五帧和第六帧；处理单元，还具体用于将第六帧对齐到第五帧，并裁剪掉第六帧中的无法对齐的区域，得到裁剪后的第六帧；处理单元，还具体用于基于第五帧，对裁剪后的第六帧进行插值处理，得到包含多个第二图像帧的图像帧序列。

[0040] 在一种可能的实现方式中，显示单元，还用于显示第二界面；第二界面中包括第二控件；处理单元，还用于接收针对第二控件的第二操作；响应于第二操作，处理单元，还用于将包含多个第一图像帧的图像帧序列，和/或，包含多个第二图像帧的图像帧序列编码为延时摄影视频。

[0041] 在一种可能的实现方式中，处理单元，还用于接收用户打开延时摄影视频文件的第三操作；显示单元，还用于终端设备显示第三界面；第三界面中包括延时摄影文件，以及延时摄影文件对应的第一标识；第一标识用于指示延时摄影视频文件的视频类型。

[0042] 第三方面，本申请实施例提供一种延时摄影装置，包括处理器和存储器，存储器用于存储代码指令；处理器用于运行代码指令，使得电子设备以执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

[0043] 第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有指令，当指令被执行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

[0044] 第五方面，一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面的任一种实现方式中描述的延时摄影方法。

[0045] 应当理解的是，本申请的第三方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

[0046] 图1为本申请实施例提供的一种场景示意图；

[0047] 图2为本申请实施例提供的一种终端设备的结构示意图；

[0048] 图3为本申请实施例提供的一种拍摄原理示意图；

[0049] 图4为本申请实施例提供的一种延时摄影方法的流程示意图；

[0050] 图5为本申请实施例提供的一种界面示意图；

[0051] 图6为本申请实施例提供的一种自适应采样的原理示意图；

[0052] 图7为本申请实施例提供的一种固定间隔采样的原理示意图；

[0053] 图8为本申请实施例提供的另一种自适应采样的原理示意图；

[0054] 图9为本申请实施例提供的一种相邻帧图像配准和平滑的原理示意图；

[0055] 图10为本申请实施例提供的另一种界面示意图；

[0056] 图11为本申请实施例提供的另一种延时摄影方法的流程示意图；

[0057] 图12为本申请实施例提供的一种延时摄影装置的结构示意图；

[0058] 图13为本申请实施例提供的一种控制设备的硬件结构示意图；

[0059] 图14为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

[0060] 为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

[0061] 需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

[0062] 本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

[0063] 随着手机等终端设备的广泛使用，以及短视频等记录方式的普及，越来越多的用户开始通过视频的方式记录所见所闻。例如，用户可以利用终端设备中的延时摄影功能记录风景或事件等内容。

[0064] 示例性的，图1为本申请实施例提供的一种场景示意图。如图1所示，该场景中可以包括具有延时摄影功能的终端设备101，例如该终端设备101可以为手机等，以及用户利用终端设备101拍摄的画面102，例如该画面102中可以包括昙花。

[0065] 通常情况下，当终端设备接收到用户触发开启延迟摄影的控件的操作时，终端设备可以获取基于摄像头采集到画面102的预览流数据，并对预览流数据进行固定间隔采样(或称固定帧率采样)，例如若终端设备在每120帧的图像中提取一帧保存，则采样率为1/120(或也可以理解为抽帧间隔为120x)，或者按照帧率为30帧/秒(fps)计算，则采样间隔时间为4秒；进一步的，终端设备可以将采样得到的数据帧保存下来并依次播放，达到快速播放的目的。其中，该采样率可以由用户在终端设备中设置，例如终端设备可以提供不同的采样率，进而用户可以根据利用延时摄影记录的场景的不同，设置相应的采样率。例如，当用户利用延时摄影记录日出或日落等场景时，则可以将采样率设置为1/15等；当用户利用延时摄影记录昙花一现的场景时，则可以将采样率设置为1/120或1/600等；当用户利用延时摄影记录白昼交替的场景时，则可以将采样率设置为1/1000等。其中，通常情况下，终端设备可以支持15x‑1800x之间内的抽帧间隔，即终端设备可以支持15x‑1800x的拍摄速率。

[0066] 然而，在上述基于固定间隔采样的延时摄影中，由于固定间隔采样无法照顾到拍摄中的不同画面内容，因此无法很好的在延时摄影中体现场景的变化，导致画面的纵深感及动态感并不强烈，从而影响最终延时摄影的拍摄效果。并且，该固定间隔采样可能会导致采样后存储下来的两帧之间的内容差异较大，从而在画面播放的时候存在较大的跳动感，例如当画面中存在运动幅度较大的场景，如树枝随着风吹动等，或者，当用户没有使用到三脚架，而是手持终端设备进行拍摄，拍摄的画面中可能存在较大抖动，这种运动幅度较大或抖动等场景可以进一步加剧播放视频时画面的抖动感。

[0067] 另外，由于上述延时摄影方法是终端设备基于预览流数据的处理得到的，而在预览流数据上针对画面的动态范围调整程度一般都比较弱，拍摄的画面常存在亮度过暗或者过曝的区域，画面的动态范围低，无法很好的展现用户拍摄时所见的画面，从而影响最终的视频拍摄效果。

[0068] 有鉴于此，本申请实施例提供一种延时摄影方法，终端设备可以基于获取的预览流数据中的帧间的差异进行自适应采样，进而更好的体现出拍摄过程中的精彩片段；并且，在延时摄影中引入高动态范围(high dynamic range，HDR)处理算法，通过HDR算法的处理，终端设备可以在延时摄影中展现更真实的画面，进而得到更好的延时摄影拍摄效果。

[0069] 可以理解的是，上述终端设备也可以称为终端，(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以为具有延时摄影功能等的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self‑driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请实施例中对终端设备所采用的具体技术和具体设备形态不做限定。

[0070] 因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

[0071] 终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。
其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

[0072] 可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

[0073] 处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

[0074] USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

[0075] 充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

[0076] 终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

[0077] 天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

[0078] 移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

[0079] 无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi‑Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)等无线通信的解决方案。

[0080] 终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

[0081] 显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

[0082] 终端设备可以通过图像信号处理器(image signal processor，ISP)，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

[0083] ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

[0084] 摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。摄像头193可以为前置摄像头也可以为后置摄像头。本申请实施例中，终端设备可以基于摄像头193得到预览流数据，并基于对上述预览流数据的自适应采样等处理，得到延时摄影。

[0085] 示例性的，图3为本申请实施例提供的一种拍摄原理示意图。如图3所示，摄像头193可以包括镜头(lens)和感光元件(sensor)，该感光元件可以为电荷耦合元件(charge‑coupled device，CCD)或者互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)等任意感光器件。

[0086] 如图3所示，在拍摄过程中，被拍摄物体的反射光线经过镜头可以生成光学图像，该光学图像投射到感光元件上，感光元件将接收到的光学图像对应的光信号转换为电信号，进而，摄像头193可以将得到的电信号发送至数字信号处理(digital signal processing，DSP)模块进行数字信号处理，最终得到一帧数字图像。

[0087] 类似的，在录制视频的过程中，DSP可按照上述拍摄原理得到连续的多帧的数字图像，该连续的多帧数字图像按照一定帧率编码后可形成一段视频。由于人类眼睛的特殊生理结构，当所看画面的帧率高于16fps时，人眼就会认为是看到的画面是连贯的，此现象可称为视觉停留。为了保证用户观看视频的连贯性，终端设备可按照一定帧率(例如24fps或30fps)对DSP输出的多帧数字图像进行编码。例如，如果DSP通过摄像头193采集到300帧数字图像，则终端设备可按照30fps的预设帧率，将该300帧数字图像编码为一段10秒(300帧/
30fps＝10)的视频。

[0088] 其中，DSP输出的一帧或多帧数字图像可通过显示屏194在终端设备上输出，也可以将该数字图像存储在内部存储器121(或外部存储器120)中，本申请实施例对此不做任何限制。

[0089] 数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

[0090] 视频编解码器用于对数字视频压缩或解压缩。终端设备可以支持一种或多种视频编解码器。这样，终端设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

[0091] NPU为神经网络(neural‑network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

[0092] 外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

[0093] 内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

[0094] 终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

[0095] 音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器
170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

[0096] 压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定终端设备的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测终端设备在各个方向上(一般为三轴)加速度的大小。距离传感器180F，用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。
环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。骨传导传感器180M可以获取振动信号。

[0097] 按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

[0098] 终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

[0099] 下面对本申请实施例中所描述的词汇进行说明。可以理解，该说明是为更加清楚的解释本申请实施例，并不必然构成对本申请实施例的限定。

[0100] 本申请实施例所描述的延时摄影可以理解为：缩时摄影或缩时录影，是一种可将时间压缩的拍摄技术，该延时摄影可以在短时间内再现景物缓慢变化的过程。本申请实施例中，当终端设备接收到用户开启延时摄影功能的操作时，终端设备可以开始采集摄像头捕捉到的每一帧拍摄画面。并且，终端设备可按照一定的抽帧频率从摄像头捕捉到的N(N＞1)帧拍摄画面中抽取M(M＜N)帧拍摄画面作为本次延时摄影的延时摄影视频。后续，当终端设备接收到用户打开该延时摄影视频的操作时，终端设备可以按照一定的帧率播放抽取到的上述M帧拍摄画面，从而通过这M帧拍摄画面重现终端设备实际拍摄的N帧拍摄画面中的景物变化。

[0101] 本申请实施例所描述的预览流数据可以理解为：基于终端设备的摄像头实时采集到的预览数据。本申请实施例中，当终端设备接收到用户开启与拍照或录像等相关的应用程序的操作时，终端设备可以采集摄像头捕捉到的每一帧画面，并实时显示在该应用程序的界面中，该界面中呈现的预览数据可以为预览流数据。

[0102] 本申请实施例所描述的拍照流数据可以理解为：基于终端设备中的拍照控件获取数据，并对该数据进行相关处理得到的拍照数据。本申请实施例中，当终端设备接收到用户触发延时摄影对应的控件的操作时，终端设备可以获取高动态场景下的经过多帧处理得到的拍照流数据，并将该拍照流数据转化为预览流数据。

[0103] 下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

[0104] 示例性的，用户可以手持终端设备，并利用终端设备中的延时摄影功能记录昙花开花的过程。在拍摄过程中，即使可能出现由于用户手持不稳导致终端设备抖动，或者，画面中突然闪入其他对象等影响拍摄的状况，终端设备也可以基于本申请实施例提供的延时摄影方法，输出能够完整记录昙花开花过程的延时摄影视频。

[0105] 示例性的，图4为本申请实施例提供的一种延时摄影方法的流程示意图。如图4所示，该延时摄影方法可以包括如下步骤：

[0106] S401、终端设备开始延时摄影。

[0107] 示例性的，图5为本申请实施例提供的一种界面示意图。在图5对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

[0108] 当手机接收到用户打开延时摄影功能对应的操作时，手机可以显示如图5中的a所示的界面，该界面中包括开启延时摄影控件501、用于调节画面放大倍速的控件502、用于翻转摄像头的控件503以及打开图库控件等，该界面中还可以显示基于摄像头实时采集到的画面，例如拍摄画面504，该拍照画面504中可以包括昙花。

[0109] 当手机接收到用户在如图5中的a所示的界面中，触发该开启延时摄影控件501的操作时，手机可以显示如图5中的b所示的界面。该界面中包括拍摄时长信息505，以及停止延时摄影控件506等，该界面中还可以显示基于摄像头实时采集到的画面，例如拍摄画面507，该拍照画面507中可以包括昙花。其中，该拍摄时长信息505可以显示：00:15/00:01，可以理解为当手机拍摄15秒的视频画面时，对应的延时摄影的时长可以为1秒。其中，该15秒可以理解为实际拍摄的视频时长，1秒可以理解为抽帧后生成的延时摄影的视频时长。进而，手机可以按照帧率采集每一帧拍摄画面。例如当帧率为30fps时，手机可以在每秒内采集30帧拍摄画面，随着录制时间的推移，手机采集到的拍摄画面的帧数逐渐积累，进一步的，手机可以根据采样率从采集到的拍摄画面中抽取出多帧拍摄画面，形成延时摄影视频。
示例性的，如图5中的b所示，此时的采样率为1/15，手机在每秒内采集30帧拍摄画面，抽帧后每秒内抽取2帧拍摄画面，实际拍摄15秒后，生成一段包括30帧画面的延时摄影视频，此时延时摄影的视频时长为1秒。

[0110] 可以理解的是，在终端设备基于固定采样率进行采样时，则可以显示如图5中的b所示的实际录制时长与抽帧后生成的延时摄影的视频时长；在终端设备基于自适应采样时，可能增加采样帧，进而使得录制时长和视频时长的倍数与基于固定采样时的倍数不同。

[0111] S402、手机判断当前是否为HDR场景。

[0112] 本申请实施例中，当终端设备确定当前不是HDR场景时，则终端设备可以执行S403所示的步骤；或者，当终端设备确定当前为HDR场景时，则可终端设备以执行S407所示的步骤。

[0113] 示例性的，终端设备判断当前是否为HDR场景的一种可能的实现可以为：终端设备对预览流数据进行4倍下采样得到预览小图，并确定该预览小图中的高亮像素的个数占该预览小图中的所有像素个数的比例是否大于预设的像素阈值。其中，该预览小图可以为基于预览流数据对应的画面中的，每两行像素点中保留一行像素点，得到的每一行像素点隔列存储得到，该高亮像素可以为基于像素点的灰度阈值确定的，该像素阈值可以用于确定当前场景是否为高动态场景。其中，终端设备可以基于一帧数据，或者多帧数据，判断当前是否为高动态场景。

[0114] 以基于多帧数据判断当前是否为高动态场景为例，终端设备可以取预览小图中的多帧数据，当该多帧数据中的高亮像素的个数占该多帧数据中的所有像素个数的比例大于(或大于等于)设定的像素个数阈值，或高亮像素大于像素阈值的像素个数占所有多帧数据的比例大于(或大于等于)预设的比例阈值时，则终端设备可以确定当前该多帧数据对应的场景为高动态场景；或者，当终端设备确定多帧数据中的高亮像素的个数占该多帧数据中的所有像素个数的比例小于等于(或小于)该像素阈值时，或高亮像素大于像素阈值的像素个数占所有多帧数据的比例小于(或小于等于)预设的比例阈值时，则终端设备可以确定当前该预览小图对应的场景为普通场景。

[0115] 例如，当终端设备拍摄室外等光线明亮的场景，例如日出、日落或午后等场景时，该场景可以理解为HDR场景。通常情况下，终端设备可以获取该场景对应的预览流数据和拍照流数据，当进行照片拍摄时，终端设备可以生成两帧图像、并进行两帧图像融合等操作，使得经过上述处理得到HDR图像的画面效果更好；而进行延时摄影时，存储的数据帧是对预览流数据的间隔采样，对于画面中存在过暗或过暗等情况的预览流数据来说，如果未经过处理就直接存储，的那么预览流数据中很难包含更多的图像细节。本申请实施例中，基于预览流数据判断当前是否为高动态场景，如果判断结果为高动态场景，终端设备可以采用HDR算法对拍照流进行处理，进而得到更能反映出真实环境中的视觉效果的延时摄影视频文件。

[0116] S403、终端设备获取预览流数据帧间的差值。

[0117] 本申请实施例中，该预览小图的相邻帧之间的差值(或也可以称为帧间的变化程度，或者画面内容变化程度)可以理解为：该预览小图中的相邻帧之间的像素点的变化数值，该相邻帧之间的灰度值的变化数值，或者相邻帧之间的灰度值的均值的差值等。以利用终端设备拍摄昙花的开花过程为例，拍摄得到的预览小图的相邻帧间的差值较大时，则可以理解为该昙花的花瓣处于正在开放的过程中；当该预览小图的相邻帧间的差值较小时，则可以理解为该昙花还没有进入到开放过程，在一定时间内，昙花花瓣的变化程度较小。

[0118] 可以理解的是，确定预览流数据帧间的差值的方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

[0119] S404、终端设备对预览流数据进行自适应采样。

[0120] 本申请实施例中，该自适应采样可以理解为：根据预览小图中的相邻帧之间的变化程度的大小进行合理的采样，例如当该相邻帧间的变化程度大于预设阈值时，则可以取该相邻帧中的第二帧对应的预览流数据。

[0121] 示例性的，以帧间的像素点的变化数值作为衡量该帧间的变化程度的参数为例进行示例说明，当预览小图中的帧间像素点的变化数值大于预设阈值时，则终端设备需要对该预览小图对应的预览流数据进行自适应采样，采样的时间间隔适应减少；当预览小图中的帧间像素点的变化数值小于该预设阈值时，则终端设备可以不对该预览小图对应的预览流数据进行采样，采样的时间间隔适应增大，以减少重复画面的录入；其中，当该预览小图中的帧间像素点的变化数值持续小于该预设阈值时，则为了保证数据时长获取的充分性，终端设备则可以对该预览小图的固定帧处对应的预览流处进行强制采样，进而得到自适应采样的采样序列。例如，可以在帧间像素点的变化数值持续小于预设阈值的1/50或1/60等处进行采样。

[0122] 示例性的，图6为本申请实施例提供的一种自适应采样的原理示意图。在图6对应的实施例中，终端设备可以基于延时摄影功能拍摄得到昙花开花过程的视频。例如，在20:00左右‑23:00左右，终端设备可以拍摄得到如图6中的a所示的呈花骨朵状的昙花，由于在此阶段相邻帧的变化程度较小，例如可以持续小于预设阈值，因此终端设备可以基于固定的采样率进行较大间隔数据采样。例如采样率可取的范围可以为1/600‑1/300之间。

[0123] 在23:00左右‑01:00左右，终端设备可以拍摄得到如图6中的b所示的花瓣略微开放的昙花，由于在此阶段相邻帧的变化程度比上述20:00左右‑23:00左右的变化程度稍大，例如可能存在多次相邻帧的变化程度大于预设阈值的情况，因此终端设备可以在相邻帧的变化程度多次大于预设阈值时进行多次采样。可以理解的是，由于在相邻帧的变化程度多次大于预设阈值时进行多次采样，使得在此时间段内的平均采样率可以大于上述在20:00左右‑23:00左右时的采样率1/600‑1/300，例如此时的采样率可以为1/150。

[0124] 在02:00左右，终端设备可以拍摄得到如图6中的c所示的花瓣较为开放的昙花，在2:30左右，终端设备可以拍摄得到如图6中的d所示的花瓣完全开放的昙花。由于在01:00左右‑03:00左右为昙花集中开放的时间，在此阶段相邻帧的变化程度最大，例如可能存在各相邻帧的变化程度均大于预设阈值的情况，因此终端设备可以在此时间段内的每一帧进行采样，以保证能够记录昙花开放过程的精彩画面。

[0125] 在04:00左右，终端设备可以拍摄得到如图6中的e所示的花瓣收起的昙花，由于在此阶段相邻帧的变化程度相比于上述01:00左右‑03:00左右的相邻帧的变化程度小，例如可能存在多次相邻帧的变化程度大于预设阈值的情况，因此终端设备可以在相邻帧的变化程度大于预设阈值时进行采样。在05:00左右‑19:00左右，终端设备可以拍摄得到如图6中的f所示的花瓣完全收起，且呈花骨朵状的昙花，由于在此阶段，相邻帧的变化程度较小，例如可以持续小于预设阈值，因此终端设备可以基于固定的采样率进行较大间隔数据采样。例如采样率可取的范围可以为1/600‑1/300之间。

[0126] 示例性的，下面通过固定间隔采样(如图7对应的实施例)以及自适应采样(如图8对应的实施例)的对比，进行示例说明。

[0127] 图7为本申请实施例提供的一种固定间隔采样的原理示意图。如图7所示，图7中可以包括坐标轴，以及该坐标轴中的不同采样点处的拍摄画面。其中，该坐标轴的横轴可以为时间轴，该坐标轴的纵轴可以为帧间变化程度。其中，如图7所示，该纵轴中的柱子的高度用于表示帧间变化程度，且柱子的数量仅作为一种示例，并不能表示由实际的帧数得到的帧间变化程度的数量，因此在基于帧间变化程度进行采样时，则可以采集该帧间变化程度对应的两帧中的第二帧对应的预览流数据。

[0128] 如图7所示，以01:30‑02:30之间拍摄昙花盛开的过程为例，若终端设备在延时摄影中采用固定间隔采样，例如可以在01:30‑02:30之间每20秒采样1次，以采样率为1/600为例进行说明。如在01:30:00(或称为01:30)左右、01:30:20左右(图中未示出)、01:30:40左右(图中未示出)、01:31:00(或称为01:31)左右、01:31:20(图中未示出)左右、01:31:40左右(图中未示出)、01:32:00(或称为01:32)左右、01:32:20(图中未示出)左右、01:32:40左右(图中未示出)、01:33:00(或称为01:33)左右、01:33:20(图中未示出)左右、01:35:00(或称为01:35)、01:40:00(或称为01:40)、01:45:00(或称为01:45)、01:50:00(或称为01:50)、01:55:00(或称为01:55)、02:00:00(或称为02:00)、02:05:00(或称为02:05)、02:10:00(或称为02:10)、02:15:00(或称为02:15)、02:20:00(或称为02:20)、02:25:00(或称为02:25)、
02:30:00(或称为02:30)等处进行采样。可以理解的是，如图7所示，在01:30‑02:30之间每
20秒采集1帧画面，60分钟可以采集180帧画面，以帧率为30fps，则采集180帧画面的延时摄影时长为6分钟。

[0129] 其中，终端设备可以在01:30左右‑01:40左右处采集到如图7中的a所示的画面；在01:40:20左右‑01:55左右采集到如图7中的b所示的画面；在01:55:20左右‑02:00左右采集到如图7中的c所示的画面；在02:00:20左右‑02:10左右处采集到如图7中的d所示的画面；
并且在02:10:20左右‑02:30左右处采集到如图7中的e所示的画面等。

[0130] 可以理解的是，如图7所示，基于固定间隔采样虽然可以记录到昙花盛开的过程，但对于01:55:20左右‑02:00:20左右昙花集中盛开的画面则记录的比较少，甚至难以记录到例如01:58:25等时间点处最精彩的画面。而结合01:30左右‑02:30左右的整个拍摄过程来看，终端设备采集到的昙花盛开时的画面较少，而采集到的昙花处于未开花时的画面较多，因此，终端设备难以基于固定帧率采样得到包含精彩画面的延时摄影视频。

[0131] 图8为本申请实施例提供的另一种自适应采样的原理示意图。如图8所示，图8中可以包括坐标轴，用于指示帧间变化程度对应的预设阈值的虚线801，以及该坐标轴中的不同采样点处的拍摄画面。其中，该坐标轴的横轴可以为时间轴，该坐标轴的纵轴可以为帧间变化程度。其中，如图8所示，该纵轴中的柱子的高度用于表示帧间变化程度，且柱子的数量仅作为一种示例，并不能表示由实际的帧数得到的帧间变化程度的数量，因此在基于帧间变化程度进行采样时，则可以采集该帧间变化程度对应的两帧中的第二帧对应的预览流数据。

[0132] 如图8所示，以01:30‑02:30之间拍摄昙花盛开的过程为例，终端设备可以在01:30:00左右‑01:45左右，帧间变换程度持续小于预设阈值时，基于固定采样率，如1/600，01:
30:00左右‑01:50:00左右处每隔20秒采样1次，例如采集到如图8中的a所示的画面。

[0133] 在01:50:15左右处帧间变换程度大于预设阈值时进行采样，例如采集到如图8中的b所示的画面，其中，该01:50:15处原本不应该采样，但由于该处的帧间变化程度大于预设阈值，则可以增加一次额外的采样，进而终端设备可以将变化程度较大的画面记录下来。

[0134] 在01:50:35左右‑01:55:00左右，帧间变换程度持续小于预设阈值时，基于固定采样率，如1/600，在01:50:35左右‑01:55:00左右每隔20秒采样1次，例如采集到如图8中的b所示的画面。

[0135] 在01:55:05左右‑02:08:00左右，帧间变换程度持续大于预设阈值时进行多次采样，例如在01:55:05左右‑02:00:00左右可以采集到如图8中的c所示的画面，在02:00:00左右‑02:08:00左右采集到如图8中的d所示的画面、以及其他精彩画面(图8中未示出)等。

[0136] 在02:08:20左右‑02:10:00左右，帧间变换程度持续小于预设阈值时，基于固定采样率，如1/600，在02:08:20左右‑02:10:00左右每隔20秒采样1次，例如采集到如图8中的d所示的画面。

[0137] 在02:10:05左右处帧间变换程度大于预设阈值处进行采样，例如采集到如图8中的e所示的画面。

[0138] 以及，在02:10:25左右‑02:30:00左右帧间变换程度持续小于预设阈值时，基于固定采样率，如1/600，在02:10:25左右‑02:30:00左右每隔20秒采样1次，例如采集到如图8中的f所示的画面。

[0139] 可以理解的是，如图8所示的自适应采样方法，对比于如图7所示的固定间隔采样方法，不仅能够展现出昙花从含苞待放到的完全盛开的完整过程，还能够采集到如02:15左右‑02:45左右昙花盛开时的精彩画面和细节变化。

[0140] 基于此，上述自适应采样可以实现在帧间的变化程度较大的时候进行数据的密集采样，在变化程度较小的区间进行大间隔数据采样，从而在视频播放的时候，变化大的区间段可以有更多的帧数去播放，从而放缓画面的变化程度，在变化较小的区间以更少的帧数去播放，可以加速未变化或者小变化的画面，从而可以改变整个视频的播放节奏，加深视频的纵深感及动态感。

[0141] S405、终端设备对采样序列进行配准/平滑处理。

[0142] 本申请实施例中，该配准/平滑可以理解为对不同条件下获取的两幅或多幅图像进行旋转、平移或匹配等过程。

[0143] 可以理解的是，由于帧间内容的变化或终端设备抖动等因素，可能存在视频播放时画面跳动的问题。因此，终端设备可以通过对经过S404的自适应采样得到的采样序列进行配准和平滑等处理，以保证在视频播放时画面的流畅。

[0144] 本申请实施例中，终端设备可以采用加速稳健特征(Speedup robust features，SURF)算法等方法，对经过自适应采样后的预览流数据进行配准/平滑处理。例如，该SURF的原理可以理解为提取各相邻帧的关键点，并对该关键点进行旋转或平移等操作，将配准帧对齐到参考帧。其中，该参考帧可以为相邻两帧中的第一帧，该配准帧可以为相邻两帧中的第二帧。

[0145] 示例性的，图9为本申请实施例提供的一种相邻帧图像配准和平滑的原理示意图。如图9所示，图9中的a可以为相邻帧中的参考帧，图9中的b可以为相邻帧中的配准帧，图9中的c可以为以参考帧为基准，对配准帧进行配准操作后的配准结果。

[0146] 如图9所示，由于拍摄角度的变化，使得配准帧相比于参考帧可能出现一定的偏移或旋转等情况，因此可以对配准帧进行平移或旋转等操作，使其与参考帧保持一致。例如，图9中的c可以为基于图9中的a，对图9中的b进行旋转，并旋转至与图9中的a的图像保持一致时，得到的画面。其中，该图9中的a与经过旋转的图9中的b中的一致的区域，可以为图9中的c中的虚线框901对应的区域。

[0147] 可以理解的是，由于对图9中的b进行旋转时，会有一定区域与图9中的a无法适配，因此图9中的c所示的虚线框901外的区域无法实现配准，则终端设备可以对该无法实现配准的区域进行裁剪，并基于双线性插值等方法，恢复该裁剪的区域，以得到相对平滑的配准图像。示例性的，终端设备可以将如图9中的c所示的虚线框901，恢复到如图9中的a所示的画面大小，例如终端设备可以取如图9中的c所示虚线框901之外的像素点，以及如图9中的a所示基于虚线框901之外的画面的像素点的均值，作为如图9中的c所示的虚线框901外的像素点，进而恢复出与如图9中的a的画面大小相同的图像。其中，在上述计算均值的过程中，该如图9中的c所示的虚线框901之外的区域的像素点可以取0。

[0148] 可以理解的是，如图9中的c所示的虚线框901所示，由于上述配准和平滑处理会存在一定程度上的视场角(field of vision，FOV)损失，因此终端设备可以采用广角镜头或超广角镜头，或者，在S405所示的步骤之后采用预览畸变算法等，保证输入更大的FOV数据，进而使得裁剪一小部分区域后得到的画面的FOV数据可以接近或优于未裁剪时画面的FOV数据。其中，该FOV可以理解为镜头所覆盖的范围。

[0149] 进一步的，为保证视频播放数据的输入大小不变，终端设备可以对上述配准和平滑处理后的数据(或理解为处于预览小图画面大小的数据)输出至到视频的标准画面大小。其中，该标准画面大小可以为720p或1080p等。

[0150] S406、终端设备对配准/平滑处理后的数据进行动态范围调整。

[0151] 本申请实施例中，由于经过上述平滑处理后的数据可能存在过曝区域或过暗区域，则终端设备可以采用动态范围调整，以增强图像的信息。例如，终端设备可以采用人工智能(artificial intelligence，AI)HDR或者色调映射(tone mapping)等方法优化单帧图像的亮度，进而实现画面的动态范围调整。

[0152] 例如，该过曝区域可以通过图像中的高亮像素的个数占图像中的所有像素个数的比例是否大于预设的像素个数阈值确定的；该过暗区域可以通过图像中的过暗像素的个数占图像中的所有像素个数的比例是否大于预设的另一像素个数阈值确定的。其中，该过暗像素可以为基于像素点的另一灰度阈值确定的，该另一像素阈值可以用于确定当前场景是否为过暗区域，该高亮像素与像素阈值的确定方法与S402所示的步骤中的高亮像素与像素阈值的确定方法相同，在此不再赘述。

[0153] S407、终端设备获取两帧HDR图像。

[0154] 本申请实施例中，在HDR场景下的两帧图像中，一帧可以为终端设备基于延时摄影获取的正常帧数据，另一帧可以为用于对该正常帧数据进行亮度调整的数据帧，例如该数据帧可以为用于压制正常帧中的过曝区域的短帧，或者，该数据帧也可以为用于提升正常帧中的过暗区域的长帧。

[0155] 示例性的，在高动态场景下，终端设备基于延时摄影得到拍照流数据，并将上述拍照流数据采样至预览流数据的大小，例如可以将100万像素的拍照流数据采样至720p等规格的预览流数据大小。进一步的，终端设备基于该采样处理得到的预览流数据的曝光程度，生成曝光程度不同的两帧HDR图像。

[0156] S408、终端设备将两帧HDR图像进行曝光融合。

[0157] 本申请实施例中，该曝光融合可以理解为将使用不同曝光参数得到的两帧HDR图像融合为一帧HDR图像的方法。例如终端设备可以基于亮度梯度方法、双边滤波方法或拉普拉斯金字塔等算法进行曝光融合，或者，终端设备也可以基于训练好的神经网络模型实现图像曝光融合，本申请实施例中对此不作限定。

[0158] 可能的实现方式中，终端设备可以对上述曝光融合处理后的数据进行固定间隔采样，或者，也可以基于S404所示的方法对经过上述曝光融合处理后的数据进行自适应采样，得到采样序列。可以理解的是，在高动态场景下采用固定间隔采样的方法进行采样处理，可以简化高动态场景中的算法的复杂度。

[0159] S409、终端设备对融合处理后的数据进行配准/平滑处理。

[0160] 本申请实施例中，该S409所示的步骤中对融合处理后的数据进行配准/平滑处理的过程与S405所示的步骤中的配准/平滑处理的过程类似，在此不再赘述。

[0161] 可以理解的是，基于S407‑S409所示的高动态场景下的视频处理方法可以应用在延时摄影功能中，也可以应用在用于获取更优质的录制画面的其他视频录制功能中，本申请实施例中对此不做限制。

[0162] S410、终端设备存储延时摄影数据。

[0163] 示例性的，如图5中的b所示的界面，当终端设备接收到用户触发停止延时摄影控件506的操作时，终端设备可以将普通场景下基于S403‑S406所示的步骤中处理得到的多帧拍摄画面，或者，可以将高动态场景下基于S407‑S409所示的步骤中得到的多帧拍摄画面，按照时间顺序编码为延时摄影。

[0164] 基于此，终端设备可以基于预览流数据中的相邻帧间的差异进行自适应采样等处理过程，进而更好的体现出拍摄过程中的精彩片段；并且，在延时摄影中引入HDR，并基于对HDR图像的处理，在延时摄影中可以展现更真实的画面，进而得到更好的延时摄影视频效果。

[0165] 在图4对应的实施例的基础上，可能的实现方式中，当用户在照片中查找延时摄影视频时，终端设备可以显示出基于高动态场景的处理方法得到的延时摄影的标识。

[0166] 示例性的，图10为本申请实施例提供的另一种界面示意图。在图10对应的实施例中，以终端设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

[0167] 当终端设备接收到用户打开照片功能的操作时，终端设备可以显示如图10所示的界面，该界面中可以包括用于打开更多功能的控件1001，以及多个照片和视频，例如在今天拍摄的视频1，以及在昨天拍摄的照片1、照片2和照片3等。其中，视频1的周围显示视频1对应的播放控件和用于表示该视频1为高动态场景的HDR标识1002。

[0168] 基于此，终端设备可以提供用于辨识视频是否经过高动态场景下的处理的标识，进而用户可以清晰的确定多个视频中哪个视频是基于高动态场景的处理得到的。

[0169] 可以理解的是，本申请实施例提供的终端设备的界面仅作为一种示例，并不构成对本申请实施例的限定。

[0170] 基于上述实施例中所描述的内容，为了更好的理解本申请各实施例，示例性的，图11为本申请实施例提供的另一种延时摄影方法的流程示意图。

[0171] 如图11所示，该延时摄影方法可以包括如下步骤：

[0172] S1101、终端设备显示第一界面；第一界面中包括第一控件，第一界面为录制延时摄影视频的界面。

[0173] 本申请实施例中，该第一界面可以为如图5中的a所示的界面，该第一控件可以为如图5中的a所示的界面中的开启延时摄影控件501。

[0174] S1102、终端设备接收针对第一控件的第一操作。

[0175] 本申请实施例中，该第一操作可以点击操作或长按操作等。

[0176] S1103、响应于第一操作，终端设备获取摄像头采集得到的预览流数据和拍照流数据。

[0177] 本申请实施例中，该预览流数据可以用于实现非HDR场景下生成延时摄影视频；该拍照流数据可以用于实现HDR场景下生成延时摄影视频。

[0178] S1104、终端设备判断预览流数据是否属于高动态范围HDR场景。

[0179] 其中，该HDR场景可以理解为基于预览小图获取的多帧数据中的HDR图像所占的比例超过第一阈值时对应的场景。

[0180] S1105、当终端设备确定预览流数据不属于HDR场景时，终端设备基于帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。

[0181] 可选的，S1104包括：终端设备对预览流数据进行多倍下采样，得到预览小图；终端设备获取预览小图中的多帧预览数据；终端设备基于多帧预览数据中的第一图像所占的比例，判断预览流数据是否属于HDR场景；其中，第一图像为高亮像素所占的比例超过第一阈值的图像，高亮像素为灰度值大于灰度阈值的像素点。

[0182] 本申请实施例中，该多倍采样可以为4倍采样，该第一图像可以理解为HDR图像。

[0183] 可选的，S1105包括：S11051、终端设备计算预览小图中的第一相邻帧的帧间变化程度。第一相邻帧包括第一帧和第二帧。S11052、终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，生成包含多个第一图像帧的图像帧序列。

[0184] 本申请实施例中，该第一相邻帧可以为预览小图中的相邻帧。

[0185] 可选的，S11052包括：S110521、终端设备基于第一相邻帧的帧间变化程度，从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据。S110522、终端设备对采样处理后的预览流数据进行配准处理，得到配准处理后的预览流数据。S110523、终端设备对配准处理后的预览流数据进行亮度调整，生成包含多个第一图像帧的图像帧序列。

[0186] 可选的，S110521包括：当帧间变化程度大于预设阈值时，终端设备抽取第二帧对应的预览流数据，得到采样处理后的预览流数据；或者，当帧间变化程度小于预设阈值时，终端设备按照固定采样率从预览流数据中抽取第一图像帧，得到采样处理后的预览流数据。

[0187] 可以理解的是，预览小图中的多帧数据与多帧预览流数据相对应，该第二帧对应的预览流数据可以理解为，预览小图的第一相邻帧中的帧间变化程度大于预设阈值时，多帧预览流数据中的与该第一相邻帧中的第二帧图像对应的预览流数据。

[0188] 可选的，帧间变化程度包括以下至少一种：第一相邻帧之间的像素点的变化数值，第一相邻帧之间的灰度值的变化数值，或者，第一相邻帧之间的灰度值的平均值的变化数值。

[0189] 可选的，S110522包括：终端设备获取采样处理后的预览流数据中的第二相邻帧；第二相邻帧包括第三帧和第四帧；终端设备将第四帧对齐到第三帧，并裁剪掉第四帧中的无法对齐的区域，得到裁剪后的第四帧；终端设备基于第三帧，对裁剪后的第四帧进行插值处理，得到配准处理后的预览流数据。

[0190] 本申请实施例中，该第三帧可以理解为参考帧，该第四帧可以理解为配准帧，该插值处理可以理解为利用插值算法将裁剪后的第四帧恢复到第三帧对应的画面大小。

[0191] 可选的，还包括：S1106、当终端设备确定预览流数据属于HDR场景时，终端设备对拍照流数据进行处理，生成包含多个第二图像帧的图像帧序列。

[0192] 可选的，S1106包括：S11061、终端设备对拍照流数据进行图像融合处理，得到融合处理后的拍照流数据；S11062、终端设备

[0193] 从融合处理后的拍照流数据中抽取第二图像帧，得到采样处理后的拍照流数据；S11063、终端设备对到采样处理后的拍照流数据进行配准处理，得到包含多个第二图像帧的图像帧序列。

[0194] 可选的，S11061包括：终端设备将拍照流数据处理为预览流数据的画面大小对应的数据，得到画面大小处理后的拍照流数据；当终端设备确定画面大小处理后的拍照流数据的画面亮度超过第一亮度阈值时，终端设备生成第一数据帧和第二数据帧；终端设备融合第一数据帧和第二数据帧，得到融合处理后的拍照流数据。

[0195] 可选的，S11061还包括：当终端设备确定画面大小处理后的拍照流数据的画面亮度不超过第二亮度阈值时，终端设备生成第一数据帧和第三数据帧；第一亮度阈值大于第二亮度阈值；终端设备融合第一数据帧以及第三数据帧，得到融合处理后的拍照流数据。

[0196] 可选的，S11063包括：终端设备获取采样处理后的拍照流数据中的第三相邻帧；第三相邻帧包括第五帧和第六帧；终端设备将第六帧对齐到第五帧，并裁剪掉第六帧中的无法对齐的区域，得到裁剪后的第六帧；终端设备基于第五帧，对裁剪后的第六帧进行插值处理，得到包含多个第二图像帧的图像帧序列。

[0197] 本申请实施例中，该第五帧可以理解为参考帧，该第六帧可以理解为配准帧，该插值处理可以理解为利用插值算法将裁剪后的第六帧恢复到第五帧对应的画面大小。

[0198] 可选的，还包括：终端设备显示第二界面；第二界面中包括第二控件；终端设备接收针对第二控件的第二操作；响应于第二操作，终端设备将包含多个第一图像帧的图像帧序列和/或包含多个第二图像帧的图像帧序列编码为延时摄影视频。

[0199] 本申请实施例中，该第二界面可以为如图5中的b所示的界面，该第二控件可以为停止延时摄影控件506；该第二操作可以为点击操作、或长按操作等。

[0200] 可选的，还包括：接收用户打开延时摄影视频文件的第三操作；终端设备显示第三界面；第三界面中包括延时摄影文件，以及延时摄影文件对应的第一标识；第一标识用于指示延时摄影视频文件的视频类型。

[0201] 本申请实施例中，该第三操作以为点击操作、或长按操作等；该第三界面可以为如图所示的界面，该第一标识可以为高动态场景的HDR标识。

[0202] 上面结合图3‑图11，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图12所示，图12为本申请实施例提供的一种延时摄影装置的结构示意图，该延时摄影装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

[0203] 如图12所示，延时摄影装置120可以用于通信设备、电路、硬件组件或者芯片中，该延时摄影装置包括：显示单元1201、以及处理单元1202等。其中，显示单元1201用于支持延时摄影方法执行的显示的步骤；处理单元1202用于支持延时摄影装置执行信息处理的步骤。

[0204] 处理单元1202可以和显示单元1201可以集成在一起，处理单元1202和显示单元1201可能会发生通信。

[0205] 在一种可能的实现方式中，该延时摄影装置还可以包括：存储单元1203。其中，存储单元1203可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

[0206] 存储单元1203可以独立存在，通过通信总线与处理单元1202相连。存储单元1203也可以和处理单元1202集成在一起。

[0207] 以延时摄影装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元1203可以存储终端设备的方法的计算机执行指令，以使处理单元1202执行上述实施例中终端设备的方法。存储单元1203可以是寄存器、缓存或者随机存取存储器(random access memory，RAM)等，存储单元1203可以和处理单元1202集成在一起。存储单元1203可以是只读存储器(read‑only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元1203可以与处理单元1202相独立。

[0208] 在一种可能的实现方式中，延时摄影装置还可以包括：通信单元1204。其中，通信单元1204用于支持延时摄影装置与其它设备交互。示例性的，当该延时摄影装置是终端设备时，该通信单元1204可以是通信接口或接口电路。当该延时摄影装置是终端设备内的芯片或芯片系统时，该通信单元1204可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

[0209] 本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

[0210] 图13为本申请实施例提供的一种控制设备的硬件结构示意图，如图13所示，该控制设备包括处理器1301，通信线路1304以及至少一个通信接口(图13中示例性的以通信接口1303为例进行说明)。

[0211] 处理器1301可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application‑specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

[0212] 通信线路1304可包括在上述组件之间传送信息的电路。

[0213] 通信接口1303，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网(wireless local area networks，WLAN)等。

[0214] 可能的，该控制设备还可以包括存储器1302。

[0215] 存储器1302可以是只读存储器(read‑only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read‑only memory，EEPROM)、只读光盘(compact disc read‑only memory，CD‑ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路1304与处理器相连接。存储器也可以和处理器集成在一起。

[0216] 其中，存储器1302用于存储执行本申请方案的计算机执行指令，并由处理器1301来控制执行。处理器1301用于执行存储器1302中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

[0217] 可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

[0218] 在具体实现中，作为一种实施例，处理器1301可以包括一个或多个CPU，例如图13中的CPU0和CPU1。

[0219] 在具体实现中，作为一种实施例，控制设备可以包括多个处理器，例如图13中的处理器1301和处理器1305。这些处理器中的每一个可以是一个单核(single‑CPU)处理器，也可以是一个多核(multi‑CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

[0220] 示例性的，图14为本申请实施例提供的一种芯片的结构示意图。芯片140包括一个或两个以上(包括两个)处理器1420和通信接口1430。

[0221] 在一些实施方式中，存储器1440存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

[0222] 本申请实施例中，存储器1440可以包括只读存储器和随机存取存储器，并向处理器1420提供指令和数据。存储器1440的一部分还可以包括非易失性随机存取存储器(non‑volatile random access memory，NVRAM)。

[0223] 本申请实施例中，存储器1440、通信接口1430以及处理器1420通过总线系统1410耦合在一起。其中，总线系统1410除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图14中将各种总线都标为总线系统1410。

[0224] 上述本申请实施例描述的方法可以应用于处理器1420中，或者由处理器1420实现。处理器1420可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1420中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1420可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field‑programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1420可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

[0225] 结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electrically erasable programmable read only memory，EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1440，处理器1420读取存储器1440中的信息，结合其硬件完成上述方法的步骤。

[0226] 在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

[0227] 计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质(例如，软盘、硬盘或磁带)、光介质(例如，数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

[0228] 本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

[0229] 作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器(compact disc read‑only memory，CD‑ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

[0230] 上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。