一种图像内容的去除方法及相关装置

摘要

本申请公开了一种图像内容的去除方法，涉及计算机视觉领域，该方法包括：启动相机应用，显示该相机应用的拍照预览界面。获取摄像头捕捉到的第一预览画面和第一参考帧画面，确定该第一预览画面中的该第一对象为待去除对象。根据该第一参考帧画面，确定该第一预览画面中的待填补内容，其中，该待填补内容为该第一预览画面中，该第二对象被该第一对象遮挡住的图像内容。该终端根据该待填补内容和该第一预览画面，生成第一修复画面。这样，可以去除用户所拍摄的图片或视频中用户不想要的图像内容。

权利要求

1.一种图像内容的去除方法，其特征在于，包括：终端启动相机应用；

所述终端显示所述相机应用的拍照预览界面；

所述终端在所述相机应用的拍照预览界面上显示第三预览画面；

所述终端在识别出所述第三预览画面中包括有第一对象时，显示移动操作提示，所述移动操作提示用于提示用户按照指定方向移动所述终端；

所述终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，所述第一预览画面和所述第一参考帧画面中均包括所述第一对象的图像内容和第二对象的图像内容，在所述第一预览画面中，所述第一对象的图像内容遮挡住所述第二对象的部分图像；

所述终端确定所述第一预览画面中的所述第一对象为待去除对象；

当所述终端确定所述第一预览画面和所述第一参考帧画面之间的画面运动幅度超过指定阈值时，所述终端根据所述第一参考帧画面，确定所述第一预览画面中的待填补内容，其中，所述待填补内容为所述第一预览画面中，所述第二对象被所述第一对象遮挡住的图像内容；

所述终端根据所述待填补内容和所述第一预览画面，生成第一修复画面，其中，所述第一修复画面中，所述第一对象的图像内容被替换为被遮挡的所述第二对象的图像内容；

所述终端在所述拍照预览界面显示所述第一修复画面。

2.根据权利要求1所述的方法，其特征在于，在所述终端在所述拍照预览界面显示所述第一修复画面之后，所述方法还包括：所述终端在所述拍照预览界面显示去除关闭控件；

所述终端接收用户针对所述去除关闭控件的第一输入；

响应于所述第一输入，所述终端获取摄像头捕捉到的第二预览画面；

所述终端在所述拍照预览界面显示所述第二预览画面。

3.根据权利要求1所述的方法，其特征在于，在所述终端获取摄像头捕捉到的第一预览画面和参考帧画面之前，所述方法还包括：所述终端在所述拍照预览界面上显示第三预览画面；

所述终端在识别出所述第三预览画面中包括有所述待去除对象后，显示去除确认控件；

所述终端接收用户针对所述去除确认控件的第二输入；

所述终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，具体包括：响应于所述第二输入，所述终端获取所述摄像头捕捉到的所述第一预览画面和所述第一参考帧画面。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：响应于所述第三输入，所述终端在所述拍照预览界面显示指定时长的倒计时。

5.根据权利要求1所述的方法，其特征在于，在所述终端在所述拍照预览界面显示所述第一修复画面之前，所述方法还包括：所述终端在所述拍照预览界面上显示第三预览画面；

所述终端接收用户针对所述第三预览画面的点击操作；

所述终端确定所述第一预览画面中的所述第一对象为待去除对象，具体包括：响应于所述点击操作，所述终端识别所述点击操作在所述第三预览画面中的点击位置；

所述终端根据在所述第三预览画面中所述点击位置的图像内容，确定出所述第一对象为所述待去除对象。

6.根据权利要求1所述的方法，其特征在于，在所述终端在所述拍照预览界面显示所述第一修复画面之前，所述方法还包括：所述终端在所述相机应用界面上显示第三预览画面；

所述终端识别出所述第三预览画面中的一个或多个可去除对象的图像内容，并显示所述可去除对象对应的去除控件；

所述终端接收用户针对一个或多个去除控件中第一去除控件的第四输入；

所述终端确定所述第一预览画面中的所述第一对象为待去除对象，具体包括：响应于所述第四输入，所述终端将所述第一去除控件对应的第一对象确定为所述待去除对象。

7.根据权利要求1所述的方法，其特征在于，在所述终端获取摄像头捕捉到的第一预览画面和第一参考帧画面之前，所述方法还包括：所述终端在显示所述拍照预览界面显示第一拍摄模式控件；

所述终端接收用户针对所述第一拍摄模式控件的第五输入；

所述终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，具体包括：响应于所述第五输入，所述终端获取所述摄像头捕捉到的所述第一预览画面和所述第一参考帧画面。

8.根据权利要求1所述的方法，其特征在于，在所述终端获取摄像头捕捉到的第一预览画面和第一参考帧画面之前，所述方法还包括：当所述终端确定出所述终端的拍摄画面大幅度运动时，所述终端显示画面晃动提示，所述画面晃动提示用于提示用户所述终端的拍摄画面大幅度运动。

9.根据权利要求8所述的方法，其特征在于，所述终端确定出所述终端的拍摄画面大幅度运动，具体包括：所述终端通过惯性测量单元获取所述终端的角速度数据和加速度数据；

当所述角速度数据中有任一个方向的角速度大于指定角速度值，或所述加速度数据中有任一个方向的加速度大于指定加速度值时，所述终端确定出所述终端的拍摄画面大幅度运动。

10.根据权利要求1所述的方法，其特征在于，所述终端确定所述第一预览画面和所述第一参考帧画面之前的画面运动幅度超过指定阈值，具体包括：所述终端生成分割所述第一预览画面中所述第一对象之后的第一掩码图；

所述终端生成分割所述第一参考帧画面中所述第一对象之后的第二掩码图；

所述终端计算所述第一掩码图和所述第二掩码图之间的交并比，当所述第一掩码图和所述第二掩码图之间的交并比小于指定交并比值时，所述终端确定所述第一预览画面和所述第一参考帧画面之间的画面运动幅度超过所述指定阈值。

11.根据权利要求1所述的方法，其特征在于，所述终端确定所述第一预览画面和所述第一参考帧画面之前的画面运动幅度超过指定阈值，具体包括：所述终端识别出所述第一预览画面中的所述第一对象，并分割掉所述第一预览画面中的所述第一对象；

所述终端识别出所述第一参考帧画面中的所述第一对象，并分割掉所述第一参考帧画面中所述第一对象，得到第二参考帧画面；

所述终端将分割所述第一对象之后的所述第一预览画面，编码成第一目标特征图；

所述终端将所述第二参考帧画面编码成第一参考特征图；

所述终端计算所述第一目标特征图和所述第一参考特征图之间的相似度，当所述第一目标特征图和所述第一参考特征图的相似度小于指定相似度值时，所述终端确定所述第一预览画面和所述第一参考帧画面之前的画面运动幅度超过所述指定阈值。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述终端接收用户的第五输入；

响应于所述第五输入，所述终端本地保存所述第一修复画面。

13.根据权利要求1所述的方法，其特征在于，所述终端根据所述第一参考帧画面，确定所述第一预览画面中的待填补内容，具体包括：所述终端识别出所述第一预览画面中的所述第一对象，并分割掉所述第一预览画面中的所述第一对象；

所述终端识别出所述第一参考帧画面中的所述第一对象，并分割掉所述第一参考帧画面中所述第一对象，得到第二参考帧画面；

所述终端计算分割所述第一对象之后的所述第一预览画面与所述第二参考帧画面之间缺失的光流信息；

所述终端根据所述第二参考帧画面，通过光流补全模型补全所述缺失的光流信息，得到分割掉所述第一对象之后的所述第一预览画面与所述第二参考帧画面之间完整的光流信息；

所述终端通过所述完整的光流信息，从所述第二参考帧画面中确定出所述第一预览画面中的所述待填补内容。

14.根据权利要求1所述的方法，其特征在于，所述终端根据所述第一参考帧画面，确定所述第一预览画面中的待填补内容，具体包括：所述终端识别出所述第一预览画面中的所述第一对象，并分割掉所述第一预览画面中的所述第一对象；

所述终端识别出所述第一参考帧画面中的所述第一对象，并分割掉所述第一参考帧画面中所述第一对象，得到第二参考帧画面；

所述终端将分割所述第一对象之后的所述第一预览画面，编码成第一目标特征图；

所述终端将所述第二参考帧画面编码成第一参考特征图；

所述终端从所述第一参考特征图中，确定出与所述第一目标特征图中所述第一区域周围特征相似的待填补特征；

所述终端根据所述待填补内容和所述第一预览画面，生成第一修复画面，具体包括：所述终端将所述待填补特征替换填入所述第一目标特征图中所述第一对象所在的区域，得到第二目标特征图；

所述终端将所述第二目标特征图解码，得到所述第一修复画面。

15.根据权利要求1所述的方法，其特征在于，所述终端根据所述待填补内容和所述第一预览画面，生成第一修复画面，具体包括：所述终端将所述待填补内容填补至所述第一预览画面中所述第一对象所在的区域，得到粗修复画面；

所述终端生成所述粗修复画面中填补区域的细节纹理，得到所述第一修复画面。

16.根据权利要求1所述的方法，其特征在于，在所述终端根据所述第一参考帧画面，确定所述第一预览画面中的待填补内容之后，所述方法还包括：所述终端获取所述摄像头捕捉到的第四预览画面；

所述终端获取在所述摄像头捕捉所述第一预览画面至所述第四预览画面之间，所述终端的运动角度和转动角度；

所述终端根据所述终端的运动角度、转动角度和所述第一预览画面中所述第一对象所在的区域，确定出所述第四预览画面中所述第一对象所在的区域；

所述终端分割所述第四预览画面中所述第一对象；

所述终端根据所述第四预览画面中所述第一对象所在的区域，从所述第一预览画面中，确定出所述第四预览画面的填补内容；

所述终端将所述第四预览画面的填补内容，填补至所述第四预览画面中所述第一对象所在的区域，得到第二修复画面；

所述终端在所述拍照预览界面上显示所述第二修复画面。

17.根据权利要求1所述的方法，其特征在于，所述第一对象包括自拍杆或背景人。

18.一种终端，其特征在于，包括：摄像头、一个或多个处理器和一个或多个存储器；所述一个或多个处理器与所述摄像头、所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述终端执行如权利要求1‑17中的任一项所述的方法。

19.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在终端上运行时，使得所述终端执行如权利要求1‑17中任一项所述的方法。

说明书

一种图像内容的去除方法及相关装置

技术领域

[0001] 本申请涉及计算机视觉领域，尤其涉及一种图像内容的去除方法及相关装置。

背景技术

[0002] 智能手机发展至今，拍照和摄像已成为最为重要的特性之一。随着智能手机的拍照功能越来越强大，使用智能手机替代相机拍照的人也越来越多。为了实现更广的拍摄角度，通常可以将智能手机固定在可伸缩的自拍杆上，通过自由调节伸缩杆的伸缩量，实现多角度自拍。然而，在利用自拍杆自拍时，可能会拍到局部的自拍杆，即拍摄的照片或视频中会存在有自拍杆，影响用户的体验。

[0003] 现有方案中，为了去除拍摄的照片或视频中的自拍杆，拍摄终端配置有双鱼眼镜头，即拍摄终端配置有两个180°拍摄角度的摄像头，共同形成约200°的拍摄范围。当自拍杆处于两个摄像头的拍摄死角里时，拍摄终端将两个180°摄像头拍摄到的图片进行裁剪和拼接就能隐藏自拍杆。但是，当自拍杆和两个摄像头之间的产生一定的偏角时，拍摄终端裁剪和拼接后的图片中仍有自拍杆的一部分无法完全被隐藏。现有方案中，拍摄终端必须有特殊的摄像头硬件配置以及自拍杆有特殊摆放位置时，自拍杆才能被完全去除，自拍杆的去除条件苛刻无法适用大部分拍摄终端。

发明内容

[0004] 本申请提供了一种图像内容的去除方法及相关装置，实现了可以在无特殊摄像头的终端上，去除用户所拍摄的图片或视频中用户不想要的图像内容，提高图片或视频中用户想要的图像内容的显示效果，提高了用户体验。

[0005] 第一方面，本申请提供了一种图像内容的去除方法，包括：终端启动相机应用。该终端显示该相机应用的拍照预览界面。该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，该第一预览画面和该第一参考帧画面中均包括第一对象的图像内容和第二对象的图像内容，在该第一预览画面中，该第一对象的图像内容遮挡住该第二对象的部分图像。该终端确定该第一预览画面中的该第一对象为待去除对象。该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容，其中，该待填补内容为该第一预览画面中，该第二对象被该第一对象遮挡住的图像内容。该终端根据该待填补内容和该第一预览画面，生成第一修复画面，其中，该第一修复画面中，该第一对象的图像内容被替换为被遮挡的该第二对象的图像内容。该终端在该拍照预览界面显示该第一修复画面。

[0006] 通过本申请提供的一种图像内容去除方法，可以实现终端在拍照时，通过摄像头获取到的预览画面和参考帧画面，并通过参考帧画面去除预览画面中用户不想要的图像内容(例如自拍杆)，提高图片或视频中用户想要的图像内容的显示效果，提高了用户体验。

[0007] 在一种可能的实现方式中，在该终端在该拍照预览界面显示该第一修复画面之后，该方法还包括：该终端在该拍照预览界面显示去除关闭控件。该终端接收用户针对该去除关闭控件的第一输入。响应于该第一输入，该终端获取摄像头捕捉到的第二预览画面。该终端在该拍照预览界面显示该第二预览画面。这样，终端可以根据用户的需要，关闭针对预览画面中指定对象的去除功能。

[0008] 在一种可能的实现方式中，在该终端获取摄像头捕捉到的第一预览画面和参考帧画面之前，该方法还包括：该终端在该拍照预览界面上显示第三预览画面。该终端在识别出该第三预览画面中包括有该待去除对象后，显示去除确认控件。该终端接收用户针对该去除确认控件的第二输入。该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，具体包括：响应于该第二输入，该终端获取该摄像头捕捉到的该第一预览画面和该第一参考帧画面。这样，终端可以在用户确认之后再对预览画面中的第一对象进行去除。

[0009] 在一种可能的实现方式中，该方法还包括：响应于该第三输入，该终端在该拍照预览界面显示指定时长的倒计时。这样，可以在去除预览画面中的第一对象之前显示倒计时，让用户感知处理时间。

[0010] 在一种可能的实现方式中，在该终端在该拍照预览界面显示该第一修复画面之前，该方法还包括：该终端在该拍照预览界面上显示第三预览画面。该终端接收用户针对该第三预览画面的点击操作。该终端确定该第一预览画面中的该第一对象为待去除对象，具体包括：响应于该点击操作，该终端识别该点击操作在该第三预览画面中的点击位置。该终端根据在该第三预览画面中该点击位置的图像内容，确定出该第一对象为该待去除对象。这样，终端可以根据用户点选操作，确定出用户想要去除的对象。

[0011] 在一种可能的实现方式中，在该终端在该拍照预览界面显示该第一修复画面之前，该方法还包括：该终端在该相机应用界面上显示第三预览画面。该终端识别出该第三预览画面中的一个或多个可去除对象的图像内容，并显示该可去除对象对应的去除控件。该终端接收用户针对一个或多个去除控件中第一去除控件的第四输入。该终端确定该第一预览画面中的该第一对象为待去除对象，具体包括：响应于该第四输入，该终端将该第一去除控件对应的第一对象确定为该待去除对象。这样，终端可以识别出预览画面中所有可去除对象，并提示给用户，让用户选择出待去除对象。

[0012] 在一种可能的实现方式中，在该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面之前，该方法还包括：该终端在显示该拍照预览界面显示第一拍摄模式控件。该终端接收用户针对该第一拍摄模式控件的第五输入。该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面，具体包括：响应于该第五输入，该终端获取该摄像头捕捉到的该第一预览画面和该第一参考帧画面。这样，终端可以在特定的拍摄模式下启动去除对象功能。

[0013] 在一种可能的实现方式中，在该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面之前，该方法还包括：当该终端确定出该终端的拍摄画面大幅度运动时，该终端显示画面晃动提示，该画面晃动提示用于提示用户该终端的拍摄画面大幅度运动。这样，终端可以让用户配合，以保证对象的去除质量。

[0014] 在一种可能的实现方式中，该终端确定出该终端的拍摄画面大幅度运动，具体包括：该终端通过惯性测量单元获取该终端的角速度数据和加速度数据。当该角速度数据中有任一个方向的角速度大于指定角速度值，或该加速度数据中有任一个方向的加速度大于指定加速度值时，该终端确定出该终端的拍摄画面大幅度运动。这样，终端可以通过运动数据检测画面运动的幅度。

[0015] 在一种可能的实现方式中，在该终端获取摄像头捕捉到的第一预览画面和第一参考帧画面之前，该方法还包括：该终端在该相机应用界面上显示第三预览画面。该终端在识别出该第三预览画面中包括有该指定图像内容时，显示移动操作提示，该移动操作提示用于提示用户按照指定方向移动该终端。该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容，具体包括：当该终端确定该第一预览画面和该第一参考帧画面之间的画面运动幅度超过指定阈值时，该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容。这样，终端可以提示用户按照指定的方向移动该终端，以保证预览画面中对象的去除效果。

[0016] 在一种可能的实现方式中，该终端确定该第一预览画面和该第一参考帧画面之前的画面运动幅度超过指定阈值，具体包括：该终端生成分割该第一预览画面中该第一对象之后的第一掩码图。该终端生成分割该第一参考帧画面中该第一对象之后的第二掩码图。该终端计算该第一掩码图和该第二掩码图之间的交并比，当该第一掩码图和该第二掩码图之间的交并比小于指定交并比值时，该终端确定该第一预览画面和该第一参考帧画面之间的画面运动幅度超过该指定阈值。

[0017] 在一种可能的实现方式中，该终端确定该第一预览画面和该第一参考帧画面之前的画面运动幅度超过指定阈值，具体包括：该终端识别出该第一预览画面中的该第一对象，并分割掉该第一预览画面中的该第一对象。该终端识别出该第一参考帧画面中的该第一对象，并分割掉该第一参考帧画面中该第一对象，得到该第二参考帧画面。该终端将分割该第一对象之后的该第一预览画面，编码成第一目标特征图。该终端将该第二参考帧画面编码成第一参考特征图。该终端计算该第一目标特征图和该第一参考特征图之间的相似度，当该第一目标特征图和该第一参考特征图的相似度小于指定相似度值时，该终端确定该第一预览画面和该第一参考帧画面之前的画面运动幅度超过该指定阈值。

[0018] 在一种可能的实现方式中，该方法还包括：该终端接收用户的第五输入。响应于该第五输入，该终端本地保存该第一修复画面。

[0019] 在一种可能的实现方式中，该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容，具体包括：该终端识别出该第一预览画面中的该第一对象，并分割掉该第一预览画面中的该第一对象。该终端识别出该第一参考帧画面中的该第一对象，并分割掉该第一参考帧画面中该第一对象，得到该第二参考帧画面。该终端计算分割该第一对象之后的该第一预览画面与该第二参考帧画面之间缺失的光流信息。该终端根据该第二参考帧画面。通过光流补全模型补全该缺失的光流信息，得到分割掉该第一对象之后的该第一预览画面与该第二参考帧画面之间完整的光流信息。该终端通过该完整的光流信息，从该第二参考帧画面中确定出该第一预览画面中的该待填补内容。这样，终端可以通过光流场，对预览画面进行修复。

[0020] 在一种可能的实现方式中，该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容，具体包括：该终端识别出该第一预览画面中的该第一对象，并分割掉该第一预览画面中的该第一对象。该终端识别出该第一参考帧画面中的该第一对象，并分割掉该第一参考帧画面中该第一对象，得到该第二参考帧画面。该终端将分割该第一对象之后的该第一预览画面，编码成第一目标特征图。该终端将该第二参考帧画面编码成第一参考特征图。该终端从该第一参考特征图中，确定出与该第一目标特征图中该第一区域周围特征相似的待填补特征。该终端根据该待填补内容和该第一预览画面，生成第一修复画面，具体包括：该终端将该待填补特征替换填入该第一目标特征图中该第一对象所在的区域，得到第二目标特征图。该终端将该第二目标特征图解码，得到该第一修复画面。这样，终端可以通过在特征层面，通过参考帧画面对预览画面进行修复。

[0021] 在一种可能的实现方式中，该终端根据该待填补内容和该第一预览画面，生成第一修复画面，具体包括：该终端将该待填补内容填补至该第一预览画面中该第一对象所在的区域，得到粗修复画面。该终端生成该粗修复画面中填补区域的细节纹理，得到该第一修复画面。这样，终端可以进一步生成填补区域的细节纹理。

[0022] 在一种可能的实现方式中，在该终端根据该第一参考帧画面，确定该第一预览画面中的待填补内容之后，该方法还包括：该终端获取该摄像头捕捉到的第四预览画面。该终端获取在该摄像头捕捉该第一预览画面至该第四预览画面之间，该终端的运动角度和转动角度。该终端根据该终端的运动角度、转动角度和该第一预览画面中该第一对象所在的区域，确定出该第四预览画面中该第一对象所在的区域。该终端分割该第四预览画面中该第一对象。该终端根据该第四预览画面中该第一对象所在的区域，从该第一预览画面中，确定出该第四预览画面的填补内容。该终端将该第四预览画面的填补内容，填补至该第四预览画面中该第一对象所在的区域，得到第二修复画面。该终端在该拍摄预览界面上显示该第二修复画面。这样，终端在连续帧画面中去除对象时，通过运动数据推测出后续帧中自拍杆的位置，从而确定出后续帧中自拍杆区域的填补内容，节约去除时间。

[0023] 在一种可能的实现方式中，该第一对象包括自拍杆或背景人。

[0024] 第二方面，本申请提供了一种终端，包括摄像头、一个或多个处理器和一个或多个存储器。该一个或多个存储器、摄像头与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得终端执行上述任一方面任一项可能的实现方式中的图像内容的去除方法。

[0025] 第三方面，本申请提供了一种终端，包括：一个或多个功能模块，该一个或多个功能模块用于执行上述任一方面任一项可能的实现方式中的图像内容的去除方法。

[0026] 第四方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在终端上运行时，使得终端执行上述任一方面任一项可能的实现方式中的图像内容的去除方法。

[0027] 第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的图像内容的去除方法。

附图说明

[0028] 图1A‑图1B为现有技术中的一种去除自拍杆的原理示意图；

[0029] 图2A为本申请实施例提供的一种终端的硬件结构图；

[0030] 图2B为本申请实施例提供的一种终端的软件架构示意图；

[0031] 图3A‑图3F为本申请实施例提供的一组界面示意图；

[0032] 图4A‑图4G为本申请实施例提供的另一组界面示意图；

[0033] 图5A‑图5C为本申请实施例提供的另一组界面示意图；

[0034] 图6A‑图6C为本申请实施例提供的另一组界面示意图；

[0035] 图7A‑图7F为本申请实施例提供的另一组界面示意图；

[0036] 图8A‑图8C为本申请实施例提供的另一组界面示意图；

[0037] 图9A‑图9F为本申请实施例提供的另一组界面示意图；

[0038] 图10A‑图10G为本申请实施例提供的另一组界面示意图；

[0039] 图11A‑图11C为本申请实施例提供的另一组界面示意图；

[0040] 图12A‑图12D为本申请实施例提供的另一组界面示意图；

[0041] 图13为本申请实施例提供的一种图像内容去除系统的架构示意图；

[0042] 图14A为本申请实施例提供的一种第一目标图像的示意图；

[0043] 图14B为本申请实施例提供的一种第二目标图像的示意图；

[0044] 图14C为本申请实施例提供的一种第一参考图像的示意图；

[0045] 图14D为本申请实施例提供的一种第二参考图像的示意图；

[0046] 图14E为本申请实施例提供的一种第二目标图像的掩码图；

[0047] 图14F为本申请实施例提供的一种第三目标图像的示意图；

[0048] 图14G为本申请实施例提供的一种第四目标图像的示意图；

[0049] 图15为本申请实施例提供的一种光流粗修复的流程示意图；

[0050] 图16为本申请实施例提供的一种多帧特征粗修复的流程示意图；

[0051] 图17A为本申请实施例提供的一种第一目标特征图的示意图；

[0052] 图17B为本申请实施例提供的一种第一参考特征图的示意图；

[0053] 图18为本申请实施例提供的一种单帧特征粗修复的流程示意图；

[0054] 图19为本申请实施例提供的一种粗修复流程选择的方法示意图；

[0055] 图20为本申请实施例提供的一种图像内容的去除方法的流程示意图。

具体实施方式

[0056] 下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

[0057] 以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0058] 下面介绍现有方案中去除拍摄图片中的自拍杆的方法。

[0059] 图1A和图1B示出了现有方案中去除拍摄图片自拍杆的方法原理示意图。

[0060] 如图1A所示，现有方案中，拍摄终端配置有两个180°摄像头。拍摄终端通过两个180°摄像头拍摄到两张图片后，可以将这两张图片中共同的显示区域进行裁剪，然后再拼接成一张图片。当用户将拍摄终端固定在自拍杆上拍照时，需要将自拍杆放至拍摄终端的拍摄死角内，拍摄终端在对两个180°摄像头拍摄到两张图片进行裁剪拼接时，才能完全去除图片中的自拍杆。

[0061] 如图1B所示，当自拍杆不完全在拍摄死角内时，拍摄终端在对两个180°摄像头拍摄到两张图片进行裁剪拼接时，自拍杆不在拍摄死角内的部分无法被去除，也会出现在拼接后的图片中。

[0062] 由上述现有方案可以看出，拍摄终端必须有特殊的摄像头硬件配置以及自拍杆有特殊摆放位置时，自拍杆才能被完全去除，自拍杆的去除条件苛刻无法适用大部分拍摄终端。

[0063] 因此，本申请实施例提供了一种图像内容的去除方法，可以在无特殊摄像头的终端上，去除用户所拍摄的图片或视频中用户不想要的图像内容(例如自拍杆)，提高图片或视频中用户想要的图像内容的显示效果，提高了用户体验。

[0064] 图2A示出了终端100的结构示意图。

[0065] 下面以终端100为例对实施例进行具体说明。应该理解的是，图2A所示终端100仅是一个范例，并且终端100可以具有比图2A中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

[0066] 终端100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头
193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

[0067] 可以理解的是，本发明实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

[0068] 处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural‑network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

[0069] 其中，控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

[0070] 处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

[0071] 在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter‑integrated circuit，I2C)接口，集成电路内置音频(inter‑integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general‑purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口130等。

[0072] 充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。

[0073] 电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

[0074] 终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

[0075] 天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

[0076] 移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

[0077] 调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

[0078] 无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi‑Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

[0079] 在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time‑division code division multiple access，TD‑SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi‑zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

[0080] 终端100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

[0081] 显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light‑emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active‑matrix organic light emitting diode 的，AMOLED)，柔性发光二极管(flex light‑emitting diode，FLED)，Miniled，MicroLed，Micro‑oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，终端100可以包括1个或N个显示屏194，N为大于1的正整数。

[0082] 终端100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

[0083] ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

[0084] 摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal‑oxide‑semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端100可以包括1个或N个摄像头193，N为大于1的正整数。

[0085] 数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

[0086] 视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

[0087] NPU为神经网络(neural‑network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

[0088] 外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

[0089] 内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

[0090] 终端100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

[0091] 音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。

[0092] 扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

[0093] 受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。

[0094] 麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

[0095] 耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

[0096] 压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端100根据压力传感器180A检测所述触摸操作强度。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。

[0097] 陀螺仪传感器180B可以用于确定终端100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。

[0098] 气压传感器180C用于测量气压。

[0099] 磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的开合。

[0100] 加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。

[0101] 距离传感器180F，用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端100可以利用距离传感器180F测距以实现快速对焦。

[0102] 接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。

[0103] 环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。

[0104] 指纹传感器180H用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

[0105] 温度传感器180J用于检测温度。

[0106] 触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端100的表面，与显示屏194所处的位置不同。

[0107] 骨传导传感器180M可以获取振动信号。

[0108] 按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入，产生与终端100的用户设置以及功能控制有关的键信号输入。

[0109] 马达191可以产生振动提示。

[0110] 指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

[0111] SIM卡接口195用于连接SIM卡。

[0112] 终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明终端100的软件结构。

[0113] 图2B是本发明实施例的终端100的软件结构框图。

[0114] 分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

[0115] 应用程序层可以包括一系列应用程序包。

[0116] 如图2B所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

[0117] 应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

[0118] 如图2B所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

[0119] 窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

[0120] 内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

[0121] 视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

[0122] 电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

[0123] 资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

[0124] 通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。

[0125] Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

[0126] 核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

[0127] 应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

[0128] 系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

[0129] 表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

[0130] 媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

[0131] 三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

[0132] 2D图形引擎是2D绘图的绘图引擎。

[0133] 内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

[0134] 下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。

[0135] 当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

[0136] 下面结合应用场景，具体介绍本申请实施例涉及的一种图像内容的去除方法。

[0137] 在一些应用场景中，用户在使用终端100拍照之前，终端100可以自动识别摄像头拍摄到的预览画面中是否有指定图像内容(例如自拍杆)，当识别到有指定图像内容时，终端100可以自动去除预览画面中的指定图像内容，并输出去除提示，该去除提示用于提示用户当前已将预览画面中的指定图像内容去除。在用户按下拍摄键后，终端100可以将去除指定图像内容后的预览画面保存为图片，并将该图片存储到图库中。当用户关闭终端100对指定图像内容的去除功能时，终端100可以恢复显示预览画面中的指定图像内容。这样，可以在用户在拍照时去除用户不想要的图像内容，提高拍摄照片中用户想要的图像内容的显示效果，提高了用户体验。

[0138] 示例性的，如图3A所示，终端100可以显示有主屏幕的界面310，该界面310中显示了一个放置有应用图标的页面，该页面包括多个应用图标(例如，天气应用图标、股票应用图标、计算器应用图标、设置应用图标、邮件应用图标、图库应用图标312、音乐应用图标、视频应用图标、浏览器应用图标等等)。多个应用图标下方还显示包括有页面指示符，以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如拨号应用图标、信息应用图标、联系人应用图标、相机应用图标311)，托盘图标在页面切换时保持显示。在一些实施例中，上述页面也可以包括多个应用图标和页面指示符，页面指示符可以不是页面的一部分，单独存在，上述托盘图标也是可选的，本申请实施例对此不作限制。

[0139] 终端100可以接收用户作用于相机应用图标311的输入操作(例如单击)，响应于该输入操作，终端100可以显示如图3B所示的拍摄界面320。

[0140] 如图3B所示，该拍摄界面320可以包括有回显控件321、拍摄控件322、摄像头转换控件323、预览画面324、设置控件325、变焦倍率控件326、一个或多个拍摄模式控件(例如，“夜景模式”控件372A、“人像模式”控件372B、“云增强模式”控件372C、“普通拍照模式”控件372D、“录像模式”控件372E、“专业模式”控件372F、更多模式控件327G)。其中，该回显控件
321可用于显示已拍摄的图像。该拍摄控件322用于触发保存摄像头拍摄到的图像。该摄像头转换控件323可用于切换拍照的摄像头。该设置控件325可用于设置拍照功能。该变焦倍率控件326可用于设置摄像头的变焦倍数。该拍摄模式控件可用于触发开启该拍摄模式对应的图像处理流程。例如，“夜景模式”控件372A可用于触发增加拍摄图像中的亮度和色彩丰富度等。“人像模式”控件372B可用于触发对拍摄图像中人物背景的虚化。“云增强模式”控件372C可用于触发借助云服务器的处理能力增强拍摄图像的画面效果。如图3B所示，当前用户选择的拍摄模式为“普通拍照模式”。

[0141] 终端100可以识别预览画面中是否有指定图像内容(例如自拍杆)，若有，则终端100可以去除预览画面中的指定图像内容，并输出识别提示，该识别提示用于提示用户已识别到指定图像内容，正在去除指定图像内容。

[0142] 示例性的，如图3C所示，终端100在识别出预览画面324中的自拍杆后，可以显示出提示331，该提示331可用于提示用户已识别出预览画面324中的自拍杆，正在去除预览画面中的自拍杆。该提示331可以为文字提示(例如，“识别到自拍杆，正在去除…”)。在一些可能的实现方式中，该提示331还可以是图片、视频、声音等类型的提示。

[0143] 可选的，终端100在去除预览画面中指定图像内容的过程中，可以检测预览画面的运动幅度是否过大，如果运动幅度过大，终端100可以输出画面晃动提示，该画面晃动提示可用于提示用户持稳设备，减小预览画面的晃动幅度。

[0144] 示例性的，如图3D所示，终端100在去除预览画面中指定图像内容的过程中，若检测预览画面的运动幅度是否过大时，可以显示提示332。该提示332可以为文字提示(例如，“正在去除自拍杆，当前画面运动幅度较大，请持稳设备”)。在一些可能的实现方式中，该提示331还可以是图片、视频、声音等类型的提示。

[0145] 终端100在去除预览画面中指定图像内容后，可以接收到用户针对拍摄控件的输入(例如单击)，响应于该操作，终端100可以保存去除指定图像内容后的预览画面为图片，并将该图片存储到图库中。

[0146] 终端100在去除预览画面中指定图像内容后，可以显示去除指定图像内容后的预览画面和去除关闭控件，该去除关闭控件可用于触发终端100撤销对预览画面中指定图像内容的去除。

[0147] 示例性的，如图3E所示，终端100在去除预览画面324中的自拍杆后，可以显示出去除自拍杆后的预览画面328和提示框341。其中，该预览画面328与预览画面324相比，预览画面328中已去除了自拍杆。该提示框341中包括有文字提示(例如，已去除自拍杆)和去除关闭控件342。终端100可以接收用户作用于上述去除关闭控件342的输入(例如单击)，响应于该输入，终端100可以撤销对预览画面328中自拍杆的去除，显示如图3F所示的预览画面324。其中，如图3F所示，预览画面324中包括有自拍杆。

[0148] 在一种可能的实现方式中，当终端100识别出相机应用界面的预览画面中有指定图像内容时，终端100可以显示去除确认控件，该去除确认控件可用于触发终端100去除预览画面中的指定图像内容。这样，终端100可以在去除预览画面中指定图像内容之前，向用户确认是否要去除该指定图像内容，在用户确认去除后，终端100再去除预览画面中的指定图像内容，提高了用户体验。

[0149] 示例性的，如图4A所示，当终端100识别出相机应用界面320的预览画面324中有自拍杆时，终端100可以显示出提示框410。其中，该提示框410中包括有文字提示(例如，“识别到自拍杆，是否去除？”)、去除确认控件411和去除否定控件412。其中，该去除确认控件411可用于触发终端100去除预览画面中的指定图像内容。该去除否定控件412可以触发终端100取消去除预览画面中的指定图像内容。终端100可以接收用户针对该去除确认控件411的输入(例如单击)，响应于该输入，终端100可以去除预览画面324中的自拍杆，并将预览画面324替换显示为如图4B所示的预览画面328。其中，该预览画面328中不包括有自拍杆。可选的，在终端100在去除预览画面324中的自拍杆后，还可以显示出提示框421。该提示框421中包括有文字提示(例如，已去除自拍杆)和去除关闭控件422。该去除关闭控件422可用于触发终端100撤销对预览画面中指定图像内容的去除。

[0150] 在一些实施例中，由于终端100可以采用通过相邻帧画面，去除预览画面中的指定图像内容(例如自拍杆)的方案，此时，终端100需要从相邻帧画面中找出预览画面中被指定图像内容遮挡的部分内容。因此，指定图像内容在相邻帧画面中所处的位置和在预览画面中所处的位置需要有不同。当终端100识别出相机应用界面的预览画面中有指定图像内容时，终端100可以输出操作提示，该操作提示可以用于提示用户按照指定的方向移动该终端100。这样，可以使去除指定图像内容的效果更好。

[0151] 示例性的，如图4C所示，当终端100识别出相机应用界面320的预览画面324中有自拍杆时，终端100可以显示操作提示框430。该操作提示框430中包括有文字提示(例如，“识别到自拍杆，请先按照指示方向移动手机”)和方向标记431(例如，向左方向的标记)。用户可以按照操作提示框430，完成该操作提示框430对应的操作(例如，向左移动该终端100)。

[0152] 在一种可能的实现方式中，终端100可以依次显示出多个操作提示，逐步指引用户完成指定操作。如图4D所示，用户在向右移动该终端100后，终端100可以显示捕捉到帧画面442。终端100在检测到终端100完成上述操作提示框430对应的操作后，可以继续在相机应用界面320上显示操作提示框440。该操作提示框440中包括有文字提示(例如，“请继续按照指示方向移动手机”)和方向标记441(例如，向右方向的标记)。用户可以在完成该操作提示框430对应的操作(例如，向右移动该终端100)后，再完成操作提示框440对应的操作(例如，向右移动该终端100)。

[0153] 在用户移动该终端100的过程中，终端100可以获取到预览画面中被指定图像内容遮挡的部分内容，在终端100获取到预览画面中被指定图像内容遮挡的部分内容后，终端100可以输出操作完成提示，该操作完成提示可用于提示用户已完成指示操作，正在去除指定图像内容。

[0154] 示例性的，如图4E所示，终端100在获取到预览画面中被指定图像内容遮挡的部分内容后，终端100可以显示操作完成提示450。该操作完成提示450可以是文字提示(例如，“您已完成指示操作，正在去除自拍杆…”)。

[0155] 在一些实施例中，终端100在去除预览画面中指定图像内容之前，需要耗时一定的时间先获取指定图像内容在预览画面中遮挡的部分内容。终端100在触发开始去除预览画面中指定图像内容后，可以输出预处理倒计时，该预处理倒计时可以用于表示终端100完成去除预览画面中指定图像内容的剩余时间。这样，可以让用户感受到对指定图像的去除过程。

[0156] 示例性的，如图4F所示，终端100可以在触发开始去除预览画面中自拍杆后，可以在相机应用界面320中显示倒计时提示460。该倒计时提示460可以是文字提示(例如，“去除自拍杆准备中，等待倒计时：5s”)。

[0157] 如图4G所示，终端100在倒计时结束时，可以完成对预览画面324中自拍杆的去除，并显示出去除自拍杆后的预览画面328和提示框471。该提示框471中包括有文字提示(例如，“准备完成，已去除自拍杆”)和去除关闭控件472。该去除关闭控件472可用于撤销对预览画面328中自拍杆的去除。

[0158] 在一些实施例中，终端100可以在去除预览画面中的指定图像内容后，可以在预览画面中指定图像内容之前所处区域显示增强显示(augmentedreality，AR)效果的图像内容(包括AR静态效果图像内容和AR动态效果图像内容)。

[0159] 具体的。用户可以将终端100放置在自拍杆上，用户可以通过自拍杆调整终端100的拍照角度。终端100去除的指定图像内容可以是相机应用的预览画面中出现的自拍杆。终端100可以检测预览画面中自拍杆的周围是否有用户的手出现。当终端100检测到预览画面中自拍杆的周围有用户的手出现时，终端100可以在去除预览画面中的自拍杆后，在预览画面中手部与自拍杆接触的区域显示AR效果的图像内容。例如，终端100可以在预览画面中手部与自拍杆接触的区域通过AR技术显示手电筒图像内容。

[0160] 其中，终端100可以根据预览画面中的场景不同，去除预览画面中的自拍杆后，在预览画面中自拍杆所处的区域施加不同AR效果。例如，当终端100检测出预览画面中的场景是白天时，终端100可以在去除预览画面中用户手持的自拍杆后，在用户手部与自拍杆接触的区域通过AR技术显示花束图像内容。当终端100检测出预览画面中的场景是夜晚时，终端100可以在去除预览画面中用户手持的自拍杆后，在用户手部与自拍杆接触的区域通过AR技术显示手电筒图像内容。

[0161] 在一种可能的实现方式中，在用户用手握住自拍杆时，终端100会出现无法获取到的预览画面中被自拍杆挡住的手局部的情况。当终端100检测到预览画面中自拍杆的周围有用户的手出现时，终端100可以在去除预览画面中的自拍杆后，单独通过手部修复网络对预览画面中的手进行修复，在被自拍杆挡住的手局部生成手部细节。

[0162] 在一些实施例中，终端100可以在去除该指定图像内容之前，检测预览画面中的光照强度是否低于预设阈值，若是，则终端100可以输出补光提示，该补光提示用于提示用户打开补光灯，增强终端100后续捕捉到预览画面的曝光度。可选的，终端100还可以在检测到预览画面中的光照强度低于预设阈值时，自动打开终端100上的补光灯，增强终端100后续捕捉到预览画面的曝光度。终端100还可以在检测到预览画面中的光照强度低于预设阈值时，调整终端100拍照的自动曝光(auto exposure，AE)策略，增大终端100后续捕捉到预览画面的对比度。这样，终端100可以在光照强度较低的场景(例如夜晚)下，也能提高对指定图像内容的去除效果。

[0163] 在一种可能的实现方式中，终端100在去除预览画面中的指定图像内容之前，可以去除对预览画面中的噪声。然后，终端100再通过后续实施例提供的图像内容去除流程，去除预览画面中的指定图像内容。其中，图像内容去除流程可以参考后续实施例，在此不赘述。

[0164] 在一些实施例中，相机应用界面的预览画面中有一个或多个图像内容可以被终端100去除。终端100可以接收针对相机应用界面中预览画面的点选操作，响应于该点选操作，终端100可以识别出该预览画面中用户选择的指定图像内容，并显示去除确认控件，该去除确认控件可用于触发终端100去除预览画面中的指定图像内容。这样，可以让用户选择出预览画面中想要去除的图像内容，进行去除。

[0165] 示例性的，如图5A所示，终端100可以接收用户作用于相机应用界面320中预览画面324的点选操作(例如单击、双击、长按等等)，响应于该点选操作，终端100可以根据该点选操作在预览画面324中作用位置，识别出用户选择的指定图像内容为自拍杆。

[0166] 如图5B所示，终端100在识别出用户选择的指定图像内容为自拍杆后，可以在该在拍杆周围显示标记框511和提示框520。其中，该标记框511可用于提示用户已选择标记框511中的自拍杆。该提示框520中包括有文字提示(例如，“识别到自拍杆，是否去除？”)、去除确认控件521和去除否定控件522。其中，该去除确认控件521可用于触发终端100去除预览画面中的指定图像内容(例如自拍杆)。该去除否定控件522可以触发终端100取消去除预览画面中的指定图像内容(例如自拍杆)。

[0167] 终端100可以接收用户针对该去除确认控件521的输入(例如单击)，响应于该输入，终端100可以去除预览画面324中的自拍杆，并将预览画面324替换显示为如图5C所示的预览画面328。

[0168] 如图5C所示，该预览画面328中不包括有自拍杆。可选的，在终端100在去除预览画面324中的自拍杆后，还可以显示出提示框531。该提示框531中包括有文字提示(例如，已去除自拍杆)和去除关闭控件532。该去除关闭控件532可用于触发终端100撤销对预览画面中指定图像内容的去除。

[0169] 在一些实施例中，相机应用界面的预览画面中有一个或多个图像内容可以被终端100去除。终端100可以在识别出预览画面中可去除的一个或多个图像内容后，标记出该可去除的一个或多个图像内容。终端100可以接收用户从可去除的一个或多个图像内容中选择去除指定图像内容的输入，响应于该输入，终端100可以去除预览画面中的指定图像内容。这样，可以方便用户选择出预览画面中想要去除的图像内容，进行去除。

[0170] 示例性的，如图6A所示，终端100可以接收用户选择去物模式控件327H的输入(例如单击)，响应于该输入，终端100可以切换至去物拍摄模式。在去物拍摄模式下，终端100在识别出预览画面324中可去除的一个或多个图像内容有背景人和自拍杆后，可以在预览画面中的背景人周围显示标签631，在预览画面中的自拍杆周围显示标签621。其中，该标签631中可以包括对描述文字“背景人”和去除控件632。该去除控件632可用于触发终端100去除预览画面324中的背景人。该标签621中可以包括描述文字“自拍杆”和去除控件622。该去除控件622可用于触发终端100去除预览画面324中的自拍杆。可选的，终端100在识别出预览画面324中可去除的一个或多个图像内容包括背景人和自拍杆后，还可以显示出提示
611，该提示611可用于提示用户已识别出预览画面中的可去除的图像内容。其中，该提示
611上可以显示文字“已识别出画面中可去除的物体”。

[0171] 终端100可以接收用户针对去除控件的输入(例如单击)。响应于该输入，终端100可以去除预览画面中该去除控件对应的图像内容。可选的，终端100在去除该去除控件对应的图像内容后还可以显示撤销控件。其中，该撤销控件可用于触发终端100撤销对该图像内容的去除。

[0172] 示例性的，如图6B所示，终端100可以接收用户针对去除控件622的单击操作，响应于该单击操作，终端100可以去除预览画面324中的自拍杆，并显示预览画面328。其中，该预览画面328中不包括有自拍杆。可选的，响应于针对去除控件622的单击操作，终端100还可以在自拍杆的标签621中将去除控件622替换成撤销控件623。该撤销控件623可用于触发终端100撤销对自拍杆的去除。

[0173] 如图6C所示，终端100可以响应于接收到的用户作用于上述撤销控件623的输入(例如单击)，撤销预览画面328中对自拍杆去除，显示出预览画面324，并将撤销控件623替换成去除控件622。其中，预览画面324中包括有自拍杆。

[0174] 在本申请的实施例中，当终端100在识别出预览画面中可去除的一个或多个图像内容后，标记出该可去除的一个或多个图像内容之后，终端100还可以识别预览画面中用户的手势或面部表情动作。终端100可以确定出用户的手势或面部表情动作对应的图像内容为上述指定图像内容。

[0175] 示例性的，终端100可以识别出2个图像内容，例如，自拍杆、背景人。终端100可以给这3个图像内容标号，自拍杆可以标号为1、背景人可以标号为2。当终端100识别出用户摆出手势1(例如，伸出1根手指)或面部表情动作1(例如，连续眨眼2下)时，终端100可以将预览画面中的自拍杆确定为上述要去除的指定图像内容。当终端100识别出用户摆出手势2(例如，伸出2根手指)或面部表情动作2(例如，连续眨眼3下)时，终端100可以将预览画面中的背景人确定为上述要去除的指定图像内容。上述示例仅仅用于解释本申请，不应构成限定。

[0176] 可选的，在终端100在识别出预览画面中可去除的一个或多个图像内容，并标记出该可去除的一个或多个图像内容之后，终端100还可以接收用户的语音输入。响应于用户的语音输入，终端100可以分析用户输入的语音的语义，并根据该语义确定出上述要去除的指定图像内容。

[0177] 示例性的，终端100可以识别出2个图像内容，例如，自拍杆、背景人。终端100可以在预览画面中标记出自拍杆和背景人。当终端100接收到用户语音输入的语义为“去除自拍杆”时，终端100可以将自拍杆确定为上述要去除的指定图像内容。上述示例仅仅用于解释本申请，不应构成限定。

[0178] 可选的，在终端100在识别出预览画面中可去除的一个或多个图像内容，并标记出该可去除的一个或多个图像内容之后，终端100还可以通过蓝牙连接等已建立连接的设备，接收用户的对图像内容的选择输入。响应于该选择输入，终端100可以确定出上述要去除的指定图像内容。

[0179] 示例性的，终端100通过蓝牙连接有蓝牙耳机。终端100可以从预览画面中识别出2个图像内容，例如，自拍杆、背景人。终端100可以在预览画面中标记出自拍杆和背景人。当用户可以连续敲击蓝牙耳机2下时，蓝牙耳机可以发送指令1给终端100，终端100可以通过指令1，确定自拍杆为上述要去除的指定图像内容。当用户可以连续敲击蓝牙耳机3下时，蓝牙耳机可以发送指令2给终端100，终端100可以通过指令2，确定背景人为上述要去除的指定图像内容。示例仅仅用于解释本申请，不应构成限定。

[0180] 在一些实施例中，用户可以在相机应用中开启去除指定图像内容(例如，自拍杆)的拍摄模式(例如，自拍杆模式)。在开启去除指定图像内容的拍摄模式后，终端100可以自动识别预览画面中的指定图像内容，并从预览画面中去除该指定图像内容。这样，用户直接在相机应用中设置去除指定图像内容的自拍杆模式，就可以实现终端100自动对预览画面中的指定图像内容进行去除，方便用户快捷的去除不想要的图像内容。

[0181] 示例性的，如图7A所示，终端100可以接收用户选择自拍杆模式控件327I的输入(例如单击)，响应于该输入，终端100可以从“普通拍照模式”切换至“自拍杆模式”。在自拍杆模式下，终端100可以在识别出预览画面324中的自拍杆后，自动去预览画面324中的自拍杆。如图7B所示，在终端100去除预览画面324中的自拍杆后，终端100可以显示预览画面328。其中，该预览画面328中不包括有自拍杆。终端100可以接收用户作用于该拍摄控件322的输入(例如单击)，响应于该输入，终端100可以将预览画面328保存为图片。

[0182] 在一种可能的实现方式中，用户可以在相机应用中开启去除指定图像内容(例如，自拍杆)的拍摄模式(例如，自拍杆模式)。在开启去除指定图像内容的拍摄模式后，终端100接收到用户对拍摄控件的输入之前，终端100不去除预览画面中的指定图像内容。终端100可以响应于接收到的用户作用于拍摄控件的输入，从预览画面中获取到目标图片，然后，去除目标图片中的指定图像内容，并将去除指定图像内容后的目标图片保存至终端100的本地。

[0183] 示例性的，如图7C所示，在自拍杆模式下，终端100当前显示预览画面324。终端100可以接收到用户针对拍摄控件322的输入(例如单击)，响应于该输入，终端100可以将该预览画面324作为目标图片，并去除该目标图片中的自拍杆。

[0184] 如图7D所示，在终端100去除该目标图片中的自拍杆的过程中，终端100可以输出提示711，该提示711可用于提示用户正在去除目标图片中的自拍杆。该提示711可以是文字提示，例如，“正在去除图片中的自拍杆…”。

[0185] 如图7E所示，当终端100去除该目标图片中的自拍杆后，终端100可以将去除自拍杆后的目标图片保存至图库中，并将去除自拍杆后的目标图片对应的缩略图显示在回显控件321上。终端100可以接收用户作用于该回显控件321的输入(例如单击)，响应于该输入，终端100可以显示如图7F所示的图片浏览界面730。

[0186] 如图7F所示，该图片浏览界面730包括有图片731、菜单732。该图片731为去除自拍杆后的目标图片。其中，该菜单732可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发对该图片731的分享。该收藏按钮可用于触发收藏该图731到图片收藏文件夹。编辑按钮可用于触发对图像731的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图像731。更多按钮可用于触发打开更多与该图像731相关的功能。

[0187] 在一些实施例中，用户在使用终端100进行录像时，终端100可以识别录像视频的帧画面中是否有指定图像内容(例如自拍杆)，当识别到有指定图像内容时，终端100可以去除录像视频的帧画面中的指定图像内容，并显示去除指定图像内容之后的帧画面。这样，可以在用户录像时实时去除录像视频中用户不想要的图像内容，提高录像视频中用户想要的图像内容的显示效果，提高了用户体验。

[0188] 示例性的，如图8A所示，终端100可以显示相机应用界面320。终端100可以接收用户选择录像控件327E的输入(例如单击)，响应于该输入，终端100可以从“普通拍照模式”切换至“录像模式”，并将上述拍摄控件322替换成录像开始控件801。终端100还可以显示出录像时间信息802。在录像模式下，终端100可以识别出预览画面324中的自拍杆，并输出提示框810。其中，该提示框810中包括有文字提示(例如，“识别到自拍杆，是否去除？”)、去除确认控件811和去除否定控件812。其中，该去除确认控件811可用于触发终端100去除预览画面中的指定图像内容。该去除否定控件812可以触发终端100取消去除预览画面中的指定图像内容。

[0189] 终端100可以接收用户针对该去除确认控件811的输入(例如单击)，响应于该输入，终端100可以去除预览画面324中的自拍杆，并将预览画面324替换显示为如图8B所示的预览画面328。

[0190] 如图8B所示，该预览画面328中不包括有自拍杆。可选的，在终端100在去除预览画面324中的自拍杆后，还可以显示出提示框821。该提示框821中包括有文字提示(例如，已去除自拍杆)和去除关闭控件822。该去除关闭控件822可用于触发终端100撤销对预览画面中指定图像内容的去除。

[0191] 终端100可以接收用户作用于录像开始控件801的输入(例如单击)，响应于该输入，终端100可以开始录像，去除录像过程中每一帧画面中的指定图像内容。

[0192] 如图8C所示，终端100在开始录像后可以将录像开始控件801替换成录像结束控件803。该录像结束控件803可用于触发终端100结束录像。终端100在开始录像后，可以去除录像过程中每一帧画面中的自拍杆。例如，终端100在录像第10秒时显示的帧画面823中无自拍杆。

[0193] 终端100可以接收用户作用于录像结束控件803的输入(例如单击)，响应于该输入，终端100可以结束录像，并保存去除自拍杆后的录像视频。

[0194] 在一些应用场景中，终端100可以在拍摄图片或视频后，可以将拍摄到的图片或视频保存至本地。用户可以在终端100的图库应用中查看终端100拍摄的图片或视频，以及从其他设备或网络上获取的图片或视频。终端100可以对已存储的图片或视频中的指定图像内容进行去除。这样，可以方便用户在拍摄完图片或视频后，无论何时都能够使对已拍摄完图片或视频中的用户不想要的图像内容进行去除。

[0195] 示例性的，如图9A所示，终端100可以显示主屏幕的界面310。其中，针对该界面310的文字说明可以参考前述图3A所示实施例，在此不再赘述。

[0196] 终端100可以接收用户作用于图库应用图标312的输入(例如单击)，响应于该输入，终端100可以显示如图9B所示的图库应用界面910。

[0197] 如图9B所示，该图库应用界面910可以显示包括有一个或多个相册(例如，所有照片相册、视频相册917、相机相册、连拍相册916、微信相册、微博相册等等)。终端100可以在该图库相册界面910的下方显示有图库菜单911。其中，该图库菜单911中包括有照片控件912、相册控件913、时刻控件914、发现控件915。其中，该照片控件912用于触发终端100以图片缩略图的形式显示本地所有的图片。该相册控件913用于触发终端100显示本地图片归属的相册。如图9B所示，当前相册控件913处于选中状态，终端100显示该图库应用界面910。该时刻控件914可用于触发终端100显示本地存储的精选图片。该发现控件915可用于触发终端100显示图片的分类相册。

[0198] 终端100可以接收用户针对连拍相册916的输入(例如单击)，响应于该输入，终端100可以显示如图9C所示的连拍相册界面920。

[0199] 如图9C所示，该连拍相册界面920可以包括一张或多张图片的缩略图(例如，缩略图921和缩略图922)。其中，在一种可能的实现方式中，该缩略图921对应的图片和缩略图922对应的图片可以是终端100连拍的两张图片。

[0200] 终端100可以接收用户作用于该缩略图921的输入(例如单击)，响应于该输入，终端100显示如图9D所示的图片浏览界面930。

[0201] 如图9D所示，该图片浏览界面930可以包括图片931、菜单932、返回控件933。该图片931可以为上述缩略图921对应的图片。该菜单932可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发终端100对该图片931的分享。该收藏按钮可用于触发终端100收藏该图片931到图片收藏文件夹。编辑按钮可用于触发终端100对图片931的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该图片931。更多按钮可用于触发打开更多与该图片931相关的功能。

[0202] 终端100可以识别图片浏览界面展示的图片中是否有指定图案内容(例如自拍杆)，若有，则终端100可以在图片浏览界面显示识别提示和去除控件，该识别提示可用于提示用户当前已识别出图片浏览界面所展示图片中有指定图像内容。该去除控件可用于触发终端100去除图片浏览界面所展示图片中的指定图像内容。

[0203] 示例性的，如图9D所示，当终端100识别出图片浏览界面930所展示的图片931中有自拍杆时，终端100可以显示出提示941和去除控件942。该提示941可以是文字提示，例如，“识别到图片中有自拍杆，您可以选择去除”。该去除控件942周围可以显示有“去除自拍杆”的文字。

[0204] 终端100可以接收用户作用于该去除控件的输入(例如单击)，响应于该输入，终端100可以去除上述去除图片浏览界面所展示图片中的指定图像内容(例如自拍杆)，并显示去除指定图像内容后的图片。

[0205] 示例性的，终端100响应于接收到的针对上述图9D中去除控件942的单击操作时，终端100可以去除上述图9D中所示图片931中的自拍杆，并显示出如图9E所示的图片934。其中，该图片934为在图片931中去除自拍杆后得到的图片。可选的，如图9E所示，终端100还可以在去除上述图9D中所示图片931中的自拍杆后，显示出提示943、撤销控件944、保存控件945。其中，该提示943可用于提示用户已去除图片浏览界面所展示图片中的指定图像内容，例如，该提示943可以为“已去除图片中的自拍杆”的文字提示。该撤销控件944可用于触发终端100撤销对图片浏览界面所展示图片中的指定图像内容的去除。

[0206] 终端100可以接收用户作用于该保存控件945的输入(例如单击)，响应于该输入，终端100可以将去除指定图像内容(例如自拍杆)后的图片保存至本地。如图9F所示，终端100可以在图库应用中的连拍相册界面920中显示该去除指定图像内容后的图片对应的缩略图923。其中，终端100可以标记出该缩略图923。例如，终端100可以在缩略图923下方显示文字标记“自拍1(去自拍杆)”。

[0207] 在一些实施例中，终端100在显示图片浏览界面后，可以识别出图片浏览界面所展示图片中可去除的一个或多个图像内容，并标记出该可去除的一个或多个图像内容。终端100可以接收用户从可去除的一个或多个图像内容中选择去除指定图像内容的输入，响应于该输入，终端100可以去除该图片中的指定图像内容。这样，可以方便用户选择出图片浏览界面所展示的图片中想要去除的图像内容，进行去除。

[0208] 示例性的，如图10A所示，终端100显示图片浏览界面930后，可以识别出图片931中可去除的一个或多个图像内容包括有背景人和自拍杆。终端100可以在图片931中背景人周围显示标签1031，在图片931中的自拍杆周围显示标签1021。其中，该标签1031中可以包括对描述文字“背景人”和去除控件1032。该去除控件1032可用于触发终端100去除图片931中的背景人。该标签1021中可以包括描述文字“自拍杆”和去除控件1022。该去除控件1022可用于触发终端100去除图片931中的自拍杆。可选的，终端100在识别出图片931中可去除的一个或多个图像内容包括背景人和自拍杆后，还可以显示出提示1011，该提示1011可用于提示用户已识别出图片931中的可去除的图像内容。其中，该提示1011上可以显示文字“识别到图片中有可去除的物体，您可以有选择性的去除”。

[0209] 终端100可以接收用户针对去除控件的输入(例如单击)。响应于该输入，终端100可以去除图库浏览界面所展示图片中该去除控件对应的图像内容。可选的，终端100在去除该去除控件对应的图像内容后还可以显示撤销控件。其中，该撤销控件可用于触发终端100撤销对该图像内容的去除。

[0210] 示例性的，如图10B所示，终端100可以响应于接收到的用户针对去除控件1022的单击操作，去除图片931中的自拍杆，并显示图片934。其中，该图片934中不包括有自拍杆。可选的，响应于针对去除控件622的单击操作，终端100还可以在自拍杆的标签1021中将去除控件1022替换成撤销控件1023。该撤销控件1023可用于触发终端100撤销对自拍杆的去除。

[0211] 在一些实施例中，终端100在相机应用界面中打开去物功能后，终端100可以识别出预览画面中可去除的一个或多个图像内容，并显示出这一个或多个图像内容各自对应的去除模式控件。终端100可以接收到用户针对指定图像内容对应的去除模式控件的输入，响应于该输入，终端100可以去除预览画面中的指定图像内容。然后，终端100可以接收用户针对拍摄控件的输入，响应于该输入，终端100可以将去除指定图像内容之后的预览画面保存为图片。用户可以通过相机应用界面上的回显控件查看去除指定图像内容之后的图片，终端100可以将已去除指定图像内容之后的图片中的其他可去除图像内容标记出来，供用户选择去除。

[0212] 示例性的，如图10C所示，终端100可以已切换至去物拍摄模式。在去物拍摄模式下，终端100在识别出预览画面324中可去除的一个或多个图像内容包括有背景人和自拍杆后，终端100可以显示去除模式选择框1040。其中，该去除模式选择框1040中包括有文字提示、自拍杆去除控件1041和背景人去除控件1042。例如，该文字提示可以为“已识别出画面中可去除的内容，您可选择对应的去除模式”。

[0213] 终端100可以接收用户针对去除模式控件的输入(例如单击)，响应于该输入，终端100可以进入该去除模式控件对应的去除模式，并去除预览画面中该去除模式对应的图像内容。

[0214] 示例性的，如图10D所示，在终端100接收到用户选择自拍杆去除控件1041后，终端100可以进入自拍杆去除模式，并去除预览画面中的自拍杆。终端100可以在去除自拍杆的过程中，显示出提示1051，该提示1051可用于提示用户终端100正在去除预览画面324中的自拍杆。

[0215] 终端100可以接收用户针对该去除确认控件521的输入(例如单击)，响应于该输入，终端100可以去除预览画面324中的自拍杆，并将预览画面324替换显示为如图10E所示的预览画面328。

[0216] 如图10E所示，该预览画面328中不包括有自拍杆。可选的，在终端100在去除预览画面324中的自拍杆后，还可以显示出提示框1052。该提示框1053中包括有文字提示(例如，已去除自拍杆)和去除关闭控件1053。该去除关闭控件1053可用于触发终端100撤销对预览画面中指定图像内容的去除。

[0217] 如图10F所示，在终端100去除自拍杆后，终端100可以接收用户针对拍摄控件322的输入(例如单击)，响应于该输入，终端100可以保存该预览画面328为目标图片，并将该目标图片的缩略图显示在回显控件321中。终端100可以接收用户作用于该回显控件321的输入(例如单击)，响应于该输入，终端100可以显示如图10G所示的图片浏览界面730。

[0218] 如图10G所示，该图片浏览界面930包括有图片1061、菜单932。该图片1061为去除自拍杆后的目标图片。终端100可以将上述去除自拍杆过程中缓存的帧画面作为参考图片，识别出该图片1061中的可去除图像内容，并标记出该可去除图像内容。例如，终端100识别出该图片1061中包括有可去除的背景人后，可以显示提示1073，并在该图片1061中该背景人的周围位置显示标签1071。其中，该提示1073可用于提示用户已识别出图片1061中的可去除的图像内容。其中，该提示1011上可以显示文字“识别到图片中还有可去除的内容，您可以进一步选择进行去除”。该标签1071中可包括对描述文字“背景人”和去除控件1072。该去除控件1072可以用于触发终端100去除该图片1061中的背景人。

[0219] 在一些实施例中，图片浏览界面所展示的图片中有一个或多个图像内容可以被终端100去除。终端100可以接收针对图片浏览界面所展示的图片的点选操作，响应于该点选操作，终端100可以识别出图片浏览界面所展示的图片中用户选择的指定图像内容(例如自拍杆)，并显示去除确认控件，该去除确认控件可用于触发终端100去除图片浏览界面所展示的图片中的指定图像内容。这样，可以让用户选择出预览画面中想要去除的图像内容，进行去除。

[0220] 示例性的，如图11A所示，终端100可以接收用户作用于图库浏览界面930中图片931的点选操作(例如单击、双击、长按等等)，响应于该点选操作，终端100可以根据该点选操作在图片931中作用位置，识别出用户选择的指定图像内容为自拍杆。

[0221] 如图11B所示，终端100在识别出用户选择的指定图像内容为自拍杆后，可以在该自拍杆周围显示标记框1111和提示框1120。其中，该标记框1111可用于提示用户已选择标记框1111中的自拍杆。该提示框1120中包括有文字提示(例如，“识别到您选中了自拍杆，是否去除？”)、去除确认控件1121和去除否定控件1122。其中，该去除确认控件1121可用于触发终端100去除图片931中的指定图像内容(例如自拍杆)。该去除否定控件1122可以触发终端100取消去除预览画面中的指定图像内容(例如自拍杆)。

[0222] 终端100可以接收用户针对该去除确认控件1121的输入(例如单击)，响应于该输入，终端100可以去除图片931中的自拍杆，并将图片931替换显示为如图11C所示的图片934。

[0223] 如图11C所示，该图片934为上述图片931去除自拍杆后得到的图片。可选的，终端100在去除图片931中的自拍杆后，还可以显示出提示943、撤销控件944、保存控件945。其中，针对提示943、撤销控件944、保存控件945的文字说明可以参考前述图9E所示实施例，在此不再赘述。

[0224] 在一些实施例中，终端100本地可以保存有视频，该视频可以是终端100拍摄的，或者其他设备发送过来的，或者是从网络上下载的。由于该视频的画面中有指定图像内容，影响视频的整体观赏性，终端100可以对已存储的图片或视频中的指定图像内容进行去除。这样，可以方便用户在拍摄完视频后，无论何时都能够使对已拍摄完视频中的用户不想要的图像内容进行去除。

[0225] 示例性的，如图12A所示，终端100可以显示图库应用界面910。其中，针对该图库相册界面910的文字说明可以参考前述图9B所示实施例，在此不再赘述。

[0226] 终端100可以接收用户作用于视频相册917的输入(例如单击)，响应于该输入，终端100可以显示如图12B所示的视频相册界面1210。

[0227] 如图12B所示，该视频相册界面1210包括有一个或多个视频对应的缩略图，例如，缩略图1211、缩略图1212、缩略图1213和缩略图1214，等等。其中，该视频相册界面1210上的每个缩略图上还可以显示有该缩略图对应视频的时间长度。例如，缩略图1211对应视频的时间长度为10s，缩略图1212对应视频的时间长度为15s，缩略图1213对应视频的时间长度为30s，缩略图1214对应视频的时间长度为45s。上述示例仅仅用于解释本申请，不应构成限定。

[0228] 终端100可以接收用户作用于该缩略图1211的输入(例如单击)，响应于该输入，终端100可以显示如图12C所示的视频浏览界面1220。

[0229] 如图12C所示，该视频浏览界面1220可以包括视频1221、菜单1222、返回控件1223。其中，该视频1221为上述缩略图1211对应的视频。该菜单1222可以包括分享按钮、收藏按钮、编辑按钮、删除按钮、更多按钮。分享按钮可用于触发终端100对该视频1221的分享。该收藏按钮可用于触发终端100收藏该视频1221到视频收藏文件夹。编辑按钮可用于触发终端100对视频1221的旋转、修剪、增加滤镜、虚化等编辑功能。删除按钮可用于触发删除该视频1221。更多按钮可用于触发打开更多与该视频1221相关的功能。

[0230] 终端100可以识别视频浏览界面所展示视频的帧画面中是否有指定图案内容(例如自拍杆)，若有，则终端100可以在视频浏览界面显示识别提示和去除控件，该识别提示可用于提示用户当前已识别出视频浏览界面所展示视频的帧画面中有指定图像内容。该去除控件可用于触发终端100去除视频浏览界面所展示视频中的指定图像内容。

[0231] 示例性的，如图12C所示，当终端100识别出视频浏览界面1220所展示的视频1221中有自拍杆时，终端100可以显示出提示1231和去除控件1232。该提示1231可以是文字提示，例如，“识别到视频中有自拍杆，您可以选择去除”。该去除控件1232周围可以显示有“去除自拍杆”的文字。

[0232] 终端100可以接收用户作用于该去除控件的输入(例如单击)，响应于该输入，终端100可以去除上述去除图片浏览界面所展示图片中的指定图像内容(例如自拍杆)，并显示去除指定图像内容后的图片。

[0233] 示例性的，终端100响应于接收到的针对上述图12C中去除控件1232的单击操作时，终端100可以去除上述图12C中所示视频1231中的自拍杆，并显示出如图12D所示的视频1223。其中，该视频1223为在视频1221中去除自拍杆后得到的视频。可选的，如图12D所示，终端100还可以在去除上述图12C中所示视频1221中的自拍杆后，显示出提示1241、撤销控件1242、保存控件1243。其中，该提示1241可用于提示用户已去除图片浏览界面所展示图片中的指定图像内容，例如，该提示1241可以为“已去除图片中的自拍杆”的文字提示。该撤销控件1242可用于触发终端100撤销对图片浏览界面所展示图片中的指定图像内容的去除。
该保存控件1243可用于触发终端100保存该视频1223。

[0234] 下面介绍本申请实施例中终端100针对图片中指定图像内容的去除过程。

[0235] 图13示出了本申请实施例提供的一种图像内容去除系统1300的架构示意图。该图像内容去除系统1300可以应用于上述终端100上。

[0236] 如图13所示，该图像内容去除系统1300可以包括有图片分割模块1301、粗修复模块1302、掩码图生成模块1303和细修复模块1304。其中，

[0237] 图片分割模块1301，可用于分割掉第一目标图像中指定图像内容(例如，自拍杆)所在的第一区域，得到第二目标图像。分割模块1301，还可用于分割第一参考图像中指定图像内容(例如，自拍杆)所在的第二区域，得到第二参考图像。

[0238] 该粗修复模块1302，可用于通过第二参考图像，从第二参考图像中找出与第一区域周围特征相似的内容，对所述第二目标图像中的第一区域进行填补，生成第三目标图像。该特征包括纹理、色彩、形状等等。

[0239] 该掩码(mask)图生成模块1303，可用于根据第二目标图像，生成第二目标图像的掩码图。

[0240] 具体的，掩码图生成模块1303，可用于将第二目标图像中第一区域的显示颜色转换为白色，将第二目标图像中的非第一区域的显示颜色转换为黑色。

[0241] 该细修复模块1304，可用于根据第二目标图像的掩码图和第三目标图像，优化生成第三目标图像中的第一区域中的纹理，得到第四目标图像。

[0242] 示例性的，如图14A所示，第一目标图像包括有自拍杆。如图14B所示，第二目标图像中第一区域内的自拍杆已被分割掉，该第一区域可以用黑色填充。如图14C所示，第一参考图像包括有自拍杆。如图14D所示，第二参考图像中第二区域内的自拍杆已被分割掉，该第二区域可以用黑色填充。如图14E所示，第二目标图像的掩码图中第一区域可以用白色填充，第二目标图像的掩码图中的非第一区域可以用黑色填充。如图14F所示，第三目标图像中的第一区域已填充有从第二参考图像中确定出的与第一区域周围特征相似的内容。如图14G所示，第四目标图像的第一区域中的纹理、边缘、细节已被优化。

[0243] 其中，该指定图像内容可以是终端100上系统默认的，也可以是用户选择输入的。该指定图像内容可以包括自拍杆、背景人、眼镜等等图像内容中的一项或多项。

[0244] 该第一目标图像可以是终端100的摄像头捕捉到的目标帧画面，第一参考图像可以是该目标帧画面的相邻帧画面。例如，第一目标图像可以是上述图3B所示的预览画面324，或上述图8A所示的预览画面324，或上述图8B至图8C中终端100在录像的过程中摄像头捕捉到的每一帧画面，等等。又例如，第一目标图像可以是上述图7C中终端100接收到用户针对拍摄控件322的输入时，终端100的摄像头捕捉到的预览画面324。

[0245] 在一些实施例中，第一目标图像还可以是终端100图库应用中已保存的图片第一参考图像可以是该已保存图片的连拍图。例如，第一目标图像上述图9C所示缩略图921对应的图片，上述图9C所示缩略图922对应的图片，等等。

[0246] 在一些实施例中，第一目标图像还可以是终端100录像过程中的任一帧画面，第一参考图像可以是录像过程中该任一帧画面的相邻帧画面。例如，第一目标图像可以是上述图8B至图8C所示录像过程中的终端100的摄像头捕捉到的任一帧画面，等等。

[0247] 在一些实施例中，第一目标图像还可以是终端100上已保存视频中的任一帧画面，第一参考图像可以是该视频中该任一帧画面的相邻帧画面。例如，第一目标图像可以是上述图12C所示视频1221中任一帧画面，等等。

[0248] 具体的，该图片分割模块1301，可以根据预先获取到指定图像内容(例如，自拍杆)的特征信息，与第一目标图像进行特征匹配，从第一目标图像中确定出指定图像内容在第一目标图像中所在的区域，并将该指定图像内容所在的区域从第一目标图像中分割掉，得到第二目标图像。该图片分割模块1301，可以根据预先获取到指定图像内容的特征信息，与第一参考图像进行特征匹配从第一参考图像中确定出指定图像内容在第一参考图像中所在的区域，并将该指定图像内容所在的区域从第一目标图像中分割掉，得到第二参考图像。

[0249] 在一种可能的实现方式中，该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一目标图像的RGB信息，识别出第一目标图像中指定图像内容(例如，自拍杆)所在的第一区域，并从该第一目标图像中分割掉第一区域，得到第二目标图像。该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一参考图像的RGB信息，识别出第一参考图像中指定图像内容(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0250] 在一种可能的实现方式中，该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一目标图像的RGB信息、景深信息和置信度信息，识别出第一目标图像中指定图像内容(例如，自拍杆)所在的第一区域，并将该指定图像内容所在的区域从第一目标图像中分割掉，得到第二目标图像。该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一参考图像的RGB信息、景深信息和置信度信息，识别出第一参考图像中指定图像内容(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0251] 在一种可能的实现方式中，该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一目标图像的RGB信息、热成像信息，识别出第一目标图像中指定图像内容(例如，自拍杆)所在的第一区域，并将该指定图像内容所在的区域从第一目标图像中分割掉，得到第二目标图像。该图片分割模块1301，还可以通过训练好的分割神经网络，根据第一参考图像的RGB信息、热成像信息，识别出第一参考图像中指定图像内容(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0252] 其中，在训练该分割神经网络时，训练设备可以通过调整图像对比度等手段扩充训练数据，增加训练数据的丰富度，使得分割神经网络能在输入图片的拍摄环境剧烈变化下，更好的分割掉该输入图片中的指定图像内容。该分割神经网络的类型可以是卷积神经网络，例如，SSD网络，faster‑RCNN网络，等等。

[0253] 在本申请实施例中，该图像内容去除系统1300可应用在终端100上。

[0254] 在一种可能的实现方式中，该图像内容去除系统1300可以应用在服务器上，终端100可以将第一目标图像和第一参考图像发送给服务器，服务器可以根据第一目标图像和第一参考图像，去除第一目标图像中的指定图像内容(例如自拍杆)，得到第四目标图像，并将第四目标图像发送给终端100。

[0255] 在一种可能的实现方式中，该图像内容去除系统1300可以应用在服务器和终端100上，该图像内容去除系统1300中可以有部分功能模块在服务器上，剩余部分功能模块可以在终端100上。例如，终端100上可以包括有图片分割模块1301，服务器上可以包括有粗修复模块1302、掩码图生成模块1303和细修复模块1304。终端100可以在获取到第一目标图像和第一参考图像后，通过图像分割模块1301分割掉第一目标图像中指定图像内容所在的第一区域，得到第二目标图像，分割掉第一参考图像中指定图像内容所在的第二区域，得到第二参考图像。然后，终端100将第二目标图像和第二参考图像发送给服务器，服务器可以根据第二目标图像和第二参考图像，通过粗修复模块1302、掩码图生成模块1303和细修复模块1304进行处理，得到第四目标图像，并将第四目标图像发送给终端100。示例仅仅用于解释本申请，不应构成限定，具体实现中，该图像内容去除系统1300中所包括的功能模块还可以在服务器和终端100上有其他的分布方式，在此不再赘述。

[0256] 下面介绍本申请实施例中的光流粗修复过程。

[0257] 图15示出了本申请实施例中的一种粗修复模块1302的结构示意图。

[0258] 如图15所示，上述粗修复模块1302可以包括光流网络1501、光流补全模型1502和填补模块1503。其中：

[0259] 该光流网络1501，可用于计算第二目标图像和第二参考图像之间缺失的光流(optical flow)信息。其中，光流可以用于指示两个图像中运动物体在观察成像平面上的像素运动的瞬时速度。

[0260] 该光流补全模型1502，可用于根据第二参考图像，补全第二目标图像和第二目标图像之间缺失的光流信息，得到第二目标图像和第二参考图像之间完整的光流信息。

[0261] 该填补模块1503，可用于通过完整的光流信息，确定出第二参考图像中需要填补至第二目标图像中第一区域的填补像素信息，并通过该填补像素信息，填补第二目标图像中第一区域内的像素，得到第三目标图像。

[0262] 在本申请实施例中，该光流网络1501可以采用flownet或flownet2等光流网络。

[0263] 下面介绍本申请实施例中的多帧特征粗修复过程。

[0264] 图16示出了本申请实施例中的另一种粗修复模块1302的结构示意图。

[0265] 如图16所示，上述粗修复模块1302可以包括编码器1601、注意力机制模块1602、特征填补模块1603和解码器1604。其中：

[0266] 该编码器1601，可用于将第二目标图像编码成第一目标特征图，将第二参考图像编码成第一参考特征图。其中，示例性的，第一目标特征图可以参考图17A所示，第二目标特征图可以参考图17B所示，示例仅仅用于解释本申请，不应构成限定。

[0267] 该注意力机制模块1602，可用于根据第一目标特征图和第一参考特征图，从第一参考特征图中找出与第一目标特征图中第一区域周围特征相似的特征信息。其中，该特征信息包括纹理、色彩、形状等等。

[0268] 该特征填补模块1603，可用于将第一参考特征图中与第一目标特征图中第一区域周围特征相似的特征信息，填补至第一目标特征图的第一区域，得到第二目标特征图。

[0269] 该解码器1604，可用于将第二目标特征图解码成第三目标图像。

[0270] 下面介绍本申请实施例中的单帧特征粗修复过程。

[0271] 图18示出了本申请实施例中的另一种粗修复模块1302的结构示意图。

[0272] 如图18所示，上述粗修复模块1302可以包括编码器1801、注意力机制模块1802、特征填补模块1803和解码器1804。其中：

[0273] 该编码器1801，可用于将第二目标图像编码成第一目标特征图。其中，示例性的，第一目标特征图可以参考上述图17A所示，示例仅仅用于解释本申请，不应构成限定。

[0274] 该注意力机制模块1802，可用于从第一目标特征图中找出与第一区域周围特征相似的特征信息。其中，该特征信息包括纹理、色彩、形状等等。

[0275] 该特征填补模块1803，可用于将第一目标特征图中与第一区域周围特征相似的特征信息，填补至第一目标特征图的第一区域，得到第二目标特征图。

[0276] 该解码器1604，可用于将第二目标特征图解码成第三目标图像。

[0277] 在本申请实施例中，当该第一目标图像为终端100的摄像头捕捉到的目标帧画面，第一参考图像为该目标帧画面的相邻帧画面时，上述图像内容去除系统1300还可以包括有运动检测模块1305。

[0278] 如图19所示，该运动检测模块1305，可用于根据从终端100的惯性测量单元(inertial measurement unit，IMU)获取的运动数据，判断终端100的拍摄画面是否在大幅度运动，若是，则该粗修复模块1302可以采用上述图16所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行多帧粗修复。若否，则该粗修复模块1302可以采用上述图15所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行光流粗修复。其中，该运动数据包括终端100的角速度数据和加速度数据。例如，当终端100三个方向上的角速度中有任一个方向的角速度大于指定角速度值，或终端100三个方向上的加速度中有任一个方向的加速度大于指定加速度值时，运动检测模块1305可确定出终端100的拍摄画面在大幅度运动，当运动数据在其他情况下，运动检测模块1305可确定出终端100的拍摄画面在小幅度运动。

[0279] 在一种可能的实现方式中，该运动检测模块1305，可用于根据第二目标图像的掩码图和第二参考图像的掩码图之间的交并比(intersection over union，IoU)，判断终端100的拍摄画面是否大幅度运动，若是，则该粗修复模块1302可以采用上述图16所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行多帧粗修复。若否，则该粗修复模块1302可以采用上述图15所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行光流粗修复。例如，当第二目标图像的掩码图和第二参考图像的掩码图之间的交并比小于指定交并比值时，则运动检测模块1305可确定出终端100的拍摄画面在大幅度运动。当第二目标图像的掩码图和第二参考图像的掩码图之间的交并比大于或等于指定交并比值时，则运动检测模块1305可确定出终端100的拍摄画面在小幅度运动。

[0280] 在一种可能的实现方式中，该运动检测模块1305，可用于根据第一目标特征图和第一参考特征图的相似度，判断终端100的拍摄画面是否大幅度运动，若是，则该粗修复模块1302可以采用上述图16所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行多帧粗修复。若否，则该粗修复模块1302可以采用上述图15所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行光流粗修复。例如，当第一目标特征图和第一参考特征图的相似度小于指定相似度值时，则运动检测模块1305可确定出终端100的拍摄画面在大幅度运动。当第一目标特征图和第一参考特征图的相似度大于或等于指定相似度值时，则运动检测模块1305可确定出终端100的拍摄画面在小幅度运动。

[0281] 在一些实施例中，该运动检测模块1305还可以根据从终端100的IMU中获取的运动数据、第二目标图像的掩码图和第二参考图像的掩码图之间的交并比、第一目标特征图和第一参考特征图的相似度，共同判断终端100的拍摄画面是否大幅度运动，若是，则该粗修复模块1302可以采用上述图16所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行多帧粗修复。若否，则该粗修复模块1302可以采用上述图15所示的结构，根据第二目标图像和第二参考图像，对第二目标图像进行光流粗修复。

[0282] 下面介绍本申请实施例中提供的一种图像内容去除方法。

[0283] 图20示出了本申请实施例中提供的一种图像内容去除方法的流程示意图。

[0284] 如图20所示，该方法包括：

[0285] S2001、终端100获取第一目标图像和第一参考图像。

[0286] 该第一目标图像可以是终端100的摄像头捕捉到的第一预览画面，第一参考图像可以是该第一预览画面之前或之后摄像头捕捉到的第一参考帧画面。其中，该第一预览画面和所述第一参考帧画面中均包括第一对象的图像内容和第二对象的图像内容，在所述第一预览画面中，所述第一对象的图像内容遮挡住所述第二对象的部分图像。

[0287] 例如，第一预览画面可以是上述图3B所示的预览画面324，或上述图8A所示的预览画面324，或上述图8B至图8C中终端100在录像的过程中摄像头捕捉到的每一帧画面，等等。又例如，第一预览画面可以是上述图7C中终端100接收到用户针对拍摄控件322的输入时，终端100的摄像头捕捉到的预览画面324。

[0288] 在一些实施例中，第一目标图像还可以是终端100图库应用中已保存的图片第一参考图像可以是该已保存图片的连拍图。例如，第一目标图像上述图9C所示缩略图921对应的图片，上述图9C所示缩略图922对应的图片，等等。

[0289] 在一些实施例中，第一目标图像还可以是终端100录像过程中的任一帧画面，第一参考图像可以是录像过程中该任一帧画面的相邻帧画面。例如，第一目标图像可以是上述图8B至图8C所示录像过程中的终端100的摄像头捕捉到的任一帧画面，等等。

[0290] 在一些实施例中，第一目标图像还可以是终端100上已保存视频中的任一帧画面，第一参考图像可以是该视频中该任一帧画面的相邻帧画面。例如，第一目标图像可以是上述图12C所示视频1221中任一帧画面，等等。

[0291] 具体内容，可以参考前述图13所示实施例。

[0292] S2002、终端100分割掉第一目标图像中第一对象所在的第一区域，得到第二目标图像。

[0293] S2003、终端100分割掉第一参考图像中第一对象所在的第二区域，得到第二参考图像。

[0294] 其中，将该第一对象作为待去除对象可以是终端100上系统默认的，也可以是用户选择输入的。该第一对象可以包括自拍杆、背景人、眼镜等等图像内容中的一项或多项。该第一对象为上述实施例中的指定图像内容。具体内容，可以参考前述实施例，在此不再赘述。

[0295] 终端100根据预先获取到第一对象(例如，自拍杆)的特征信息，与第一目标图像进行特征匹配，从第一目标图像中确定出第一对象在第一目标图像中所在的区域，并将该第一对象所在的区域从第一目标图像中分割掉，得到第二目标图像。终端100可以根据预先获取到第一对象的特征信息，与第一参考图像进行特征匹配从第一参考图像中确定出第一对象在第一参考图像中所在的区域，并将该第一对象所在的区域从第一目标图像中分割掉，得到第二参考图像。

[0296] 在一种可能的实现方式中，终端100可以通过训练好的分割神经网络，根据第一目标图像的RGB信息，识别出第一目标图像中第一对象(例如，自拍杆)所在的第一区域，并从该第一目标图像中分割掉第一区域，得到第二目标图像。终端100可以通过训练好的分割神经网络，根据第一参考图像的RGB信息，识别出第一参考图像中第一对象(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0297] 在一种可能的实现方式中，终端100可以通过训练好的分割神经网络，根据第一目标图像的RGB信息、景深信息和置信度信息，识别出第一目标图像中第一对象(例如，自拍杆)所在的第一区域，并将该第一对象所在的区域从第一目标图像中分割掉，得到第二目标图像。终端100可以通过训练好的分割神经网络，根据第一参考图像的RGB信息、景深信息和置信度信息，识别出第一参考图像中第一对象(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0298] 在一种可能的实现方式中，终端100可以通过训练好的分割神经网络，根据第一目标图像的RGB信息、热成像信息，识别出第一目标图像中第一对象(例如，自拍杆)所在的第一区域，并将该第一对象所在的区域从第一目标图像中分割掉，得到第二目标图像。终端100可以通过训练好的分割神经网络，根据第一参考图像的RGB信息、热成像信息，识别出第一参考图像中第一对象(例如，自拍杆)所在的第二区域，并将从第一参考图像中分割掉第二区域，得到第二参考图像。

[0299] 具体内容，可以参考前述图13所示实施例。

[0300] S2004、终端100从第二参考图像中找出与第二目标图像中第一区域周围特征相似的内容，对第二目标图像中的第一区域进行填补，得到第三目标图像。

[0301] 在一种可能的实现方式中，终端100可以根据第二目标图像和第二参考图像，对第二目标图像进行光流粗修复。

[0302] 具体的，终端100可以通过光流网络计算第二目标图像和第二参考图像中缺失的光流信息。然后，终端100可以通过光流补全模型，根据第二参考图像，补全第二目标图像中缺失的光流信息，得到第二目标图像和第二参考图像中完整的光流信息。接着，终端100可以通过完整的光流信息，确定出第二参考图像中需要填补至第二目标图像中第一区域的填补像素信息，并通过该填补像素信息，填补第二目标图像中第一区域内的像素，得到第三目标图像。

[0303] 在一种可能的实现方式中，终端100可以根据第二目标图像和第二参考图像，对第二目标图像进行多帧特征粗修复。

[0304] 具体的，终端100可以将第二目标图像编码成第一目标特征图，将第二参考图像编码成第一参考特征图。然后，终端100可以根据第一目标特征图和第一参考特征图，从第一参考特征图中找出与第一目标特征图中第一区域周围特征相似的特征信息。其中，该特征信息包括纹理、色彩、形状等等。接着，终端100可以将第一参考特征图中与第一目标特征图中第一区域周围特征相似的特征信息，填补至第一目标特征图的第一区域，得到第二目标特征图。再接着，终端100可以将第二目标特征图解码成第三目标图像。

[0305] 在一种可能的实现方式中，终端100可以根据第二目标图像，对第二目标图像进行单帧特征粗修复。

[0306] 具体的，终端100可以将第二目标图像编码成第一目标特征图。然后，终端100可以从第一目标特征图中找出与第一区域周围特征相似的特征信息。接着，终端100可以将第一目标特征图中与第一区域周围特征相似的特征信息，填补至第一目标特征图的第一区域，得到第二目标特征图。再接着，终端100可以将第二目标特征图解码成第三目标图像。

[0307] 具体内容，可以参考前述图13、图15、图16、图18所示实施例。

[0308] S2005、终端100根据第二目标图像，生成第二目标图像的掩码图。

[0309] 具体内容，可以参考前述图13所示实施例，在此不再赘述。

[0310] S2006、终端100根据第二目标图像的掩码图和第三目标图像，优化生成第三目标图像中第一区域内的纹理，得到第四目标图像。

[0311] 其中，在终端100得到第四目标图像后，终端100可以将该第四目标图像作为第一修复画面，并显示出该第一修复画面，例如，当第一目标图像为摄像头捕捉到的第一预览画面时，终端100可以将该第四目标图像作为去除第一对象后的预览画面显示在相机应用界面中。又例如，第一目标图像为已保存的图片时，终端100可以将第四目标图像显示在图片预览界面中，等等。

[0312] 在一些实施例中，终端100可以不执行上述步骤S2006，直接将上述第三目标图像作为第一修复画面，并显示出该第一修复画面。

[0313] 具体内容，可以参考前述实施例，在此不再赘述。

[0314] 在一些实施例中，终端100可以对连续的帧画面中的第一对象进行去除。例如，终端100可以在打开相机应用后，对摄像头捕捉到的每一帧画面中的第一对象(例如自拍杆)进行去除。其中，终端100可以通过前两帧画面，通过上述图13等所示实施例中的图像内容去除流程，对前两帧画面中的第一对象进行去除。终端100在对第三帧画面及后续帧画面中的第一对象进行去除时，终端100可以结合终端100的运动速度和终端100的转动角度，以及第一帧画面中第一对象所处的位置，推测出第三帧画面或后续帧画面中第一对象所处的位置。然后，终端100根据第三帧画面或后续帧画面中第一对象所处的位置，从第一帧画面中确定出第三帧画面或后续帧画面中第一对象所处位置的填补内容。接着，终端100可以将确定出的填补内容，替换第三帧画面或后续帧画面中的第一对象，填入至第三帧画面或后续帧画面中第一对象所处的位置。这样，在去除连续帧画面中的第一对象时，可以减少处理时间。

[0315] 在一种可能的实现方式中，当终端100结合终端100的运动速度和终端100的转动角度，确定出第三帧画面或后续帧画面中第一对象在帧画面中所处位置没有变化时，终端100可以直接将第一帧画面中的填补内容，替换第三帧画面或后续帧画面中的第一对象，填入至第三帧画面或后续帧画面中第一对象所处的位置。

[0316] 在一些实施例中，终端100可以对连续的帧画面中的第一对象进行去除。例如，终端100可以在打开相机应用后，对摄像头捕捉到的每一帧画面中的第一对象(例如自拍杆)进行去除。又例如，终端100可以对已保存的视频中每一帧画面中的第一对象进行去除。其中，终端100可以跳帧去除帧画面中第一对象，然后，将去除第一对象后的帧画面复制插入在两个已去除第一对象的帧画面之间。这样，可以在去除连续帧画面中的第一对象时，可以减少处理时间。

[0317] 示例性的，在时间长达1s视频可以包括有60帧画面。这60帧画面中可以都包括有自拍杆。终端100在去除这60帧画面中的自拍杆时，可以跳帧去除第1帧画面、第11帧画面、第21帧画面、第31帧画面、第41帧画面以及第51帧画面中的自拍杆。然后，终端100可以将去除自拍杆后的第1帧画面复制为10帧画面，作为去除自拍杆后视频中的第1‑10帧画面。终端100可以将去除自拍杆后的第11帧画面复制为10帧画面，作为去除自拍杆后视频中的第11‑
20帧画面。终端100可以将去除自拍杆后的第21帧画面复制为10帧画面，作为去除自拍杆后视频中的第21‑30帧画面。终端100可以将去除自拍杆后的第31帧画面复制为10帧画面，作为去除自拍杆后视频中的第31‑40帧画面。终端100可以将去除自拍杆后的第41帧画面复制为10帧画面，作为去除自拍杆后视频中的第41‑50帧画面。终端100可以将去除自拍杆后的第51帧画面复制为10帧画面，作为去除自拍杆后视频中的第51‑60帧画面。

[0318] 通过本申请实施例提供的一种图像内容去除方法，可以实现无特殊摄像头的终端上，去除用户所拍摄的图片或视频中用户不想要的图像内容(例如自拍杆)，提高图片或视频中用户想要的图像内容的显示效果，提高了用户体验。

[0319] 以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。