图像处理方法和装置、电子设备、计算机可读存储介质

摘要

本申请涉及图像处理方法和装置、电子设备、计算机可读存储介质，方法包括：采集第一图像和第二图像，其中，第二图像是第一图像的后向帧图像；获取第一图像中的第一人脸区域和第二图像中的第二人脸区域；确定第一人脸区域与第二人脸区域之间的人脸区域变化量；当人脸区域变化量小于第一预设变化量时，对第二人脸区域进行矫正处理得到第三图像，显示第三图像。采用本申请的方法能够提高图像的清晰度。

权利要求

1.一种图像处理方法，其特征在于，包括：在直播时，通过摄像头采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像，所述摄像头为前置摄像头；

获取所述第一图像中的第一人脸区域和所述第二图像中的第二人脸区域；所述第二图像包括所述第二人脸区域和第二背景区域；

确定所述第一人脸区域与所述第二人脸区域之间的人脸区域变化量；所述人脸区域变化量包括人脸移动位置变化量、人脸旋转变化角度、人脸区域面积大小变化量中至少一种；

获取所述第一图像对应的深度信息，根据所述深度信息得到人脸与摄像头之间的目标距离，根据所述人脸与所述摄像头的目标距离调整预设变化量得到第一预设变化量，所述预设变化量与所述人脸与所述摄像头的目标距离呈负相关；

当所述人脸区域变化量小于所述第一预设变化量时，对所述第二人脸区域进行矫正处理，当检测到矫正处理后的图像的背景区域中存在空白区域时，填充所述空白区域，得到第三图像，显示所述第三图像；所述矫正处理包括倾斜矫正处理，所述倾斜矫正处理用于在直播过程中使图像中的人脸区域保持相对静止状态。

2.根据权利要求1所述的方法，其特征在于，所述当所述人脸区域变化量小于第一预设变化量时，对所述第二人脸区域进行矫正处理得到第三图像，包括：当所述人脸区域变化量小于第一预设变化量且大于第二预设变化量时，对所述第二人脸区域进行第一人脸矫正处理，得到第三图像；

当所述人脸区域变化量小于所述第二预设变化量时，对所述第二人脸区域进行第二人脸矫正处理，得到第三图像，其中，所述第一人脸矫正处理的矫正幅度大于所述第二人脸矫正处理的幅度。

3.根据权利要求1所述的方法，其特征在于，当所述人脸区域变化量小于第一预设变化量时，对所述第二人脸区域进行矫正处理得到第三图像，包括：当所述人脸区域变化量小于第一预设变化量时，获取所述人脸区域的移动方向；

根据所述人脸区域变化量，向与所述移动方向相反的方向对所述第二人脸区域进行矫正处理，得到第三图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述第二人脸区域进行矫正处理得到第三图像，包括：

根据所述人脸区域变化量对所述第二人脸区域进行矫正处理。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二人脸区域进行矫正处理，包括：

根据所述目标距离获取目标矫正幅度，所述目标矫正幅度与所述目标距离呈负相关；

根据所述目标矫正幅度对所述第二人脸区域进行矫正处理。

6.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息确定人脸与摄像头之间的目标距离，包括：

当检测到所述第一图像中包含至少两个人脸区域时，根据所述深度信息确定所述至少两个人脸区域中每个人脸区域与摄像头的距离；

获取所述每个人脸区域与摄像头的距离中的距离最小值；

将所述距离最小值作为目标距离，将所述距离最小值对应的人脸区域作为第二人脸区域。

7.根据权利要求1所述的方法，其特征在于，所述对所述第二人脸区域进行矫正处理，包括：

获取第一图像中的人脸区域面积；

根据所述人脸区域面积获取目标矫正幅度，所述目标矫正幅度与所述人脸区域面积呈正相关；

根据所述目标矫正幅度对所述第二人脸区域进行矫正处理。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述对所述第二人脸区域进行矫正处理得到第三图像，包括：

对所述第二人脸区域进行矫正处理，且进行电子防抖处理得到第三图像；所述电子防抖处理是指采用提高CCD(Charge‑coupled Device，电荷耦合元件)感光参数同时加快快门并针对CCD上取得的图像进行分析，然后利用边缘图像进行补偿的防抖方式。

9.一种图像处理装置，其特征在于，包括：图像采集模块，用于在直播时，通过摄像头采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像，所述摄像头为前置摄像头；

人脸区域获取模块，用于获取所述第一图像中的第一人脸区域和第二图像中的第二人脸区域；所述第二图像包括所述第二人脸区域和第二背景区域；

变化量确定模块，用于确定所述第一人脸区域与第二人脸区域之间的人脸区域变化量；所述人脸区域变化量包括人脸移动位置变化量、人脸旋转变化角度、人脸区域面积大小变化量中至少一种；

调整模块，用于获取所述第一图像对应的深度信息，根据所述深度信息得到人脸与摄像头之间的目标距离，根据所述人脸与所述摄像头的目标距离调整预设变化量得到第一预设变化量，所述预设变化量与所述人脸与所述摄像头的目标距离呈负相关；

矫正模块，用于当所述人脸区域变化量小于所述第一预设变化量时，对所述第二人脸区域进行矫正处理，当检测到矫正处理后的图像的背景区域中存在空白区域时，填充所述空白区域，得到第三图像，显示所述第三图像；所述矫正处理包括倾斜矫正处理，所述倾斜矫正处理用于在直播过程中使图像中的人脸区域保持相对静止状态。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

说明书

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

[0002] 随着图像处理技术的发展，出现了防抖技术。防抖技术的作用是避免拍照时因为手部抖动等因素造成画面模糊，提高成像的清晰度。然而，由于传统的图像处理仅考虑到手
部抖动的因素进行防抖，导致图像清晰度不高。

发明内容

[0003] 本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的清晰度。

[0004] 一种图像处理方法，包括：

[0005] 采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像；

[0006] 获取所述第一图像中的第一人脸区域和所述第二图像中的第二人脸区域；

[0007] 确定所述第一人脸区域与所述第二人脸区域之间的人脸区域变化量；

[0008] 当所述人脸区域变化量小于第一预设变化量时，对所述第二人脸区域进行矫正处理得到第三图像，显示所述第三图像。

[0009] 一种图像处理装置，包括：

[0010] 图像采集模块，用于采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像；

[0011] 人脸区域获取模块，用于获取所述第一图像中的第一人脸区域和第二图像中的第二人脸区域；

[0012] 变化量确定模块，用于确定所述第一人脸区域与第二人脸区域之间的人脸区域变化量；

[0013] 矫正模块，用于当所述人脸区域变化量小于第一预设变化量时，根据所述人脸区域变化量对所述第二人脸区域进行矫正处理得到第三图像，显示所述第三图像。

[0014] 一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

[0015] 采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像；

[0016] 获取所述第一图像中的第一人脸区域和所述第二图像中的第二人脸区域；

[0017] 确定所述第一人脸区域与所述第二人脸区域之间的人脸区域变化量；

[0018] 当所述人脸区域变化量小于第一预设变化量时，对所述第二人脸区域进行矫正处理得到第三图像，显示所述第三图像。

[0019] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

[0020] 采集第一图像和第二图像，其中，所述第二图像是所述第一图像的后向帧图像；

[0021] 获取所述第一图像中的第一人脸区域和所述第二图像中的第二人脸区域；

[0022] 确定所述第一人脸区域与所述第二人脸区域之间的人脸区域变化量；

[0023] 当所述人脸区域变化量小于第一预设变化量时，对所述第二人脸区域进行矫正处理得到第三图像，显示所述第三图像。

[0024] 上述图像处理方法和装置、电子设备、计算机可读存储介质，采集第一图像和第二图像，并获取对应的人脸区域，确定人脸区域变化量，当人脸区域变化量小于第一预设变化
量时，对该第二人脸区域进行矫正处理得到第三图像，显示第三图像，在人脸区域发生抖动
的情况下，能够使人脸区域在短时间内保持相对静止的状态，提高图像或者视频的清晰度。

附图说明

[0025] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0026] 图1为一个实施例中图像处理方法的应用环境图；

[0027] 图2为一个实施例中图像处理电路的示意图；

[0028] 图3为一个实施例中图像处理方法的流程图；

[0029] 图4为一个实施例中图像的示意图；

[0030] 图5为一个实施例中对人脸区域进行矫正的示意图；

[0031] 图6为一个实施例中对第二人脸区域进行矫正处理的流程示意图；

[0032] 图7为一个实施例中图像处理装置的结构框图；

[0033] 图8为一个实施例中电子设备的内部结构示意图。

具体实施方式

[0034] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并
不用于限定本申请。

[0035] 可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来
说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二
图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

[0036] 图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110包括前置摄像头112。前置摄像头112的数量不限，可以为一
个、两个、三个等不限于此。前置摄像头112可用于采集第一图像和第二图像。电子设备110
具体可以但不限于是个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

[0037] 本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图
像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所
示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

[0038] 如图2所示，图像处理电路包括ISP处理器240和控制逻辑器250。成像设备210捕捉的图像数据首先由ISP处理器240处理，ISP处理器240对图像数据进行分析以捕捉可用于确
定和/或成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括具有一
个或多个透镜212和图像传感器214的照相机。图像传感器214可包括色彩滤镜阵列(如
Bayer滤镜)，图像传感器214可获取用图像传感器214的每个成像像素捕捉的光强度和波长
信息，并提供可由ISP处理器240处理的一组原始图像数据。传感器220(如陀螺仪)可基于传
感器220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器240。传感器220
接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、
其它串行或并行照相机接口或上述接口的组合。

[0039] 此外，图像传感器214也可将原始图像数据发送给传感器220，传感器220可基于传感器220接口类型把原始图像数据提供给ISP处理器240，或者传感器220将原始图像数据存
储到图像存储器230中。

[0040] ISP处理器240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器240可对原始图像数据进行一个或多个图像处
理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度
进行。

[0041] ISP处理器240还可从图像存储器230接收图像数据。例如，传感器220接口将原始图像数据发送给图像存储器230，图像存储器230中的原始图像数据再提供给ISP处理器240
以供处理。图像存储器230可为存储器装置的一部分、存储设备、或电子设备内的独立的专
用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

[0042] 当接收到来自图像传感器214接口或来自传感器220接口或来自图像存储器230的原始图像数据时，ISP处理器240可进行一个或多个图像处理操作，如时域滤波。处理后的图
像数据可发送给图像存储器230，以便在被显示之前进行另外的处理。ISP处理器240从图像
存储器230接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的
图像数据处理。ISP处理器240处理后的图像数据可输出给显示器270，以供用户观看和/或
由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器
240的输出还可发送给图像存储器230，且显示器270可从图像存储器230读取图像数据。在
一个实施例中，图像存储器230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器240
的输出可发送给编码器/解码器260，以便编码/解码图像数据。编码的图像数据可被保存，
并在显示于显示器270设备上之前解压缩。编码器/解码器260可由CPU或GPU或协处理器实
现。

[0043] ISP处理器240确定的统计数据可发送给控制逻辑器250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感
器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控
制器，一个或多个例程可根据接收的统计数据，确定成像设备210的控制参数及ISP处理器
240的控制参数。例如，成像设备210的控制参数可包括传感器220控制参数(例如增益、曝光
控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜212控制参数(例如聚焦或变焦
用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB
处理期间)的增益水平和色彩校正矩阵，以及透镜212阴影校正参数。

[0044] 以下为运用图2中图像处理技术实现图像处理方法的步骤：采集第一图像和第二图像，其中，第二图像是第一图像的后向帧图像；获取第一图像中的第一人脸区域和第二图
像中的第二人脸区域；确定第一人脸区域与第二人脸区域之间的人脸区域变化量；当人脸
区域变化量小于第一预设变化量时，对第二人脸区域进行矫正处理得到第三图像，显示第
三图像。

[0045] 图3为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备110为例进行描述。如图3所示，图像处理方法，应用于移动电子设备，该
移动电子设备包括前置摄像头，包括步骤302至步骤306。

[0046] 步骤302，采集第一图像和第二图像，其中，第二图像是第一图像的后向帧图像。

[0047] 其中，第一图像和第二图像均可以是预览图像，或者是视频拍摄过程中的图像。第二图像可以是与第一图像相邻的下一帧图像，也可以是不与第一图像相邻的后向帧图像。
例如第一图像是第一帧图像，第二图像可以是第三帧图像等不限于此。

[0048] 具体地，电子设备通过前置摄像头采集第一图像和第二图像。

[0049] 步骤304，获取与第一图像中的第一人脸区域和第二图像中的第二人脸区域。

[0050] 其中，第一图像包括第一背景区域和第一人脸区域。如图4所示，为一个实施例中图像的示意图。其中，410为人脸区域，420为背景区域。人脸区域中包括人脸。人脸区域中还
可以包括人的其他身体部位。本申请实施例中的图像处理方法对人脸区域和背景区域分开
处理。

[0051] 具体地，电子设备通过特征点检测第一图像和第二图像中是否含有人脸。当第一图像和第二图像中均含有人脸时，获取第一图像中的第一人脸区域，和第二图像中的第二
人脸区域。

[0052] 步骤306，确定第一人脸区域与第二人脸区域之间的人脸区域变化量。

[0053] 其中，人脸区域变化量具体可以是人脸移动位置变化量、人脸旋转变化角度、人脸区域面积大小中至少一种。人脸区域变化量可以是距离，也可以是角度。

[0054] 具体地，电子设备通过人脸区域中的特征点位置变化确定第一人脸区域与第二人脸区域之间的人脸区域变化量。例如人脸特征点向左偏移，且特征点未发生变形，那么确定
人脸向左偏移。人脸特征点对应的区域变小，那么确定人脸向远离电子设备摄像头的方向
移动。

[0055] 步骤308，当人脸区域变化量小于第一预设变化量时，对第二人脸区域进行矫正处理得到第三图像，显示第三图像。

[0056] 其中，第一预设变化量根据变化量的类型配置。当人脸区域变化量为人脸区域位置变化量时，第一预设变化量为第一人脸区域位置变化量。当人脸区域变化量为人脸旋转
变化角度时，第一预设变化量为第一人脸旋转变化角度。矫正处理是指对图像进行倾斜矫
正。矫正处理可使人像区域呈相对静止状态。

[0057] 具体地，当电子设备检测到人脸区域变化量小于第一预设变化量时，电子设备对第二人脸区域进行矫正处理后，得到第三图像，显示第三图像。即，电子设备将原摄像头采
集的第一图像和第二图像之后的一帧图像替换为第三图像。

[0058] 本实施例中，当人脸区域变化量小于第一预设变化量时，电子设备可按照预设矫正处理幅度对第二区域进行矫正处理，得到第三图像。例如预设矫正处理幅度可以是第一
预设变化量的三分之一、一半或三分之二对应的处理幅度等不限于此。第三图像是指电子
设备对第二图像中的第二人脸区域进行处理后得到的图像。

[0059] 本实施例中，当人脸区域变化量小于第一预设变化量时，电子设备可根据人脸区域变化量对第二人脸区域进行矫正处理，得到第三图像。例如人脸区域变化量为2，那么矫
正处理幅度也为2，使第三图像中的人脸区域的位置与第一图像中的人脸区域位置相同。

[0060] 本实施例中，对第二人脸区域进行矫正处理得到第三图像，包括：对第二人脸区域进行校正处理，且进行电子防抖处理得到第三图像。电子防抖处理是指采用提高CCD
(Charge‑coupled Device，电荷耦合元件)感光参数同时加快快门并针对CCD上取得的图像
进行分析，然后利用边缘图像进行补偿的防抖。电子防抖使用数字电路进行画面的处理产
生防抖效果。当防抖电路工作时，拍摄画面只有是实际画面的90％但不限于此，然后数字电
路对摄像机抖动方向进行模糊判断，进而用剩下的画面进行抖动补偿。电子防抖用于在电
子设备发生抖动的情况下。

[0061] 本实施例中，电子设备还可以对人脸区域进行美颜处理。

[0062] 本实施例中的图像处理方法，采集第一图像和第二图像，并获取对应的人脸区域，确定人脸区域变化量，当人脸区域变化量小于第一预设变化量时，表明人脸区域发生了轻
微抖动，对该第二人脸区域进行矫正处理得到第三图像，显示第三图像，在人脸区域发生轻
微抖动的情况下，能够使人脸区域在短时间内保持相对静止的状态，且限制人脸区域的正
常活动，提高图像或者视频的清晰度。

[0063] 在一个实施例中，当人脸区域变化量小于第一预设变化量时，根据人脸区域变化量对第二人脸区域进行矫正处理得到第三图像，包括：

[0064] 当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，对第二人脸区域进行第一人脸矫正处理，得到第三图像。

[0065] 当人脸区域变化量小于第二预设变化量时，对第二人脸区域进行第二人脸矫正处理，得到第三图像，其中，第一人脸矫正处理的矫正幅度大于第二人脸矫正处理的幅度。

[0066] 其中，第一预设变化量大于第二预设变化量。矫正幅度是指对第二人脸区域进行人脸矫正的程度。例如矫正幅度可以是矫正角度、矫正距离等不限于此。

[0067] 具体地，如图5所示，为一个实施例中对人脸区域进行矫正的示意图。其中(a)图为第一图像，(b)图为第二图像，(c)图为第三图像。可以得知，经过矫正处理后的(c)图人脸区
域的偏移角度小于(b)图中的偏移角度。(c)图中的偏移角度小于或等于(a)图中的偏移角
度。

[0068] 当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，确定第二人脸区域变化量较大，对第二人脸区域进行第一人脸矫正处理，得到第三图像。当人脸区域变化
量小于第二预设变化量时，确定第二人脸区域变化量较小，对第二人脸区域进行第二人脸
矫正处理，得到第三图像。

[0069] 本实施例中，当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，获取人脸区域的移动方向，向与该移动方向相反的方向对第二人脸区域进行第一矫正处
理，得到第三图像。

[0070] 当人脸区域变化量小于第二预设变化量时，获取人脸区域的移动方向，向与该移动方向相反的方向对第二人脸区域进行第二矫正处理，得到第三图像。

[0071] 本实施例中的图像处理方法，当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，对第二人脸区域进行第一人脸矫正处理，当人脸区域变化量小于第二预设
变化量时，对第二人脸区域进行第二人脸矫正处理，能够针对不同的人脸区域变化量进行
对应的处理，提高图像处理的精度，以及图像或视频的清晰度。

[0072] 在一个实施例中，当人脸区域变化量小于第一预设变化量时，对第二人脸区域进行矫正处理得到第三图像，包括：当人脸区域变化量小于第一预设变化量时，获取人脸区域
的移动方向；根据人脸区域变化量，向与移动方向相反的方向对第二人脸区域进行矫正处
理，得到第三图像。

[0073] 具体地，当电子设备检测到人脸特征点向左偏移时，确定人脸区域的移动方向为向左。电子设备根据人脸区域变化量，向右对第二人脸区域进行矫正处理，得到第三图像。
当电子设备检测到人脸区域减小时，确定人脸区域的移动方向为远离摄像头，根据人脸区
域变化量，向靠近摄像头的方向对第二人脸区域进行矫正处理，得到增大的人脸区域，进而
得到第三图像。

[0074] 本实施例中的图像处理方法，当人脸区域变化量小于第一预设变化量时，获取人脸区域的移动方向；根据人脸区域变化量，向与移动方向相反的方向对第二人脸区域进行
矫正处理，得到第三图像，能够减少人脸区域的抖动幅度，提高图像或视频的清晰度。

[0075] 在一个实施例中，第二图像包括第二人脸区域和第二背景区域。对第二人脸区域进行矫正处理得到第三图像，包括：根据人脸区域变化量对第二人脸区域进行矫正处理；当
检测到矫正处理后的图像的背景区域中存在空白区域时，填充空白区域，得到第三图像。

[0076] 其中，电子设备将人脸区域变化量转化为第二人脸区域的矫正幅度，根据矫正幅度对第二人脸区域进行矫正处理。由于矫正后的图像可能会存在空白区域，那么当电子设
备检测到矫正处理后的图像的背景区域中存在空白区域时，使用图像填充算法填充空白区
域，得到第三图像。例如图像填充算法可以是泛洪填充算法(Flood Fill Algorithm)、高斯
滤波算法等不限于此。或者，电子设备将第二图像中背景区域对应像素点的图像，填充在矫
正处理后的空白区域中，得到第三图像。

[0077] 本实施例中的图像处理方法，根据人脸区域变化量对第二人脸区域进行矫正处理，当检测到矫正处理后的图像的背景区域中存在空白区域时，填充空白区域，得到第三图
像，能使得到的第三图像无空白区域，且更加逼真，减少人脸区域的抖动，提高图像或视频
的清晰度。

[0078] 在一个实施例中，图6为一个实施例中对第二人脸区域进行矫正处理的流程示意图。对第二人脸区域进行矫正处理，包括：

[0079] 步骤602，获取第一图像对应的深度信息。

[0080] 具体地，本申请实施例中的图像处理方法可应用于包含深度摄像头的移动电子设备中。电子设备通过深度摄像头获取第一图像对应的深度信息。

[0081] 步骤604，根据深度信息确定人脸与摄像头之间的目标距离。

[0082] 步骤606，根据目标距离获取目标矫正幅度，目标矫正幅度与目标距离呈负相关。

[0083] 其中，由于人脸与摄像头之间的距离越大，同一抖动幅度的人脸在电子设备屏幕上显示的抖动幅度则越小，因此矫正幅度越小。

[0084] 具体地，目标距离与目标矫正幅度的对应关系可预先通过标定等方式存储在电子设备。电子设备可根据目标距离查找对应的目标矫正幅度。或者，电子设备根据目标距离的
变化量调整矫正幅度的变化量，得到目标矫正幅度。

[0085] 步骤608，根据目标矫正幅度对第二人脸区域进行矫正处理。

[0086] 具体地，电子设备根据该目标矫正幅度以及对应的矫正方向对第二人脸区域进行矫正处理。电子设备默认的人脸区域矫正方向为人脸对称轴垂直于当前摄像头界面的宽。

[0087] 本实施例中，电子设备可根据目标矫正幅度以及人脸区域变化量对第二人脸区域进行矫正处理。例如，人脸区域变化为向左偏移0.2度，且同时目标距离增大0.02厘米，那么
电子设备根据目标矫正幅度以及人脸区域变化量，使第二人脸区域向右偏移0.1度。

[0088] 本实施例中的图像处理方法，获取第一图像对应的深度信息，根据深度信息确定人脸与摄像头之间的目标距离，根据目标距离获取目标矫正幅度，目标矫正幅度与目标距
离呈负相关，根据目标矫正幅度对第二人脸区域进行矫正处理，能够应用于多摄像头的电
子设备中，并且根据人脸与摄像头的距离调整目标矫正幅度，能使得到的第三图像更加逼
真，减少人脸区域的抖动，提高图像或视频的清晰度。

[0089] 在一个实施例中，根据深度信息确定人脸与摄像头之间的目标距离，包括：当检测到第一帧图像中包含至少两个人脸区域时，根据深度信息确定至少两个人脸区域中每个人
脸区域与摄像头的距离；获取每个人脸区域与摄像头的距离中的距离最小值；将距离最小
值作为目标距离，将距离最小值对应的人脸区域作为第二人脸区域。

[0090] 具体地，电子设备检测第一图像中的人脸区域。当检测到第一图像中包含至少两个人脸区域时，根据深度信息确定该至少两个人脸区域中每个人脸区域与摄像头的距离。
电子设备获取距离最小值，将距离最小值作为目标距离。电子设备还将距离最小值对应的
人脸区域作为第二人脸区域。电子设备仅对该第二人脸区域进行矫正处理，其余人脸区域
作为背景区域，且不对其余人脸区域作处理。

[0091] 本实施例中的图像处理方法，当检测到第一帧图像中包含至少两个人脸区域时，根据深度信息确定至少两个人脸区域中每个人脸区域与摄像头的距离；获取每个人脸区域
与摄像头的距离中的距离最小值；将距离最小值作为目标距离，距离最小值对应的人脸区
域作为第二人脸区域，距离最小值对应的人脸区域则为重点的人脸区域，能够仅处理距离
最近的人脸区域，提高图像处理效率。

[0092] 在一个实施例中，对第二人脸区域进行矫正处理，包括：获取第一图像中的人脸区域面积；根据人脸区域面积获取目标矫正幅度，目标矫正幅度与人脸区域面积呈正相关；根
据目标矫正幅度对第二人脸区域进行矫正处理。

[0093] 其中，人脸区域面积可通过人脸区域占据的像素点数量计算得到。人脸区域面积越大，则表示人脸与摄像头之间的距离越小。距离越小，同一抖动幅度的人脸在电子设备屏
幕上显示的抖动幅度则越大，因此矫正幅度越大。那么，人脸区域面积越大，目标矫正幅度
越大。

[0094] 具体地，电子设备通过人脸区域占据的像素点数量获取第一图像中的人脸区域面积。电子设备可根据人脸区域面积获取对应的目标矫正幅度。或者电子设备可根据人脸区
域面积和图像面积确定人脸区域面积的比例，根据比例获取目标矫正幅度。人脸区域面积
占比越大，则目标矫正幅度越大。

[0095] 本实施例中的图像处理方法，获取第一图像中的人脸区域面积；根据人脸区域面积获取目标矫正幅度，目标矫正幅度与人脸区域面积呈正相关；根据目标矫正幅度对第二
人脸区域进行矫正处理，能够根据人脸区域面积调整目标矫正幅度，能使得到的第三图像
更加逼真，减少人脸区域的抖动，提高图像或视频的清晰度。

[0096] 在一个实施例中，该图像处理方法还包括：获取第一图像对应的深度信息；根据深度信息得到人脸与摄像头之间的目标距离；根据人脸与摄像头的目标距离调整预设变化
量，得到第一预设变化量，预设变化量与人脸与摄像头的距离呈负相关。

[0097] 具体地，电子设备获取第一图像对应的深度信息；根据深度信息得到人脸与摄像头之间的目标距离。由于在用户人脸区域的移动幅度相同的情况下，距离越远，在电子设备
的显示屏上显示的变化量则越小。矫正的目的是减少人脸区域的轻微抖动，并且不矫正人
脸区域的正常行为，例如转头、低头等动作。那么，当人脸与摄像头之间的目标距离越大时，
第一预设变化量越小；当人脸于摄像头之间的目标距离越小时，第一预设变化量越大。当人
脸区域变化量小于第一预设变化量时，对第二人脸区域进行矫正处理。

[0098] 本实施例中的图像处理方法，获取第一图像对应的深度信息；根据深度信息得到人脸与摄像头之间的目标距离，根据人脸与摄像头的目标距离调整预设变化量，得到第一
预设变化量，能够根据深度信息调整第一预设变化量，能使得到的第三图像更加逼真，减少
人脸区域的抖动，提高图像或视频的清晰度。

[0099] 在一个实施例中，本申请实施例中的图像处理方法可运用于人脸区域发生抖动的情况下。例如本申请实施例中的图像处理方法可运用于视频直播的场景中，或者在视频录
制的场景中，或者图像预览的场景中。在视频直播的场景中，用户可能不能一直保持完全静
止的状态，存在一些小动作例如抖腿等，导致人脸区域有轻微抖动。采用本申请实施例中的
图像处理方法可减小或消除这种轻微抖动。

[0100] 在一个实施例中，一种图像处理方法，包括：

[0101] 步骤(a1)，采集第一图像和第二图像，其中，第二图像是第一图像的后向帧图像。

[0102] 步骤(a2)，获取第一图像中的第一人脸区域和第二图像中的第二人脸区域。

[0103] 步骤(a3)，确定第一人脸区域与第二人脸区域之间的人脸区域变化量。

[0104] 步骤(a4)，获取第一图像对应的深度信息。

[0105] 步骤(a5)，根据深度信息得到人脸与摄像头之间的目标距离。

[0106] 步骤(a6)，根据人脸与摄像头的目标距离调整预设变化量，得到第一预设变化量，预设变化量与人脸与摄像头的距离呈负相关。

[0107] 步骤(a7)，当人脸区域变化量小于第一预设变化量时，获取第一图像对应的深度信息。

[0108] 步骤(a8)，当检测到第一图像中包含至少两个人脸区域时，根据深度信息确定至少两个人脸区域中每个人脸区域与摄像头的距离。

[0109] 步骤(a9)，获取每个人脸区域与摄像头的距离中的距离最小值。

[0110] 步骤(a10)，将距离最小值作为目标距离，将距离最小值对应的人脸区域作为第二人脸区域。

[0111] 步骤(a11)，根据目标距离获取目标矫正幅度，目标矫正幅度与目标距离呈负相关。

[0112] 步骤(a12)，根据目标矫正幅度对第二人脸区域进行矫正处理。

[0113] 本实施例中的图像处理方法，采集第一图像和第二图像，并获取对应的人脸区域，确定人脸区域变化量，能够根据深度信息调节第一预设变化量，当人脸区域变化量小于第
一预设变化量时，表明人脸区域发生了轻微抖动，对该第二人脸区域进行矫正处理得到第
三图像，显示第三图像，在人脸区域发生抖动的情况下，能够使人脸区域在短时间内保持相
对静止的状态，提高图像或者视频的清晰度。

[0114] 应该理解的是，虽然图3和6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步
骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3和6中的至少
一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时
刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依
次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替
地执行。

[0115] 在一个实施例中，图7为一个实施例的图像处理装置的结构框图。如图7所示，一种图像处理装置，包括图像采集模块702、人脸区域获取模块704、变化量确定模块706和矫正
模块708，其中：

[0116] 图像采集模块702，用于采集第一图像和第二图像，其中，第二图像是第一图像的后向帧图像。

[0117] 人脸区域获取模块704，用于获取第一图像中的第一人脸区域和第二图像中的第二人脸区域。

[0118] 变化量确定模块706，用于确定第一人脸区域与第二人脸区域之间的人脸区域变化量。

[0119] 矫正模块708，用于当人脸区域变化量小于第一预设变化量时，根据人脸区域变化量对第二人脸区域进行矫正处理得到第三图像，显示第三图像。

[0120] 本实施例中的图像处理装置，采集第一图像和第二图像，并获取对应的人脸区域，确定人脸区域变化量，当人脸区域变化量小于第一预设变化量时，表明人脸区域发生了轻
微抖动，对该第二人脸区域进行矫正处理得到第三图像，显示第三图像，在人脸区域发生抖
动的情况下，能够使人脸区域在短时间内保持相对静止的状态，提高图像或者视频的清晰
度。

[0121] 在一个实施例中，矫正模块708用于当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，对第二人脸区域进行第一人脸矫正处理，得到第三图像；当人脸区域
变化量小于第二预设变化量时，对第二人脸区域进行第二人脸矫正处理，得到第三图像，其
中，第一人脸矫正处理的矫正幅度大于第二人脸矫正处理的幅度。

[0122] 本实施例中的图像处理装置，当人脸区域变化量小于第一预设变化量且大于第二预设变化量时，对第二人脸区域进行第一人脸矫正处理，当人脸区域变化量小于第二预设
变化量时，对第二人脸区域进行第二人脸矫正处理，能够针对不同的人脸区域变化量进行
对应的处理，提高图像处理的精度，以及图像或视频的清晰度。

[0123] 在一个实施例中，矫正模块708用于当人脸区域变化量小于第一预设变化量时，获取人脸区域的移动方向；根据人脸区域变化量，向与移动方向相反的方向对第二人脸区域
进行矫正处理，得到第三图像。

[0124] 本实施例中的图像处理装置，当人脸区域变化量小于第一预设变化量时，获取人脸区域的移动方向；根据人脸区域变化量，向与移动方向相反的方向对第二人脸区域进行
矫正处理，得到第三图像，能够减少人脸区域的抖动幅度，提高图像或视频的清晰度。

[0125] 在一个实施例中，矫正模块708用于根据人脸区域变化量对第二人脸区域进行矫正处理；当检测到矫正处理后的图像的背景区域中存在空白区域时，填充空白区域，得到第
三图像。

[0126] 本实施例中的图像处理装置，根据人脸区域变化量对第二人脸区域进行矫正处理，当检测到矫正处理后的图像的背景区域中存在空白区域时，填充空白区域，得到第三图
像，能使得到的第三图像无空白区域，且更加逼真，减少人脸区域的抖动，提高图像或视频
的清晰度。

[0127] 在一个实施例中，图像处理装置还包括调整模块。调整模块用于获取第一图像对应的深度信息；根据深度信息确定人脸与摄像头之间的目标距离；根据目标距离获取目标
矫正幅度，目标矫正幅度与目标距离呈负相关。矫正模块708用于根据目标矫正幅度对第二
人脸区域进行矫正处理。

[0128] 本实施例中的图像处理装置，获取第一图像对应的深度信息，根据深度信息确定人脸与摄像头之间的目标距离，根据目标距离获取目标矫正幅度，目标矫正幅度与目标距
离呈负相关，根据目标矫正幅度对第二人脸区域进行矫正处理，能够应用于多摄像头的电
子设备中，并且根据人脸与摄像头的距离调整目标矫正幅度，能使得到的第三图像更加逼
真，减少人脸区域的抖动，提高图像或视频的清晰度。

[0129] 在一个实施例中，调整模块用于当检测到第一帧图像中包含至少两个人脸区域时，根据深度信息确定至少两个人脸区域中每个人脸区域与摄像头的距离；获取每个人脸
区域与摄像头的距离中的距离最小值；将距离最小值作为目标距离，将距离最小值对应的
人脸区域作为第二人脸区域。

[0130] 本实施例中的图像处理装置，当检测到第一帧图像中包含至少两个人脸区域时，根据深度信息确定至少两个人脸区域中每个人脸区域与摄像头的距离；获取每个人脸区域
与摄像头的距离中的距离最小值；将距离最小值作为目标距离，距离最小值对应的人脸区
域作为第二人脸区域，距离最小值对应的人脸区域则为重点的人脸区域，能够仅处理距离
最近的人脸区域，提高图像处理效率。

[0131] 在一个实施例中，调整模块用于获取第一图像中的人脸区域面积；根据人脸区域面积获取目标矫正幅度，目标矫正幅度与人脸区域面积呈正相关。矫正模块708用于根据目
标矫正幅度对第二人脸区域进行矫正处理。

[0132] 本实施例中的图像处理装置，获取第一图像中的人脸区域面积；根据人脸区域面积获取目标矫正幅度，目标矫正幅度与人脸区域面积呈正相关；根据目标矫正幅度对第二
人脸区域进行矫正处理，能够根据人脸区域面积调整目标矫正幅度，能使得到的第三图像
更加逼真，减少人脸区域的抖动，提高图像或视频的清晰度。

[0133] 在一个实施例中，调整模块用于获取第一图像对应的深度信息；根据深度信息得到人脸与摄像头之间的目标距离；根据人脸与摄像头的目标距离调整预设变化量，得到第
一预设变化量，预设变化量与人脸与摄像头的距离呈负相关。

[0134] 本实施例中的图像处理装置，获取第一图像对应的深度信息；根据深度信息得到人脸与摄像头之间的目标距离，根据人脸与摄像头的目标距离调整预设变化量，得到第一
预设变化量，能够根据深度信息调整第一预设变化量，能使得到的第三图像更加逼真，减少
人脸区域的抖动，提高图像或视频的清晰度。

[0135] 上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

[0136] 关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上
述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储
于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0137] 图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电
子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操
作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提
供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速
缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

[0138] 本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端
或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的
步骤。

[0139] 本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行
时，使得所述处理器执行图像处理方法的步骤。

[0140] 一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

[0141] 本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编
程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器
(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM
(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM
(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直
接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

[0142] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员
来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保
护范围。因此，本申请专利的保护范围应以所附权利要求为准。