图像处理方法和装置、电子设备、计算机可读存储介质

摘要

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，所述方法包括：获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息；根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以更精确地对图像进行处理。

权利要求

1.一种图像处理方法，其特征在于，包括：在对目标人脸进行拍摄时，获取第一摄像头根据第一帧率采集的第一原始图像，并获取第二摄像头根据第二帧率采集的至少两张第二原始图像；其中，所述第一帧率小于所述第二帧率；

获取采集所述第一原始图像的第一时刻，以及采集所述至少两张第二原始图像的第二时刻；

当所述第一时刻和第二时刻之间的时间间隔小于间隔阈值时，根据所述第一原始图像生成第一图像，并根据所述至少两张第二原始图像生成第二图像，所述第二图像包含所述第一图像对应的深度信息；

根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型，包括：获取基准人脸三维模型；

将所述第一图像和第二图像与所述基准人脸三维模型进行拟合，生成目标人脸对应的目标人脸三维模型；

所述获取所述五官特征对应的五官调整参数，包括：获取所述基准人脸三维模型的五官特征所对应的五官调整参数。

3.根据权利要求2所述的方法，其特征在于，所述获取基准人脸三维模型，包括：获取目标人脸在所述第一图像中对应的目标人脸信息，将所述目标人脸信息与基准信息集合中的人脸信息进行比较；

当所述基准信息集合中存在与所述目标人脸信息相匹配的人脸信息时，获取与所述目标人脸信息相匹配的人脸信息所对应的第一人脸三维模型，作为基准人脸三维模型；

当所述基准信息集合中不存在与所述目标人脸信息相匹配的人脸信息时，获取预先存储的第二人脸三维模型作为基准人脸三维模型。

4.根据权利要求1所述的方法，其特征在于，所述获取所述五官特征对应的五官调整参数，包括：

获取并展示所述五官特征对应的参考五官调整参数，并获取根据所述参考五官调整参数输入的五官调整参数；

所述方法还包括：

将根据所述五官调整参数调整之后的目标人脸三维模型作为基准人脸三维模型进行存储。

5.根据权利要求1所述的方法，其特征在于，所述五官调整参数包括五官调整方向和五官调整强度；

所述根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整，包括：根据所述五官调整强度和所述五官调整方向，对所述目标人脸三维模型中的五官特征进行调整。

6.一种图像处理装置，其特征在于，包括：图像获取模块，用于在对目标人脸进行拍摄时，获取第一摄像头根据第一帧率采集的第一原始图像，并获取第二摄像头根据第二帧率采集的至少两张第二原始图像；其中，所述第一帧率小于所述第二帧率；获取采集所述第一原始图像的第一时刻，以及采集所述至少两张第二原始图像的第二时刻；当所述第一时刻和第二时刻之间的时间间隔小于间隔阈值时，根据所述第一原始图像生成第一图像，并根据所述至少两张第二原始图像生成第二图像，所述第二图像包含所述第一图像对应的深度信息；

模型生成模块，用于根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

参数获取模块，用于提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

五官调整模块，用于根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

7.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法的步骤。

说明书

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

[0001] 本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。

背景技术

[0002] 摄像头对物体采集的图像通常是由一个二维像素矩阵构成的，而真实的物体是具有三维空间特性的。所以为更准确地表达物体的特征，可以对物体进行三维建模，得到的三
维模型能够更真实地反映物体的空间性。

发明内容

[0003] 本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以更精确地对图像进行处理。

[0004] 一种图像处理方法，包括：

[0005] 获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息；

[0006] 根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

[0007] 提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

[0008] 根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

[0009] 一种图像处理装置，包括：

[0010] 图像获取模块，用于获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息；

[0011] 模型生成模块，用于根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

[0012] 参数获取模块，用于提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

[0013] 五官调整模块，用于根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

[0014] 一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：。

[0015] 获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息；

[0016] 根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

[0017] 提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

[0018] 根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

[0019] 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

[0020] 获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息；

[0021] 根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型；

[0022] 提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数；

[0023] 根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

[0024] 上述图像处理方法、装置、电子设备、计算机可读存储介质，可以获取第一图像和第二图像，并根据第一图像和第二图像对目标人脸进行三维建模得到目标人脸模型。然后
提取目标人脸三维模型中的五官特征，根据获取的五官调整参数对五官特征进行调整。目
标人脸三维模型中不仅包含目标人脸的纹理信息，还包含目标人脸的深度信息，这样在对
五官特征进行调整的时候，可以结合更全面的信息进行调整，使得图像的处理更加准确。

附图说明

[0025] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0026] 图1为一个实施例中图像处理方法的应用环境图；

[0027] 图2为一个实施例中图像处理方法的流程图；

[0028] 图3为另一个实施例中图像处理方法的流程图；

[0029] 图4为一个实施例中TOF计算深度信息的原理图；

[0030] 图5为又一个实施例中图像处理方法的流程图；

[0031] 图6为又一个实施例中图像处理方法的流程图；

[0032] 图7为一个实施例中人脸三维模型的展示示意图；

[0033] 图8为一个实施例中实现图像处理方法的软件框架图；

[0034] 图9为一个实施例中实现图像处理方法的示意图；

[0035] 图10为一个实施例中图像处理装置的结构示意图；

[0036] 图11为一个实施例中图像处理电路的示意图。

具体实施方式

[0037] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并
不用于限定本申请。

[0038] 可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来
说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二
图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

[0039] 图1为一个实施例中图像处理方法的应用环境图。如图1所示，电子设备10上可以安装摄像头102和摄像头104，摄像头102和摄像头104可用于同时对目标人脸进行拍摄，得
到第一图像和第二图像。可以理解的是，电子设备上也可以只安装一个摄像头，则可以分别
通过不同的电子设备来获取第一图像和第二图像。在获取到第一图像和第二图像之后，可
以根据第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型。提取目标
人脸三维模型中的五官特征，并获取五官特征对应的五官调整参数。最后根据五官调整参
数对目标人脸三维模型中的五官特征进行调整。

[0040] 图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：

[0041] 步骤202，获取第一图像及对应的第二图像，第二图像包含第一图像对应的深度信息。

[0042] 电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到
物体上所形成的图像，可见光摄像头可以获取可见光照射到物体上所形成的图像。电子设
备上可以安装若干个摄像头，且安装的位置不做限定。

[0043] 例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打
开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头
可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置
摄像头可以从电子设备的背面视角获取图像。

[0044] 第一图像和第二图像可以是通过同一台电子设备上安装的摄像头获取的，也可以是不同电子设备上安装的摄像头获取的。通过不同电子设备分别获取第一图像和第二图像
时，电子设备在分别获取第一图像和第二图像之后，会将第一图像和第二图像传到同一台
电子设备中进行处理。

[0045] 具体地，第一图像和第二图像可以是电子设备通过摄像头实时捕捉当前场景的画面生成的，也可以是存储在电子设备本地的图像，在此不做限定。第一图像与第二图像对应
相同的拍摄场景。第二图像可以是带有纹理信息二维图像，即不包含深度信息的平面图像；
第一图像是指与第二图像对应的三维图像，第一图像包含第二图像中被拍摄物体在拍摄场
景中的分布情况即深度信息。深度信息是指摄像头与拍摄场景中被拍摄物体之间的距离信
息，例如深度信息可以是1米、1.2米、3.4米等。

[0046] 步骤204，根据第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型。

[0047] 在本申请提供的实施例中，第一图像和第二图像是对目标人脸进行拍摄时获取的，在对目标人脸进行拍摄时，获取目标人脸的纹理、颜色等信息，生成第一图像，获取目标
人脸的深度信息，生成第二图像。第一图像和第二图像的类型在此不做限定，例如，第一图
像可以是RGB(Red Green Blue，红绿蓝)图像、红外图像等，第二图像可以是深度(Depth)图
像，不限于此。

[0048] 根据第一图像和第二图像可以对目标人脸进行三维建模，得到目标人脸三维模型。具体的，三维模型可以用于表示物体的多边形空间立体结构。三维模型一般可以用三维
网格(3Dimensions mesh，3D mesh)结构进行表示，网格是由物体的点云数据组成的。点云
数据中一般可以包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)，最终根
据点云数据绘制成三维网格。

[0049] 步骤206，提取目标人脸三维模型中的五官特征，并获取五官特征对应的五官调整参数。

[0050] 在一个实施例中，五官特征用于表示目标人脸三维模型中五官部位对应的特征参数，例如可以是鼻子的大小、眼睛的间距、眉毛的宽度等等。五官调整参数就是用于对五官
特征进行调整的参数，五官调整参数可以是电子设备自动获取的，也可以是用户手动输入
的，在此不做限定。

[0051] 例如，电子设备中可以预先存储不同人脸对应的五官调整参数，当根据第一图像和第二图像建立目标人脸三维模型之后，根据第一图像识别目标人脸，然后将目标人脸与
预先存储的人脸进行匹配，查找相匹配的人脸对应的五官调整参数。

[0052] 步骤208，根据五官调整参数对目标人脸三维模型中的五官特征进行调整。

[0053] 在本申请提供的实施例中，目标人脸三维模型中既包含目标人脸的纹理、颜色等信息，又包含目标人脸的深度信息，根据五官调整参数可以调整目标人脸三维模型中五官
的大小、颜色、纹理、深度等信息。

[0054] 例如，可以对目标人脸三维模型进行瘦脸、放大眼睛、调整下巴长度、祛痘等处理。其中，瘦脸处理时可以将目标人脸三维模型的脸部轮廓缩小，放大眼睛处理时可以目标人
脸三维模型的眼睛尺寸变大，调整下巴长度处理时可以将目标人脸三维模型的下巴的尺寸
缩小，祛痘处理时可以将目标人脸三维模型的痘痘区域的纹理进行平滑处理。

[0055] 在本申请提供的实施例中，生成目标人脸三维模型之后，电子设备可以根据目标人脸三维模型生成参考五官调整参数。其中，参考五官调整参数为用于参照的五官调整参
数，例如可通过人工智能对目标人脸三维模型进行分析，得到参考五官调整参数。得到参考
五官调整参数之后，可以将目标人脸三维模型和参考五官调整参数进行展示，用户可以根
据展示的目标人脸三维模型和参考五官调整参数输入五官调整参数，电子设备再根据用户
输入的五官调整参数对目标人脸三维模型中的五官特征进行处理。

[0056] 根据用户输入的五官调整参数进行处理之后，还可以将处理之后的目标人脸三维模型作为基准人脸三维模型进行存储，下次再对该目标人脸对应的人脸三维模型进行处理
时，可以获取该基准人脸三维模型作为参照进行处理。具体的，获取并展示五官特征对应的
参考五官调整参数，并获取根据参考五官调整参数输入的五官调整参数；将根据五官调整
参数调整之后的目标人脸三维模型作为基准人脸三维模型进行存储。

[0057] 上述实施例提供的图像处理方法，可以获取第一图像和第二图像，并根据第一图像和第二图像对目标人脸进行三维建模得到目标人脸模型。然后提取目标人脸三维模型中
的五官特征，根据获取的五官调整参数对五官特征进行调整。目标人脸三维模型中不仅包
含目标人脸的纹理信息，还包含目标人脸的深度信息，这样在对五官特征进行调整的时候，
可以结合更全面的信息进行调整，使得图像的处理更加准确。

[0058] 图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法中包括步骤302至步骤312。其中：

[0059] 步骤302，在对目标人脸进行拍摄时，获取第一摄像头根据第一帧率采集的第一原始图像，并获取第二摄像头根据第二帧率采集的至少两张第二原始图像；其中，第一帧率小
于第二帧率。

[0060] 在本申请实施例中，电子设备至少安装两个摄像头，分别为第一摄像头和第二摄像头。电子设备在对目标人脸进行拍摄的时候，会控制第一摄像头和第二摄像头同时曝光，
并通过第一摄像头获取第一原始图像，通过第二摄像头获取第二原始图像。

[0061] 可以理解的是，第一摄像头和第二摄像头都是针对同一场景获取的图像，第一摄像头以第一帧率采集第一原始图像，第二摄像头以第二帧率采集第一原始图像。其中，第一
帧率小于第二帧率，这样可以保证在相同的曝光时段内，第二摄像头可以采集多张第二原
始图像。

[0062] 具体的，第二摄像头采集的至少两张第二原始图像可以用于合成一张深度图像，这样就可以避免第二摄像头在采集深度图像时，产生的空洞现象，提高图像的准确性。例
如，第一摄像头可以以30帧/秒的速度来获取第一原始图像，第二摄像头可以以120帧/秒的
速度来获取第二原始图像。这样在相同的曝光时段内，第一摄像头采集一张第一原始图像，
第二摄像头就可以采集四张第二原始图像。

[0063] 步骤304，根据第一原始图像生成第一图像，并根据至少两张第二原始图像生成第二图像。

[0064] 具体的，摄像头中的图像传感器可以将光信号转化成电信号，转换成电信号之后形成的原始图像不能直接被处理器处理，需要进行一定的格式转换后才能别处理器处理。
第一原始图像是指第一摄像头采集的原始图像，第二原始图像是指第二摄像头采集的原始
图像。

[0065] 在一个实施例中，第一摄像头可以是可见光摄像头，第二摄像头可以是激光摄像头，电子设备上可安装第二摄像头对应的激光发射器。激光发射器的激光照射到物体上，通
过第二摄像头来获取激光照射物体时生成的第二原始图像，第二原始图像用于生成第一原
始图像对应的深度信息。

[0066] 第一摄像头采集的第一原始图像，可以生成对应的第一图像，第一图像可以被处理器处理。例如，获取的第一原始图像可以是RAW格式的图像，第一图像可以从RAW格式的图
像转换成YUV(Luma Chrominance Chroma，明亮度、色度、浓度)格式的图像，格式转换后形
成的YUV图像即为生成的第一图像，然后将第一图像进行处理。第二摄像头采集的第二原始
图像也可以是RAW格式的图像，由于获取的第二原始图像为至少两张，所以可以将第二原始
图像合成为一张Depth(深度)图像，即为第二图像。

[0067] 在一个实施例中，根据第一原始图像生成第一图像的步骤具体包括：将第一原始图像进行第一格式转换，生成第一图像。例如，第一摄像头为可见光摄像头，第一原始图像
可以是RAW格式的图像，第一图像可以是YUV格式的图像，将RAW格式的第一原始图像进行第
一格式转换，就可得到YUV格式的第一图像。

[0068] 根据第二原始图像生成第二图像具体包括：将至少两张第二原始图像进行打包，并将打包后的第二原始图像进行第二格式转换，生成第二图像。具体的，获取到第二原始图
像之后，为防止第二原始图像在传输过程中丢失，可以将第二原始图像进行打包，这样可以
使第二原始图像在内存上形成一个整体进行传输，以防丢帧。打包之后的第二原始图像可
以进行第二格式转换，然后生成一张第二图像。

[0069] 例如，第二摄像头可以为激光摄像头，电子设备还可以安装一个激光发射器，激光发射器以一定的频率发射激光波，通过计算激光波的飞行时间，就可以计算出物体到第二
摄像头的距离。具体的，通过第二摄像头采集激光波经过物体反射后所形成的第二原始图
像，然后根据第二原始图像得到第二图像。

[0070] 图4为一个实施例中TOF计算深度信息的原理图。如图4所示，激光发射器可以发射一个激光波，发射的激光波经过物体反射之后会形成一个反射的激光波，根据发射的激光
波和接收的激光波的相位差就可以计算得到物体的深度信息。激光摄像头实际采集图像
时，可以控制不同快门在不同的时间进行开关，然后形成不同的接收信号，从而通过多个快
门开关采集不同的图像来计算得到深度图像。在一个实施例中，假设激光摄像头是通过四
个快门来控制接收激光波信号的，快门1、快门2、快门3、快门4接收到的激光波信号分别为
Q1、Q2、Q3、Q4，则计算深度信息的公式如下：

[0071]

[0072] 其中，C为光速，f为激光波的发射频率。上述公式即可将四张第二原始图像进行第二格式转换，生成对应的Depth格式的第二图像。可以理解的是，获取的第二原始图像的图
像数量不同时，对应的将第二原始图像进行第二格式转换的公式也可能不同。具体的，可以
根据第二原始图像的图像数量获取对应的第二格式转换公式，根据第二格式转换公式将打
包后的第二原始图像进行第二格式转换，得到第二图像。

[0073] 在对目标人脸进行拍摄的时候，可以保持目标人脸和电子设备静止不动，这样就只能从一个角度获取目标人脸对应的第一图像和第二图像。也可以使目标人脸或电子设备
运动，这样就可以从多个角度获取目标人脸对应的第一图像和第二图像。例如，电子设备对
着目标人脸左右转动90°，然后再上下转动45°，并在转动过程中获取多张第一图像和多张
第二图像。通过多张第一图像和第二图像生成的目标人脸三维模型更加准确。

[0074] 步骤306，获取基准人脸三维模型。

[0075] 在一个实施例中，基准人脸三维模型是在重建目标人脸三维模型时进行拟合的模型，电子设备中可以存储一个或多个基准人脸三维模型。当获取第一图像和第二图像之后，
就可以将第一图像和第二图像与基准人脸三维模型进行拟合，生成目标人脸三维模型。

[0076] 例如，不同人种、性别和年龄的人脸三维模型往往具有不同的特征，所以电子设备可以分不同人种、性别和年龄分别设置不同的基准人脸三维模型。具体的，人种、性别和年
龄等可作为目标人脸的属性特征，在获取到第一图像和第二图像之后，根据第一图像和第
二图像识别目标人脸的属性特征，然后根据目标人脸的属性特征获取对应的基准人脸三维
模型。

[0077] 步骤308，将第一图像和第二图像与基准人脸三维模型进行拟合，生成目标人脸对应的目标人脸三维模型。

[0078] 根据第一图像和第二图像可以建立目标人脸三维模型，建立目标人脸三维模型具体可以包括点云计算、点云匹配、数据融合、表面生成等，不限于此。其中，点云计算是指以
摄像头建立世界坐标系，将第二图像中的深度信息转换为上述世界坐标系中的三维坐标的
过程。通过从不同角度拍摄的多张第二图像来构建三维模型时，采集的各张第二图像之间
可能会存储在公共部分。点云配准就是把不同时间、角度、照度获取的多张第二图像叠加匹
配到统一的世界坐标系中的过程。经过点云配准后的深度信息仍为空间中散乱无序的点云
数据，仅能展现景物的部分信息。因此必须对点云数据进行融合处理，以获得更加精细的重
建模型。具体的，数据融合的过程会以摄像头为原点构造体积网格，体积网格把点云空间分
割成极多体素(Voxel)，通过为所有体素赋予SDF(Signed Distance Field，有效距离场)值
来模拟表面。最后根据构建的体积网格中的体素构建三角面片，把构建的所有三角面片进
行连接，从而生成三维模型的表面。最后将第一图像中的纹理、颜色等特征与构建的表面进
行融合，生成最后的三维模型。

[0079] 在获取到基准人脸三维模型之后，就可以将基准人脸三维模型作为上述构建的构造体积网格，将第一图像和第二图像与基准人脸三维模型进行拟合，生成目标人脸三维模
型。

[0080] 步骤310，提取目标人脸三维模型中的五官特征，并获取基准人脸三维模型的五官特征所对应的五官调整参数。

[0081] 电子设备中预先建立可以基准人脸三维模型与五官调整参数的对应关系，在获取到基准人脸三维模型之后，可以根据基准人脸三维模型获取对应的五官调整参数。例如，基
准人脸三维模型可包括“model_01”、“model_02”、“model_03”，“model_01”对应的五官调整
参数为眼睛放大0.5倍，“model_02”对应的五官调整参数为瘦脸0.2倍，“model_03”对应的
五官调整参数为鼻子变高0.1倍。

[0082] 步骤312，根据五官调整参数对目标人脸三维模型中的五官特征进行调整。

[0083] 五官调整参数中可以包含对一个或多个五官特征进行调整的参数，在此不做限定。例如，原来五官特征为眼睛尺寸为X，获取五官调整参数为眼睛放大0.5倍，那么根据五
官调整参数调整后的五官特征为眼睛尺寸在1.5X。

[0084] 具体的，五官调整参数包括五官调整方向和五官调整强度，其中五官调整方向是指对五官特征调整的方向，五官调整强度是指对五官特征进行调整的强度值。例如，五官调
整方向可以是对眼睛放大，五官调整强度可以是指放大的倍数。具体的，可以根据五官调整
强度和五官调整方向，对目标人脸三维模型中的五官特征进行调整。

[0085] 在一个实施例中，获取第一图像和第二图像的步骤具体可以包括：

[0086] 步骤502，获取采集第一原始图像的第一时刻，以及采集至少两张第二原始图像的第二时刻。

[0087] 第一时刻是指采集第一原始图像的时刻，第二时刻是指采集至少两张第二原始图像的时刻。当电子设备采集到第一原始图像时，就可以读取电子设备的时钟，生成第一时
刻。当电子设备采集到第二原始图像时，就可以读取电子设备的时钟，生成第二时刻。

[0088] 可以理解的是，采集的第二原始图像包括至少两张，例如，可以采集四张第二原始图像、八张第二原始图像、九张第二原始图像等。第二摄像头在每生成一帧第二原始图像
时，电子设备都会读取生成该第二原始图像的时刻。具体的，可以获取至少两张第二原始图
像中任意一张第二原始图像的采集时刻，作为至少两张第二原始图像对应的第二时刻；或
获取各个第二原始图像对应的采集时刻的平均值，作为至少两张第二原始图像对应的第二
时刻。

[0089] 举例来说，第二摄像头获取的五张第二原始图像，采集时刻用“分：秒：毫秒”表示分别为“14:25:256”→“14:25:364”→“14:25:485”→“14:25:569”→“14:25:691”，则第二
时刻可以是获取第一张第二原始图像的采集时刻即“14:25:256”，也可以是第三张第二原
始图像的采集时刻即“14:25:485”，还可以是获取的五张第二原始图像的采集时刻的平均
值即“14:25:473”，在此不做限定。

[0090] 步骤504，当第一时刻和第二时刻之间的时间间隔小于间隔阈值时，根据第一原始图像生成第一图像，并根据至少两张第二原始图像生成第二图像。

[0091] 可以理解的是，第一摄像头和第二摄像头可以是针对同一场景进行拍摄的，所以拍摄得到的第一图像和第二图像是对应的。由于在获取第一图像和第二图像的过程中，电
子设备可能会产生抖动的情况，所以为了保证第一图像和第二图像是对应的，需要同时采
集第一图像和第二图像。当第一时间戳与第二时间戳之间的时间间隔小于第一间隔阈值
时，认为第一图像和第二图像是针对同一场景获取的，则可以根据第一图像和第二图像进
行处理；当第一时间戳与第二时间戳之间的时间间隔大于第一间隔阈值时，则认为第一图
像和第二图像不是针对同一场景获取的，可以直接将获取的第一图像和第二图像丢弃。

[0092] 在一个实施例中，获取基准人脸三维模型的步骤具体可以包括：

[0093] 步骤602，获取目标人脸在第一图像中对应的目标人脸信息，将目标人脸信息与基准信息集合中的人脸信息进行比较。

[0094] 具体的，电子设备中可以预先存储第一人脸三维模型和第二人脸三维模型，第一人脸三维模型与人脸信息对应存储，第二人脸三维模型为默认的通用人脸三维模型。在获
取基准人脸三维模型时，可以将第一图像中的目标人脸信息与电子设备中存储的人脸信息
进行比较，并根据比较结果获取基准人脸三维模型。

[0095] 在一个实施例中，人脸信息用于表示人脸的唯一特征，例如可以是人脸图像、人脸肤色、人脸五官等中的一种或多种。电子设备中存储的人脸信息组成一个基准信息集合，将
目标人脸信息与基准信息集合的人脸信息进行比对，判断电子设备中是否存在与目标人脸
信息相匹配的人脸信息。

[0096] 步骤604，当基准信息集合中存在与目标人脸信息相匹配的人脸信息时，获取与目标人脸信息相匹配的人脸信息所对应的第一人脸三维模型，作为基准人脸三维模型。

[0097] 将目标人脸信息与人脸信息进行匹配，若目标人脸信息与人脸信息的匹配度大于匹配阈值，则判定目标人脸信息与该人脸信息相匹配。例如，目标人脸信息与某一人脸信息
匹配度达到90％，匹配度90％大于匹配阈值80％，则判定目标人脸信息与该人脸信息相匹
配。

[0098] 电子设备预先建立人脸信息、第一人脸三维模型和五官调整参数的对应关系，当基准信息集合中存在与目标人脸信息相匹配的人脸信息时，电子设备会获取与目标人脸信
息相匹配的人脸信息所对应的第一人脸三维模型作为基准人脸三维模型，并获取该第一人
脸三维模型对应的五官调整参数对目标人脸三维模型的五官特征进行处理。

[0099] 步骤606，当基准信息集合中不存在与目标人脸信息相匹配的人脸信息时，获取预先存储的第二人脸三维模型作为基准人脸三维模型。

[0100] 电子设备中存储的第二人脸三维模型是通用的人脸三维模型，第二人脸三维模型对应的五官调整参数为默认的处理参数。当基准信息集合中不存在与目标人脸信息相匹配
的人脸信息时，就将通用的第二人脸三维模型作为基准人脸三维模型，并获取该默认的五
官调整参数对目标人脸三维模型的五官特征进行处理。

[0101] 图7为一个实施例中人脸三维模型的展示示意图。如图7所示，在建立的三维坐标系中展示人脸三维模型702。该人脸三维模型402为一个立体模型，可以从多个角度展示人
脸。在本实施例中，将人脸三维模型702向左转动135°，再向下旋转25°，则得到人脸三维模
型704。

[0102] 上述实施例提供的图像处理方法，可以获取第一图像和第二图像，并根据第一图像和第二图像对目标人脸进行三维建模得到目标人脸模型。然后提取目标人脸三维模型中
的五官特征，根据获取的五官调整参数对五官特征进行调整。目标人脸三维模型中不仅包
含目标人脸的纹理信息，还包含目标人脸的深度信息，这样在对五官特征进行调整的时候，
可以结合更全面的信息进行调整，使得图像的处理更加准确。

[0103] 应该理解的是，虽然图2、3、5、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些
步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、5、6中
的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在
同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必
然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或
者交替地执行。

[0104] 图8为一个实施例中实现图像处理方法的软件框架图。如图8所示，该软件框架中包括应用层80、硬件抽象层(Hardware Abstraction Layer，HAL)82、内核(Kernel)层84和
硬件(Hardware)层86。其中，应用层80中包括应用程序802。硬件抽象层82中包括接口822、
图像同步模块824、图像算法模块826以及应用算法模块828。内核层84中包括摄像头驱动
842、摄像头标定模块844和摄像头同步图模块846。硬件层862中包括第一摄像头862、第二
摄像头864和图像处理器(Image Signal Processor,ISP)866。

[0105] 在一个实施例中，应用程序802可用于发起图像采集指令，然后将图像采集指令发送到接口822。例如，应用程序802需要进行三维建模的时候，可以发起图像采集指令。接口
822对图像采集指令解析之后，可以通过摄像头驱动842对摄像头的配置参数，然后将配置
参数发送给图像处理器866，并通过图像处理器866控制第一摄像头862和第二摄像头864打
开。第一摄像头862和第二摄像头864打开之后，可通过摄像头同步模块846控制第一摄像头
862和第二摄像头864同步采集图像。电子设备可以对目标人脸进行拍摄，通过第一摄像头
862采集第一原始图像，通过第二摄像头864采集第二原始图像。然后分别根据第一原始图
像和第二原始图像，生成第一图像和第二图像，并将第一图像和第二图像返回给应用程序
802。

[0106] 采集第一图像和第二图像的过程，具体如下：第一摄像头862采集的第一原始图像和第二摄像头864采集的第二原始图像会发送给图像处理器866，然后通过图像处理器866
将第一原始图像和第二原始图像发送给摄像头标定模块844。摄像头标定模块844会将第一
原始图像和第二原始图像进行对齐处理，然后将对齐后的第一原始图像和第二原始图像发
送到硬件抽象层82。硬件抽象层82中的图像同步模块824会根据采集第一原始图像的第一
时刻与采集第二原始图像的第二时刻，判断第一原始图像和第二原始图像是否为同时获取
的。若是，才会通过图像算法模块826根据第一原始图像计算得到第一图像，并根据第第二
原始图像计算得到第二图像。第一图像和第二图像会通过应用算法模块828进行打包等处
理，然后将打包等处理后的第一图像和第二图像通过接口822发送给应用程序802，应用程
序802获取到第一图像和第二图像后，可以根据第一图像和第二图像进行三维建模处理。

[0107] 图9为一个实施例中实现图像处理方法的示意图。如图9所示，第一摄像头和第二摄像头在采集图像的过程中需要进行摄像头同步处理，第一摄像头可以根据第一帧率采集
第一原始图像，第二摄像头可以根据第二帧率采集至少两张第二原始图像。第一摄像头采
集的第一原始图像可与对应的第一时间戳发送到第一缓冲器，第二摄像头采集的第二原始
图像可以与对应的标志信息进行打包，并将打包后的第二原始图像和标志信息与对应的第
二时间戳发送给第二缓冲器。其中，第一时间戳用于表示采集第一原始图像的第一时刻，第
二时间戳用于表示采集第二原始图像的第二时刻。当第一时间戳与第二时间戳之间的时间
间隔小于第一间隔阈值时，读取第一缓冲器中的第一原始图像，并将第一原始图像进行第
一格式转换之后得到第一图像，将第一图像发送给第三缓冲器中；读取第二缓冲器中的第
二原始图像及对应的标志信息，然后根据标志信息将第二原始图像进行第二格式转换后得
到第二图像，并将第二图像发送到第四缓冲器。第一图像和第二图像在发送给应用程序之
前，可以进行打包处理，然后将打包后的第一图像和第二图像发送到第五缓冲器中。应用程
序可以从第五缓冲器中读取打包后的第一图像和第二图像，并根据读取的第一图像和第二
图像进行三维建模等处理。

[0108] 图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括图像获取模块1002、模型生成模块1004、参数获取模块1006和五官调整模块1008。
其中：

[0109] 图像获取模块1002，用于获取第一图像及对应的第二图像，所述第二图像包含所述第一图像对应的深度信息。

[0110] 模型生成模块1004，用于根据所述第一图像和第二图像对目标人脸进行三维建模，得到目标人脸三维模型。

[0111] 参数获取模块1006，用于提取所述目标人脸三维模型中的五官特征，并获取所述五官特征对应的五官调整参数。

[0112] 五官调整模块1008，用于根据五官调整参数对所述目标人脸三维模型中的五官特征进行调整。

[0113] 上述实施例提供的图像处理装置，可以获取第一图像和第二图像，并根据第一图像和第二图像对目标人脸进行三维建模得到目标人脸模型。然后提取目标人脸三维模型中
的五官特征，根据获取的五官调整参数对五官特征进行调整。目标人脸三维模型中不仅包
含目标人脸的纹理信息，还包含目标人脸的深度信息，这样在对五官特征进行调整的时候，
可以结合更全面的信息进行调整，使得图像的处理更加准确。

[0114] 在一个实施例中，图像获取模块1002还用于在对目标人脸进行拍摄时，获取第一摄像头根据第一帧率采集的第一原始图像，并获取第二摄像头根据第二帧率采集的至少两
张第二原始图像；其中，所述第一帧率小于所述第二帧率；根据所述第一原始图像生成第一
图像，并根据所述至少两张第二原始图像生成第二图像。

[0115] 在一个实施例中，图像获取模块1002还用于获取采集所述第一原始图像的第一时刻，以及采集所述至少两张第二原始图像的第二时刻；当所述第一时刻和第二时刻之间的
时间间隔小于间隔阈值时，根据所述第一原始图像生成第一图像，并根据所述至少两张第
二原始图像生成第二图像。

[0116] 在一个实施例中，模型生成模块1004还用于获取基准人脸三维模型；将所述第一图像和第二图像与所述基准人脸三维模型进行拟合，生成目标人脸对应的目标人脸三维模
型。

[0117] 在一个实施例中，模型生成模块1004还用于获取目标人脸在所述第一图像中对应的目标人脸信息，将所述目标人脸信息与基准信息集合中的人脸信息进行比较；当所述基
准信息集合中存在与所述目标人脸信息相匹配的人脸信息时，获取与所述目标人脸信息相
匹配的人脸信息所对应的第一人脸三维模型，作为基准人脸三维模型；当所述基准信息集
合中不存在与所述目标人脸信息相匹配的人脸信息时，获取第二人脸三维模型作为基准人
脸三维模型。

[0118] 在一个实施例中，参数获取模块1006还用于获取所述基准人脸三维模型的五官特征所对应的五官调整参数。

[0119] 在一个实施例中，参数获取模块1006还用于获取并展示所述五官特征对应的参考五官调整参数，并获取根据所述参考五官调整参数输入的五官调整参数；将根据所述五官
调整参数调整之后的目标人脸三维模型作为基准人脸三维模型进行存储。

[0120] 在一个实施例中，所述五官调整参数包括五官调整方向和五官调整强度；五官调整模块1008还用于根据所述五官调整强度和所述五官调整方向，对所述目标人脸三维模型
中的五官特征进行调整。

[0121] 上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

[0122] 关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上
述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储
于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0123] 本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端
或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的
步骤。

[0124] 本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图
像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所
示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

[0125] 如图11所示，图像处理电路包括第一ISP处理器1130、第二ISP处理器1140和控制逻辑器1150。第一摄像头1110包括一个或多个第一透镜1112和第一图像传感器1114。第一
图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1114可获取用第一
图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器
1130处理的一组图像数据。第二摄像头1120包括一个或多个第二透镜1122和第二图像传感
器1124。第二图像传感器1124可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1124可
获取用第二图像传感器1124的每个成像像素捕捉的光强度和波长信息，并提供可由第二
ISP处理器1140处理的一组图像数据。

[0126] 第一摄像头1110采集的第一图像传输给第一ISP处理器1130进行处理，第一ISP处理器1130处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像
的颜色等)发送给控制逻辑器1150，控制逻辑器1150可根据统计数据确定第一摄像头1110
的控制参数，从而第一摄像头1110可根据控制参数进行自动对焦、自动曝光等操作。第一图
像经过第一ISP处理器1130进行处理后可存储至图像存储器1160中，第一ISP处理器1130也
可以读取图像存储器1160中存储的图像以对进行处理。另外，第一图像经过ISP处理器1130
进行处理后可直接发送至显示器1170进行显示，显示器1170也可以读取图像存储器1160中
的图像以进行显示。

[0127] 其中，第一ISP处理器1130按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1130可对图像数据进行一个或多个
图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深
度精度进行。

[0128] 图像存储器1160可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

[0129] 当接收到来自第一图像传感器1114接口时，第一ISP处理器1130可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1160，以便在被显示
之前进行另外的处理。第一ISP处理器1130从图像存储器1160接收处理数据，并对所述处理
数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1130处理后的图像数据
可输出给显示器1170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，
图形处理器)进一步处理。此外，第一ISP处理器1130的输出还可发送给图像存储器1160，且
显示器1170可从图像存储器1160读取图像数据。在一个实施例中，图像存储器1160可被配
置为实现一个或多个帧缓冲器。

[0130] 第一ISP处理器1130确定的统计数据可发送给控制逻辑器1150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1112阴影校正等第
一图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理
器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1110的控制参
数及第一ISP处理器1130的控制参数。例如，第一摄像头1110的控制参数可包括增益、曝光
控制的积分时间、防抖参数、闪光控制参数、第一透镜1112控制参数(例如聚焦或变焦用焦
距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处
理期间)的增益水平和色彩校正矩阵，以及第一透镜1112阴影校正参数。

[0131] 同样地，第二摄像头1120采集的第二图像传输给第二ISP处理器1140进行处理，第二ISP处理器1140处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差
值、图像的颜色等)发送给控制逻辑器1150，控制逻辑器1150可根据统计数据确定第二摄像
头1120的控制参数，从而第二摄像头1120可根据控制参数进行自动对焦、自动曝光等操作。
第二图像经过第二ISP处理器1140进行处理后可存储至图像存储器1160中，第二ISP处理器
1140也可以读取图像存储器1160中存储的图像以对进行处理。另外，第二图像经过ISP处理
器1140进行处理后可直接发送至显示器1170进行显示，显示器1170也可以读取图像存储器
1160中的图像以进行显示。第二摄像头1120和第二ISP处理器1140也可以实现如第一摄像
头1110和第一ISP处理器1130所描述的处理过程。

[0132] 以下为运用图11中图像处理技术实现图像处理方法的步骤。

[0133] 本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行
时，使得所述处理器执行上述实施例提供的图像处理方法的步骤。

[0134] 一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。

[0135] 本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可
得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、
增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

[0136] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员
来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保
护范围。因此，本申请专利的保护范围应以所附权利要求为准。