基于RGB图像的精细化人脸表情捕获方法及装置

摘要

本发明涉及3D表情重建技术领域，具体公开一种基于RGB图像的精细化人脸表情捕获方法及装置。本申请通过获取目标人脸的自然表情图像和变化表情图像，将变化表情图像输入人脸表情捕获模型获得标准表情特征，将自然表情图像和变化表情图像输入人脸关键点回归模型获得两组目标人脸的关键点空间坐标后进行坐标标准化处理，计算关键点空间坐标变化数据后代入关键点表情变化关联函数获得表情变化特征，最后根据敏感参数获得表情捕获数据的方法，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，并且对表情特征的局部变化进行了效果增强，提高了表情捕获的稳定性和准确率。

权利要求

1.一种基于RGB图像的精细化人脸表情捕获方法，其特征在于，包括：S11：获取目标人脸的自然表情图像和变化表情图像；

S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征S14：根据预设的敏感参数α生成目标人脸的表情捕获数据：所述人脸表情捕获模型的构建方法包括：

S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型；

所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

S212：对采集的单帧人脸表情图像进行时序的同步；

S213：对采集的人脸表情图像中的人脸表情进行多人标注；

所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；

S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降法对卷积神经网络标准模型进行训练，损失函数为：L＝∑|D(ei)-bsi|，其中ei为采集人脸表情图像RGB数据集，bsi为标注数据集，D为目标优化模型；

S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据，其中，表情特征维度的平滑变换曲线其中

为步骤S222中训练得出的卷积神经网络标准模型输出数据；

S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。

2.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，还包括：S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

3.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。

4.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述关键点表情变化关联函数的构建方法包括：S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；

S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。

5.根据权利要求2所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述S15的方法包括：将前后帧表情捕获时序区间记为[τi，τi+1]，表情捕获数据记为通过构建中间值插帧的方式，对表情变化特征进行时序平滑，输出的目标人脸的表情捕获数据为：

其中

τo为实时输出时间帧位，τi为前一帧时间帧位，τi+1为后一帧时间帧位。

6.一种基于RGB图像的精细化人脸表情捕获装置，其特征在于，所述装置包括：人脸表情图像获取模块，用于获取目标人脸的自然表情图像和变化表情图像；

标准表情特征获取模块，用于将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征表情变化特征获取模块，用于将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化关键点空间坐标；

根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征 表情捕获数据获取模块，用于根据预设的敏感参数α生成目标人脸的表情捕获数据：所述人脸表情捕获模型的构建方法包括：

S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型；

所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

S212：对采集的单帧人脸表情图像进行时序的同步；

S213：对采集的人脸表情图像中的人脸表情进行多人标注；

所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；

S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降法对卷积神经网络标准模型进行训练，损失函数为：L＝∑|D(ei)-bsi|，其中ei为采集人脸表情图像RGB数据集，bsi为标注数据集，D为目标优化模型；

S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据，其中，表情特征维度的平滑变换曲线其中

为步骤S222中训练得出的卷积神经网络标准模型输出数据；

S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。

7.根据权利要求6所述的基于RGB图像的精细化人脸表情捕获装置，其特征在于，所述装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

8.一种基于RGB图像的精细化人脸表情捕获装置，其特征在于，包括：存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至5中任一项所述基于RGB图像的精细化人脸表情捕获方法的步骤。

说明书

基于RGB图像的精细化人脸表情捕获方法及装置

技术领域

[0001] 本发明涉及3D表情重建技术领域，具体涉及一种基于RGB图像的精细化人脸表情捕获方法及装置。

背景技术

[0002] 目前人工智能技术和AR智能技术正在飞速发展，互联网用户的内容摄取需求越来丰富，针对动画人物，AR等内容的需求越加强烈，基于不同的人物角色构建特色的动作和表情成为了这些领域里边的支点内容。传统的动画及3D人物表情制作完全依赖于人工，同一个人物的表情变化需要同时做多幅图画，和多个模型的变化来表现，不仅需要极大的工作量，同时也难以保证输出动画或表情模型跟预期的表现一致，从而反复进行人物表情的构建，极大地降低了该领域里的内容输出效率。当前已有的通过人物关键点定位来抽象人脸表情特征变化的方法，也存在关键点抖动造成表情抖动问题；面部空间变化，迁移，使得检测效果畸变等多重技术问题。

发明内容

[0003] 有鉴于此，本申请提供一种基于RGB图像的精细化人脸表情捕获方法及装置，能够解决或者至少部分解决上述存在的问题。

[0004] 为解决以上技术问题，本发明提供的技术方案是一种基于RGB图像的精细化人脸表情捕获方法，包括：

[0005] S11：获取目标人脸的自然表情图像和变化表情图像；

[0006] S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征 ；

[0007] S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征；

[0008] S14：根据预设的 敏感参数 生成目标人脸的表情捕获数据：。

[0009] 优选的，基于RGB图像的精细化人脸表情捕获方法还包括：

[0010] S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

[0011] 优选的，所述人脸表情捕获模型的构建方法包括：

[0012] S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

[0013] S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。

[0014] 优选的，所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：

[0015] S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

[0016] S212：对采集的单帧人脸表情图像进行时序的同步；

[0017] S213：对采集的人脸表情图像中的人脸表情进行多人标注；

[0018] 所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：

[0019] S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；

[0020] S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降法对卷积神经网络标准模型进行训练，损失函数为： ，其中为采集人脸表情图像RGB数据集， 为标注数据集， 为目标优化模型；

[0021] S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据，其中，表情特征维度的平滑变换曲线通过来计算，其中 为步骤S222中训练得出的卷积神
经网络标准模型输出数据；

[0022] S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。

[0023] 优选的，所述人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。

[0024] 优选的，所述关键点表情变化关联函数的构建方法包括：

[0025] S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；

[0026] S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。

[0027] 优选的，所述S15的方法包括：将前后帧表情捕获时序区间记为 ，表情捕获数据记为 ，通过构建中间值插帧的方式，对表情变化特征进行时序平滑，输出的目标人脸的表情捕获数据为：
，其中 为实时输出时间帧位， 为前一帧时间帧位， 为后一帧时间帧位。

[0028] 本发明还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：

[0029] 人脸表情图像获取模块，用于获取目标人脸的自然表情图像和变化表情图像；

[0030] 标准表情特征获取模块，用于将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征 ；

[0031] 表情变化特征获取模块，用于将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征 ；

[0032] 表情捕获数据获取模块，用于根据预设的敏感参数 生成目标人脸的表情捕获数据： 。

[0033] 优选的，基于RGB图像的精细化人脸表情捕获装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

[0034] 本发明还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：

[0035] 存储器，用于存储计算机程序；

[0036] 处理器，用于执行所述计算机程序以实现上述基于RGB图像的精细化人脸表情捕获方法的步骤。

[0037] 本申请与现有技术相比，其有益效果详细说明如下：本申请通过获取目标人脸的自然表情图像和变化表情图像，将变化表情图像输入人脸表情捕获模型获得标准表情特征，将自然表情图像和变化表情图像输入人脸关键点回归模型获得两组目标人脸的关键点空间坐标后进行坐标标准化处理，计算关键点空间坐标变化数据后代入关键点表情变化关联函数获得表情变化特征，最后根据敏感参数获得表情捕获数据的方法，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，并且对表情特征的局部变化进行了效果增强，提高了表情捕获的稳定性和准确率。

附图说明

[0038] 为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0039] 图1为本发明实施例提供的一种基于RGB图像的精细化人脸表情捕获方法流程示意图；

[0040] 图2为本发明实施例提供的另一种基于RGB图像的精细化人脸表情捕获方法流程示意图；

[0041] 图3为本发明实施例提供的一种人脸表情捕获模型的构建方法流程示意图；

[0042] 图4为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置正视图；

[0043] 图5为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置俯视图；

[0044] 图6为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置侧视图；

[0045] 图7为本发明实施例提供的一种构建关键点表情变化关联函数的方法流程示意图；

[0046] 图8为本发明实施例提供的一种基于RGB图像的精细化人脸表情捕获装置结构示意图。

具体实施方式

[0047] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

[0048] 为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

[0049] 如图1所示，本发明实施例提供一种基于RGB图像的精细化人脸表情捕获方法，可以应用于基于RGB图像的精细化人脸表情捕获系统，该方法包括：

[0050] S11：获取目标人脸的自然表情图像和变化表情图像；

[0051] S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征  ；

[0052] S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征；

[0053] S14：根据预设的 敏感参数 生成目标人脸的表情捕获数据：。

[0054] 需要说明的是，S11中自然表情图像定义为人脸两眼睁开、嘴巴闭上、眉毛自然放松状态的图像，变化表情图像定义为变化的表情状态的图像。获取目标人脸的自然表情图像和变化表情图像的方法可以包括：将获取的初始自然表情图像和变化表情图像进行人脸检测，获取图像中人脸的矩形框，并裁剪出人脸的RGB图像，获得目标人脸的自然表情图像和变化表情图像。

[0055] 需要说明的是，S12中人脸表情捕获模型可以根据输入的人脸RGB数据的差异，输出51个维度的人脸表情特征数据。

[0056] 需要说明的是，S13中将目标人脸的自然表情图像及变化人脸的RGB图像输入人脸关键点回归模型中，获取两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标，即：记录人脸关键点回归模型检测出来的关键点空间坐标为 ，预估人脸的转角记为。构建旋旋转矩阵 ，标准关键点空间坐标记为 。将旋转后68个关键点的空间坐标通过公式 对标准关键点空间坐标进行归一
化处理，其中 表示为人脸关键点检测中鼻尖位置的点， 表示为人脸
在鼻梁处两个关键点。

[0057] 具体的，根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征 具体包括：将标准化后的两组目标人脸的关键点空间坐标求差，计算出目标人脸的关键点空间坐标变化数据 ；同理求取人脸在 时刻的关键点空间坐标为 ，获取关键点空间坐标变化数据 ，通过关键点表情变化关联函数，即51个融合变形值即blendshapes关键点表情变化关联函数，输出表情变化特征 。

[0058] 需要说明的是，S14中结合具体应用场景，构建设置敏感参数 来融合表情特征输出目标人脸的表情捕获数据 。其中 表示为最终输出的表情捕获数据， 表示为人脸表情捕获模型输出的标准表情特征捕获数据， 表示为通过人脸关键点回归模型和关键点表情变化关联函数获得的表情变化特征数据， 为敏感参数，具体的可以 ，通过敏感参数 来调节控制表情的捕获变化敏感度。

[0059] 如图2所示，本发明还提供另一种基于RGB图像的精细化人脸表情捕获方法，在图1实施例所示的基于RGB图像的精细化人脸表情捕获方法基础上，还包括：

[0060] S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

[0061] 需要说明的是，S15将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据的方法包括：将前后帧表情捕获时序区间记为，表情捕获数据记为 ，通过构建中间值插帧的方式，对表情变化特征进行时序平滑，输出的目标人脸的表情捕获数据为：
，其中 为实时输出时间帧位， 为
前一帧时间帧位， 为后一帧时间帧位。

[0062] 具体的，应用前后帧平滑策略。在该优选实施例中，通过异步化前后帧与输出帧，来实现表情捕获的平滑变化。截取2个步骤S14中描述的输出帧作为前后帧，时序区间记为，表情捕获数据表示为 ，通过构建中间值插帧的方式，对表情变化特征进行时序平滑，最终输出值为 ，
其中 为实时输出时间帧位， 为前一帧时间帧位， 为后一帧时间帧位。

[0063] 需要说明的是，如图3所示，S12中人脸表情捕获模型的构建方法包括：

[0064] S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

[0065] S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。

[0066] 需要说明的是，S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：

[0067] S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

[0068] 优选的，如图4-图6所示分别为本发明实施例提供的一种构建的9个不同角度的RGB摄像头的位置正视图、俯视图和侧视图，正视图中人脸遮挡位置的摄像头未画出。构建9个不同角度的RGB摄像头对人脸图像数据进行采集作为抽象表情模型样本数据，9个不同角度的 R G B 摄 像头 对 同 一 时 刻的 人 脸 进 行面 部 表 情的 图 像 采 集 记 为，其中 表示为人脸的RGB色彩通道的图像，下标表示为该图像对应的摄像头位置。

[0069] 具体的，多角度RGB摄像头部署，保证人脸在采集过程中能够捕获包括双眼，鼻，嘴巴，眉毛，眉心的图像。在摄像头架设的环节，应充分考虑到全部摄像头能够采集到完整面部图像。具体的如图4所示，架设了9个不同角度的采集摄像头，其中与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°为最适合。

[0070] S212：对采集的单帧人脸表情图像进行时序的同步；

[0071] 具体的，目标人脸表情图像的采集数据为视频数据，在获得人脸的帧数据时，会出现多相机的帧错位问题，因此需要对单帧数据进行时序同步。

[0072] S213：对采集的人脸表情图像中的人脸表情进行多人标注；

[0073] 具体的，由于涉及到多个角度的图像数据，标注表情数据采用多人标注的方式对采集到的人脸表情图像进行标注，标注结果示例为 ，其中为重复的标注人次，记录数据的表情特征向量，标记结果记为 ，其中i表示
一个采集到的人脸表情数据与 对应。

[0074] 具体的，通过多人对每帧人脸的正面人脸图像数据进行标注，表示表情的变化，浮动值区间为[0，1]。在该优选实施例中，人脸表情特征的变化，通过融合变形值即blendshapes的维度进行标准化，进行人工的维度标注。多人标注的具体方式是指：同一张正面表情图像，由多个人分别进行标注，获得标注结果后，进行均值化处理。

[0075] 该实施例中，通过51个面部变化特征来表示表情的变化。分别为"eyeSquintLeft","eyeSquintRight","noseSneerRight","eyeWideRight","
browInnerUp","eyeLookOutRight","mouthDimpleLeft","mouthClose","jawOpen","mouthRollLower","mouthShrugUpper","mouthFunnel","mouthUpperUpLeft","eyeLookDownRight","mouthRollUpper","browOuterUpLeft","mouthStretchLeft","noseSneerLeft","eyeLookDownLeft","mouthShrugLower","eyeLookUpLeft","browDownRight","cheekSquintRight","eyeLookInLeft","eyeLookInRight","mouthLeft","jawForward","mouthDimpleRight","browOuterUpRight","
mouthStretchRight","browDownLeft","cheekSquintLeft","eyeLookUpRight","mouthSmileLeft","mouthPressLeft","mouthPucker","mouthLowerDownLeft","mouthSmileRight","jawRight","mouthPressRight","eyeLookOutLeft","
mouthLowerDownRight","eyeWideLeft","jawLeft","cheekPuff","eyeBlinkLeft","mouthFrownLeft","mouthFrownRight","eyeBlinkRight","mouthRight","
mouthUpperUpRight"。在该优选实施例中，将每个采集表情数据中的正面图像作为标注数据，记录为标准训练数据，并存储。

[0076] 需要说明的是，S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：

[0077] S221：构建选取卷积神经网络标准模型，在模型的工程化性能及模型拟合能力中选择最优back-bone模型；

[0078] 具体的，构建选取卷积神经网络标准模型，在模型在工程化性能及模型拟合能力中选择最优back-bone模型。在该优选实时案例中，通过对比，获标准resnet-18的模型基本架构，在工程化中不仅资源开销较小，同时模型能够有较好的泛化能力。

[0079] S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降法对模型进行训练，损失函数为： ，其中 为采集人脸表情图像RGB数据集， 为标注数据集， 为目标优化模型；

[0080] 具体的，通过标注后的人脸图像数据构建并训练卷积神经网络用于对人脸的表情变化进行捕获， 作为模型的训练输入数据。通过采集的标注数据对模型进行训练，包含采用镜像图像，增强/减弱图像的对比度和光亮度，空间仿射，视图变换等方式来增强模型的泛化能力。在该优选实施例中，训练图像有做±20°的随机角度偏转，同时有0.5的概率进行仿射变换，对比度和光亮度在[0.5，1.5]幅度上进行变化。

[0081] 具体的，在该优选实施例中，通过随机梯度下降法来对模型进行训练，其损失函数如下： ，其中 为采集图像RGB数据集， 为标注数据集，为目标优化模型。

[0082] S223：通过比对模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据，其中，表情特征维度的平滑变换曲线通过 来计算，其中 为步骤S222中训练得出的模型输出的人脸的标准表情特征；

[0083] 具体的，通过比对卷积模型的输出，构建表情平滑函数，即人脸标准表情变化的平滑，用于适配不同的人脸，并优化训练数据。具体的步骤S222训练获取的卷积神经网络模型输出的人脸的标准表情特征记为 ，平滑曲线记为 ，则表情捕获的输出表情变化特征即为 ，表情特征维度的平滑变换曲线通过来计算，即将卷积模型获得的数据输入到平滑函数中作为变量，获得因变量的数值。在该实施例中，在每次迭代卷积模型后，通过人工校准的方式来微调表情变化曲线，进而对模型输出的结果进行校准。

[0084] S224：将优化的训练数据作为模型输入，迭代优化训练数据，迭代S222和S223步骤直到模型达到预设效果，获得人脸表情捕获模型。

[0085] 具体的，步骤S222中所述的训练卷积神经网络模型针对采集的人脸表情图像数据进行表情数据的捕获，并将模型输出数据进行记录，结合标注数据，进行训练样本数据的重新标注，并结合步骤S222中所述的训练方法，对模型进行迭代训练，直到模型表情捕获效果达到预期。在该过程中，将每次输出的数据进行保存，迭代步骤S222，S223直到模型达到预期效果。即：重复步骤S222，S223。一次训练模型作为一次迭代，新一步的迭代中，在S222中添加上一步迭代中S223步骤的模型输出数据作为优化数据，重新加入到新一步迭代的S223的模型训练过程中。重复该过程，通过人工校准平滑函数来达到数据的进一步优化迭代训练模型。

[0086] 需要说明的是，S13中人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。

[0087] 具体的，构建基于标准人脸关键点的回归模型，用于实时检测人脸的关键点。

[0088] 需要说明的是，如图7所示，构建关键点表情变化关联函数的方法包括：

[0089] S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；

[0090] S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。

[0091] 具体的，S31中结合微表情心理学模型，构建与人脸表情特征变化特征维度对应的人脸标准关键点关联映射。该实施例中，通过表情变化带动面部肌肉变化，从而对68个关键点产生相应的变化进行关联。通过在真实人脸进行描点标记来对人脸进行关键点的定位。以 表示为表示的51个表情变化中的某一个，记 为变化的关联点。

[0092] 具体的，S32中通过标准化人脸的其中表情（快乐，悲伤，恐惧，惊讶，轻蔑，厌恶，愤怒）来构建人脸的关键点变化与表情细节的关联函数。该实施例中通过关键点中的脸颊关键点和眉头及下巴关键点的空间坐标来对人脸进行空间大小的标准化。以两脸颊关键点空间坐标计算人脸宽记为 ，眉头到下巴关键点空间距离记为 ，以鼻尖的关键点作为坐标0点，对人脸的空间坐标进行平移，旋转空间坐标点的位置至正脸状态。分别记录7种不同表情的关联点的位置变化，该实施例中只考虑关键点的x，y坐标轴的变化。通过上述人脸关键点回归模型，获取变化后的坐标点位置，构建每一个表情的关联函数，以其中一个表情为例：关联点 的坐标变化记录为 ，面部变化的blendshapes参数记为 ，关联函数记为： ，该关联函数分布可自行设计，该实施例中记
为： ，其中 为目标拟合参数， 为sigmoid函数。构建
求解方程： ，其中 为
采样数据集中，包含 变化的样本数据集，通过随机梯度下降来求解关联函数的参数。
最终求解51个融合变形值即blendshapes关键点表情变化关联函数记为
。

[0093] 本发明的发明原理：本发明通过人脸表情捕获模型的数据采样的方法，即多角度进行数据采样，增强表情捕捉模型应对面部空间旋转的稳定性，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，同时通过人脸关键点回归模型获取人脸关键点信息和关键点表情变化关联函数对表情特征的局部变化进行了效果增强，有较强的准确度提升，综合以上特征本申请提高了表情捕获的稳定性和准确率，有效提升了系统对于细节表情变化的捕获。

[0094] 本发明方法通过图像捕捉人物细微表情，捕捉到的表情通过51个特征值进行表示，可在虚幻，MAYA，Unity等动画游戏制作平台进行3D人脸建模，即导入51个特征值可在3D人脸上重现被捕捉人物的人脸表情。

[0095] 如图8所示，本发明实施例提供一种基于RGB图像的精细化人脸表情捕获装置，包括：

[0096] 人脸表情图像获取模块41，用于获取目标人脸的自然表情图像和变化表情图像；

[0097] 标准表情特征获取模块42，用于将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征 ；

[0098] 表情变化特征获取模块43，用于将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型，获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征 ；

[0099] 表情捕获数据获取模块44，用于根据预设的敏感参数 生成目标人脸的表情捕获数据： 。

[0100] 需要说明的是，基于RGB图像的精细化人脸表情捕获装置还包括：表情捕获数据平滑模块，用于将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

[0101] 本发明实施例还提供一种基于RGB图像的精细化人脸表情捕获装置，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述基于RGB图像的精细化人脸表情捕获方法的步骤。

[0102] 图8所对应实施例中特征的说明可以参见图1-图7所对应实施例的相关说明，这里不再一一赘述。

[0103] 以上对本发明实施例所提供的一种基于RGB图像的精细化人脸表情捕获方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

[0104] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0105] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。