图像处理模型的训练方法、抠图方法、装置、介质及终端

摘要

本申请实施例公开了一种图像处理模型的训练方法、抠图方法、装置、介质及终端。其中，图像处理模型的训练方法包括获取原始图像的三分图；根据所述原始图像和所述三分图生成训练样本集；基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。通过采用上述技术方案，可以自动对输入的原始图像进行标注处理而得到三分图，无需通过手动标注的方式进行大量的发丝级别的数据标注，可以减少标注的工作量，提高了图像标注效率。此外，采用图像处理模型对原始图像进行标注，避免手动标注可能引入的误差，可以优化抠图效果。

权利要求

1.一种图像处理模型的训练方法，其特征在于，包括：

获取原始图像的三分图；

根据所述原始图像和所述三分图生成训练样本集；

基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图，所述预设的深度学习网络是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型，其中，所述后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图。

2.根据权利要求1所述的方法，其特征在于，根据所述原始图像和所述三分图生成训练样本集，包括：基于所述原始图像和所述三分图，采用设定抠图算法对所述原始图像进行抠图处理，得到抠图图像；

获取所述抠图图像的评价信息，根据所述评价信息判断所述三分图是否满足设定条件；

若是，则将所述原始图像和所述三分图作为训练样本，根据所述训练样本生成训练样本集。

3.根据权利要求2所述的方法，其特征在于，获取所述抠图图像的评价信息，根据所述评价信息判断所述三分图是否满足设定条件，包括：获取所述原始图像中的目标图像；

确定所述抠图图像与所述目标图像的相似度，根据所述相似度为所述抠图图像进行打分；

在所述抠图图像的得分超过设定阈值时，确定所述三分图满足设定条件。

4.根据权利要求1所述的方法，其特征在于，对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，包括：获取设定分段函数，其中，设定分段函数定义灰度值区间与目标像素值的关联关系；

获取基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图，采用所述设定分段函数调整所述类别图的像素值。

5.一种抠图方法，其特征在于，包括：

获取待抠图的目标图片；

通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络，所述深度学习网络是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型，其中，所述后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图；

基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

6.根据权利要求5所述的方法，其特征在于，在获取待抠图的目标图片之后，还包括：判断所述目标图片的属性信息是否与所述训练样本集中原始图像的样本属性信息相匹配；

在相匹配时，执行通过图像处理模型对所述目标图片进行标注处理的操作；

在不匹配时，根据所述样本属性信息调整所述目标图片的属性信息。

7.一种图像处理模型的训练装置，其特征在于，包括：

三分图获取模块，用于获取原始图像的三分图；

样本生成模块，用于根据所述原始图像和所述三分图生成训练样本集；

模型训练模块，用于基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图，所述预设的深度学习网络是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型，其中，所述后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图。

8.一种抠图装置，其特征在于，包括：

目标图片获取模块，用于获取待抠图的目标图片；

图片标注模块，用于通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络，所述深度学习网络是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型，其中，所述后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图；

抠图模块，用于基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的图像处理模型的训练方法；或者，该程序被处理器执行时实现如权利要求5或6所述的抠图方法。

10.一种终端，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4中任一所述的图像处理模型的训练方法，或者，所述处理器执行所述计算机程序时实现如权利要求5或6所述的抠图方法。

说明书

图像处理模型的训练方法、抠图方法、装置、介质及终端

技术领域

[0001] 本申请实施例涉及图像处理技术，尤其涉及一种图像处理模型的训练方法、抠图方法、装置、介质及终端。

背景技术

[0002] 目前，抠图成为图像处理最常做的操作之一。比如越来越多的人选择在网络上购买服装，于是电商的以图搜物功能应运而生。准确的搜索到相似的服装是一件很困难的事情，所以有必要将图片中的人像分割出来。又如，一些人像美化类功能的实现也依赖于对背景与人像的精准分割。

[0003] 相关技术中的抠图方案主要基于像素的聚类方法和基于“图划分””(Graph Partitioning)算法等算法实现。此类方法在背景比较复杂或者背景与前景(也可以称为抠图目标)相似度很大的情况下，分割效果不佳，如无法实现头发、细腻的衣服、树枝和其它精美的物品的完美分割等。

发明内容

[0004] 本申请实施例提供一种图像处理模型的训练方法、抠图方法、装置、介质及终端，可以优化相关技术中的抠图方案。

[0005] 第一方面，本申请实施例提供了一种图像处理模型的训练方法，包括：

[0006] 获取原始图像的三分图；

[0007] 根据所述原始图像和所述三分图生成训练样本集；

[0008] 基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。

[0009] 第二方面，本申请实施例还提供了一种抠图方法，包括：

[0010] 获取待抠图的目标图片；

[0011] 通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络；

[0012] 基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0013] 第三方面，本申请实施例还提供了一种图像处理模型的训练装置，包括：

[0014] 三分图获取模块，用于获取原始图像的三分图；

[0015] 样本生成模块，用于根据所述原始图像和所述三分图生成训练样本集；

[0016] 模型训练模块，用于基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。

[0017] 第四方面，本申请实施例还提供了一种抠图装置，包括：

[0018] 目标图片获取模块，用于获取待抠图的目标图片；

[0019] 图片标注模块，用于通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络；

[0020] 抠图模块，用于基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0021] 第五方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序；该程序被处理器执行时实现如本申请实施例所述的图像处理模型的训练方法，或者，该程序被处理器执行时实现如本申请实施例所述的抠图方法。

[0022] 第六方面，本申请实施例提供了一种终端，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序；所述处理器执行所述计算机程序时实现如本申请实施例所述的图像处理模型的训练方法，或者，所述处理器执行所述计算机程序时实现如本申请实施例所述的抠图方法。

[0023] 本申请实施例提供一种图像处理模型的训练方案，获取原始图像的三分图，根据多个原始图像和对应的三分图生成训练样本集；基于该训练样本集对预设的深度学习网络进行训练，以迭代更新该深度学习网络的各项参数值，训练完成后得到图像处理模型，可以通过图像处理模型对原始图像进行标注处理得到三分图。通过采用上述技术方案，可以基于原始图像和对应的三分图训练深度学习网络，使其可以自动对输入的原始图像进行标注处理而得到三分图，无需通过手动标注的方式进行大量的发丝级别的数据标注，可以减少标注的工作量，提高了图像标注效率。此外，采用图像处理模型对原始图像进行标注，避免手动标注可能引入的误差，可以提高优化抠图效果。

附图说明

[0024] 图1为本申请实施例提供的一种图像处理模型的训练方法的流程图；

[0025] 图2为本申请实施例提供的另一种图像处理模型的训练方法的流程图；

[0026] 图3为本申请实施例提供的一种抠图方法的流程图；

[0027] 图4为本申请实施例提供的一种图像处理模型的训练装置的结构示意图；

[0028] 图5为本申请实施例提供的一种抠图装置的结构框图；

[0029] 图6为本申请实施例提供的一种终端的结构示意图；

[0030] 图7为本申请实施例提供的另一种终端的结构示意图；

[0031] 图8为本申请实施例提供的一种智能手机的结构框图。

具体实施方式

[0032] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

[0033] 在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

[0034] 图1为本申请实施例提供的一种图像处理模型的训练方法的流程图，该方法可以由图像处理模型的训练装置来执行，其中，该装置可由软件和/或硬件实现，一般可集成在终端或服务器中。如图1所示，该方法包括：

[0035] 步骤110、获取原始图像的三分图。

[0036] 需要说明的是，本申请实施例中的终端可包括手机、平板电脑、笔记本电脑、台式电脑等智能设备。

[0037] 需要说明的是，三分图，又称为trimap图，是标注图像中目标对象边缘的轮廓图像。基于设定抠图算法及用户输入操作对原始图像中的目标对象的轮廓进行手工标注，从而，为抠图操作提供约束信息。例如，采用TRIMAP算法对原始图像进行粗略划分，以将该原始图像划分为前景、背景和待求未知区域，并以白色代表前景、黑色代表背景、并以灰色代表待求未知区域，得到trimap图。

[0038] 示例性的，获取对原始图像中像素的标注信息，根据所述标注信息生成所述原始图像的三分图。其中，标注信息可以是手工标注的原始图像中前景与背景之间的轮廓或边界等。

[0039] 步骤120、根据所述原始图像和所述三分图生成训练样本集。

[0040] 示例性的，将原始图像与对应的trimap图进行关联，作为训练样本，由设定数量的训练样本构成训练样本集。其中，设定数量可以是系统默认数量。

[0041] 由于trimap图是通过对原始图像中的设定区域进行手工标注得到的，可能在手工标注时出现人眼不易察觉的标注错误，而导致基于trimap图进行的抠图操作的效果不佳。鉴于该问题，可以先验证trimap图是否满足设定条件，根据验证结果判断是否将该trimap图和对应的原始图像作为训练样本。其中，设定条件可以是抠图图像的得分超过设定分数阈值等，本申请实施例并不作具体限定。假设trimap图满足设定条件，则将trimap图和对应的原始图像作为训练样本，由设定数量的训练样本构成训练样本集。

[0042] 示例性的，基于该原始图像和trimap图，采用设定抠图算法对所述原始图像进行抠图处理，得到抠图图像。获取对抠图图像的评价信息，根据该评价信息判断trimap图是否满足设定条件。本申请实施例中，评价信息可以是评价抠图图像的抠图效果的数据，如为抠图图像打分，或者将抠图图像根据抠图效果进行排序等等。

[0043] 评价信息的获取方式有很多种，本申请实施例并不作具体限定。在一些示例中，评价信息可以是分析用户操作得到的。例如，在生成抠图图像后，若检测到用户针对该抠图图像的修正操作，则为该抠图图像打一个较低的分(低于设定阈值的分)。也可以根据用户的修正操作的位置的多少，为该抠图图像打分，即用户修正的位置越多，该抠图图像的得分就越低。将该抠图图像的得分与设定分数阈值进行比较，在得分超过设定分数阈值时，判定trimap图满足设定条件。

[0044] 步骤130、基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型。

[0045] 本申请实施例中，图像处理模型可以自动对输入的原始图像进行标注处理得到三分图。

[0046] 需要说明的是，深度学习是指多层神经网络上运用各种机器学习算法解决图像、文本等形式文件中的各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。深度学习是一个框架，包含多个重要算法，如卷积神经网络(Convolutional Neural Networks，简称为CNN)、自动编码器(AutoEncoder)、稀疏编码(Sparse Coding)、限制玻尔兹曼机(Restricted Boltzmann Machine，简称为RBM)、深信度网络(Deep Belief Networks，简称为DBN)、以及多层反馈循环神经网络(Recurrent neural Network，简称为RNN)。对于不同问题(如图像、语音及文本等)，可以选择不同的框架，也可以结合运算速度以及运算准确度等因素进行框架选择等。

[0047] 深度学习网络的各项参数包括分层网络中各层之间的边的权重和神经元的偏置θ等等。

[0048] 示例性的，本申请中的预设的深度学习网络可以是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型。需要说明的是，图像是由许多像素组成，而语义分割的含义就是将像素按照图像中表达语义含义的不同进行分组(Grouping)/分割(Segmentation)。可以采用已分割的样本图像对深度卷积神经网络模型进行训练，得到基于图像语义分割的深度学习网络，以通过该基于语义分割的深度学习网络实现对原始图像进行基于图像语义的分割操作。

[0049] 以包含人像的原始图像为例，将人像作为目标图像，为了达到将人像与背景分割的目的，可以采用深度卷积神经网络模型对该原始图像进行语义分割，得到的输出图是人像用白色像素表示，背景用黑色像素表示的类别图。

[0050] 后处理层是设置于基于图像语义分割的深度学习网络的输出层之后的一层，该后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图。其中，分段阈值化处理可以是基于阈值分割法将类别图中包含的像素点分为若干类的操作。例如，可以是按照灰度级对具有黑和白两种颜色的类别图的像素点进行划分，得到3个像素集合，各个像素集合内部的像素点属于相同的阈值范围区间，而不同像素集合的像素点属于不同的阈值范围区间。

[0051] 示例性的，基于训练样本集，采用前向传播算法对上述预设的深度学习网络进行训练(即将原始图像输入到预设的深度学习网络)，得到实际输出结果。基于后向传播算法，计算实际输出结果与理想输出结果(即训练样本集中的三分图)的差。按照极小化误差的方法反向传播算法调整该深度学习网络的各项参数值。

[0052] 需要说明的是，若由服务器执行上述图像处理模型的训练方法，则在训练完成后，服务器将图像处理模型下发至终端。在模型更新事件被触发时，服务器对图像处理模型进行更新，并将更新后的图像处理模型发送至终端。其中，服务器接收终端反馈的该图像处理模型在执行对原始图像进行标注得到trimap图的标注效果信息。若反馈标注效果不佳的消息数量超过设定阈值，则启动图像处理模型的更新操作。

[0053] 可选的，若终端的计算能力足够强，也可以由终端执行上述图像处理模型的训练方法。由于用户对抠图效果的评价具有主观性，一些用户认为效果较好的抠图，另一些用户可能并不认同。通过在终端上执行图像处理模型的训练方法，可以根据用户个性化的需求及时更新该图像处理模型，以得到适应终端用户的模型。

[0054] 本申请实施例的技术方案，获取原始图像的三分图，根据多个原始图像和对应的三分图生成训练样本集；基于该训练样本集对预设的深度学习网络进行训练，以迭代更新该深度学习网络的各项参数值，训练完成后得到图像处理模型，可以通过图像处理模型对原始图像进行标注处理得到三分图。通过采用上述技术方案，可以基于原始图像和对应的三分图训练深度学习网络，使其可以自动对输入的原始图像进行标注处理而得到三分图，无需通过手动标注的方式进行大量的发丝级别的数据标注，可以减少标注的工作量，提高了图像标注效率。此外，采用图像处理模型对原始图像进行标注，避免手动标注可能引入的误差，可以提高标注效果。

[0055] 图2为本申请实施例提供的另一种图像处理模型的训练方法的流程图，如图2所示，该方法包括：

[0056] 步骤201、获取原始图像的三分图。

[0057] 示例性的，获取用户对原始图像执行的为了分离前景与背景的相关操作，根据该操作生成原始图像的trimap图。

[0058] 步骤202、基于所述原始图像和所述三分图，采用设定抠图算法对所述原始图像进行抠图处理，得到抠图图像。

[0059] 需要说明的是，抠图通常是将前景从背景中分割(广义的图像分割还可以包括同等地位目标之间的分离等)的超精细的图像分割技术。而抠图算法则是应用于上述图像分割技术中的算法，包括但不限于贝叶斯抠图算法、泊松抠图算法、Grabcut分割算法、基于领域信息的抠图算法(Shared Sampling for Real Time Alpha Matting)、鲁棒抠图算法(robust matting)以及lazysnapping算法。可以根据不同的原始图像选择不同的抠图算法，也可以结合原始图像、抠图效果及抠图效率选择合适的抠图算法。

[0060] 示例性的，将原始图像和trimap图作为选定的抠图算法的输入数据，经过图像分割处理可以得到抠图图像。

[0061] 步骤203、获取所述原始图像中的目标图像。

[0062] 示例性的，可以记录在生成trimap图过程中的用户标注的像素点，根据该像素点确定用户关注的目标对象，由原始图像中获取该目标对象的目标图像。

[0063] 步骤204、确定所述抠图图像与所述目标图像的相似度，根据所述相似度为所述抠图图像进行打分。

[0064] 示例性的，将抠图图像与目标图像进行比较，确定抠图图像与目标图像的相似度。可以预先确定相似度与分数区间的对应关系，从而根据该相似度为抠图图像进行打分。诸如，若相似度超过第一阈值，则确定抠图图像的得分是80～100分；若相似度超过第二阈值但小于第一阈值，则确定抠图图像的得分是60～80分；若相似度超过第三阈值但小于第二阈值，则确定抠图图像的得分是50～60分；若相似度超过该第四阈值但小于第三阈值，则确定抠图图像的得分是40～50分；若相似度超过第五阈值但小于第四阈值，则确定抠图图像的得分0～40分。

[0065] 需要说明的是，本申请实施例中确定相似度的方式可以是：对抠图图像和目标图像进行缩小尺寸的处理，如缩小至8*8的尺寸，将图像缩小至设定尺寸可以去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异。将缩小后的8*8的图像转化为64级灰度，即像素点总共只有64个颜色。计算所有64个像素的灰度平均值。将抠图图像中每个像素点的灰度值与平均值进行比较，若比较结果大于或等于平均值，则将该像素点记为1，若比较结果小于平均值，则将该像素点记为0；将上述比较结果组合在一起，构成一个64位的整数，记为抠图图像指纹。采用相似的方式，计算目标图像指纹。比较抠图图像指纹与目标图像指纹的汉明距离(Hamming distance，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数)，并将该汉明距离作为两个图像的相似度。即汉明距离较大，则说明两个图像之间差异较大，若汉明距离较小，则说明两个图像之间的差异较小，两个图像越相似。

[0066] 需要说明的是，为抠图图像打分的方式有很多种，并不限于本申请实施例所列举的方式。例如，还可以根据抠图图像的完整度为抠图图像打分等等。其中，完整度可以根据抠图图像中相邻区域的像素是否连续来确定，还可以根据抠图图像的边界是否完整来确定等等。

[0067] 步骤205、判断所述抠图图像的得分是否超过设定阈值，若是，则执行步骤206，否则执行步骤201。

[0068] 示例性的，将该抠图图像的得分与设定阈值进行比较，在该抠图图像的得分大于或等于该设定阈值时，执行步骤206。在该抠图图像的得分小于该设定阈值时，判定该抠图图像的抠图效果不佳，从而确定生成本次抠图图像的trimap图不满足设定条件，放弃执行基于该trimap图生成训练样本的操作，返回执行步骤201以重新获取trimap图。

[0069] 步骤206、将所述原始图像和所述三分图作为训练样本，根据所述训练样本生成训练样本集。

[0070] 示例性的，在trimap图满足设定条件时，建立trimap图与原始图像的关联关系，作为训练样本。在获取到设定数量的训练样本后，确定样本收集操作执行完成，由设定数量的训练样本构成训练样本集。

[0071] 步骤207、基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型。

[0072] 需要说明的是，预设的深度学习网络包括基于图像语义分割的深度学习网络和设置在该基于图像语义分割的深度学习网络的输出层之后的后处理层，该后处理层即为图像处理模型的输出层。在后处理层设置设定分段函数，通过该分段函数处理基于图像语义分割的深度学习网络输出的类别图，得到原始图像的trimap图。其中，该设定分段函数定义灰度值区间与目标像素值的关联关系。例如，若类别图中灰度值为a1～a2的像素点为黑色，对应的目标像素值可以为(0,0,0)，灰度值为a5～a6的像素点为白色，对应的目标像素值可以为(255,255,255)。需要说明的是，上述范围内包括颜色不是黑色(或白色)，但是接近黑色(或白色)的像素点，可以根据灰度值判断其更接近于黑色还是白色，对于接近黑色的像素点，将其对应的目标像素值设置为(0,0,0)，对于更接近白色的像素点，将其对应的目标像素值设置为(255,255,255)。灰度值为a3～a4的像素点为灰色(包括既不接近于黑色也不接近于白色的像素点)，对应的目标像素值可以为(192,192,192)。可以理解的是，对于目标像素值的取值可以有很多种，并不限于上述示例列举的像素值。例如，冷灰色的像素值是(128,138,135)，象牙黑的像素值是(88,87,86)等等。

[0073] 示例性的，获取训练样本集中的一条记录，将该记录中的原始图像输入该深度学习网络，经基于图像语义分割的深度学习网络的处理得到具有黑和白两种颜色的类别图，该类别图被传入后处理层，经设定函数调整该类别图中的像素值得到具有黑、白和灰三种颜色的trimap图。将该trimap图与步骤201中获取的trimap图进行比较，采用反向传播算法调整该深度学习网络的各项参数值，使模型输出的trimap图趋近于步骤201中获取的trimap图。在训练完成后，将该预设的深度学习网络记为图像处理模型。

[0074] 本申请实施例的技术方案，基于原始图像与手工标注的trimap图进行抠图操作，得到抠图图像；通过获取原始图像中的目标图像与抠图图像进行比对的方式确定抠图效果，从而，判断trimap图是否满足设定条件，在满足设定条件时，才将原始图像与trimap图关联，作为一条训练样本，提高了样本的标注准确度，从而提升基于训练样本训练的图像处理模型的处理准确度，可以得到更好的抠图效果。另外，采用图像处理模型进行原始图像标注，以自动生成trimap图，可以大大的减少标注的工作量。

[0075] 图3为本申请实施例提供的一种抠图方法的流程图，该方法可以由抠图装置来执行，其中，该装置可由软件和/或硬件实现，一般可集成在终端中。如图3所示，该方法包括：

[0076] 步骤310、获取待抠图的目标图片。

[0077] 需要说明的是，申请实施例中的终端可包括手机、平板电脑、笔记本电脑、计算机、掌上游戏机以及智能家电等设置安装有操作系统的设备。本申请实施例中对操作系统的类型不做限定，例如可包括安卓(Android)操作系统、窗口(Windows)操作系统以及苹果(ios)操作系统等等。

[0078] 目标图片可以是基于用户操作确定的本地图片或互联网平台中的图片。其中，用户操作可以包括触摸操作、语音操作、手势操作或眼睛注视操作等等。例如，用户点击本地图片库中的某一张图片，则可以将该图片确定为目标图片。又如，用户注视互联网平台上的某一图片，则可以弹出提示信息，以询问用户是否需要对该图片进行抠图处理。若检测到用户输入的确认指示，则将该用户注视的图片确定为目标图片。

[0079] 示例性的，检测用户操作，根据该用户操作确定待抠图的目标图片，由该目标图片的存储位置获取该目标图片。

[0080] 步骤320、通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图。

[0081] 本申请实施例中，三分图又可称为trimap图。图像处理模型是通过原始图像和trimap图构成的训练样本集训练的深度学习网络，且该图像处理模型用于对原始图像进行标注处理得到trimap图，可以避免手动标注方式中由于个体认知差异而引入的标注误差，大大提高标注精度，从而，提升了基于该trimap图进行抠图的抠图准确度。

[0082] 示例性的，将目标图片输入图像处理模型，得到该目标图片的trimap图。

[0083] 步骤330、基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0084] 需要说明的是，设定抠图算法是将前景从背景中分割(广义的图像分割还可以包括同等地位目标之间的分离等)的图像分割算法。抠图算法所包括的具体算法见上述实施例，此处不再赘述。

[0085] 示例性的，将目标图片和trimap图作为设定抠图算法的输入数据，经过图像分割处理可以得到抠图图像。假设目标图片包含人像，则将目标图片和对应的trimap图作为抠图算法的输入数据，经过图像分割处理可以得到针对人像的抠图图像，可以实现精确到发丝级的抠图效果。

[0086] 本申请实施例的技术方案，在执行抠图操作时，获取待抠图的目标图片；并通过图像处理模型对该目标图片进行标注处理得到trimap图；然后，将该目标图片与trimap图作为设定抠图算法的输入数据，执行抠图操作，得到该目标图片的抠图图像。通过采用上述技术方案，可以避免手动标注方式中由于个体认知差异而引入的标注误差，大大提高标注精度，从而，提升了基于该trimap图进行抠图的抠图准确度。

[0087] 在一些示例中，在获取待抠图的目标图片之后，还包括：判断所述目标图片的属性信息是否与所述训练样本集中原始图像的样本属性信息相匹配；在相匹配时，执行通过图像处理模型对所述目标图片进行标注处理的操作；在不匹配时，根据所述样本属性信息调整所述目标图片的属性信息。其中，判断目标图片的属性信息与原始图像的样本属性信息是否相匹配，可以是判断目标图片的颜色空间与样本图片的颜色空间是否相同。颜色空间包括但不限于RGB格式、YUV格式、HSV格式或HIS格式等。采用上述技术方案，由于在将目标图片输入图像处理模型之前，对目标图片的属性信息进行判断，可以确保目标图片与训练样本集中的原始图像的属性信息相匹配，避免因属性信息不匹配引入标注误差而得到不准确的trimap图的情况发生，甚至出现因属性信息不匹配而导致的标注失败而无法生成trimap图的情况，可以有效地提升抠图效率和抠图效果。

[0088] 图4为本申请实施例提供的一种图像处理模型的训练装置的结构示意图，该装置可由软件和/或硬件实现，一般集成在终端或服务器中，可通过执行图像处理模型的训练方法对深度学习网络进行训练，得到图像处理模型。如图4所示，该装置包括：

[0089] 三分图获取模块410，用于获取原始图像的三分图；

[0090] 样本生成模块420，用于根据所述原始图像和所述三分图生成训练样本集；

[0091] 模型训练模块430，用于基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。

[0092] 本申请实施例提供一种图像处理模型的训练装置，通过获取原始图像的三分图，根据多个原始图像和对应的三分图生成训练样本集；基于该训练样本集对预设的深度学习网络进行训练，以迭代更新该深度学习网络的各项参数值，训练完成后得到图像处理模型，可以通过图像处理模型对原始图像进行标注处理得到三分图。通过采用上述技术方案，可以基于原始图像和对应的三分图训练深度学习网络，使其可以自动对输入的原始图像进行标注处理而得到三分图，无需通过手动标注的方式进行大量的发丝级别的数据标注，可以减少标注的工作量，提高了图像标注效率。此外，采用图像处理模型对原始图像进行标注，避免手动标注可能引入的误差，可以提高标注效果。

[0093] 可选的，样本生成模块420包括：

[0094] 预抠图子模块，用于基于所述原始图像和所述三分图，采用设定抠图算法对所述原始图像进行抠图处理，得到抠图图像；

[0095] 评价子模块，用于获取所述抠图图像的评价信息，根据所述评价信息判断所述三分图是否满足设定条件；

[0096] 样本生成子模块，用于若确定所述三分图满足设定条件，则将所述原始图像和所述三分图作为训练样本，根据所述训练样本生成训练样本集。

[0097] 可选的，评价子模块具体用于：

[0098] 获取所述原始图像中的目标图像；

[0099] 确定所述抠图图像与所述目标图像的相似度，根据所述相似度为所述抠图图像进行打分；

[0100] 在所述抠图图像的得分超过设定阈值时，确定所述三分图满足设定条件。

[0101] 可选的，所述预设的深度学习网络是在基于图像语义分割的深度学习网络的输出层之后增加后处理层的深度学习模型，其中，所述后处理层用于对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，得到具有黑、白和灰三种颜色的三分图。

[0102] 可选的，对基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图进行分段阈值化处理，包括：

[0103] 获取设定分段函数，其中，设定分段函数定义灰度值区间与目标像素值的关联关系；

[0104] 获取基于图像语义分割的深度学习网络输出的具有黑和白两种颜色的类别图，采用所述设定分段函数调整所述类别图的像素值。

[0105] 图5为本申请实施例提供的一种抠图装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在终端中，可通过执行基于图像处理模型的抠图方法对目标图片进行抠图处理。如图5所示，该装置包括：

[0106] 目标图片获取模块510，用于获取待抠图的目标图片；

[0107] 图片标注模块520，用于通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络；

[0108] 抠图模块530，用于基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0109] 本申请实施例提供一种抠图装置，在执行抠图操作时，获取待抠图的目标图片；并通过图像处理模型对该目标图片进行标注处理得到trimap图；然后，将该目标图片与trimap图作为设定抠图算法的输入数据，执行抠图操作，得到该目标图片的抠图图像。通过采用上述技术方案，可以避免手动标注中由于个体认知差异而引入的标注误差，大大提高标注精度，从而，提升了基于该trimap图进行抠图的抠图准确度。

[0110] 可选的，该抠图装置还包括：

[0111] 在获取待抠图的目标图片之后，判断所述目标图片的属性信息是否与所述训练样本集中原始图像的样本属性信息相匹配；

[0112] 在相匹配时，执行通过图像处理模型对所述目标图片进行标注处理的操作；

[0113] 在不匹配时，根据所述样本属性信息调整所述目标图片的属性信息。

[0114] 本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行图像处理模型的训练方法，该方法包括：

[0115] 获取原始图像的三分图；

[0116] 根据所述原始图像和所述三分图生成训练样本集；

[0117] 基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。

[0118] 另外，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行抠图方法，该方法包括：

[0119] 获取待抠图的目标图片；

[0120] 通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络；

[0121] 基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0122] 存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

[0123] 当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像处理模型的训练操作，还可以执行本申请任意实施例所提供的图像处理模型的训练方法中的相关操作。

[0124] 当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的抠图操作，还可以执行本申请任意实施例所提供的抠图方法中的相关操作。

[0125] 本申请实施例还提供了一种终端，该终端中可集成本申请实施例提供的图像处理模型的训练装置。图6为本申请实施例提供的一种终端的结构示意图。如图6所示，该终端包括存储器610及处理器620。所述存储器610，用于存储计算机程序等；所述处理器620读取并执行所述存储器610中存储的计算机程序。该处理器620包括三分图获取模块621、样本生成模块622和模型训练模块623等。所述处理器620在执行所述计算机程序时实现以下步骤：获取原始图像的三分图；根据所述原始图像和所述三分图生成训练样本集；基于所述训练样本集对预设的深度学习网络进行训练，得到图像处理模型，其中，所述图像处理模型用于对原始图像进行标注处理得到三分图。

[0126] 此外，本申请实施例还提供了另一种终端，该终端中可集成本申请实施例提供的抠图装置。图7为本申请实施例提供的另一种终端的结构示意图。如图7所示，该终端包括存储器710及处理器720。所述存储器710，用于存储计算机程序等；所述处理器720读取并执行所述存储器710中存储的计算机程序。其中，所述处理器720包括目标图片获取模块721、图片标注模块722和抠图模块723。所述处理器720在执行所述计算机程序时实现以下步骤：获取待抠图的目标图片；通过图像处理模型对所述目标图片进行标注处理，得到所述目标图片的三分图，其中，所述图像处理模型是通过原始图像和三分图构成的训练样本集训练的深度学习网络；基于所述目标图片和所述三分图，采用设定抠图算法对所述目标图片进行抠图处理，得到抠图图像。

[0127] 上述示例中列举的存储器及处理器均为终端的部分元器件，所述终端还可以包括其它元器件。以智能手机为例，说明上述终端可能的结构。图8为本申请实施例提供的一种智能手机的结构框图。如图8所示，该智能手机可以包括：存储器801、中央处理器(Central Processing Unit，CPU)802(又称处理器，以下简称CPU)、外设接口803、RF(Radio Frequency，射频)电路805、音频电路806、扬声器811、触摸屏812、电源管理芯片808、输入/输出(I/O)子系统809、其他输入/控制设备810以及外部端口804，这些部件通过一个或多个通信总线或信号线807来通信。

[0128] 应该理解的是，图示智能手机800仅仅是终端的一个范例，并且智能手机800可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

[0129] 下面就本实施例提供的集成有图像处理模型的训练装置的智能手机进行详细的描述。

[0130] 存储器801，所述存储器801可以被CPU802、外设接口803等访问，所述存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。在存储器801中存储计算机程序，还可以存储预设文件及预设白名单等。

[0131] 外设接口803，所述外设接口803可以将设备的输入和输出外设连接到CPU802和存储器801。

[0132] I/O子系统809，所述I/O子系统809可以将设备上的输入输出外设，例如触摸屏812和其他输入/控制设备810，连接到外设接口803。I/O子系统809可以包括显示控制器8091和用于控制其他输入/控制设备810的一个或多个输入控制器8092。其中，一个或多个输入控制器8092从其他输入/控制设备810接收电信号或者向其他输入/控制设备810发送电信号，其他输入/控制设备810可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器8092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。

[0133] 触摸屏812，所述触摸屏812是用户终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。

[0134] I/O子系统809中的显示控制器8091从触摸屏812接收电信号或者向触摸屏812发送电信号。触摸屏812检测触摸屏上的接触，显示控制器8091将检测到的接触转换为与显示在触摸屏812上的用户界面对象的交互，即实现人机交互，显示在触摸屏812上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。

[0135] RF电路805，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路805接收并发送RF信号，RF信号也称为电磁信号，RF电路805将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路805可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。

[0136] 音频电路806，主要用于从外设接口803接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器811。

[0137] 扬声器811，用于将手机通过RF电路805从无线网络接收的语音信号，还原为声音并向用户播放该声音。

[0138] 电源管理芯片808，用于为CPU802、I/O子系统及外设接口所连接的硬件进行供电及电源管理。

[0139] 本申请实施例提供的终端，可以基于原始图像和对应的三分图训练深度学习网络，使其可以自动对输入的原始图像进行标注处理而得到三分图，无需通过手动标注的方式进行大量的发丝级别的数据标注，可以减少标注的工作量，提高了图像标注效率。此外，采用图像处理模型对原始图像进行标注，避免手动标注可能引入的误差，可以提高标注效果。从而，提升了基于该trimap图进行抠图的抠图准确度。

[0140] 上述实施例中提供的图像处理模型的训练装置、抠图装置、存储介质及终端可执行本申请任意实施例所提供的图像处理模型的训练方法或抠图方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像处理模型的训练方法或抠图方法。

[0141] 注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。