图像合并的方法和装置

摘要

本公开实施例公开了一种图像合并的方法和装置，涉及图像处理领域。其中，图像合并的方法，包括：分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；依据所述第一关键点进行扩展计算，得到扩展关键点；基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。通过对第一关键点进行扩展计算，从而在第一图像的外缘建立一圈新的关键点，而以新的关键点对第一图像进行三角剖分的话，可以保证第一图像都位于三角剖分的范围内，从而解决图像合并时，图像不能被完全覆盖的问题。

权利要求

1.一种图像合并的方法，其特征在于，包括：分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

依据所述第一关键点进行扩展计算，得到扩展关键点；

基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

2.根据权利要求1所述的图像合并的方法，其特征在于，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，包括：依据所述第二关键点对所述第二图像进行三角剖分；

依据所述扩展关键点对所述第一图像进行三角剖分；

将三角剖分后的第二图像对应贴合到三角剖后第一图像。

3.根据权利要求2所述的图像合并的方法，其特征在于，所述提取第一关键点，包括：提取所述第一图像的中心关键点和边缘关键点。

4.根据权利要求3所述的图像合并的方法，其特征在于，所述依据所述第一关键点进行扩展计算，得到扩展关键点，具体为：将所述第一图像的中心关键点和边缘关键点之间的连线沿所述中心关键点至所述边缘关键点的方向延长，得到扩展关键点。

5.根据权利要求3所述的图像合并的方法，其特征在于，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像的步骤之前，还包括：设定所述边缘关键点和所述扩展关键点的参数，根据所述参数设定第二图像贴合到第一图像后显示的颜色值。

6.根据权利要求5所述的图像合并的方法，其特征在于，所述设定所述边缘关键点和所述扩展关键点的参数的步骤之后还包括：设置所述边缘关键点和所述扩展关键点之间像素点的颜色值，所述边缘关键点和所述扩展关键点之间像素点的颜色值依据所述像素点与所述边缘关键点的距离设置。

7.根据权利要求1所述的图像合并的方法，其特征在于：所述第一图像为角膜，所述第二图像为美瞳贴纸。

8.根据权利要求7所述的图像合并的方法，其特征在于：所述美瞳贴纸上预先标记关键点。

9.根据权利要求1所述的图像合并的方法，其特征在于，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像的步骤之后，还包括：基于第三图像的边缘关键点对所述合并后的图像进行裁剪。

10.一种图像合并的装置，其特征在于，包括：提取单元，用于分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

扩展计算单元，用于依据所述第一关键点进行扩展计算，得到扩展关键点；

贴合单元，用于基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

11.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9所述的图像合并的方法。

12.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-9任一所述的图像合并的方法。

说明书

图像合并的方法和装置

技术领域

[0001] 本公开涉及图像处理领域，尤其涉及一种图像合并的方法和装置。

背景技术

[0002] 随着计算机技术的发展，电子设备的应用范围得到了广泛的提高，例如可以通过电子设备听音乐、玩游戏、上网聊天和拍照等。对于电子设备的拍照技术来说，其拍照像素
已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

[0003] 目前在采用电子设备进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Application，简称为：APP)来实现具
有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。电子
设备的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果，能对图像中已识别
出的所有人脸进行相同程度的美颜处理。

发明内容

[0004] 现有技术中对于图像美化时，如将美瞳贴纸放置到角膜上时，需要对美瞳贴纸和角膜进行三角剖分，而在进行三角剖分时，会有部分角膜被忽略掉，从而使得角膜被忽略掉
的部分不能被美瞳贴纸覆盖到，如图1所示，阴影部分的区域将不会被覆盖到。因此存在图
像合并时，被贴合的图像不能被完全覆盖的问题。

[0005] 有鉴于此，本公开实施例提供了一种图像合并的方法和装置，至少部分的解决现有技术中存在的问题。

[0006] 第一方面，本公开实施例提供了一种图像合并的方法，包括：

[0007] 分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

[0008] 依据所述第一关键点进行扩展计算，得到扩展关键点；

[0009] 基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

[0010] 作为本公开实施例的一种具体实现方式，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，包括：

[0011] 依据所述第二关键点对所述第二图像进行三角剖分；

[0012] 依据所述扩展关键点对所述第一图像进行三角剖分；

[0013] 将三角剖分后的第二图像对应贴合到三角剖后第一图像。

[0014] 作为本公开实施例的一种具体实现方式，所述提取第一关键点，包括：

[0015] 提取所述第一图像的中心关键点和边缘关键点。

[0016] 作为本公开实施例的一种具体实现方式，所述依据所述第一关键点进行扩展计算，得到扩展关键点，具体为：

[0017] 将所述第一图像的中心关键点和边缘关键点之间的连线沿所述中心关键点至所述边缘关键点的方向延长，得到扩展关键点。

[0018] 作为本公开实施例的一种具体实现方式，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像的步骤之前，还包
括：

[0019] 设定所述边缘关键点和所述扩展关键点的参数，

[0020] 根据所述参数设定第二图像贴合到第一图像后显示的颜色值。

[0021] 作为本公开实施例的一种具体实现方式，所述设定所述边缘关键点和所述扩展关键点的参数的步骤之后还包括：

[0022] 设置所述边缘关键点和所述扩展关键点之间像素点的颜色值，所述边缘关键点和所述扩展关键点之间像素点的颜色值依据所述像素点与所述边缘关键点的距离设置。

[0023] 作为本公开实施例的一种具体实现方式，所述第一图像为角膜，所述第二图像为美瞳贴纸。

[0024] 作为本公开实施例的一种具体实现方式，所述美瞳贴纸上预先标记关键点。

[0025] 作为本公开实施例的一种具体实现方式，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像的步骤之后，还包
括：

[0026] 基于第三图像的边缘关键点对所述合并后的图像进行裁剪。

[0027] 第二方面，本公开实施例还提供了一种图像合并的装置，包括：

[0028] 提取单元，用于分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

[0029] 扩展计算单元，用于依据所述第一关键点进行扩展计算，得到扩展关键点；

[0030] 贴合单元，用于基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

[0031] 作为本公开实施例的一种具体实现方式，所述贴合单元包括：

[0032] 第一剖分模块，用于依据所述第二关键点对所述第二图像进行三角剖分；

[0033] 第二剖分模块，用于依据所述扩展关键点对所述第一图像进行三角剖分；

[0034] 第一贴合模块，用于将三角剖分后的第二图像对应贴合到三角剖后第一图像。

[0035] 作为本公开实施例的一种具体实现方式，所述提取单元，包括：

[0036] 用于提取所述第一图像的中心关键点和边缘关键点。

[0037] 作为本公开实施例的一种具体实现方式，所述扩展计算单元，用于依据所述关键点进行扩展计算，得到扩展关键点，具体为：

[0038] 将所述第一图像的中心关键点和边缘关键点之间的连线沿所述中心关键点至所述边缘关键点的方向延长，得到扩展关键点。

[0039] 作为本公开实施例的一种具体实现方式，还包括：

[0040] 参数设定单元，用于设定所述提取单元提取的所述边缘关键点和所述扩展关键点的参数，

[0041] 颜色值设定单元，用于根据所述参数设定单元设定的参数设定第二图像贴合到第一图像后显示的颜色值。

[0042] 作为本公开实施例的一种具体实现方式，还包括：

[0043] 像素点设定单元，用于设置所述边缘关键点和所述扩展关键点之间像素点的颜色值，所述边缘关键点和所述扩展关键点之间像素点的颜色值依据所述像素点与所述边缘关
键点的距离设置。

[0044] 作为本公开实施例的一种具体实现方式，

[0045] 所述第一图像为角膜，所述第二图像为美瞳贴纸。

[0046] 作为本公开实施例的一种具体实现方式，

[0047] 所述美瞳贴纸上预先标记关键点。

[0048] 作为本公开实施例的一种具体实现方式，还包括：

[0049] 裁剪单元，用于基于第三图像的边缘关键点对所述贴合单元得到的所述合并后的图像进行裁剪。

[0050] 第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

[0051] 至少一个处理器；以及，

[0052] 与所述至少一个处理器通信连接的存储器；其中，

[0053] 所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一所述的图像合并的方法。

[0054] 第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求第一方面任
一所述的图像合并的方法。

[0055] 本公开实施例提供的图像合并的方法、装置、电子设备及非暂态计算机可读存储介质，其中该图像合并的方法：通过对第一关键点进行扩展计算，从而在第一图像的外缘建
立一圈新的关键点，而以新的关键点对第一图像进行三角剖分的话，可以保证第一图像都
位于三角剖分的范围内，从而解决图像合并时，图像不能被完全覆盖的问题。

[0056] 上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明
显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

[0057] 为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域
普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

[0058] 图1为现有技术中对图像三角剖分的示意图；

[0059] 图2为本公开实施例提供的图像合并的方法的流程图；

[0060] 图3为本公开实施例中对人眼图像进行扩展计算后的示意图；

[0061] 图4为本公开实施例中将第二图像的信息相应的贴合到第一图像的流程图；

[0062] 图5为本公开实施例提供的图像合并的装置的原理框图；

[0063] 图6为本公开实施例提供的电子设备的原理框图；

[0064] 图7为本公开实施例提供的计算机可读存储介质的示意图；

[0065] 图8为本公开实施例提供的终端的原理框图。

具体实施方式

[0066] 下面结合附图对本公开实施例进行详细描述。

[0067] 应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅
仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施
方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本
公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例
中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性
劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

[0068] 需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构
及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个
方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。
举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使
用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或
实践此方法。

[0069] 还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘
制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可
能更为复杂。

[0070] 另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

[0071] 对于三角剖分，俄国数学家Delaunay在1934年证明:必定存在且仅存在一种算法，对一个平面域上的散乱点集进行三角剖分，使得所有三角形的最小内角之和最大。满足这
种条件的三角剖分方法，被称为Delaunay三角剖分。由于该方法具有一系列独特的性质，因
而在计算机图形处理、3D建模等领域得到了广泛的应用。

[0072] Delaunay三角剖分具有的一个重要的性质就是所谓的“空外接圆性质”:在Delaunay三角网格中，每个三角形的外接圆均不包含点集中的任何其他节点。所有
Delaunay三角形互不重叠，且完整地覆盖整个问题域。多年来的研究表明，Delaunay三角剖
分可尽可能的避免病态三角形出现，至今仍是一种最优的三角剖分算法。本文使用
Delaunay三角剖分算法对纹理映射域进行剖分，得到的映射效果优于非Delaunay三角剖分
的方法。对人脸的特征点集进行Delaunay三角化后，被三角网格覆盖的人脸区域就被唯一
的定义。位于区域内的任意一点都能找到包含它的三角形及它在三角形中的质心坐标，即
得到这一点唯一的定义。

[0073] 本公开实施例提供一种图像合并的方法。如图2所示，图像合并的方法，包括：

[0074] S201:分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

[0075] 图像的采样率，图像的颜色和图像的方向是图像三个主要的特征。提取任何一种特征后，便可以相应的得到一个特征图像，并且获得这个图像的三个通道，同时这三个通道
分别对应着各自的特征值，不同的图像，其特征图像也会不同。

[0076] 而图像的关键点能够反映图像本质特征，能够标识图像中目标物体。关键点的提取可采用SIFT算法，SURF算法等。

[0077] 第一关键点和第二关键点为点的集合，可以是一个关键点或者是多个关键点的集合。

[0078] S202:依据所述第一关键点进行扩展计算，得到扩展关键点；

[0079] 扩展计算，即在原有关键点的基础上，再扩展一些关键点。该扩展计算，可以是在原有的关键点的基础上进行插值计算，得到新的关键点，也可以是在原有的关键点的基础
上，将关键点复制后，对复制后的关键点进行一定距离的平移得到新的关键点，得到新的关
键点并不改变原关键点上的特征。如以人眼睛的角膜为例，如图3所示，对于图中的圆形，a，b，c，d，e，f，g，h，o为提取的图像的关键点，而a＇，b＇，c＇，d＇，e＇，f＇，g＇，h＇则是依据a，b，c，d，e，f，g，h，得到的扩展关键点，对于关键点o，因其位于中心，因此插值后的位置没有变化，或者可以是在进行扩展计算前选择不对关键点o进行扩展计算。根据图3可以看出扩展计算以
后，a＇b＇o，b＇c＇o，c＇d＇o，d＇e＇o，e＇f＇o，f＇g＇o，g＇h＇o和h＇a＇o三角形组成的区域完全将圆形覆盖。

[0080] S203:基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

[0081] 即提取第二图像上相应位置的关键点，并依据第二图像上的关键点和扩展关键点进行定位，从而将第二图像的像素点信息相应的写入到第一图像的对应位置上。而将第二
图像的像素点信息相应的写入到第一图像的对应位置上即对图像的像素点进行计算，如加
法计算、加权平均法等。

[0082] 如，第二图像为美瞳贴纸，第一图像为角膜，依据提取的关键点，将美瞳贴纸的像素信息相应的写入到角膜图像中，从而实现将美瞳贴纸粘贴到角膜。首先需要提取角膜的
关键点，然后将关键点平移后得到扩展关键点，如果依据扩展关键点再对角膜三角剖分的
话，角膜将全部位于三角剖分后的各个区域内，然后相应的对美瞳贴纸提取相应的关键点，
依据扩展计算后的新关健点和美瞳贴纸的关键点为定位点，对美瞳贴纸图像和角膜图像进
行计算，从而将美瞳贴纸的像素点一一对应的放置到角膜图像上，从而将美瞳贴纸贴合到
角膜上。美瞳贴纸上的关键点可以是保存前就根据关键点提取规则预设好的，也可以是贴
合时，在根据关键点提取规则提取的。

[0083] 第二图像也可以是面具，相应的第一图像为人脸。同理将面具图像贴合到人脸上。

[0084] 根据本公开另一实施例，如图4所示，依据提取的第二关键点和扩展关键点，将第二图像的信息相应的贴合到第一图像，包括：

[0085] S401:依据第二关键点对第二图像进行三角剖分；

[0086] 即依据关键点将第二图像剖分为多个三角形区域。

[0087] S402:依据扩展关键点对所述第一图像进行三角剖分；

[0088] 即依据扩展关键点将第一图像剖分为多个三角形区域。

[0089] S403:将三角剖分后的第二图像贴合到三角剖后第一图像。

[0090] 步骤S401得到的第二图像的多个三角形区域与步骤S402得到的第一图像的多个三角形区域是一一对应的，且采用的关键点提取规则和三角剖分规则都是相同的。

[0091] 本公开中图像合并的算法基于Shearlet变换的自适应图像合并算法，即分别对不同的图像进行Shearlet变换，并对分解后的高低频分量进行合并处理，从而将两个图片合
并在一起。

[0092] 对Shearlet变换的低频分量进行处理具体为：

[0093] 对于Shearlet变换以后得到的低频分量，采用

[0094] F(i，j)＝[(A(i，j)+χB(i，j))-|A(i，j)-χB(i，j)|]α，

[0095] 式中α·χ为参量，A(i，j)和B(i，j)分别表示两幅图像的像素点，式子的前半部分(A(i，j)+χB(i，j))α表示取两幅图像的加权均值，影响融合后图像的能量，对融合后图像的亮度起决定作用；而后半部分|A(i，j)-χB(i，j)|α，表示取两幅图像的加权差值，包含两幅图像的模糊因子。通过改变χ的取值，调节两幅图像的占优比例，使两幅亮度不同的图像达
到均衡；随着α的增大，图像加亮，边缘加强，为了准确起见，根据图像的特点将α和χ确定下来。本公开采用平均梯度和空间频率计算两个参量。

[0096] 如果AG(a)≥AG(b)时，α＝AG(a)/(AG(a)+AG(b))，否则

[0097] α＝AG(b)/(AG(a)+AG(b))。

[0098] 如果SF(a)≥SF(b)时，χ＝SF(b)/SF(a)+1，否则

[0099] χ＝SF(a)/SF(b)+1。

[0100] 其中，AG(a)，AG(b)分别为两幅图像的平均梯度，SF(a)，SF(b)分别为两幅图像的空间频率。

[0101] 而对于高频分量选择区域方差的规则，选择区域方差值较大的像素值作为合并图像的像素值。

[0102] 合并时，首先对第一图像和第二图像分别进行Shearlet正变换，得到各自的低频分量和高频分量，然后对得到的低频分量和高频分量分别采用上述规则进行处理，得到新
的子图像，最后在对其进行Shearlet逆变换得到合并图像。

[0103] 根据本公开另一实施例，提取第一关键点，包括：提取第一图像的中心关键点和边缘关键点。即如图3所示的o即中心关键点，图3中的a，b，c，d，e，f，g，h即为边缘关键点。

[0104] 根据本公开另一实施例，依据所述第一关键点进行扩展计算，得到扩展关键点，具体为：

[0105] 将所述第一图像的中心关键点和边缘关键点之间的连线沿所述中心关键点至所述边缘关键点的方向延长，得到扩展关键点。

[0106] 如图3中，将线段oa沿o至a的方向延长即等到线段oa＇，a＇即为扩展关键点。

[0107] 根据本公开另一实施例，所述依据提取的第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像之前，还包括：

[0108] 设定所述边缘关键点和所述扩展关键点的参数，根据所述参数设定第二图像贴合到第一图像后显示的颜色值。

[0109] 将第二图像贴合到第一图像后，因第一图像进行了扩展计算，实际上是对第一图像进行了扩展，如在将美瞳贴纸贴合到角膜上时，对角膜进行扩展，实际上是将角膜的面积
扩大啦，而扩大的部分不属于真实的角膜，因此需要对关键点和新关健点的权值进行定义，
通过权值设定，使扩展的部分在合并后的图像淡化，而颜色值即图像的RGB值，通过设置颜
色值，可以控制图像在显示的透明度。

[0110] 如图3所示，可以将a，b，c，d，e，f，g，h，的权值设定为1，而将a＇，b＇，c＇，d＇，e＇，f＇，g＇，h＇的权值设定为0，权值设定为0则表述a＇，b＇，c＇，d＇，e＇，f＇，g＇，h＇处的图像将不显示，即为完全透明。而a，b，c，d，e，f，g，h，的权值设定为1则表述a，b，c，d，e，f，g，h，处的图像会完全显示出来。

[0111] 根据本公开另一实施例，所述边缘关键点和所述扩展关键点之间像素点的颜色值依据所述像素点与所述边缘关键点的距离设置。即如图3所示，线段aa＇、线段a＇b＇，线段b＇b和线段ba包围的区域内各个点的颜色值，是依据该点与关键点a之间的距离而确定的，距离
关键点a越近，则权值越接近1；该点在显示时，根据权值的大小确定，权值越接近1，显示越清晰，透明度越低，权值越接近0，则透明度越高，当权值为0时，则完全透明。

[0112] 同理边缘关键点和所述扩展关键点之间像素点的颜色值也可依据像素点与所述扩展关键点的距离设置。

[0113] 也可以将a，b，c，d，e，f，g，h，的权值设定为0，而将a＇，b＇，c＇，d＇，e＇，f＇，g＇，h＇的权值设定为1，而权值为0表述完全显示，权值为1则表述不显示。

[0114] 边缘关键点和所述扩展关键点之间像素点的权值是递变的，如将边缘关键点的权值设定为1，那么边缘关键点和所述扩展关键点之间像素点的权值是递减的，如果将边缘关
键点的权值设定为1，那么边缘关键点和所述扩展关键点之间像素点的权值是递增的。从而
使得扩展的区域的透明度逐渐增大，使得图像显示更加真实。

[0115] 根据本公开另一实施例，依据提取的第二关键点和扩展关键点，将第二图像相应的贴合到第一图像，得到合并后的图像之后，还包括：

[0116] 基于第三图像的边缘关键点对所述合并后的图像进行裁剪。

[0117] 即如果将美瞳贴纸贴合到角膜上后，角膜并不会完全出现在眼睛中，会被眼眶遮挡住一部分，而此时，只需要提取眼眶的关键点，将贴合美瞳贴纸的角膜剪切一下，将被眼
眶遮挡的部分剪切掉即可。

[0118] 如图5所示，本公开还提供一种图像合并的装置，包括：

[0119] 提取单元501，用于分别对第一图像及第二图像进行关键点提取操作操作，得到第一关键点及第二关键点；

[0120] 扩展计算单元502，用于依据所述第一关键点进行扩展计算，得到扩展关键点；

[0121] 贴合单元503，用于基于所述第二关键点和所述扩展关键点，将所述第二图像相应的贴合到所述第一图像，得到合并后的图像。

[0122] 根据本公开另一实施例，贴合单元503包括：

[0123] 第一剖分模块5031，用于依据所述第二关键点对所述第二图像进行三角剖分；

[0124] 第二剖分模块5032，用于依据所述扩展关键点对所述第一图像进行三角剖分；

[0125] 第一贴合模块5033，用于将三角剖分后的第二图像贴合到三角剖后第一图像。

[0126] 根据本公开另一实施例，所述提取单元501，包括：

[0127] 用于提取所述第一图像的中心关键点和边缘关键点。

[0128] 根据本公开另一实施例，所述扩展计算单元502，用于依据所述关键点进行扩展计算，得到扩展关键点，具体为：

[0129] 将所述第一图像的中心关键点和边缘关键点之间的连线沿所述中心关键点至所述边缘关键点的方向延长，得到扩展关键点。

[0130] 根据本公开另一实施例，还包括：

[0131] 参数设定单元504，用于设定所述提取单元501提取的所述边缘关键点和所述扩展关键点的参数，

[0132] 颜色值设定单元505，用于根据所述参数设定单元设定的参数设定第二图像贴合到第一图像后显示的颜色值。

[0133] 根据本公开另一实施例，像素点设定单元506，用于设置所述边缘关键点和所述扩展关键点之间像素点的颜色值，所述边缘关键点和所述扩展关键点之间像素点的颜色值依
据所述像素点与所述边缘关键点的距离设置。

[0134] 根据本公开另一实施例，所述第一图像为角膜，所述第二图像为美瞳素材。

[0135] 根据本公开另一实施例，所述美瞳素材上预先标记关键点。

[0136] 根据本公开另一实施例，裁剪单元，用于基于第三图像的边缘关键点对所述贴合单元503得到的所述合并后的图像进行裁剪。

[0137] 图6是图示根据本公开的实施例的电子设备的硬件框图。如图6所示，根据本公开实施例的电子设备60包括存储器61和处理器62。

[0138] 该存储器61用于存储非暂时性计算机可读指令。具体地，存储器61可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例
如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器
(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器
(ROM)、硬盘、闪存等。

[0139] 该处理器62可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备60中的其它组件以执行期望的功能。在
本公开的一个实施例中，该处理器62用于运行该存储器61中存储的该计算机可读指令，使
得该电子设备60执行前述的本公开各实施例的图像合并的全部或部分步骤。

[0140] 本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公
开的保护范围之内。

[0141] 有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

[0142] 图7是图示根据本公开的实施例的计算机可读存储介质的示意图。如图7所示，根据本公开实施例的计算机可读存储介质70，其上存储有非暂时性计算机可读指令71。当该
非暂时性计算机可读指令71由处理器运行时，执行前述的本公开各实施例的图像合并的全
部或部分步骤。

[0143] 上述计算机可读存储介质70包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性
存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

[0144] 有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

[0145] 图8是图示根据本公开实施例的终端设备的硬件结构示意图。如图8所示，该终端80包括上述图像合并装置实施例。

[0146] 该终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

[0147] 作为等同替换的实施方式，该终端80还可以包括其他组件。如图8所示，该终端80可以包括电源单元81、无线通信单元82、A/V(音频/视频)输入单元83、用户输入单元84、感
测单元85、接口单元86、控制器87、输出单元88和存储单元89等等。图8示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的
组件。

[0148] 其中，无线通信单元82允许终端80与无线通信系统或网络之间的无线电通信。A/V输入单元83用于接收音频或视频信号。用户输入单元84可以根据用户输入的命令生成键输
入数据以控制终端设备的各种操作。感测单元85检测终端80的当前状态、终端80的位置、用
户对于终端80的触摸输入的有无、终端80的取向、终端80的加速或减速移动和方向等等，并
且生成用于控制终端80的操作的命令或信号。接口单元86用作至少一个外部装置与终端80
连接可以通过的接口。输出单元88被构造为以视觉、音频和/或触觉方式提供输出信号。存
储单元89可以存储由控制器87执行的处理和控制操作的软件程序等等，或者可以暂时地存
储己经输出或将要输出的数据。存储单元89可以包括至少一种类型的存储介质。而且，终端
80可以与通过网络连接执行存储单元89的存储功能的网络存储装置协作。控制器87通常控
制终端设备的总体操作。另外，控制器87可以包括用于再现或回放多媒体数据的多媒体模
块。控制器87可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入
识别为字符或图像。电源单元81在控制器87的控制下接收外部电力或内部电力并且提供操
作各元件和组件所需的适当的电力。

[0149] 本公开提出的图像合并的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的图像合并方法的各种实施方
式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置
(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公
开提出的图像合并方法的各种实施方式可以在控制器87中实施。对于软件实施，本公开提
出的图像合并方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模
块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，
软件代码可以存储在存储单元89中并且由控制器87执行。

[0150] 有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

[0151] 以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作
用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

[0152] 在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实
际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子
并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人
员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

[0153] 另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

[0154] 还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

[0155] 可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的
功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组
成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

[0156] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义
的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在
此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

[0157] 为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。