一种图像处理方法、装置及存储介质

摘要

本发明公开了一种图像处理方法、图像处理装置及存储介质；方法包括：获得图像数据，并从所获得的图像数据识别出真实对象的特征；以真实对象的特征查询社交网络，确定真实对象具有社交网络的属性；从社交网络获得与真实对象适配的增强现实模型；根据所获得的图像数据进行渲染，以及，根据真实对象在所渲染形成的图像中的位置，对增强现实模型中的虚拟对象进行渲染，形成共同显示的真实对象与所述虚拟对象。

权利要求

1.一种图像处理方法，其特征在于，包括：

接收社交网络中的对端客户端采集环境并传输的图像数据，从所接收的图像数据中识别位于所述对端客户端环境的真实对象的特征；

当从所接收的图像数据识别到的图像特征点的数量超出特征点数据量阈值时，或当从所接收的图像数据识别到的生物特征的完整程度超出完整程度阈值时，以所述真实对象的特征查询所述社交网络的特征数据库；

当所述真实对象与所述社交网络的注册用户的特征匹配时，确定所述真实对象具有所述社交网络的注册用户属性；

当所述真实对象与所述社交网络的被分享对象的特征匹配时，确定所述真实对象具有所述社交网络的被分享对象属性；

获得所述社交网络中与所述真实对象适配的增强现实模型；

根据所接收的图像数据进行渲染，以及，

根据所述真实对象在所渲染形成的图像中的位置，对所述增强现实模型中的虚拟对象进行渲染，形成共同显示的所述真实对象与所述虚拟对象。

2.如权利要求1所述的方法，其特征在于，所述获得所述社交网络中与所述真实对象适配的增强现实模型，包括：当所述真实对象为所述社交网络中的注册用户时，获得所述注册用户在所述社交网络中预设的虚拟对象，所述虚拟对象包括以下至少之一：虚拟道具、虚拟背景和滤镜；

当所述真实对象具有所述社交网络的被分享对象的属性时，获得所述社交网络中针对所述被分享对象的虚拟对象，所述虚拟对象包括以下至少之一：所述社交网络中针对所述被分享对象的文章；

所述社交网络中针对所述被分享对象的广告。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：调用服务器的识别服务，从所接收的图像数据中识别出环境中真实对象的特征；

或者，开启图像识别线程，在所开启的图像识别线程中识别所接收的图像数据，得到环境中真实对象的特征。

4.如权利要求1所述的方法，其特征在于，所述根据所述真实对象在所渲染形成的图像中的位置，对所述增强现实模型中的虚拟对象进行渲染，包括：检测所述真实对象在所述图像数据中的位姿变化；

在所述真实对象在所输出的图像中的位置，渲染输出所述增强现实模型中与所述位姿变化适配的虚拟对象。

5.如权利要求1所述的方法，其特征在于，所述从所述社交网络获得与所述真实对象适配的增强现实模型，包括：在本端客户端查询与所述真实对象适配的增强现实模型；

当未查询到时，从所述社交网络查询得到与所述真实对象适配的增强现实模型。

6.一种图像处理装置，其特征在于，包括：

识别模块，用于接收社交网络中的对端客户端采集环境并传输的图像数据，从所接收的图像数据中识别位于所述对端客户端环境的真实对象的特征；

查询模块，用于当从所接收的图像数据识别到的图像特征点的数量超出特征点数据量阈值时，或当从所接收的图像数据识别到的生物特征的完整程度超出完整程度阈值时，以所述真实对象的特征查询所述社交网络的特征数据库；当所述真实对象与所述社交网络的注册用户的特征匹配时，确定所述真实对象具有所述社交网络的注册用户属性；当所述真实对象与所述社交网络的被分享对象的特征匹配时，确定所述真实对象具有所述社交网络的被分享对象属性；

模型模块，用于获得所述社交网络中与所述真实对象适配的增强现实模型；

渲染模块，用于根据所接收的图像数据进行渲染，以及，根据所述真实对象在所渲染形成的图像中的位置，对所述增强现实模型中的虚拟对象进行渲染，形成共同显示的所述真实对象与所述虚拟对象。

7.一种图像处理装置，其特征在于，包括：

存储器，用于存储可执行程序；

处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求1至5任一项所述的图像处理方法。

8.一种存储介质，其特征在于，存储有可执行程序，所述可执行程序被处理器执行时，实现如权利要求1至5任一项所述的图像处理方法。

说明书

一种图像处理方法、装置及存储介质

技术领域

[0001] 本发明涉及图像技术，尤其涉及一种图像处理方法、装置及存储介质。

背景技术

[0002] 随着互联网特别是移动互联网的快速发展，出现了各式各样的基于社交网络的客户端，为用户进行网上社交提供了极大的方便，用户可以使用各种智能终端设备安装社交网络的客户端，随时随地与社交网络中的用户进行线下或线上的互动。

[0003] 在社交网络的各种场景中展示对象的形象是客户端的基本功能，而目前展示的方式单一，以对象是用户为例，相关技术通常是采用虚拟人物形象或者自拍头像的方式来展示用户的形象，并起到在社交网络的辨识性；但是，这种方式目前难以适配社交网络个性化展现用户的需求，已经成为社交网络多元化特性的掣肘。

[0004] 由于社交网络的应用场景日益多元化，如果提供针对多个应用场景分别设置展示方式的方案，一方面由于需要用户就不同应用场景进行设置而效率较低，不具有实施的现实意义，另一方面会导致社交网络后台的处理复杂化，导致很大的开销。

[0005] 对于在社交网络的各种应用场景中拓展对象的展现方式以适配社交网络的多元化的需求，目前尚无有效解决方案。

发明内容

[0006] 针对上述的技术问题，本发明实施例期望提供一种图像处理方法、装置及存储介质，实现有效拓展社交网络中对象的展现方式。

[0007] 为达到上述目的，本发明实施例的技术方案是这样实现的：

[0008] 第一方面，本发明实施例提供一种图像处理方法，包括：

[0009] 从所获得的图像数据识别出环境中真实对象的特征；

[0010] 以所述真实对象的特征查询社交网络，确定所述真实对象具有所述社交网络的属性；

[0011] 获得所述社交网络中与所述真实对象适配的增强现实模型；

[0012] 根据所获得的图像数据进行渲染，以及，

[0013] 根据所述真实对象在所渲染形成的图像中的位置，对所述增强现实模型中的虚拟对象进行渲染，形成共同显示的所述真实对象与所述虚拟对象。

[0014] 第二方面，本发明实施例提供一种图像处理装置，包括：

[0015] 识别模块，用于从所获得的图像数据识别出环境中真实对象的特征；

[0016] 查询模块，用于以所述真实对象的特征查询社交网络，确定所述真实对象具有所述社交网络的属性；

[0017] 模型模块，用于获得所述社交网络中与所述真实对象适配的增强现实模型；

[0018] 渲染模块，用于根据所获得的图像数据进行渲染，以及，根据所述真实对象在所渲染形成的图像中的位置，对所述增强现实模型中的虚拟对象进行渲染，形成共同显示的所述真实对象与所述虚拟对象。

[0019] 上述方案中，所述查询模块，具体用于：

[0020] 以所述真实对象的特征查询所述社交网络的特征数据库；

[0021] 当所述真实对象与所述社交网络的注册用户的特征匹配时，确定所述真实对象为属于所述社交网络的注册用户；

[0022] 当所述真实对象与所述社交网络的被分享对象的特征匹配时，确定所述真实对象为所述社交网络的被分享对象。

[0023] 上述方案中，所述模型模块，具体用于：

[0024] 当所述真实对象具有所述社交网络的注册用户的属性时，获得所述注册用户在所述社交网络中预设的虚拟对象，所述虚拟对象包括以下至少之一：虚拟道具、虚拟背景和滤镜；

[0025] 当所述真实对象为所述社交网络的被分享对象的属性时，获得所述社交网络中针对所述被分享对象的虚拟对象，所述虚拟对象包括以下至少之一：

[0026] 所述社交网络中针对所述被分享对象的文章；

[0027] 所述社交网络中针对所述被分享对象的广告。

[0028] 上述方案中，所述模型模块，具体用于：

[0029] 调用服务器的识别服务，从所获得的图像数据中识别出真实对象的特征；

[0030] 或者，开启图像识别线程，在所开启的图像识别线程中识别所获得的图像数据得到所述真实对象的特征。

[0031] 上述方案中，所述渲染模块，具体用于：

[0032] 检测所述真实对象在所述图像数据中的位姿变化；

[0033] 在所述真实对象在所输出的图像中的位置，渲染输出所述增强现实模型中与所述位姿变化适配的虚拟对象，形成叠加的所述真实对象与所述虚拟对象。

[0034] 上述方案中，所述查询模块，具体用于在本地的缓存或数据库中查询与所述真实对象适配的增强现实模型；当未查询到时，从所述社交网络查询得到与所述真实对象适配的增强现实模型。

[0035] 第三方面，本发明实施例提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现本发明实施例提供的图像处理方法。

[0036] 第四方面，本发明实施例提供一种图像处理装置，包括：

[0037] 存储器，用于存储可执行程序；

[0038] 处理器，用于执行所述存储器中存储的可执行程序时，实现本发明实施例提供的图像处理方法。

[0039] 本发明实施例具有以下有益效果：

[0040] 1)基于从图像数据中识别特征并查询社交网络的方式，能够对于社交网络的任意场景中的图像数据，都可以快速识别出归属于社交网络的真实对象，在相应的场景中融合社交网络中适配真实对象的增强现实效果；

[0041] 2)社交网络中针对不同的真实对象的增强现实模型具有多元化的特点，从而应用到图像数据的渲染时，实现了不同对象的差异化的显示效果。

附图说明

[0042] 图1-1为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图；

[0043] 图1-2为本发明实施例提供的图像处理装置的一个可选的功能结构示意图；

[0044] 图2为本发明实施例提供的基于图像处理装置实施为AR设备的一个可选的系统结构示意图；

[0045] 图3为本发明实施例提供的图像处理装置实施为AR设备的另一个可选的结构示意图；

[0046] 图4为本发明实施例提供的图像处理方法的一个可选的实现流程示意图；

[0047] 图5为本发明实施例提供的图像处理方法的另一个可选的实现流程示意图；

[0048] 图6为本发明实施例提供的脸部特征点的示意图；

[0049] 图7为本发明实施例提供的将真实对象与虚拟对象进行共同显示的效果示意图；

[0050] 图8为本发明实施例提供的将真实对象与虚拟对象进行共同显示的效果示意图；

[0051] 图9为本发明实施例提供的将真实对象与虚拟对象进行共同显示的效果示意图；

[0052] 图10-1和图10-2为本发明实施例提供的卡通人物装扮和自定义网络虚拟角色的效果示意图；

[0053] 图11为本发明实施例提供的图像处理方法的又一个可选的实现流程示意图。

具体实施方式

[0054] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0055] 对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

[0056] 1)增强现实(AR，Augmented Reality)，将虚拟的信息应用到真实世界的技术，将真实的对象和虚拟的对象实时地叠加到了同一个画面或空间而同时存在。

[0057] 例如，计算真实影像(即仅包括现实世界中真实对象的照片或视频)中真实对象(如脸部)的位置和姿态，在真实影像中根据真实对象的位置，应用包括虚拟对象的影像，如图像、视频或者三维(3D，Three-Dimensional)模型等技术，在三维空间的真实影像中增添基于脸部定位的虚拟道具，实现脸部装扮的效果；又例如，根据扫描商品的二维码，在显示的二维码附近显示商品信息和/或可以购买到该商品的商店及地址，等等。

[0058] 增强现实还可以实现根据场景实现实时交互的特性，例如，在实现AR类游戏过程中，通过AR系统配套的手套或手棒控制游戏中的打斗动作；或者，在进行AR的棋类比赛中，可以通过AR系统配套的手套控制棋子，等等。

[0059] 2)客户端，本文中是指在设备中预先安装的客户端，或设备中第三方的客户端，用于支持基于社交网络的各种应用。

[0060] 3)设备，支持运行客户端的电子设备，如智能手机、平板电脑、基于图像处理装置显示器和头盔式显示器(HMD，Head-mounted display)的设备等，其中，HMD可以是基于光学原理的穿透式HMD或基于视频合成技术的穿透式 HMD。文本中设备也称为客户端的宿主设备。

[0061] 4)社交网络，基于网络(如广域网或局域网)部署的服务器上实现支持多个用户通过客户端(如QQ、企业IM)相互通信的网络。

[0062] 5)图像数据，是对环境中真实对象的图像上每一点光的强弱和频谱(颜色) 的表示，根据光的强弱和频谱信息，将真实世界的图像信息转换成数据信息，以便于数字化处理和分析。

[0063] 6)增强现实模型，是图像处理装置通过数字图形技术勾勒出的用于增强现实的数字化场景，例如社交网络中的个性化AR装扮，可以是帽子、眼镜和背景图像等装扮。

[0064] 7)真实对象，图像数据中包括现实生活中的人和物，其中物包括河流、山川等自然景物、以及城市景观、建筑景观等人文景物。

[0065] 8)虚拟对象，客户端渲染图像数据时需要渲染且在采集图像数据的环境中不存在的对象，实现真实对象的显示效果或信息量的增强；例如当真实人物为对象时，虚拟对象可以是用于装扮人物形象的各种道具和虚拟背景，也可以是个人名片。

[0066] 9)渲染，客户端中使用渲染引擎输出到屏幕真实对象和虚拟对象的可视影像；本文中的图像数据在渲染。例如，在使用社交客户端进行社交的过程中，增加社交的活跃气氛，对包括真实对象的图像或视频中进行一些适当的渲染，如在用户的图像或视频增加一些符合当前社交场景的虚拟对象以形成特效。

[0067] 现在将参考附图描述实现本发明实施例的图像处理装置。图像处理装置可以以各种形式来实施，下面对本发明实施例的图像处理装置的硬件结构做说明。

[0068] 参见图1-1，图1-1为本发明实施例提供的图像处理装置的一个可选的硬件结构示意图，实际应用中可以实施为前述的运行客户端的各种设备，如台式机电脑、笔记本电脑和智能手机。图1-1所示的图像处理装置100包括：至少一个处理器101、存储器102、显示组件103、至少一个通信接口104和摄像头105。图像处理装置100中的各个组件通过总线系统106耦合在一起。可以理解，总线系统106用于实现这些组件之间的连接通信。总线系统106除包括配置数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图1中将各种总线都标为总线系统106。

[0069] 其中，显示组件103可以包括图像处理装置显示器、手机显示屏和平板电脑显示屏等，用于显示。

[0070] 通信接口104可以包括天线系统、蓝牙(Bluetooth)、无线局域网(WiFi， Wireless Fidelity)、近场通信(NFC，Near Field Communication)模块和/或数据线等。

[0071] 摄像头105可以是定标准摄像头、长焦摄像头、广角镜头、变焦摄像头、数字光场摄像头和数码摄像头等。

[0072] 可以理解，存储器102可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。

[0073] 本发明实施例中的存储器102用于存储各种类型的配置数据以支持图像处理装置100的操作。这些配置数据的示例包括：用于在图像处理装置100上操作的程序如客户端
1021，还包括操作系统1022和数据库1023，其中，实现本发明实施例方法的程序可以包含在客户端1021。

[0074] 本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，图像处理方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器 (DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器101可以实现或者执行本发明实施例中提供的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成本发明实施例提供的图像处理方法。

[0075] 再对图1-1示出的图像处理装置的功能结构进行说明，以软件实施为例，参见图1-2，图1-2为本发明实施例提供的运行本端客户端(可以理解，本端客户端与对端客户端是相对的概念)的图像处理装置的一个可选的功能结构示意图，结合图1-2示出的各个功能模块进行说明，根据图1-1，可以理解图1-2示出的功能模块在硬件上的实现。

[0076] 识别模块210，用于从所获得的图像数据识别出环境中真实对象的特征。

[0077] 在本发明可选实施例中，识别模块210接收社交网络中的对端客户端采集环境并传输的图像数据，从所接收的图像数据中识别位于对端客户端环境的真实对象的特征；和/或，采集环境形成图像数据，从所采集形成的图像数据中识别位于本端客户端环境的真实对象的特征。

[0078] 在本发明可选实施例中，识别模块210，具体用于当与社交网络中的对端客户端通信时，采集本端客户端环境形成用于传输至对端客户端的图像数据，从所采集的图像数据中识别本端客户端环境中真实对象的特征；或者，当响应本端客户端的采集操作时，采集本端客户端环境形成图像数据，从所采集的图像数据中识别本端客户端环境中真实对象的特征。

[0079] 在本发明可选实施例中，识别模块210，具体用于当获得社交网络中与真实对象适配的增强现实模型之前，判断所识别出真实对象的特征满足社交网络能够识别的条件，条件包括以下至少之一：当识别出图像特征点时，所识别出的图像特征点的数量超出特征点数据量阈值；当识别出生物特征时，所识别出的生物特征的完整程度超出完整程度阈值。

[0080] 查询模块220，用于以真实对象的特征查询社交网络，确定真实对象是否具有属于社交网络的属性。

[0081] 本发明实施例所涉及社交网络的属性，是针对社交网络所承载的功能，如媒体功能(例如内容聚合)、社交、电商和支付等，对实现这些功能的过程所涉及的成员在类型/功能上进行的归纳，例如，包括：

[0082] 注册用户属性，表示成员是社交网络的注册用户；

[0083] 支付对象属性，表示成员是接收支付的账户；

[0084] 被分享对象属性，也称为被分享物品属性，表示成员是社交网络中被分享的物品，如美食、商品等各种物品；

[0085] 被分享媒体信息属性，表示成员是社交网络中被分享的媒体信息，如视频、音频和手机游戏等各种不具有实际形态的产品。

[0086] 在本发明可选实施例中，查询模块220，具体用于：以真实对象的特征查询社交网络的特征数据库；当真实对象与社交网络的注册用户的特征匹配时，确定真实对象为属于社交网络的注册用户，此时真实对象具有社交网络的注册用户属性；当真实对象与社交网络的被分享对象的特征匹配时，确定真实对象为社交网络的被分享对象，此时真实对象具有社交网络的被分享对象属性。

[0087] 模型模块230，用于获得社交网络的模型库中与真实对象适配的增强现实模型。

[0088] 在本发明可选实施例中，模型模块230，具体用于：当真实对象为社交网络中的注册用户时，获得注册用户在社交网络中预设的虚拟对象，虚拟对象包括以下至少之一：虚拟道具、虚拟背景和滤镜；当真实对象为社交网络中的被分享对象时，获得社交网络中针对被分享对象的虚拟对象，虚拟对象包括以下至少之一：社交网络中针对被分享对象的文章；社交网络中针对被分享对象的广告。

[0089] 在本发明可选实施例中，模型模块230，具体用于：调用服务器的识别服务，从所获得的图像数据中识别出真实对象的特征；或者，开启图像识别线程，在所开启的图像识别线程中识别所获得的图像数据得到真实对象的特征。

[0090] 渲染模块240，用于根据所获得的图像数据进行渲染，以及，根据真实对象在所渲染形成的图像中的位置，对增强现实模型中的虚拟对象进行渲染，形成共同显示的真实对象与虚拟对象。

[0091] 在本发明可选实施例中，渲染模块240，具体用于：检测真实对象在图像数据中的位姿变化；在真实对象在所输出的图像中的位置，渲染输出增强现实模型中与位姿变化适配的虚拟对象，形成叠加的真实对象与虚拟对象。

[0092] 在本发明可选实施例中，查询模块220，具体用于在本地的缓存或数据库中查询与真实对象适配的增强现实模型；当未查询到时，从社交网络查询得到与真实对象适配的增强现实模型。

[0093] 将对本发明实施例提供的图像处理装置实施为AR眼镜时实现AR功能的结构进行示例性说明，参见图2和图3，图2为本发明实施例提供的图像处理装置实施为AR设备的一个可选的结构示意图，用于实现环境的图像数据的采集、图像数据与用于实现增强现实模型的虚拟对象的合成；图3为本发明实施例提供的图像处理装置实施为AR设备的另一个可选的结构示意图，用于实现图像数据与虚拟对象的合成输出。

[0094] 虽然图像处理装置的结构是分别在图2和图3示出的，但是可以理解，图 2和图3示出的结构可以结合使用，与实现从采集环境的图像数据到渲染输出图像数据与虚拟对象的合成显示效果，就图2和图3涉及的组件进行说明。

[0095] 摄像头，用于获取包括真实对象的环境的图像数据，包括图像或视频，将获取到的图像或视频发送至图像合成器，以与增强现实模型的虚拟对象进行合成操作。

[0096] 场景产生器，用于根据图像数据中真实对象的位置信息，例如，通过头部跟踪器获取头部在图像数据中位置信息，提取增强现实模型中对应位置信息的虚拟对象，并将该虚拟对象发送至图像合成器。

[0097] 图像合成器，用于将获取到的真实对象的图像或视频，以及虚拟对象进行合成，渲染结果定时刷新到显示器显示。

[0098] 场景产生器，根据位置信息生成虚拟对象，并将该虚拟对象发送至显示器，虚拟对象用以在光合波器上与虚拟对象进行叠加。

[0099] 显示器，用于将图像合成器发送的合成图像或合成视频进行显示，形成真实对象和增强现实模型的虚拟对象共同显示的效果。

[0100] 现在根据参考附图描述实现本发明实施例的图像处理方法的实现过程，以图像处理装置根据图1至图3实施为智能手机或AR眼镜为例，参见图4，图4 为本发明实施例提供的图像处理方法的一个可选的实现流程示意图，对图像处理装置获得包括真实对象的环境形成的图像数据、以及增强现实模型的虚拟图像进行说明，涉及以下步骤：

[0101] 步骤501：获得包括真实对象的图像数据。

[0102] 获取真实对象信息是实现增强现实的首要步骤，只有将真实世界图像输入到图像处理装置中，与图像处理装置从增强现实模型提取的产生的虚拟图像合成，并输出到上述的显示组件上，用户才能看到最终的增强场景图像。

[0103] 这里，真实对象的图像数据可以通过上述的摄像头采集，例如数字光场摄像头在拍摄真实对象，如人或自然景物时，可以获取到完整的光场信息，使得用户在使用图像处理装置的过程中能实现人眼想看哪里、哪里就能自动对焦；而且，获取的光线是真实光场中采集的光线集，当与虚拟图像合成后，从眼镜中看出去无法辨真假。当然，也可以是接收到其他图像处理装置采集并发送的图像数据，

[0104] 步骤502：检测真实对象的位置信息。

[0105] 实现虚拟对象和真实对象如人和物的完美结合，须将虚拟对象合并到现实世界中的准确的位置，因此，实时地检测图像数据中真实对象的位置，甚至是运动的方向进行跟踪，以便用来帮助系统决定显示何种增强现实模型中的哪个虚拟对象以及显示的位置，并按照观察者的视场重建坐标系。测定位置信息可以有多种，例如，视频检测方法，根据模式识别技术识别视频图像中预先定义好的标记、物体或基准点，然后根据其偏移和转动角度计算坐标转换矩阵；或者，通过陀螺仪测定使用者的头部转动的角度，以判定如何转换视场中虚拟对象的坐标和内容。

[0106] 步骤503：从增强现实模型中获得虚拟对象。

[0107] 为了获得AR设备的沉浸感，须让显示器显示具有真实感的图像，并在增强现实场景中进行模拟和显示。当真实对象在增强现实场景中的定位标记识别后，重建从预定义标记到当前增强现实场景中标记的坐标转移矩阵，系统根据这个转移矩阵，绘制增强现实模型中虚拟对象，并进行渲染。

[0108] 步骤504：根据位置信息，将真实对象和虚拟对象合并视频或直接显示。

[0109] 图像处理装置的图像合成器首先根据摄像头的位置信息和真实对象的定位标记，来计算虚拟对象坐标到摄像头视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟对象，与真实对象的视频或照片合并后一起显示在显示器上，形成真实对象与虚拟对象共同显示的效果。

[0110] 举例来说，在使用社交网络的客户端进行视频通话的场景中，将虚拟对象与真实对象的视频或图像进行合成，如在通话者的视频或图像的脸部实时叠加帽子、眼镜等虚拟对象，在很大程度上提高了视频对话或的趣味性；或者，在使用社交网络的客户端线下扫描真实对象的场景中，在真实对象的影像上共同显示用户在社交网络中的个人名片，实现了线下社交与线上社交的无缝接入。

[0111] 基于图4说明的图像处理装置对包括真实对象的图像数据与增强现实模型的虚拟对象融合的处理过程，下面，以用户使用社交网络的客户端(由于涉及到与对端客户端的通信，因此这里也称为本端客户端)在社交网络的应用场景中进行图像处理的过程进行说明，图5为本发明实施例提供的图像处理方法的另一个可选的实现流程示意图，将根据图5示出的步骤进行说明。

[0112] 步骤601：本端客户端获得图像数据。

[0113] 在本发明可选实施例中，图像数据的获取方式可以是用户本人通过本端客调用摄像头拍摄获得，即在客户端的进程中采集环境形成图像数据；也可以是在使用本端客户端与社交网络中其他用户的对端客户端(数量不限)进行视频通信的过程中，由对端客户端发送，即在客户端的进程中接收社交网络中对端客户端采集环境并传输的图像数据，从所接收的图像数据中识别环境中真实对象的特征；

[0114] 步骤602，本端客户端从所获得的图像数据识别出真实对象的特征。

[0115] 这里，真实对象可以是自然景物、人文景物和自然界中具有生命的物体(包括人类)。其中，真实对象的特征类型有多种，如图像特征，包括：脸部的特征点、物体的轮廓特征、纹理特征等；又如生物特征，包括声纹特征、虹膜特征、指纹特征。在本发明实施例将主要以人为例进行阐述，例如从图像数据中识别人的脸部特征信息，对于其他类型特征的实施可以根据下文的说明而理解。

[0116] 在本发明可选实施例中，本端客户端通过调用自身的宿主设备的摄像头拍摄，获取包括用户的脸部的一张或多张的脸部图像，对拍摄获取得到的脸部图像进行脸部特征点的识别，例如从形状特征的维度识别来说，通过外部轮廓特征检测不同脸部器官，识别脸部器官的不同部位的脸部特征点。

[0117] 在本发明另一可选实施例中，还可以获取到多帧的脸部图像，分别对多帧拍摄到的脸部图像进行识别，得到每张脸部图像中的多个脸部特征点的位置，例如，脸部特征点包括眼睛特征点、鼻子特征点、嘴唇特征点、眉部特征点以及脸部边缘特征点中的任一种或多种。

[0118] 多帧的脸部图像可以是连续拍摄到的，例如脸部图像可以为指定时长内，拍摄到的视频中的连续的多帧的脸部图像，指定时长例如为1秒或0.5秒；当然，脸部图像也可以拍摄到的视频中在时间轴上离散分布的多帧的脸部图像。

[0119] 示例性的，可以得到如图6所示的脸部特征点的识别结果，为了下文方便说明，采用数字标记识别得到的各个脸部特征点，例如图6中所示的1～20表示脸部边缘特征点，21～28以及29～36对应表示用户的左眉部特征点和右眉部特征点，37～44以及88表示用户的左眼特征点，其中88为左眼瞳孔，45～51以及 89表示用户的右眼特征点，其中89为右眼瞳孔特征点，53～65表示用户的鼻子特征点、66～87表示用户的嘴唇特征点。需要指出的是，以上仅为示例，在可选实施例中可以在以上脸部特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点，均属于本发明实施例的范畴。

[0120] 在本发明实施例中，以脸部特征识别为例对上述的真实对象的特征识别进行阐述，其中，脸部特征识别技术按照其采用的准则的不同，通常根据所识别的特征的不同分为两类：

[0121] (1)基于局部特征的方法

[0122] 在本发明可选实施例中，基于局部特征的方法可以利用脸部的局部几何特征，如一些脸部器官(眼、鼻、嘴等)的相对位置和相对距离来描述脸部。其特征分量通常包括特征点间的欧氏距离、曲率和角度等，可以实现对脸部显著特征的一个高效描述。

[0123] 例如，使用积分投影法定位脸部特征点，以特征点间欧氏距离作为特征分量识别出多维的脸部特征向量用于分类。特征分量主要包括：眉毛与眼睛中心的垂直距离：眉毛弧度的多个描述数据；鼻宽及鼻的垂直位置；鼻孔位置以及脸宽等，通过上述脸部特征信息的识别，在识别过程中可以取得100％正确识别率。

[0124] 在本发明可选实施例中，基于局部特征的方法还可以是关于脸部特征一般特点的经验描述。

[0125] 例如，脸部图像有一些明显的基本特征，如脸部区域通常包括双眼、鼻和嘴等脸部特征，其亮度一般低于周边区域；双眼大致对称，鼻、嘴分布在对称轴上等。

[0126] 基于局部特征额方法除了上述的积分投影法和先验规则方法，还有基于几何形状信息方法等，在本发明实施例中，对基于局部特征方法的类型不做限制。

[0127] (2)基于整体的方法

[0128] 这里，基于整体的方法则是把脸部图像作为一个整体，对其进行某种变换处理识别特征，该方法考虑了脸部的整体属性，也保留了脸部部件之间的拓扑关系和各部件本身的信息。

[0129] 由于脸部图像的维数通常非常高，且脸部图像在高维空间中的分布很不紧凑，因而不利于分类，并且在计算上的复杂度也非常大。可采用子空间分析的方法，根据一定的目标来寻找一个线性或非线性的空间变换，把原始高维数据压缩到一个低维子空间，使数据在此子空间内的分布更加紧凑，降低计算的复杂度。

[0130] 此外，也可在脸部图像上放置一组矩形网格节点，每个节点的特征用该节点处的多尺度小波特征描述，各节点之间的连接关系用几何距离表示，从而构成基于二维拓扑图的脸部表述。在脸部识别过程中，根据两幅图像中各节点和连接之间的相似性进行识别。

[0131] 基于整体的方法除了上述的子空间分析法和弹性图匹配法，还有基于神经网络的方法等，在本发明实施例中，对基于整体方法的类型不做限制。

[0132] 在本发明可选实施例中，对于图像数据的特征识别，根据识别特征的执行主体不同，可以分以下两种方式：

[0133] 方式一：本端客户端调用服务器的识别服务，向服务器的识别服务发送图像数据，由服务器从所获得的图像数据中识别出真实对象的特征，并返回本端客户端。

[0134] 方式一尤其适用于本端本端客户端计算资源有限的情况，能够有效降低本端客户端进行特征识别而导致的延迟。例如，对于视频中的特征识别，由于视频中的对象一般来说是处于运动状态的，运动中的对象的特征点识别，相应的操作复杂，占用客户端的宿主设备的开销也大，此时，可以调用服务器的识别服务，从所获得的图像数据中识别出真实对象的特征。

[0135] 方式二：在本端客户端的进程中开启图像识别线程，在所开启的图像识别线程中识别所获得的图像数据得到真实对象的特征。

[0136] 对于简单图像数据的特征识别，为了更快速的识别到特征点，可以在客户端的宿主设备的进程中开启图像识别线程。

[0137] 例如，通过客户端的宿主设备本身完成这项特征识别操作，由于在识别过程中，用户可能还在听音乐、或开启了游戏、或视频进程，为了不占用其它应用的资源，可以在客户端的进程中开启图像识别的线程。其中，线程的开启数量，可以根据识别的计算复杂程度(如视频的帧率、照片的分辨率等)决定，若计算复杂程度较低，可以只开启相对少的线程，如果识别计算的复杂程度较高，可以开启多个线程。开启完成后，在所开启的图像识别线程中识别所获得的图像数据得到真实对象的特征，从而保证了识别图像数据的特征信息正常进行，同时也避免中断其它应用的进程或线程。

[0138] 在本发明可选实施例中，对于所识别的特征，可以判断所识别出真实对象的特征满足能够识别真实对象的条件，条件包括以下至少之一：当识别出图像特征点时，所识别出的图像特征点的数量超出特征点数据量阈值；当识别出生物特征时，所识别出的生物特征的完整程度超出完整程度阈值；如果满足条件则执行后续步骤，否则返回步骤601，直至获得满足条件的特征。

[0139] 由于在用户采集关于真实对象的图像数据时，可能会出现以下任一种情况： 1)处于光线较暗的环境；2)真实对象处于运动状态；3)摄像头处于运动状态； 4)真实对象的特征部分被遮挡，例如用户本人在拍摄脸部的时候，脸部的大部分被遮挡。当出现上述任一种情况时，造成所获取的特征信息不足以完成后续操作，因此，在以真实对象的特征查询社交网络之前，对相应的特征信息的数量或完整性进行判断，能够避免不完整特征查询导致社交网络的计算资源消耗的情况。

[0140] 举例来说，假设脸部识别需要眼、鼻和嘴等脸部特征，且眼、鼻和嘴均不低于100个特征点，用户在拍摄图像时，由于拍摄的光线过暗、或用户与摄像头处于相对运动的状态、或用户的大部分脸部被遮挡，因此，拍摄出来的图像，除去相同的特征点和无效特征点之后，眼、鼻和嘴均低于100个特征点，那么，此次采集失败，需要重新进行采集；否则，可以执行下一步的操作。

[0141] 步骤603：本端客户端根据真实对象的特征查询社交网络，确定真实对象是否属于社交网络，如果属于，执行步骤604；否则，返回步骤601。

[0142] 本发明可选实施例中，根据真实对象的特征信息，在社交网络中的服务器运行的特征数据库，查找是否存储有与该真实对象的特征信息相匹配的预设特征信息，若有，则确定该真实对象属于该社交网络；若否，则不属于社交网络。

[0143] 例如，以本端客户端为QQ客户端为例，用户选择“QQ-AR”功能选项，拍摄自己或其它用户的图像，拍摄完成后，QQ客户端便采集到照片中的关于用户脸部的特征信息，根据该特征信息，在社交网络中查找是否存在该用户的特征信息，若用户预先上传了自己的图像时，那么，社交网络中已经预先存储用户的脸部的特征信息，从而可以查找到该用户的预设特征信息，则确定该用户属于该社交网络；若用户未上传自己的图像时，则确定该用户不属于该社交网络。

[0144] 对于社交网络中的各种真实对象而言，不仅可以包括社交网络的注册用户，还可包括社交网络中的被分享对象如商品等各种物品，通过特征数据库记录对应的特征查询社交网络，如以注册用户的人脸特征，被分享对象的纹理特征、图形码等查询社交网络的特征数据库；那么，根据查询结果可以分为以下两个场景。

[0145] 场景一：查询到的对象的类型为社交网络的注册用户

[0146] 在本发明可选实施例中，以真实对象的特征查询社交网络的特征数据库；当真实对象与社交网络的注册用户的特征匹配时，确定真实对象为属于社交网络的注册用户。

[0147] 例如，本端客户端的用户拍摄本人或其他用户的图像时，本端客户端获取到的是关于人的图像数据，根据图像数据中的特征查询网络中的特征数据库，当特征数据中预先存储了关于图像数据中的用户的图像，则可以确定该用户为属于社交网络的注册用户，并获得注册用户在社交网络的ID。

[0148] 场景二：查询到的对象的类型为社交网络中的被分享对象

[0149] 在本发明可选实施例中，以真实对象的特征查询社交网络的特征数据库；当真实对象与社交网络的被分享对象的特征匹配时，确定真实对象为社交网络的被分享对象。

[0150] 例如，用户拍摄真实对象如拍摄商品或景物，客户端获取到的是关于真实对象的图像数据，获得关于真实对象的特征信息，如商品二维码或景物轮廓等特征，然后根据所获得的特征查询网络中的特征数据库，当特征数据中预先存储了与真实对象匹配的分享对象的图像，则可以确定真实对象为社交网络的被分享对象，获得被分享对象在社交网络中的ID，社交网络中关于被分享的相关内容支持基于ID查询得到。

[0151] 通过查询的对象类型为被分享对象时，一个常见的应用是：当用户看到社交网络中某个用户分享的商品，当不知道从哪里可以购买到，那么，只需要扫描其二维码或条形码，扫描完成后，可以在图像处理装置屏幕或者HMD上以 AR的方式共同显示可以购买的商店，以及商店的地址信息，其中，地址信息可以是实际的地址，也可以是网址，如电商的网络地址，从而进行购买。

[0152] 步骤604：本端客户端从社交网络获得与真实对象适配的增强现实模型。

[0153] 在本发明可选实施例中，当真实对象为社交网络中的注册用户时，获得注册用户在社交网络中预设的虚拟对象，虚拟对象可以用于实现装扮效果，例如包括以下至少之一：虚拟道具、虚拟背景和滤镜。这里，上述滤镜可以是内阙滤镜、内置滤镜和外挂滤镜；当然，虚拟对象也可以实现信息展示的效果，如用于展示用户在社交网络中的名片和分享的信息索引等。

[0154] 例如，在社交网络的服务器中，通过对用户的脸部特征的识别与匹配，查找到社交网络中与该用户脸部特征相匹配的图像，通过匹配到的图像获取对应的社交网络中的ID，根据ID查找到关联的增强现实模型作为适配的增强现实模型，可以理解，社交网络的注册用户的增强现实模型可以是涉及网络随机分配的以至少用于显示注册用户的个人名片，还可以根据用户实现个性化的设置，如

[0155] 在本发明可选实施例中，当真实对象为社交网络中的被分享对象时，获得社交网络中针对被分享对象的虚拟对象，虚拟对象包括以下至少之一：社交网络中针对被分享对象的文章；社交网络中针对被分享对象的广告。

[0156] 例如，当用户发现某个商品很喜欢，或者某个景点很漂亮，但不知道关于该商品或景物的相关信息时，用户可以通过“QQ-AR”，对准商品或景物，然后屏幕上会出现一个正在扫描的商品或景物的动画，然后动画结束后，表示扫描商品或景物成功，然后，根据商品的包装、外形、条形码或二维码等信息，查找到与之关联的文章或广告，或者购买该商品的商店与地址等；或者，根据景物的特征、外形及地理位置等信息，查找到与之关联的文章或广告。

[0157] 本发明可选实施例中，对于增强现实模型的获取，提供在本端客户端的缓存中缓存增强现实模型的方案，例如对于本端客户端的用户，社交网络计算潜在好友，感兴趣的用户或商品，并将对应的增强现实模型预先推送到本端客户端以加速虚拟对象的渲染速度，避免延迟。

[0158] 那么，根据本地缓存、社交网络这样的查询增强现实模型的优先级排序，涉及以下两种不同的查询结果：

[0159] 方式一：存储于宿主设备的缓存或数据库中

[0160] 在本发明可选实施例中，从社交网络获得与真实对象适配的增强现实模型之前，首先在客户端的缓存或宿主设备的数据库中，以真实对象在社交网络中的ID查询与真实对象适配的增强现实模型，这样，对于本端客户端已经存储对应的增强现实模型的情况，无需每次都向社交网络请求，可以增强现实模型中虚拟对象的渲染速度，最大程度减小延迟。

[0161] 例如，用户通过“QQ-AR”，对准自己拍摄图像或一段视频后，获取到用户本人的脸部特征参数，客户端根据该特征参数在缓存中查询是否缓存了之前使用过的增强现实模型，例如设置过个性化AR装扮，若有，则从缓存中获取该增强现实模型，这样，提高了获取增强现实模型的效率。

[0162] 方式二：存储于社交网络服务器

[0163] 在本端客户端的宿主设备的缓存和数据库中均未查询到真实对象的增强现实模型时，以真实对象的ID向社交网络的服务器中查询存储真实对象的增强现实模型。

[0164] 步骤605：本端客户端根据所获得的图像数据进行渲染。

[0165] 步骤606：本端客户端根据真实对象在所渲染形成的图像中的位置，对增强现实模型中的虚拟对象进行渲染，形成共同显示的真实对象与虚拟对象。

[0166] 这里，根据显示的方式不同，可以分为以下两种情况：

[0167] 方式一：智能手机和电脑等设备

[0168] 在社交网络的即时通信的场景中，智能手机和电脑等中安装的客户端获取到增强现实模型时，将增强现实模型与即时通信过程中传输的图像数据中承载的真实对象，以合成后的视频或图像的方式在手机屏幕或电脑屏幕上显示。

[0169] 方式二：设置HMD的VR眼镜

[0170] VR眼镜基于视频合成技术的穿透式HMD的显示方式，通过摄像头获取真实世界的视频或图像，然后将产生或获取到的虚拟对象与该真实世界的视频或图像进行合成，并进行相应的渲染，然后通过HMD在显示器进行显示。

[0171] 在渲染的时候，需要考虑增强现实模型的虚拟对象与真实对象之间的位置关系，下面举例说明。

[0172] 1)如图7所示，用户通过本端客户端与社交网络的其他用户进行视频聊天，接收对端客户端的图像数据(承载有其他用户的影像)，本端客户端对图像数据进行人脸特征识别71，识别到用户为社交网络的注册用户，查询社交网络中该用户预定的增强现实模型为AR装扮-潜水眼镜，在渲染的过程中，根据AR眼镜装扮与用户人眼的相对位置，将潜水眼镜72渲染在人眼的“眼前”。

[0173] 2)如图8所示，本端客户端对宿主设备所的环境进行视频采集，包括对环境中的人脸采集图像数据，进行人脸特征识别81，识别到本端客户端的用户为社交网络的注册用户，查询社交网络得到预定的增强现实模型为AR装扮，包括对应水波的背景83和潜水眼镜82；根据潜水眼镜82、背景83与用户人眼的相对位置，以及虚拟的背景83与用户的层次关系，即将虚拟的背景83置于用户的底层，避免背景83将用户遮挡。

[0174] 3)如图9所示，用户使用本端客户端的扫描功能，调用宿主设备的摄像头扫描新认识朋友的脸部，即对环境中的人脸采集图像数据，进行人脸特征识别 91，识别到新认识的朋友为社交网络的注册用户，查询到预定的增强现实模型为AR装扮，根据AR装扮，在本端客户端显示人脸的界面中，根据人脸位置渲染加兔子耳朵92和张嘴动作93的个性化装扮，合成后，用户出现头部长出兔子耳朵和嘴部张开的画面。

[0175] 在本发明另一可选实施例中，对于图像数据是视频数据或一系列的照片的情况，本端客户端检测真实对象在图像数据中的位姿变化，这里，位姿变化可以是用户与客户端设备之间的相对位置发生变化、或角度发生变化，其中，角度发生变化可以是用户与客户端之间的侧视角度、俯视角度或仰视角度发生变化。根据在真实对象在所输出的图像中的位置，渲染输出增强现实模型中与位姿变化适配的虚拟对象，形成叠加的真实对象与虚拟对象，保证真实对象与虚拟对象的无缝融合的效果。

[0176] 本端客户端根据扫描的图像数据，检测用户的位置发生移动，本端客户端会利用HDM或手机等设备的AR软件开发工具包(SDK，Software Development Kit)，对渲染的真实对象进行追踪匹配，即随着真实对象凸显的移动或者本端客户端与真实对象距离和物体角度的变化，增强现实模型对应的挂件和背景也会进行对应的渲染变化，从而形成更好地增强现实的效果。

[0177] 目前，许多IM客户端中都支持给自己网络虚拟角色(Avatar)进行设置，在聊天中表现出来，如图10-1和图10-2所示，允许用户选择自己喜欢的3D Avatar形象并在视频聊天中应用，头部移动或张嘴的时候，用户选择的Avatar 也会跟随作出相应的动作；此外，还有一种是卡通形象装扮，例如用户选择一个卡通形象代表虚拟世界中的自己，用户可以为卡通形象换套装、换脸型等等。而在新技术层出不穷的今天，以上的场景已经无法很好地满足用户诉求了。一方面是卡通人物与自己并不具备相关性，对于年轻用户来说，与其给自己添加一个卡通人物形象，不如让好友直接看到自己扮演某个卡通人物的效果，才能更好地彰显个性化。

[0178] 本发明实施例提供的图像处理方法的方案可以用以解决上述问题，参见图 11，图11为本发明实施例提供的图像处理方法的又一个可选的实现流程示意图，社交网络中设置人脸识别服务器和社交装扮服务器，包括以下步骤：

[0179] 步骤801：客户端进行采集操作。

[0180] 例如，可以通过手机QQ客户端中调用扫描功能，例如点击“+号”选择“扫一扫”，再选择“QQ-AR”，对准脸部(用户自己或他人)，然后进行扫描。为了描述方便，这里将被扫描的用户称为用户丙。

[0181] 步骤802：客户端判断是否有足够特征点，如果有则执行步骤803，否则继续执行步骤802。

[0182] 判断是否有足够特征点，可以通过观察屏幕上出现的一个正在扫描的正脸的动画，一般来说，动画结束后表示扫描人脸成功；若不成功，静止扫描1秒后，然后继续执行步骤802。

[0183] 步骤803：客户端检测本地是否有AR装扮的缓存，若有，执行步骤804；若无，执行步骤805。

[0184] 对于首次使用AR装扮的用户，客户端本地无相应的AR装扮缓存；此外，对于拍摄的是他人的人脸信息时，一般来说，本地无相应的AR装扮缓存；当然，实际应用中，QQ客户端可以接收后台服务器推送的其他用户(如潜在的好友、可能感兴趣的用户，等等)的AR装扮，那么，一旦用户在线下社交的过程中认识了潜在的用户并使用QQ客户端扫描，将即时获得AR装扮，无需到后台服务器查询，最大程度减小延迟。

[0185] 步骤804：客户端直接显示AR图片或视频。

[0186] 这里，AR图片或视频为：AR装扮与用户所拍摄的图像的合成图片，AR 装扮与用户所拍摄的视频的合成视频。

[0187] 步骤805：客户端上传照片到人脸识别服务器。

[0188] 当在本地库查找到相应的AR装扮时，需要在人脸识别服务器进行人脸识别，以根据识别后的结果与存储在人脸识别服务器中的图像进行匹配操作。

[0189] 步骤806：人脸识别服务器识别匹配成功。

[0190] 若该服务器中有匹配的图像，则表示匹配成功，说明该服务器中存储了用户丙的图像，为社交网络中的注册用户。

[0191] 进入步骤806，有两种情景：情景一：用户丙为使用客户端的用户本人，其未设置过AR装扮；情景二：用户丙为他人。

[0192] 步骤807：人脸识别服务器获取社交网络账号。

[0193] 这里，社交网络账号可以是QQ号，也可以是微信号，或其它IM账号。

[0194] 获取社交网络账号用于社交装扮服务器通过社交网络账号来拉取个性化装扮。

[0195] 步骤808：人脸识别服务器向社交装扮服务器发送拉取个性化装扮模型的请求。

[0196] 步骤809：社交装扮服务器拉取个性化装扮模型。

[0197] 若为情景一：用户丙为使用客户端的用户本人，其未设置过AR装扮。

[0198] 这里，人脸识别服务器将会从社交装扮服务器获取个性化装扮模型，然后通过社交装扮服务器向客户端推荐相应的个性化装扮模型。

[0199] 若为情景二：用户丙为他人。

[0200] 这里，用户丙若是设置了AR装扮，那么，人脸服务器将从社交装扮服务器中获取用户丙设置的AR装扮，然后通过社交装扮服务器向客户端推荐相应的个性化装扮模型。用户丙若是未设置AR装扮，那么，此操作结束。

[0201] 步骤810：将个性化装扮模型发送至客户端。

[0202] 步骤811：客户端根据本地ARSDK加载模型。

[0203] 这里，当用户移动的时候，客户端会利用HDM或手机等设备的AR SDK，对显示的内容和图形进行追踪匹配，使个性化装扮跟随用户的运动而渲染变化，从而形成更好地增强现实的效果。

[0204] 不难理解，通过上述实施，以本端客户端为QQ客户端为例，可以应用到如下几个典型的场景。

[0205] 场景一：线上社交-即时视频聊天中，实现AR装扮

[0206] 本端客户端的用户使用即时通信(包括QQ、微信等)与对端的用户(如亲朋好友)进行视频聊天时，用户在本端客户端中调用摄像头实时拍摄视频或图像，从而获得针对真实对象的视频或图像的参数，为了凸显个性化，活跃聊天气氛，在拍摄视频或图像之前(也可以是在拍摄视频或图像的过程中)为真实对象添加相应的虚拟对象，如个性化的装扮和虚拟背景。对于对端客户端的用户，当该用户使用摄像头实施拍摄视频或照片时，也可以类似本地用户，将拍摄的视频或图片经过装扮，或者直接将拍摄的视频或照片传输到本地用户，由本地用户执行上述的操作。

[0207] 当然，上述的AR装扮可以替换为用户在社交网络中的其他信息，如个人名片，包括在社交网络的账号、图形码等。

[0208] 场景二：线上社交-视频传输的过程中实现AR装扮

[0209] 本地用户使用即使通信(包括QQ、微信等)与对端的用户(如亲朋好友) 进行聊天时，用户双方可能会将自己认为拍摄的搞笑、好看的视频或照片发送给对方，例如，本地用户(或对端用户)拍摄了一张吃饭的照片，即使通信客户端将会识别该照片中的识别出真实对象的特征，以便根据识别出来的特征匹配相应的装扮，然后将该照片发送给对端用户(或本地用户)。

[0210] 场景三：线下社交-客户端扫描其他用户

[0211] 本端客户端如手机QQ的用户，点击客户端上的“扫一扫”选项，再选择“QQ-AR”，对准欲扫描的用户人脸，然后屏幕上会出现一个正在扫描的关于真实对象的动画。当动画结束后，表示扫描成功，即从所采集的图像数据中识别环境中真实对象的特征，从社交网络基于特征查询对应的ID，拉取用户预先设置的AR装扮到本端客户端，在扫描的人脸上即时形成装扮的效果。

[0212] 场景四：线下社交-客户端扫描用户本人

[0213] 本端客户端如手机QQ的用户，通过“QQ-AR”，使用摄像头对准用户自己的脸部，然后屏幕上会出现一个正在扫描的脸部的动画，然后动画结束后，表示扫描人脸成功。屏幕下方会出现至少一个性化装扮可以选择，用户选择了喜欢的个性化装扮之后，个性化装扮将会应用在屏幕上。其中，个性化装扮可以是虚拟道具、虚拟背景和滤镜等，虚拟道具可以是帽子、眼镜或其它脸部挂件等。当用户点击确定上传后，用户的人脸照片和个性化AR装扮会分别上传到服务器上，并与该用户的QQ号绑定。

[0214] 综上所述，本发明实施例实现以下有益效果：

[0215] 1)基于从图像数据中识别特征并查询社交网络的方式，能够对于社交网络的任意场景中的图像数据，都可以快速识别出归属于社交网络的真实对象，在相应的场景中融合社交网络中适配真实对象的增强现实效果。

[0216] 2)社交网络中针对不同的真实对象的增强现实模型具有多元化的特点，例如根据需要可以AR形式的装扮、社交名片等，从而应用到图像数据的渲染时，实现了不同对象的差异化的显示效果。

[0217] 3)通过将虚拟装扮与对方人物相结合，为用户提供了一个新的泛社交的话题切入点，有利于线下社交向线上社交的无缝接入。

[0218] 4)客户端根据情况在本地或者调用服务器的识别服务从图像数据识别特征，有利于减小延迟，实现真实对象和虚拟对象同步显示。

[0219] 5)根据优先在客户端的宿主设备查询增强现实模型的方式，对于客户端本地预存了增强现实模型的情况，能够实现虚拟对象在客户端的及时显示，避免了网络原因导致真实对象与虚拟对象显示不不同步的问题。

[0220] 6)根据从图像数据识别特征的完整程度决定是否向社交网络请求增强现实模型，避免社交网络后台的无效计算，有效节约社交网络的计算资源。

[0221] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。