基于红外的AR成像方法、系统、及电子设备

摘要

本发明实施例提供一种基于红外的AR成像方法、系统及电子设备，包括：移动终端检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识；增强现实设备采集人脸图像，并将所述人脸图像发送至所述服务器；所述移动终端响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至服务器，以使所述服务器根据所述增强现实设备标识从所述人脸图像中确定目标人脸图像，根据所述目标人脸图像对所述视频帧图像进行增强现实处理，并将处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

权利要求

1.一种基于红外的AR成像方法，其特征在于，包括：

移动终端响应于用户的操作指令，将当前播放视频的视频帧图像和对应于该用户的增强现实设备的标识发送至服务器；所述对应于该用户的增强现实设备的标识通过检测该用户的增强现实设备发出的红外信号来确定；根据所述红外信号确定所述视频中的第一目标位置信息，将所述第一目标位置信息发送至所述服务器；

所述增强现实设备采集用户自己的人脸图像，并将所述人脸图像发送至所述服务器，所述人脸图像中携带有该增强现实设备对应的增强现实设备标识；

所述服务器根据移动终端发来的所述对应于该用户的增强现实设备的标识从所述人脸图像中确定目标人脸图像，并从所述目标人脸图像中获取特征信息，根据所述特征信息生成与所述目标人脸图像匹配的第一3D人脸图像；对所述第一3D人脸图像进行打光处理，得到第二3D人脸图像；根据所述第一3D人脸图像和所述第二3D人脸图像中像素点的纹理差值，对所述目标人脸图像的该像素点进行加强或减弱纹理差值的光影处理；根据所述第一目标位置信息，将光影处理后的所述目标人脸图像添加至所述视频帧图像中；将增强现实处理后的所述视频帧图像发送至携带所述增强现实设备标识的人脸图像所对应的目标增强现实设备；

其中，所述视频为用户通过所述移动终端预先拍摄好的视频。

2.一种基于红外的AR成像系统，其特征在于，包括：

移动终端、增强现实设备及服务器；其中，

所述移动终端包括检测模块和第一发送模块；所述检测模块用于检测操作该移动终端的用户对应的增强现实设备发出的红外信号，并根据所述红外信号确定该增强现实设备的标识；所述第一发送模块用于响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至所述服务器；根据所述红外信号确定所述视频中的第一目标位置信息，将所述第一目标位置信息发送至所述服务器；其中，所述视频为用户通过所述移动终端预先拍摄好的视频；

所述增强现实设备包括采集模块，所述采集模块用于采集用户自己的人脸图像，并将所述人脸图像发送至所述服务器，所述人脸图像中携带有该增强现实设备对应的增强现实设备标识；

所述服务器包括第一确定模块、处理模块和第二发送模块，所述第一确定模块用于根据移动终端发来的所述操作该移动终端的用户对应的增强现实设备的标识从所述人脸图像中确定目标人脸图像；所述处理模块用于从所述目标人脸图像中获取特征信息，根据所述特征信息生成与所述目标人脸图像匹配的第一3D人脸图像；对所述第一3D人脸图像进行打光处理，得到第二3D人脸图像；根据所述第一3D人脸图像和所述第二3D人脸图像中像素点的纹理差值，对所述目标人脸图像的该像素点进行加强或减弱纹理差值的光影处理；根据所述第一目标位置信息，将光影处理后的所述目标人脸图像添加至所述视频帧图像中；

所述第二发送模块用于将增强现实处理后的所述视频帧图像发送至携带所述增强现实设备标识的人脸图像所对应的目标增强现实设备。

说明书

基于红外的AR成像方法、系统、及电子设备

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于红外的AR成像方法、系统及电子设备。

背景技术

[0002] AR(Augmented Reality，增强现实技术)是一种基于虚拟现实的改进技术，能够将现实场景与虚拟场景进行实时叠加，为用户提供更加逼真的场景，进一步增强了用户的沉浸感。

[0003] 然而，发明人在实现本发明的过程中发现，现有技术中一般都是由视频提供方指导用户如何进行增强现实的交互，当用户遇到自己感兴趣的视频时，如果该视频没有增强现实功能，则用户不能与该视频进行增强现实的交互，降低了用户体验，同时限制了增强现实的技术发展。

发明内容

[0004] 本发明实施例提供的基于红外的AR成像方法、系统及电子设备，用以至少解决相关技术中的上述问题。

[0005] 本发明实施例一方面提供了一种基于红外的AR成像方法，包括：

[0006] 移动终端检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识；所述移动终端响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至服务器，以使所述服务器将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备；其中，所述视频为用户通过所述移动终端拍摄的视频。

[0007] 进一步地，所述方法还包括：增强现实设备采集人脸图像，并将所述人脸图像发送至所述服务器；所述服务器根据所述增强现实设备标识从所述人脸图像中确定目标人脸图像。

[0008] 进一步地，所述方法还包括：所述服务器从所述目标人脸图像中获取特征信息，根据所述特征信息生成与所述目标人脸图像匹配的第一3D人脸图像；所述服务器对所述第一3D人脸图像进行打光处理，得到第二3D 人脸图像；所述服务器根据所述第一3D人脸图像和所述第二3D人脸图像，对所述目标人脸图像进行光影处理。

[0009] 进一步地，所述方法还包括：所述移动终端根据所述红外信号确定所述视频中的第一目标位置信息，将所述第一目标位置信息发送至所述服务器。

[0010] 进一步地，所述增强现实处理具体包括:所述服务器根据所述第一目标位置信息，将所述目标人脸图像添加至所述视频帧图像中。

[0011] 进一步地，所述增强现实处理具体包括：所述服务器对所述视频帧图像进行分析，确定第二目标位置信息；所述服务器根据所述第二目标位置信息，将所述目标人脸图像添加至所述视频帧图像中。

[0012] 进一步的，

[0013] 所述基于红外的AR成像方法中,通过移动终端的摄像头拍摄所述视频，[0014] 所述摄像头包括镜头、自动聚焦音圈马达、图像传感器以及微型记忆合金光学防抖器，所述镜头固装在所述自动聚焦音圈马达上，所述图像传感器将所述镜头获取的光学场景转换为图像数据，所述自动聚焦音圈马达安装在所述微型记忆合金光学防抖器上，移动终端的处理器根据陀螺仪检测到的镜头抖动数据驱动所述微型记忆合金光学防抖器的动作，实现镜头的抖动补偿；

[0015] 所述微型记忆合金光学防抖器包括活动板和基板，所述自动聚焦音圈马达安装在所述活动板上，所述基板的尺寸大于所述活动板，所述活动板安装在所述基板上，所述活动板和所述基板之间设有多个活动支撑，所述基板的四周具有四个侧壁，每个所述侧壁的中部设有一缺口，所述缺口处安装有微动开关，所述微动开关的活动件可以在所述处理器的指令下打开或封闭所述缺口，所述活动件靠近所述活动板的侧面设有沿所述活动件宽度方向布设的条形的电触点，所述基板设有与所述电触点相连接的温控电路，所述处理器根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭，所述活动板的四个侧边的中部均设有形状记忆合金丝，所述形状记忆合金丝一端与所述活动板固定连接，另一端与所述电触点滑动配合，所述基板的四周的内侧壁与所述活动板之间均设有弹性件，当所述基板上的一个温控电路连通时，与该电路相连接的形状记忆合金丝伸长，同时，远离该形状记忆合金丝的微动开关的活动件打开所述缺口，与该形状记忆合金丝同侧的弹性件收缩，远离该形状记忆合金丝的弹性件伸长。

[0016] 进一步的，所述弹性件为弹簧。

[0017] 进一步的，所述移动终端可安装于支架上，所述支架包括安装座、支撑轴、三个铰装在所述支撑轴上的支撑架；

[0018] 所述安装座包括相互垂直的第一安装板和第二安装板，所述第一安装板和第二安装板均可用于安装所述移动终端，所述支撑轴垂直安装在所述第一安装板的底面，所述支撑轴远离所述安装座的底端设有径向尺寸大于所述支撑轴的圆周面，三个所述支撑架由上至下安装在所述支撑轴上，且每两个所述支撑架展开后的水平投影呈一夹角，所述支撑轴为伸缩杆件，其包括与所述安装座相连接的管体和部分可收缩至所述管体内的杆体，所述杆体伸入所述管体的部分包括依次铰接的第一段、第二段、第三段和第四段，所述第一段与所述管体相连接，所述第一段靠近所述第二段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第二段靠近所述第一段的端部设有与锁止件可拆卸配合的锁止孔，所述第二段靠近所述第三段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第三段靠近所述第二段的端部设有与锁止件可拆卸配合的锁止孔，所述第三段靠近所述第四段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第四段靠近所述第三段的端部设有与锁止件可拆卸配合的锁止孔。

[0019] 进一步的，每个所述支撑架的底端还连接有调距装置，所述调距装置包括安装在所述支撑架底部的轴承圈、与所述轴承圈相连接的转动环、管体、螺杆、螺套及支撑杆，所述管体的一端设有封堵，所述螺杆部分通过所述封堵安装在所述管体内，所述封堵设有与所述螺杆相适配的内螺纹，所述螺杆另一部分与所述转动环相连接，所述螺套一端安装在所述管体内并与所述螺杆螺纹连接，所述螺套的另一端伸出所述管体外并与所述支撑杆固定连接，所述螺套的内壁设有一凸起，所述螺套的外侧壁沿其长度方向设有与所述凸起相适配的滑道，所述管体包括相邻的第一部分和第二部分，所述第一部分的内径小于所述第二部分的内径，所述封堵设置在所述第二部分的外端上，所述螺套靠近所述螺杆的端部设有外径大于所述第一部分内径的限位端。

[0020] 本发明实施例的另一方面提供了一种基于红外的AR成像系统，包括：移动终端、增强现实设备及服务器；其中，

[0021] 所述移动终端包括检测模块和第一发送模块，所述检测模块用于检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识；所述第一发送模块用于响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至所述服务器；其中，所述视频为用户通过所述移动终端拍摄的视频；

[0022] 所述增强现实设备包括采集模块，所述采集模块用于采集人脸图像，并将所述人脸图像发送至所述服务器；

[0023] 所述服务器包括第一确定模块、处理模块和第二发送模块，所述第一确定模块用于根据所述增强现实设备标识从所述人脸图像中确定目标人脸图像；所述处理模块用于根据所述目标人脸图像对所述视频帧图像进行增强现实处理；所述第二发送模块用于将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

[0024] 进一步地，所述移动终端还包括第二确定模块，所述第二确定模块用于根据所述红外信号确定所述视频中的第一目标位置信息，所述第一发送模块还用于将所述第一目标位置信息发送至所述服务器。

[0025] 进一步地，所述处理模块用于根据所述第一目标位置信息，将所述人脸图像添加至所述视频帧图像中。

[0026] 进一步地，所述移动终端的摄像头包括镜头、自动聚焦音圈马达、图像传感器以及微型记忆合金光学防抖器，所述镜头固装在所述自动聚焦音圈马达上，所述图像传感器将所述镜头获取的光学场景转换为图像数据，所述自动聚焦音圈马达安装在所述微型记忆合金光学防抖器上，移动终端的处理器根据陀螺仪检测到的镜头抖动数据驱动所述微型记忆合金光学防抖器的动作，实现镜头的抖动补偿；

[0027] 所述微型记忆合金光学防抖器包括活动板和基板，所述自动聚焦音圈马达安装在所述活动板上，所述基板的尺寸大于所述活动板，所述活动板安装在所述基板上，所述活动板和所述基板之间设有多个活动支撑，所述基板的四周具有四个侧壁，每个所述侧壁的中部设有一缺口，所述缺口处安装有微动开关，所述微动开关的活动件可以在所述处理器的指令下打开或封闭所述缺口，所述活动件靠近所述活动板的侧面设有沿所述活动件宽度方向布设的条形的电触点，所述基板设有与所述电触点相连接的温控电路，所述处理器根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭，所述活动板的四个侧边的中部均设有形状记忆合金丝，所述形状记忆合金丝一端与所述活动板固定连接，另一端与所述电触点滑动配合，所述基板的四周的内侧壁与所述活动板之间均设有弹性件，当所述基板上的一个温控电路连通时，与该电路相连接的形状记忆合金丝伸长，同时，远离该形状记忆合金丝的微动开关的活动件打开所述缺口，与该形状记忆合金丝同侧的弹性件收缩，远离该形状记忆合金丝的弹性件伸长。

[0028] 进一步的，所述弹性件为弹簧。

[0029] 进一步的，所述移动终端可安装于支架上，所述支架包括安装座、支撑轴、三个铰装在所述支撑轴上的支撑架；

[0030] 所述安装座包括相互垂直的第一安装板和第二安装板，所述第一安装板和第二安装板均可用于安装所述移动终端，所述支撑轴垂直安装在所述第一安装板的底面，所述支撑轴远离所述安装座的底端设有径向尺寸大于所述支撑轴的圆周面，三个所述支撑架由上至下安装在所述支撑轴上，且每两个所述支撑架展开后的水平投影呈一夹角，所述支撑轴为伸缩杆件，其包括与所述安装座相连接的管体和部分可收缩至所述管体内的杆体，所述杆体伸入所述管体的部分包括依次铰接的第一段、第二段、第三段和第四段，所述第一段与所述管体相连接，所述第一段靠近所述第二段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第二段靠近所述第一段的端部设有与锁止件可拆卸配合的锁止孔，所述第二段靠近所述第三段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第三段靠近所述第二段的端部设有与锁止件可拆卸配合的锁止孔，所述第三段靠近所述第四段的端部设有安装槽，所述安装槽内铰接有锁止件，所述第四段靠近所述第三段的端部设有与锁止件可拆卸配合的锁止孔。

[0031] 进一步的，每个所述支撑架的底端还连接有调距装置，所述调距装置包括安装在所述支撑架底部的轴承圈、与所述轴承圈相连接的转动环、管体、螺杆、螺套及支撑杆，所述管体的一端设有封堵，所述螺杆部分通过所述封堵安装在所述管体内，所述封堵设有与所述螺杆相适配的内螺纹，所述螺杆另一部分与所述转动环相连接，所述螺套一端安装在所述管体内并与所述螺杆螺纹连接，所述螺套的另一端伸出所述管体外并与所述支撑杆固定连接，所述螺套的内壁设有一凸起，所述螺套的外侧壁沿其长度方向设有与所述凸起相适配的滑道，所述管体包括相邻的第一部分和第二部分，所述第一部分的内径小于所述第二部分的内径，所述封堵设置在所述第二部分的外端上，所述螺套靠近所述螺杆的端部设有外径大于所述第一部分内径的限位端。

[0032] 本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

[0033] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项基于红外的AR成像方法。

[0034] 本发明实施例的再一方面提供一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

[0035] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项基于红外的AR成像方法。

[0036] 由以上技术方案可见，本发明实施例提供的基于红外的AR成像方法、系统及电子设备，能够基于用户自身的意愿确定增强现实场景，使用户置身于当前播放的视频中，增强用户的沉浸感和体验感。

附图说明

[0037] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

[0038] 图1为本发明一个实施例提供的基于红外的AR成像方法流程图；

[0039] 图2为本发明一个实施例提供的基于红外的AR成像方法流程图；

[0040] 图3为本发明一个实施例提供的对目标人脸图像进行光影处理的方法流程图；

[0041] 图4为本发明一个实施例提供的基于红外的AR成像系统结构图；

[0042] 图5为本发明一个实施例提供的基于红外的AR成像系统结构图；

[0043] 图6为执行本发明方法实施例提供的基于红外的AR成像方法的电子设备的硬件结构示意图；

[0044] 图7为本发明一个实施例提供的摄像头的结构图；

[0045] 图8为本发明一个实施例提供的微型记忆合金光学防抖器的结构图；

[0046] 图9为本发明一个实施例提供的微型记忆合金光学防抖器的一种工作状态结构图；

[0047] 图10为本发明一个实施例提供的支架结构图；

[0048] 图11为本发明一个实施例提供的支撑轴结构图；

[0049] 图12为本发明一个实施例提供的调距装置结构图。

具体实施方式

[0050] 为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

[0051] 本发明实施例中的增强现实设备可以包括可被用户佩戴的眼睛和头盔。该增强现实设中设置有人脸图像采集组件，当该设备主体被用户佩戴时，该脸部图像采集组件朝向用户脸部，且与该用户脸部存在预设距离，即不直接与用户的脸部接触。本发明实施例中的移动终端包括但不限于手机、平板电脑等。

[0052] 下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

[0053] 图1为本发明实施例提供的基于红外的AR成像方法流程图。如图1 所示，本发明实施例提供的基于红外的AR成像方法，包括：

[0054] S101，移动终端检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识。

[0055] 具体地，用户预先利用移动终端拍摄了一个或多个视频，当用户佩戴增强现实设备在移动终端播放所述视频时，该增强现实设备可以发出红外信号，该红外信号能够唯一标识该增强现实设备。移动终端检测到该红外信号后，能够从该红外信号中获取其对应的增强现实设备的标识，从而能够通过该标识确定希望与其建立交互的目标增强现实设备。

[0056] S103，所述移动终端响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至服务器，以使所述服务器将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

[0057] 具体地，当用户想要和当前播放的视频画面进行增强现实的交互时，可以向移动终端发出操作指令，该操作指令可以是双击移动终端的屏幕、长按移动终端的屏幕或触发移动终端的预设位置等，本发明在此不做限定。

[0058] 可选地，在进行步骤S103之前，还包括：增强现实设备采集人脸图像，并将所述人脸图像发送至所述服务器。

[0059] 增强现实设备通过其设置的人脸图像采集组件来采集用户的人脸图像，并将所述人脸图像发送至服务器。需要说明的是，增强现实设备可能是根据用户的指令进行采集，也可以是用户在佩戴该增强现实设备后预设时间内采集，也可以是响应于用户对移动终端进行操作指令时采集，本发明在此不做限定。

[0060] 需要说明是，由于想要进行增强现实的设备可能有多个，因此向服务器发送的该人脸图像中携带有该增强现实设备对应的增强现实设备标识，用来确定该人脸图像来自哪一个增强现实设备。

[0061] 在步骤S103中，服务器根据接收到的所述增强现实设备标识从所述人脸图像中确定目标人脸图像。具体地，服务器根据移动终端检测到的增强现实设备标识，来查找存储的人脸图像，当存在与该增强现实设备标识相匹配的人脸图像时，将该人脸图像确定为目标人脸图像。

[0062] 然后，服务器根据所述目标人脸图像对接收到的视频帧图像进行增强现实处理，将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

[0063] 可选地，如图3所述，在进行所述增强处理之前，所述方法还包括对所述目标人脸图像进行光影处理，从而使人脸的五官更加立体，具体包括如下步骤：

[0064] S1031，服务器从所述目标人脸图像中获取特征信息，根据所述特征信息生成与所述目标人脸图像匹配的第一3D人脸图像。

[0065] 具体地，特征信息包括但不限于目标人脸图像中的五官中关键点的位置信息、人脸尺寸和深度信息。可以将目标人脸图像输入人脸特征信息识别模型，输出目标人脸图像五官的关键点坐标。坐标系可以以目标人脸图西乡的左下角为原点，向右方向为X轴正方向，向上方向为Y轴正方向，坐标值以像素点的个数进行计量。根据上述关键点坐标进行整合得到人脸尺寸。此外，还可以通过该模型输出人脸的深度信息。

[0066] 进一步地，可以预先加载人脸模型数据文件，建立标准3D人脸模型，并依据上述特征信息对标准3D人脸模型进行处理，生成与所述目标人脸图像匹配的第一3D人脸图像。

[0067] 可选地，首先，根据所述特征信息中目标人脸图像的尺寸对所述标准 3D人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离等于步骤S1031垂直于Y轴的两条边界线之间的距离，使两个耳朵之间的距离等于步骤S101垂直于X轴的两条边界线之间的距离。其次，根据步骤S1031 中得到的各关键点的坐标位置、确定标准3D人脸模型中眉毛、眼睛、鼻子、嘴及脸庞的位置及轮廓，使它们的形状位置与其在目标人脸图像中为位置及轮廓相一致。最后，根据上述各关键点的坐标位置，利用步骤S1031 中识别得到的人脸图像完成贴图，并根据上述人脸信息对所述模型进行纹理映射，生成与目标人脸图像匹配的第一3D人脸图像。可选地，所述纹理可以为每个像素的三原色RGB。

[0068] S1032，服务器对所述第一3D人脸图像进行打光处理，得到第二3D 人脸图像。

[0069] 本步骤中，可以通过分析视频帧图像中的光照信息来确定光照渲染参数，以使得目标人脸图像与视频帧图像相匹配，再结合光照模型对所述第一 3D人脸图像进行打光处理。在所述第一3D人脸图像上打上自然光线.从而模拟出现实光线打在人脸上的光亮和阴影。具体的光照模型包括多种类型，本发明在此不做限定。

[0070] S1033，服务器根据所述第一3D人脸图像和所述第二3D人脸图像，对所述目标人脸图像进行光影处理。

[0071] 依据步骤S1032打好自然光线的第二3D人脸图像，由于其光线打亮的地方会提亮、光线打不到的地方会形成阴影，对于同一坐标位置的像素点，其在第二3D人脸图像与第一3D人脸图像中会存在纹理差值，按该差值，在人脸图像所述像素点的对应位置加强或减弱其纹理差值，使得人脸图像会产生和第二3D人脸图像一样的打光效果。本步骤中，可以根据所述第一3D图像和所述第二3D图像中的纹理差异，对所述人脸图像进行光影处理。

[0072] 通过上述步骤，能在提亮光线的基础上,使采集到的人脸图像五官更立体、更有层次感，提高用户的交互兴趣。

[0073] 进一步地，移动终端在检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识之后，还可以根据所述红外信号确定所述视频中的第一目标位置信息，将所述第一目标位置信息连同当前播放视频的视频帧图像和所述增强现实设备标识，一起发送至所述服务器。

[0074] 具体地，增强现实设备的红外装置可以包括一个，安装在该增强现实设备的中心处；也可以包括多个，均匀分布在该增强现实设备四周上，红外装置发出的红外光会直射到移动终端的屏幕上，移动终端可以根据该红外光的入射位置确定其在屏幕上的坐标位置。可选地，可以将移动终端左下角作为坐标原点，原点沿移动终端边缘向右为X轴的正方向，沿移动终端边缘向上为Y轴的正方向，当然，也可以有其他建立坐标系的方法。

[0075] 当红外装置为一个时，由于其设置在增强现实设备的中心处，该位置也就是用户双眼的聚焦位置，说明当前用户希望进行增强现实交互的目标点就在视频中的该聚焦位置(可能使用户想要将该聚焦位置的人物替换成自己，也可能是用户希望将自己的人脸图像添加到该位置的图像上)，因此可以直接将该红外光在屏幕上的坐标位置作为第一目标位置信息。

[0076] 当红外装置为多个时，由于其均匀分布在增强现实设备的四周，该多个红外装置的平均位置也就是用户双眼的聚焦位置，说明当前用户希望进行增强现实交互的目标点就在视频中的该聚焦位置，因此可以对该多束红外光在屏幕上的坐标位置求平均值，该平均值的坐标位置即为第一目标位置信息。

[0077] 确定了第一目标位置后，所述服务器根据该第一目标位置信息，将目标人脸图像添加至所述视频帧图像中的第一目标位置上。具体地，服务器可以对该第一目标位置信息对应的图像进行分析，当对应的图像为人脸图像时，可以将该人脸图像替换成目标人脸图像；当对应的图像非人脸图像时，可以对该目标人脸图像进行角度的调整，以使其能够与该图像附近的风景等相匹配，再将该非人脸图像替换成调整后的目标人脸图像。可选地，替换方法可以是像素替换，也可以是其他本领域惯用方法。

[0078] 作为本实施例的可选实施方式，也可以不通过移动终端的定位来确定目标位置信息。此时，增强现实处理具体包括：服务器对所述视频帧图像进行分析，确定第二目标位置信息；服务器根据所述第二目标位置信息，将所述目标人脸图像添加至所述视频帧图像中。

[0079] 在本实施方式中，移动终端可以通过对视频帧图像的分析，确定希望进行交互的目标对象，例如，把视频中的某个人物替换自己，或者将自己设置在某个景物旁等，服务器将该目标对象在所述视频中的位置坐标确定为第二目标位置信息，并根据所述第二目标位置信息，将所述目标人脸图像添加至所述视频帧图像中。具体的添加方法如上所述，在此不做赘述。

[0080] 在通过上述任一方法对视频帧图像进行增强现实处理后，服务器将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。由于接收到用户的操作指令后，会不断重读上述步骤来对每帧视频帧图像进行增强现实的处理，因此佩戴该目标增强现实设备的用户即可以看到自己出现在播放的视频中，完成增强现实的交互。

[0081] 本发明实施例提供的基于红外的AR成像方法，能够基于用户自身的意愿确定增强现实场景，使用户置身于当前播放的视频中，增强用户的沉浸感和体验感。

[0082] 图3为本发明实施例提供的基于红外的AR成像方法流程图。如图3 所示，本实施例为图1和图2所示实施例的具体实现方案，因此不再赘述图1和图2所示实施例中各步骤的具体实现方法和有益效果，本发明实施例提供的基于红外的AR成像方法，具体包括：

[0083] S301，移动终端检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识。

[0084] S302，增强现实设备采集人脸图像，并将所述人脸图像发送至所述服务器。

[0085] S303，所述移动终端响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至服务器。

[0086] S304，所述服务器根据所述增强现实设备标识从所述人脸图像中确定目标人脸图像。

[0087] S305，所述服务器根据所述目标人脸图像对所述视频帧图像进行增强现实处理，并将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

[0088] 本发明实施例提供的基于红外的AR成像方法，能够基于用户自身的意愿确定增强现实场景，使用户置身于当前播放的视频中，增强用户的沉浸感和体验感。

[0089] 图4、图5为本发明实施例提供的基于红外的AR成像系统结构图。如图4、图5所示，该系统具体包括：移动终端101，增强现实设备201 和服务器30。其中，

[0090] 移动终端101包括检测模块110和第一发送模块120，检测模块110 用于检测增强现实设备发出的红外信号，并根据所述红外信号确定对应的增强现实设备标识；第一发送模块120用于响应于用户的操作指令，将当前播放视频的视频帧图像和所述增强现实设备标识发送至所述服务器；其中，所述视频为用户通过所述移动终端拍摄的视频；

[0091] 增强现实设备201包括采集模块210，采集模块210用于采集人脸图像，并将所述人脸图像发送至所述服务器；

[0092] 服务器30包括第一确定模块310、处理模块320和第二发送模块330，第一确定模块310用于根据所述增强现实设备标识从所述人脸图像中确定目标人脸图像；第二发送模块
330用于根据所述目标人脸图像对所述视频帧图像进行增强现实处理；所述第二发送模块用于将增强现实处理后的所述视频帧图像发送至所述增强现实设备标识对应的目标增强现实设备。

[0093] 进一步地，移动终端101还包括第二确定模块130，第二确定模块130 用于根据所述红外信号确定所述视频中的第一目标位置信息，第一发送模块120还用于将所述第一目标位置信息发送至所述服务器。

[0094] 进一步地，处理模块320用于根据所述第一目标位置信息，将所述人脸图像添加至所述视频帧图像中。

[0095] 进一步地，服务器30还包括分析模块，图中未示出，所述分析模块用于对所述视频帧图像进行分析，确定第二目标位置信息；处理模块320 根据所述第二目标位置信息，将所述目标人脸图像添加至所述视频帧图像中。

[0096] 进一步地，服务器还包括目标图像处理模块，图中未示出，所述目标图像处理模块用于从所述目标人脸图像中获取特征信息，根据所述特征信息生成与所述目标人脸图像匹配的第一3D人脸图像；对所述第一3D人脸图像进行打光处理，得到第二3D人脸图像；根据所述第一3D人脸图像和所述第二3D人脸图像，对所述目标人脸图像进行光影处理。

[0097] 本发明实施例提供的基于红外的AR成像系统具体用于执行图1至图 3所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1至图3所示实施例类似，在此不再赘述。

[0098] 上述这些本发明实施例的基于红外的AR成像系统可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的基于红外的AR成像方法。

[0099] 图6为执行本发明方法实施例提供的基于红外的AR成像方法的电子设备的硬件结构示意图。根据图6所示，该电子设备包括：

[0100] 一个或多个处理器610以及存储器620，图6中以一个处理器610为例。

[0101] 执行所述的基于红外的AR成像方法的设备还可以包括：输入装置630 和输出装置630。

[0102] 处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。

[0103] 存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述基于红外的AR成像方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述基于红外的AR成像方法。

[0104] 存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的基于红外的AR成像系统的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器620，还可以包括非易失性存储器620，例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中，存储器620可选包括相对于处理器66远程设置的存储器620，这些远程存储器620可以通过网络连接至所述基于红外的AR成像系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0105] 输入装置630可接收输入的数字或字符信息，以及产生与基于红外的 AR成像系统的用户设置以及功能控制有关的键信号输入。输入装置630 可包括按压模组等设备。

[0106] 所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行所述基于红外的AR成像方法。

[0107] 本发明实施例的电子设备以多种形式存在，包括但不限于:

[0108] (1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

[0109] (2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC 设备等，例如iPad。

[0110] (3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

[0111] 以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0112] 本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的基于红外的AR成像方法。

[0113] 本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的基于红外的AR成像方法。

[0114] 在另一实施例中，为了增强AR成像效果，专门对移动终端采集的视频效果进行提升，本实施例为此提供了一种具有更好防抖性能的移动终端的摄像头，通过该摄像头获取的图片、视频相比于普通摄像头更加清晰，更能满足用户的需求。特别是本实施例中的摄像头获取的视频用于上述实施例中的AR成像方法时，效果更佳。

[0115] 具体的，现有的移动终端摄像头(移动终端为手机或数码摄像机等) 包括镜头1、自动聚焦音圈马达2、图像传感器3为本领域技术人员公知的现有技术，因此这里不过多描述。通常采用微型记忆合金光学防抖器是因为现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动，而要实现光学防抖，需要在至少两个方向上驱动镜头，这意味着需要布置多个线圈，会给整体结构的微型化带来一定挑战，而且容易受外界磁场干扰，进而影响防抖效果，一些现有技术通过温度变化实现记忆合金丝的拉伸和缩短，以此拉动自动聚焦音圈马达移动，实现镜头的抖动补偿，微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度，以此控制记忆合金丝的伸长和缩短，并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差。但是申请人发现，由于抖动的随机性和不确定性，仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿，这是由于形状记忆合金的升温和降温均需要一定的时间，当抖动向第一方向发生时，上述技术方案可以实现镜头对第一方向抖动的补偿，但是当随之而来的第二方向的抖动发生时，由于记忆合金丝来不及在瞬间变形，因此容易造成补偿不及时，无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿，这导致了获取的图片质量不佳，因此需要对摄像头或摄像机结构上进行改进。

[0116] 如图7所示，本实施例的所述摄像头包括镜头1、自动聚焦音圈马达 2、图像传感器3以及微型记忆合金光学防抖器4，所述镜头1固装在所述自动聚焦音圈马达2上，所述图像传感器3将所述镜头1获取的图像传输至所述识别模块100，所述自动聚焦音圈马达2安装在所述微型记忆合金光学防抖器4上，所述移动终端内部处理器根据移动终端内部陀螺仪 (图中未示出)检测到的镜头抖动驱动所述微型记忆合金光学防抖器4的动作，实现镜头的抖动补偿；

[0117] 结合附图8所示，对所述微型记忆合金光学防抖器的改进之处介绍如下：

[0118] 所述微型记忆合金光学防抖器包括活动板5和基板6，活动板5和基板6均为矩形板状件，所述自动聚焦音圈马达2安装在所述活动板5上，所述基板6的尺寸大于所述活动板5的尺寸，所述活动板5安装在所述基板6上，所述活动板5和所述基板6之间设有多个活动支撑7，所述活动支撑7具体为设置在所述基板6四个角处凹槽内的滚珠，便于活动板5在基板6上的移动，所述基板6的四周具有四个侧壁，每个所述侧壁的中部均设有一缺口8，所述缺口8处安装有微动开关9，所述微动开关9的活动件10可以在所述处理模块的指令下打开或封闭所述缺口，所述活动件 10靠近所述活动板5的侧面设有沿所述活动件10宽度方向布设的条形的电触点11，所述基板6设有与所述电触点11相连接的温控电路(图中未示出)，所述处理模块可以根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭，所述活动板5的四个侧边的中部均设有形状记忆合金丝 12，所述形状记忆合金丝12一端与所述活动板5固定连接，另一端与所述电触点11滑动配合，所述基板6的四周的内侧壁与所述活动板5之间均设有用于复位的弹性件13，具体的，本实施例的所述弹性件优选为微型的弹簧。

[0119] 下面结合上述结构对本实施例的微型记忆合金光学防抖器的工作过程进行详细的描述：以镜头两次方向相反的抖动为例，当镜头发生向第一方向抖动时，陀螺仪将检测到的镜头抖动方向和距离反馈给所述处理器，处理器计算出需要控制可以补偿该抖动的形状记忆合金丝的伸长量，并驱动相应的温控电路对该形状记忆合金丝进行升温，该形状记忆合金丝伸长并带动活动板向可补偿第一方向抖动的方向运动，与此同时与该形状记忆合金丝相对称的另一形状记忆合金丝没有变化，但是与该另一形状记忆合金丝相连接的活动件会打开与其对应的缺口，便于所述另一形状记忆合金丝在活动板的带动下向缺口外伸出，此时，两个形状记忆合金丝附近的弹性件分别拉伸和压缩(如图9所示)，当微型记忆合金光学防抖致动器上移动到指定位置后反馈该形状记忆合金丝的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差；而当第二次抖动发生时，处理器首先通过与另一形状以及合金丝相抵接的活动件关闭缺口，并且打开与处于伸长状态的该形状记忆合金丝相抵接的活动件，与另一形状以及合金丝相抵接活动件的转动可以推动另一形状记忆合金丝复位，与处于伸长状态的该形状记忆合金丝相抵接的活动件的打开可以便于伸长状态的形状记忆合金丝伸出，并且在上述的两个弹性件的弹性作用下可以保证活动板迅速复位，同时处理器再次计算出需要控制可以补偿第二次抖动的形状记忆合金丝的伸长量，并驱动相应的温控电路对另一形状记忆合金丝进行升温，另一形状记忆合金丝伸长并带动活动板向可补偿第二方向抖动的方向运动，由于在先伸长的形状记忆合金丝处的缺口打开，因此不会影响另一形状以及合金丝带动活动板运动，而由于活动件的打开速度和弹簧的复位作用，因此在发生多次抖动时，本实施例的微型记忆合金光学防抖器均可做出精准的补偿，其效果远远优于现有技术中的微型记忆合金光学防抖器。

[0120] 当然上述仅仅为简单的两次抖动，当发生多次抖动时，或者抖动的方向并非往复运动时，可以通过驱动两个相邻的形状记忆合金丝伸长以补偿抖动，其基础工作过程与上述描述原理相同，这里不过多赘述，另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术，这里也不做赘述。

[0121] 另一实施例中，某些特殊场合需要将移动终端安装于所述摄像机的支架上进行视频或图像的采集，但是申请人在使用过程中发现，现有的摄像机的支架具有以下缺陷：1、现有的摄像机支架均采用三脚架支撑，但是三脚架结构在地面不平整存在较大凹凸不平的位置进行安装时无法保证支架安装座的水平，容易发生抖动或者倾斜，对拍摄容易产生不良的影响； 2、现有的支架无法作为肩抗式摄影机支架，结构和功能单一，在需要肩抗拍摄时必须单独配备肩抗式摄影机支架。

[0122] 因此，申请人对支架结构进行改进，如图10和11所示，本实施例的所述支架包括安装座14、支撑轴15、三个铰装在所述支撑轴上的支撑架 16；所述安装座14包括相互垂直的第一安装板141和第二安装板142，所述第一安装板141和第二安装板142均可用于安装所述摄像机，所述支撑轴15垂直安装在所述第一安装板141的底面，所述支撑轴15远离所述安装座14的底端设有径向尺寸略大于所述支撑轴的圆周面17，三个所述支撑架16由上至下安装在所述支撑轴15上，且每两个所述支撑架16展开后的水平投影呈一倾角，上述结构在进行支架的架设时，首先将圆周面 17假设在凹凸不平的平面较平整的一小块区域，在通过打开并调整三个可伸缩的支撑架的位置实现支架的架设平整，因此即使是凹凸不平的地面也能迅速将支架架设平整，适应各种地形，保证安装座处于水平状态。

[0123] 更有利的，本实施例的所述支撑轴15也是伸缩杆件，其包括与所述安装座14相连接的管体151和部分可收缩至所述管体151内的杆体152，所述杆体152伸入所述管体的部分包括依次铰接的第一段1521、第二段 1522、第三段1523和第四段1524，所述第一段1521与所述管体151相连接，所述第一段1521靠近所述第二段1522的端部设有安装槽18，所述安装槽18内铰接有锁止件19，所述第二段1522靠近所述第一段1521 的端部设有与锁止件19可拆卸配合的锁止孔20，同理，所述第二段1522 靠近所述第三段1523的端部设有安装槽18，所述安装槽18内铰接有锁止件19，所述第三段1523靠近所述第二段1522的端部设有与锁止件19 可拆卸配合的锁止孔20，所述第三段1523靠近所述第四段1524的端部设有安装槽18，所述安装槽18内铰接有锁止件19，所述第四段1524靠近所述第三段1523的端部设有与锁止件19可拆卸配合的锁止孔20，所述锁止件可以隐藏在安装槽内，当需要使用锁止件时可以通过转动锁止件，将锁止件扣合在所述锁止孔上，具体的，所述锁止件19可以是具有一个凸起的条形件，该凸起与所述锁止孔的大小尺寸相适配，将凸起压紧在锁止孔内完整相邻两个段(例如第一段和第二段)位置的固定，防止相对转动，而通过第一段1521、第二段1522、第三段1523和第四段1524 的配合可以将该部分形成一 形结构，并且通过锁止件19固定各个段的相对位置，还可以在该结构的底部设有软质材料，当需要将支架作为肩抗式摄像机支架时，该部分放置在用户的肩部，通过把持三个支撑架中的一个作为肩抗式支架的手持部，可以快速的实现由固定式支架到肩抗式支架的切换，十分方便。

[0124] 另外，申请人还发现，可伸缩的支撑架伸大多通过人力拉出伸缩部分以实现伸缩长度的调节，但是该距离不可控制，随机性较大，因此常常出现调节不便的问题，特别是需要将伸缩长度部分微调时，往往不容易实现，因此申请人还对支撑架的16结构进行优化，结合附图12所示，本实施例的每个所述支撑架16的底端还连接有调距装置21，所述调距装置21包括安装在所述支撑架16底部的轴承圈211、与所述轴承圈211相连接的转动环212、管体
213、螺杆214、螺套215及支撑杆216，所述管体213 的一端设有封堵217，所述螺杆215部分通过所述封堵217安装在所述管体213内，所述封堵217设有与所述螺杆214相适配的内螺纹，所述螺杆 214另一部分与所述转动环212相连接，所述螺套215一端安装在所述管体213内并与所述螺杆214螺纹连接，所述螺套215的另一端伸出所述管体213外并与所述支撑杆
216固定连接，所述螺套215的内壁设有一凸起 218，所述螺套215的外侧壁沿其长度方向设有与所述凸起相适配的滑道 219，所述管体213包括相邻的第一部分2132和第二部分2133，所述第一部分2132的内径小于所述第二部分2133的内径，所述封堵217设置在所述第二部分2133的外端上，所述螺套215靠近所述螺杆214的端部设有外径大于所述第一部分内径的限位端，通过转动所述转动环212带动螺杆214在管体213内转动，并将转动趋势传递给所述螺套215，而由于螺套受凸起218和滑道219的配合影响，无法转动，因此将转动力化为向外的直线移动，进而带动支撑杆216运动，实现支撑架底端的长度微调节，便于用户架平支架及其安装座，为后续的拍摄工作提供良好的基础保障。

[0125] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

[0126] 最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。