一种图像处理方法及装置

摘要

本发明提供了一种图像处理方法及装置，其中，该方法包括：分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合。通过本发明，可以解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，实现了在不增加额外设备的情况下，通过移动终端完成虚拟现实结合，提高了用户体验的效果。

权利要求

1.一种图像处理方法，其特征在于，包括：

分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息，包括：在所述深度信息所映射的三维地图中定位接收到的所述图像信息；根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息；

将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

2.根据权利要求1所述的方法，其特征在于，在根据所述相匹配特征的差别确定所述相匹配特征的深度信息之前，所述方法还包括：在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

3.根据权利要求1所述的方法，其特征在于，在确定所述第一图像和所述第二图像中相匹配特征的差别之前，所述方法还包括：调整所述第一图像和所述第二图像的亮度和对比度。

4.根据权利要求1所述的方法，其特征在于，

所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；

或者，

所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

5.根据权利要求1所述的方法，其特征在于，根据所述相匹配特征的差别确定所述相匹配特征的深度信息包括：通过以下公式确定所述相匹配特征的深度信息z：

z＝EFL[1+(B1/L1-L2)]，

其中，EFL为焦距，B1为所述第一镜头组与所述第二镜头组之间的距离，L1-L2为所述相匹配特征的位置差。

6.根据权利要求2 所述的方法，其特征在于，

所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

7.根据权利要求2 所述的方法，其特征在于，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。

8.根据权利要求7所述的方法，其特征在于，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组之间的距离。

9.一种图像处理装置，其特征在于，包括：

拍摄模块，用于分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

第一确定模块，用于对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

第二确定模块，用于根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

生成模块，用于将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

组合模块，用于将所述虚拟媒体信息与所述第一图像或第二图像进行组合；

其中，所述生成模块包括：

定位单元，用于在所述深度信息所映射的三维地图中定位接收到的所述图像信息；

生成单元，用于根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第一重新确定模块，用于在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，第二重新确定模块，用于在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

11.根据权利要求9所述的装置，其特征在于，所述装置还包括：调整模块，用于调整所述第一图像和所述第二图像的亮度和对比度。

12.根据权利要求9所述的装置，其特征在于，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

13.根据权利要求9所述的装置，其特征在于，所述第二确定模块，还用于通过以下公式确定所述相匹配特征的深度信息z：z＝EFL[1+(B1/L1-L2)]，

其中，EFL为焦距，B1为所述第一镜头组与所述第二镜头组之间的距离，L1-L2为所述相匹配特征的位置差。

14.根据权利要求10 所述的装置，其特征在于，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

15.根据权利要求10 所述的装置，其特征在于，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。

16.根据权利要求15所述的装置，其特征在于，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组之间的距离。

17.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。

18.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。

说明书

一种图像处理方法及装置

技术领域

[0001] 本发明涉及通信领域，具体而言，涉及一种图像处理方法及装置。

背景技术

[0002] 增强现实(Augmented Reality，简称为AR)是在真实的现实世界视觉信息的基础上加入包括视频、图像、文字、声音等其他计算机产生的虚拟媒体信息的技术。该技术的一个重要应用领域是帮助用户体验当前场景中在物理距离上或者时间上不可能接触的体验，增加或提升用户对真实世界场景中的信息的感知。但是AR技术可能要求专用的系统或者硬件设备，例如头戴显示器、智能眼镜、带有独立显卡的计算机等，这些都要求一定的成本或者使用环境，在无形中限制了AR的使用场景。尤其是AR中的深度信息处理过程是AR系统或者设备实现虚拟场景与现实场景融合的关键所在，能够在不增加额外的设备利用用户携带的移动终端完成深度信息处理仍是当前待解决的重要问题。

[0003] 针对相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，尚未提出解决方案。

发明内容

[0004] 本发明实施例提供了一种图像处理方法及装置，以至少解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题。

[0005] 根据本发明的一个实施例，提供了一种图像处理方法，包括：

[0006] 分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0007] 对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0008] 根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0009] 将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0010] 将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0011] 可选地，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息包括：

[0012] 在所述深度信息所映射的三维地图中定位接收到的所述图像信息；

[0013] 根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。

[0014] 可选地，在根据所述相匹配特征的差别确定所述相匹配特征的深度信息之前，所述方法还包括：

[0015] 在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，

[0016] 在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

[0017] 可选地，在确定所述第一图像和所述第二图像中相匹配特征的差别之前，所述方法还包括：

[0018] 调整所述第一图像和所述第二图像的亮度和对比度。

[0019] 可选地，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，

[0020] 所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

[0021] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或

[0022] 所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

[0023] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。

[0024] 可选地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。

[0025] 根据本发明的另一个实施例，还提供了一种图像处理装置，包括：

[0026] 拍摄模块，用于分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0027] 第一确定模块，用于对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0028] 第二确定模块，用于根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0029] 生成模块，用于将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0030] 组合模块，用于将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0031] 可选地，所述生成模块包括：

[0032] 定位单元，用于在所述深度信息所映射的三维地图中定位接收到的所述图像信息；

[0033] 生成单元，用于根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。

[0034] 可选地，所述装置还包括：

[0035] 第一重新确定模块，用于在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，

[0036] 第二重新确定模块，用于在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

[0037] 可选地，所述装置还包括：

[0038] 调整模块，用于调整所述第一图像和所述第二图像的亮度和对比度。

[0039] 可选地，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，

[0040] 所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

[0041] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或

[0042] 所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

[0043] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。

[0044] 可选地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。

[0045] 根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

[0046] 根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

[0047] 通过本发明，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合，因此，可以解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，实现了在不增加额外设备的情况下，通过移动终端完成虚拟现实结合，提高了用户体验的效果。

附图说明

[0048] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0049] 图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图；

[0050] 图2是根据本发明实施例的一种图像处理方法的流程图；

[0051] 图3是根据本发明实施例的测量图像之间位置差的示意图；

[0052] 图4是根据本发明实施例的镜头组的示意图；

[0053] 图5是根据本发明实施例的一种图像处理装置的框图；

[0054] 图6是根据本发明优选实施例的一种图像处理装置的框图一；

[0055] 图7是根据本发明优选实施例的一种图像处理装置的框图二。

具体实施方式

[0056] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0057] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

[0058] 实施例1

[0059] 本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像处理方法的移动终端的硬件结构框图，如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

[0060] 存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0061] 传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

[0062] 在本实施例中提供了一种运行于上述移动终端或网络架构的图像处理方法，图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该流程包括如下步骤：

[0063] 步骤S202，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0064] 步骤S204，对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0065] 步骤S206，根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0066] 步骤S208，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0067] 步骤S210，将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0068] 通过上步骤S202至S210，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；根据所述相匹配特征的差别确定所述相匹配特征的深度信息；将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；将所述虚拟媒体信息与所述第一图像或第二图像进行组合，因此，可以解决相关技术中如何在不增加额外设备利用用户携带的移动终端完成深度信息处理的问题，实现了在不增加额外设备的情况下，通过移动终端完成虚拟现实结合，提高了用户体验的效果。

[0069] 本发明实施例根据移动终端的两个镜头组获取深度图，根据深度图判断环境特征的深度信息(比如场景距离、位置、边缘、角度等)，从正在通信的另一用户终端接收图像信息(比如物体、人物)，并将图像信息与深度信息结合生成与现实场景能够密切结合的虚拟对象。

[0070] 可选地，上述步骤S206中，可以通过以下公式确定所述相匹配特征的深度信息z：

[0071] z＝EFL[1+(B1/L1-L2)]，

[0072] 其中，EFL为焦距，B1为所述第一镜头组与所述第二镜头组之间的距离，L1-L2为所述相匹配特征的位置差。

[0073] 可选地，上述步骤S208具体可以包括：

[0074] 在所述深度信息所映射的三维地图中定位接收到的所述图像信息；

[0075] 根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。

[0076] 在一个可选的实施例中，如果画面上距离过小，可能导致深度计算误差大，这时需要改变基线长度，具体地，在上述步骤S206之前，所述方法还包括：在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

[0077] 在另一可选的实施例中，如果画面上距离过大，则无需使用第三镜头组，可以关闭之来省电，如图3中，301和303成像L1和L3差距太大，则开启302，关闭303，距离上限根据设定选取，可以规定占图像中对角线长度的比例，超过过大时，可能会使匹配出现误差。

[0078] 本发明实施例中，针对环境光过强过弱等情况，在上述步骤S204之前，所述方法还可以包括：调整所述第一图像和所述第二图像的亮度和对比度。

[0079] 在一实施例中，若镜头组的共轴和共面未出现误差，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离。

[0080] 在另一实施例中，若镜头组的共轴和共面会出现误差，需要通过预存的镜头误差得到校正矩阵，所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

[0081] 本发明实施例中，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角，其中，为了易于匹配降低误差，该视场角具体的角度可以为60度，80度，100度等；和/或所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

[0082] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。进一步地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。可以预先设置尽可能多的基线长度选择，优化景深调节的范围。

[0083] 本发明实施例的双目测距包括在双摄镜头组中利用两个镜头组拍摄景物，利用同一景物在不同图片中的位置差距来判断该景物的景深。景物在理想情况下，两个镜头组所拍摄的图片中相同的景物将位于相同的拍摄水平线上，而在非理想情况下则通过预存数据进行图像矫正将图像转化为等价于镜头组共轴共面的理想情况，之后在拍摄水平线上搜索相匹配的目标，利用像素、像素矩阵或者窗口中的各种颜色、亮度、能量等特征进行匹配。搜索到相匹配目标之后，图3是根据本发明实施例的测量图像之间位置差的示意图，如图3所示，计算该目标在第一和第二镜头组所成的两个图像上的位置差Li-Lj，其中i＝1,2,3…,j＝1,2,3…且不等于i。则根据比例关系可确定景深(即上述的深度信息)为[0084] z＝EFL[1+(Bi/Li-Lj)]，

[0085] 其中EFL为焦距。依次类推还可以得到整张图像的景深分布图，该景深分布图可以用于插入AR的3D对象，并使其与环境能够更好地匹配。

[0086] 由于位置差有其限制，例如过小时容易造成误差，且最小也不可能超过一个像素的尺度，因此探测到的景深有其上限，且接近上限时容易出错。反之过大时说明采用了不当的基线长度，或物体过近。此时因图像本身差距过大，也会造成判断误差，并且可能增加寻找匹配特征的耗时。因此，在三摄或多摄像模组的手机中，可以通过适当地优化多个镜头组之中任意两个之间的距离，来使得深度检测时能改变所使用的镜头组来以最适合的组合来进行测距。图4是根据本发明实施例的镜头组的示意图，其中三个镜头组仅作为示例而不是限制。如图4所示，例如，在三个镜头组301、302和303中由于物体距离较远，导致初始的两个镜头组301和302所得到的深度数据误差达到预定限度后，可选择镜头组302和303，或者镜头组301和303再次进行深度检测。在具有更多个镜头组的情况下以此类推，直至误差达到可以接收的水平。反正如果物体过近，使得匹配特征的距离差较大，则会增加搜索的耗时，此时可以关闭间隔距离较大的镜头组。

[0087] 下面举例对本发明实施例进行详细说明。

[0088] 图3是根据本发明实施例的测量图像之间位置差的示意图，如图3所示，当i＝1，j＝2时，计算该目标在第一镜头组和第二镜头组所成的两个图像上的位置差L1-L2，则根据比例关系可确定景深为

[0089] z＝EFL[1+(B1/L1-L2)]，

[0090] EFL为焦距。依次类推还可以得到整张图像的景深分布图，该景深分布图可以用于插入AR的3D对象，并使其与环境能够更好地匹配。

[0091] 当5＝1，j＝2时，计算该目标在第一镜头组和第二镜头组所成的两个图像上的位置差L5-L2，则根据比例关系可确定景深为

[0092] z＝EFL[1+(B5/L5-L2)]，

[0093] EFL为焦距。依次类推还可以得到整张图像的景深分布图，该景深分布图可以用于插入AR的3D对象，并使其与环境能够更好地匹配。上述仅仅是举例对本发明实施例进行说明，并不对本发明实施例进行限定。

[0094] 由于L1-L2有其限制，例如过小时容易造成误差，且最小也不可能超过一个像素的尺度，因此探测到的景深有其上限，且接近上限时容易出错。反正过大时说明采用了不当的B1或B2，或物体过近，此时因图像本身差距过大，也会造成判断误差，并且可能增加寻找匹配特征的耗时。因此，在三摄手机中，图4是根据本发明实施例的镜头组的示意图，如图4所示，可以通过适当地优化三个镜头组两两之间的距离，来使得深度检测时能变化所使用的两组镜头来时刻使用最适合的组合来进行测距。例如，如果画面上L1和L2距离差过小(说明物体太远)，可能导致深度计算误差大，这时需要改变基线长度，改为利用302和303进行成像，此时

[0095] z＝EFL[1+(B2/L2-L3)]，

[0096] 如果依然距离差过小，则改为使用301和303。此时

[0097] z＝EFL[1+(B1+B2/L1-L3)]。

[0098] 反之如果距离差过大，说明物体太近，这样可能增加搜索时间，而且也无需使用第三的镜头因此按照上述相反步骤进行。可以定义深度及其误差或者其他图像指标的三段范围，在每段范围之内则启用相应的一组两个镜头的组合进行深度的测量。

[0099] 在得到所匹配特征(优选是可以互动的场景中的景物，可以由用户自己进行定义也可以根据预存的模板查找几类特定的景物)的深度信息之后，将从另一移动终端接收的图像信息(如正在进行视频聊天的人的影像)与上述深度信息进行结合，并将生成的虚拟媒体信息组合在真实图像上。这既可以是图片也可以是视频，可将所接收的图像信息制作成虚拟的3D形象并将实际场景中的深度信息应用于3D形象上。例如，还可以将深度图转换为3D地图数据，并在该3D地图之中布置虚拟的3D形象，3D形象的大小、位置、方向等将由此进行确定。

[0100] 实施例2

[0101] 在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

[0102] 图5是根据本发明实施例的一种图像处理装置的框图，如图5所示，包括：

[0103] 拍摄模块52，用于分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0104] 第一确定模块54，用于对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0105] 第二确定模块56，用于根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0106] 生成模块58，用于将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0107] 组合模块510，用于将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0108] 图6是根据本发明优选实施例的一种图像处理装置的框图一，如图6所示，所述生成模块58包括：

[0109] 定位单元62，用于在所述深度信息所映射的三维地图中定位接收到的所述图像信息；

[0110] 生成单元64，用于根据所述深度信息调整接收到的所述图像信息的大小、旋转方向以及移动方向，生成所述虚拟媒体信息。

[0111] 图7是根据本发明优选实施例的一种图像处理装置的框图二，如图7所示，所述装置还包括：

[0112] 第一重新确定模块72，用于在所述相匹配特征的差别小于第一预定距离阈值时，通过第三镜头组对所述场景采集得到第三图像，通过所述第一图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息；或者，

[0113] 第二重新确定模块74，用于在所述相匹配特征的差别大于第二预定距离阈值时，通过第三镜头组对所述场景进行拍摄得到第三图像，以及通过所述第二图像与所述第三图像中所述相匹配特征的差别重新确定所述相匹配特征的深度信息。

[0114] 可选地，所述装置还包括：

[0115] 调整模块，用于调整所述第一图像和所述第二图像的亮度和对比度。

[0116] 可选地，所述相匹配特征的差别包括在所述第一图像和所述第二图像中同一条线段上的距离；或者，

[0117] 所述相匹配特征的差别包括在所述第一图像和所述第二图像的投影图像中同一条线段上的距离，其中，所述投影图像是通过将所述第一图像和所述第二图像根据预先保存的校正矩阵进行变换取得的。

[0118] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组具有相同的视场角；和/或

[0119] 所述第一镜头组、所述第二镜头组以及所述第三镜头组在红外波段成像。

[0120] 可选地，所述第一镜头组、所述第二镜头组以及所述第三镜头组位于同一直线上，且所述第二镜头组位于所述第一镜头组与所述第三镜头组之间。

[0121] 可选地，所述第一镜头组与所述第二镜头组之间的距离小于所述第二镜头组与所述第三镜头组的距离。

[0122] 需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

[0123] 实施例3

[0124] 本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

[0125] 可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

[0126] S11，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0127] S12，对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0128] S13，根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0129] S14，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0130] S15，将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0131] 可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

[0132] 实施例4

[0133] 本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

[0134] 可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

[0135] 可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

[0136] S11，分别通过第一镜头组和第二镜头组对场景进行拍摄得到第一图像和第二图像；

[0137] S12，对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像与所述第二图像中相匹配特征的差别；

[0138] S13，根据所述相匹配特征的差别确定所述相匹配特征的深度信息；

[0139] S14，将所述深度信息与接收到的图像信息进行组合，生成虚拟媒体信息；

[0140] S15，将所述虚拟媒体信息与所述第一图像或第二图像进行组合。

[0141] 可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

[0142] 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

[0143] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。