可视移动终端全景视频的实现方法及系统

摘要

本发明公开了一种可视移动终端全景视频的实现方法及系统。本发明是在360度范围内采集多路视频图像，将图像进行柱面坐标变换后，提取图像中的特征点，根据特征点对相邻的视频图像进行拼接融合，形成全景视频图像，然后将获得的全景视频图像进行输出，从而在可视移动终端上实现全景视频通话。本发明通可以使通话双方看到对方360度范围内的真实环境信息，充分利用了3G网络提供的可视技术，实现真实世界里面对面的对话场景。

权利要求

1.一种可视移动终端全景视频的实现方法，其特征在于，包括以下步骤：在360度范围内采集多路视频图像并进行缓存；

将所述缓存的视频图像的平面坐标变换成柱面坐标；

对所述变换成柱面坐标的多路视频图像提取特征点，并从相邻的视频图像中找出特征点对，根据所述特征点对计算出相邻视频图像的位置差参数；

根据所述特征点对和位置差参数将所述多路视频图像融合拼接成全景视频图像并缓存；

输出所述缓存的全景视频图像。

2.如权利要求1所述的方法，其特征在于，采用一组环绕定向视频采样器采集所述多路视频图像，当采用6个环绕定向视频采样器时，在360度的周围环境采集6路视频信号。

3.如权利要求1所述的方法，其特征在于，通过以下方法从所述视频图像中提取特征点：计算视频图像像素点水平与垂直方向的梯度；

用水平和垂直方向的梯度分别与高斯窗平滑函数进行卷积运算得到一个二阶实对称矩阵，二阶实对称矩阵具有两个特征值；

利用所述二阶实对称矩阵的两个特征值求取该像素点的评价函数，判断所得的评价函数值是否大于一设定的阈值，如果是，该像素点为特征点；如果否，该像素点不是特征点。

4.如权利要求1所述的方法，其特征在于，找出相邻两幅视频图像的特征点对的方法为：以第一幅视频图像中的某个特征点为参考点，和第二幅视频图像中的每一个特征点分别计算相关系数，从而得到一组相关系数；

选择这组相关系数中最大的相关系数所对应的第二幅视频图像中的特征点为第一幅视频图像中这个参考特征点在第二幅视频图像中的匹配特征点，所述匹配特征点与参考特征点组成一个特征点对。

5.如权利要求3所述的方法，其特征在于，找出相邻两幅视频图像的特征点对的方法为：以第一幅视频图像中的某个特征点为参考点，和第二幅视频图像中的每一个特征点分别计算相关系数，从而得到一组相关系数；

选择这组相关系数中最大的相关系数所对应的第二幅视频图像中的特征点为第一幅视频图像中这个参考特征点在第二幅视频图像中的匹配特征点，所述匹配特征点与参考特征点组成一个特征点对。

6.如权利要求4或5所述的方法，其特征在于，找出两幅视频图像中的特征点对后，还包括去除伪特征点对的步骤：计算出每个特征点对中的特征点与匹配特征点的水平坐标之差和垂直坐标之差，该水平坐标之差和垂直坐标之差组成差值对；

从所述差值对中选出数目最多的差值对数值；

判断某特征点对的差值对数值是否为所述数目最多的差值对数值，如果是，该特征点对是真实特征点对，保留；如果不是，该特征点对是伪特征点对，去除该特征点对。

7.如权利要求5所述的方法，其特征在于，所述阈值通过以下方法设定：(a)设定一初始阈值和一步长，分别提取出第一幅视频图像和第二幅视频图像中的特征点；

(b)以第一幅视频图像中的特征点为参考点，通过相关系数法在第二幅视频图像中寻找对应的特征点；计算每个特征点对所对应的差值对，并比较各特征点对的差值对，得到数量最多的差值对；其中，差值对是由每个特征点对中的特征点与匹配特征点的水平坐标之差和垂直坐标之差组成的；

(c)以第二幅视频图像中的特征点为参考点，通过相关系数法在第一幅视频图像中寻找对应的特征点；计算每个特征点对所对应的差值对，并比较各特征点对的差值对，得到数量最多的差值对；

(d)比较两次得到的差值对是否相等，如果相等，将阈值增加一个步长；如果不相等，将阈值减少一个步长；

(e)将新的阈值作为初始阈值，重复步骤(a)～(d)，并判断与上次差值对的比较结果是否相反，如果是，执行下一步骤；如果不是，将新的阈值作为初始阈值，返回步骤(a)；

(f)判断两次的差值对是否相等，如果是，将所述步长减半并且使阈值增加一个步长；

如果不是，将所述步长减半并且使阈值减少一个步长；

(g)将新的阈值作为初始阈值，重复步骤(a)～(f)直到步长小于1，所得阈值即为设定阈值。

8.一种可视移动终端全景视频的实现系统，其特征在于，包括依次相连的视频采样缓存模块、柱面坐标变换模块、视频图像融合模块、视频输出缓存模块和视频显示模块，其中，所述视频采样缓存模块，用于多路视频的采样及对采样到的视频图像进行缓存；

所述柱面坐标变换模块，用于将所述视频采样缓存模块中缓存的视频图像的平面坐标变换成柱面坐标；

所述视频图像融合模块，用于将所述变换成柱面坐标的多路视频图像融合拼接成全景视频图像，具体包括特征点提取单元、视频图像配准单元和视频图像融合单元；其中：所述特征点提取单元，用于对所述变换成柱面坐标的多路视频图像提取特征点；

所述视频图像配准单元，用于从相邻的视频图像中找出特征点对；

所述视频图像融合单元，用于根据由特征点对计算得出的相邻视频图像的位置差参数以及所述特征点对将所述多路视频图像融合拼接成全景视频图像；

所述视频输出缓存模块，用于对融合后待输出的全景视频图像进行缓存；

所述视频显示模块，用于显示缓存在视频输出缓存模块中的融合后的全景视频图像。

9.如权利要求8所述的系统，其特征在于，所述视频采样缓存模块采用一组环绕定向视频采样器采集多路视频图像，当采用6个环绕定向视频采样器时，在360度的周围环境采集6路视频信号。

10.如权利要求8所述的系统，其特征在于，所述视频显示模块还用于根据全景视频图像大小的判断来调整显示器的分辨率参数。

说明书

可视移动终端全景视频的实现方法及系统

技术领域

[0001] 本发明涉及移动终端的视频技术，具体地说，是一种在可视移动终端上实现全景视频的方法及系统。

背景技术

[0002] 自从1995年问世的第一代数字手机开始，在短短的十几年的时间里移动通信技术见证了从第一代的语音通信业务、第二代增加的无线数据业务到无线通信与国际互联网等多媒体通信结合的第三代(3G)移动通信。纵观无线通讯技术，基本规律是网络频带越来越宽、提供更快的数据传输速率以适应层出不穷的市场新需求。第三代移动通信3G网络的带宽已经远远超出语音通信的要求，具有处理图像、音乐、视频等多种媒体形式，提供包括网页浏览、电话会议、电子商务等多种信息服务的优势。3G技术最明显的特征就是能提供更快的数据传输速率以及更宽的网络频带，这为传输图像等大数据量业务提供了支持。基于这样高速的无线传输网络环境，就可实现在3G手机间的可视通话。在不久的将来，人们打电话时有望不再只闻其声不见其面了，这是3G时代所带来的巨大变化。

[0003] 人类所获得的信息的70～80％来自于视觉，而图像是人类获取视觉信息的主要途径。通常我们能够很容易的获取现实世界中的一系列局部的分离图像，然而把这些分离的图像信息合成为“全景世界”对我们更为重要。全景视图是指以观察者为中心，绕固定点旋转一周所观察到的360度的视野场景的表示技术，它是一种全新的图像信息组织模式，可以表达完整的周围的环境信息。宽视野、高分辨率的图像或视频在一些领域显得越来越重要，比如摄影技术的全景图像的实现等。未来可视化无线通讯系统的发展也同样需要实现全景图像的可视。3G终端设备通常具有超大的彩色显示屏，这也为全景可视化提供了可能。模拟真实的面对面地对话环境是3G可视通话的发展目 标，所以我们追求的不仅仅是看到通话对方可视范围内的图像信息，同时想了解通话对方周围的环境情况，即模拟出我们与通话者面对面真实环境下对话的场景。

[0004] 实现移动终端设备全景视频的可视化技术是一个复杂的过程，不仅涉及到无线网络技术，同时需要成熟的图像处理技术以及压缩技术的支持。过去的十几年，也同时见证了图像处理技术以及压缩技术的发展。这些技术的发展将为宽视角甚至全景可视电话技术创造了必要的条件，相信不久的将来图像处理技术与移动终端设备技术相结合将产生未来全新的应用市场。

[0005] 全景可视电话技术的关键点就是在移动通信技术平台上实现图像的实时摄取、实时传输和实时全景可视。为了获得视野比较开阔的照片或视频人们通常使用广角镜头进行拍摄，但这种图像或视频也只是一定范围内的场景，而要想获得360度的全景图像或视频，很显然广角镜头是不能解决问题的。因此图像拼接技术应运而生，它的目的就是把一系列局部真实世界的图像或视频合成为一个单一的、更大的、更复杂的全景图像，使我们可以更加客观、形象地认识和理解真实世界。

[0006] 现有技术中，视频通话还只能传送普通的、单个摄像头获取区域内的视频图像，还无法实现全景视频图像的视频通话。

发明内容

[0007] 本发明要解决的技术问题是提供一种在可视移动终端上实现全景视频的方法及系统，使在移动终端设备间进行可视通话时，通话双方可以看到对方360度范围内的真实环境信息，从而可以充分利用3G网络提供的可视技术实现真实世界里面对面的对话场景。 [0008] 为了解决上述问题，本发明提供了一种可视移动终端全景视频的实现方法，包括以下步骤：

[0009] 在360度范围内采集多路视频图像并进行缓存；

[0010] 将所述缓存的视频图像的平面坐标变换成柱面坐标；

[0011] 对所述变换成柱面坐标的多路视频图像提取特征点，并从相邻的视频图像中找出特征点对，根据所述特征点对计算出相邻视频图像的位置差参数；

[0012] 根据所述特征点对和位置差参数将所述多路视频图像融合拼接成全景视频图像并缓存；

[0013] 输出所述缓存的全景视频图像。

[0014] 进一步地，采用环绕定向视频采样器采集所述多路视频图像，所述环绕定向视频采样器定向角度为60度，在360度的周围环境采集6路视频信号。

[0015] 进一步地，通过以下方法从所述视频图像中提取特征点：

[0016] 计算图像像素点水平与垂直方向的梯度；

[0017] 用水平和垂直方向的梯度分别与高斯窗平滑函数进行卷积运算得到一个二阶实对称矩阵，二阶实对称矩阵具有两个特征值；

[0018] 利用所述二阶实对称矩阵的两个特征值求取该像素点的评价函数，判断所得的评价函数值是否大于一设定的阈值，如果是，该像素点为特征点；如果否，该像素点不是特征点。

[0019] 进一步地，找出相邻两幅图像的特征点对的方法为：

[0020] 以第一幅图像中的某个特征点为参考点，和第二幅图像中的每一个特征点分别计算相关系数，从而得到一组相关系数；

[0021] 选择这组相关系数中最大的相关系数所对应的第二幅图像中的特征点为第一幅图像中这个参考特征点在第二幅图像中的匹配特征点，所述匹配特征点与参考特征点组成一个特征点对。

[0022] 进一步地，找出两幅图像中的特征对后，还包括去除伪特征对的步骤： [0023] 计算出各特征对与其它特征对的水平坐标之差和垂直坐标之差，该水平坐标之差和垂直坐标之差组成差值对；

[0024] 从所述差值对中选出数目最多的差值对数值；

[0025] 判断某特征对的差值对数值是否为所述数目最多的差值对数值，如果是，该特征对是真实特征对，保留；如果不是，该特征对是伪特征对，去除该特征对。 [0026] 进一步地，所述阈值通过以下方法设定：

[0027] (a)设定一较大的初始阈值和一步长，分别提取出第一幅图像和第二幅图像中的特征点；

[0028] (b)以第一幅图像中的特征点为参考点，通过相关系数法在第二幅图像中寻找对应的特征点；计算每个特征对所对应的距离对，并比较各特征对的距离对，得到数量最多的距离对；

[0029] (c)以第二幅图像中的特征点为参考点，通过相关系数法在第一幅图像中寻找对应的特征点；计算每个特征对所对应的距离对，并比较各特征对的距离对，得到数量最多的距离对；

[0030] (d)比较两次得到的距离对值是否相等，如果相等，将阈值增加一个步长；如果不相等，将阈值减少一个步长；

[0031] (e)重复步骤(a)～(d)，并判断与上次距离对值的比较结果是否相反，如果是，执行下一步骤；如果不是，返回步骤(a)；

[0032] (f)将所述步长减半，判断两次的距离对是否相等，如果是，使阈值增加一个步长；如果不是，使阈值减少一个步长；

[0033] (g)重复步骤(a)～(f)直到步长小于1，所得阈值即为设定阈值。 [0034] 为了解决上述技术问题，本发明还提供了一种可视移动终端全景视频的实现系统，包括依次相连的视频采样缓存模块、柱面坐标变换模块、视频图像融合模块、视频输出缓存模块和视频显示模块，其中，

[0035] 所述视频采样缓存模块，用于多路视频的采样及对采样到的视频图像进行缓存； [0036] 所述柱面坐标变换模块，用于将所述视频采样缓存模块中缓存的视频图像的平面坐标变换成柱面坐标；

[0037] 所述视频图像融合模块，用于将所述变换成柱面坐标的多路视频图像融合拼接成全景视频图像；

[0038] 所述视频输出缓存模块，用于对融合后待输出的全景视频图像进行缓存； [0039] 所述视频显示模块，用于显示缓存在视频输出缓存模块中的融合后的全景视频图像。

[0040] 进一步地，所述视频采样缓存模块采用环绕定向视频采样器采集多路视频图像，所述环绕定向视频采样器定向角度为60度，在360度的周围环境采集6路视频信号。 [0041] 进一步地，所述视频图像融合模块又包括特征点提取单元、视频图像配准单元和视频图像融合单元，其中：

[0042] 所述特征点提取单元，用于提取视频图像中的特征点；

[0043] 所述视频图像配准单元，用于对相邻的两幅视频图像的特征点进行匹配； [0044] 所述视频图像融合单元，用于将具有特征点对的两幅视频图像进行融合，形成一幅大的视频图像。

[0045] 进一步地，所述视频显示模块还用于根据全景视频图像大小的判断来调整显示器的分辨率参数。

[0046] 本发明通过将环绕定向视频采样器采集到的多路视频图像拼接成全景图像进行传输显示，可以使通话双方看到对方360度范围内的真实环境信息，充分利用了3G网络提供的可视技术，实现真实世界里面对面的对话场景。

[0047] 附图说明

[0048] 图1是本发明的可视移动终端实现全景视频的系统的结构原理图； [0049] 图2是本发明从视频图像中提取特征点的流程图；

[0050] 图3是本发明对视频图像进行配准的流程图；

[0051] 图4是本发明视频全景图像融合过程的原理图。

[0052] 具体实施方式

[0053] 本发明的主要构思是在3G网络通信技术基础上，利用图像拼接处理技术，实现实时传输通话环境定向角度摄取的离散图像帧序列之间的无缝融合，从而使得移动终端设备展示出通话对方360度范围的真实环境信息，达 到模拟出真实环境下的对话场景。 [0054] 下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。 [0055] 如图1所示，为移动终端设备全景图像可视系统的结构示意图。主叫方110通过移动3G网络120向被叫方130发起呼叫，被叫方130接收到呼叫后，接通全景视频通话。全景视频通话过程中，由本发明的可视移动终端全景视频系统产生全景视频图像。该系统包括：依次相连的视频采样缓存模块131、柱面坐标变换模块132、视频图像融合模块133、视频输出缓存模块134和视频显示模块135。其中，根据不同角度视频采样器所采样的视频图像信号的不同，在视频图像融合模块133中又设置了相应的特征点提取单元1331、视频图像配准单元1332和视频图像融合单元1333。下面对各模块和单元进行说明。 [0056] 视频采样缓存模块131，用于视频的采样及对采样到的视频图像进行缓存。移动终端设备采用环绕定向视频采样器采集所述多路视频图像，当采用6个环绕定向视频采样器时，在360度的周围环境采集6路视频信号。本发明不限于此，根据需要可以采样其它数目路视频信号。相邻的两路视频图像之间存在重叠区域，正是重叠区域的存在使得相邻离散的视频图像可以通过重叠区域的共同区实现融合。由于视频图像是实时采样和传输的，而视频图像融合处理存在一定的时延性，因此视频图像采样速度和图像融合就不能保持同步，为了消除两者的异步差，可以将6路视频信号进行缓存以达到两者速度的匹配； [0057] 柱面坐标变换模块132，用于将视频采样缓存模块131中缓存的视频图像的平面坐标变换成柱面坐标。环绕定向视频采样器拍摄到的各路视频图像是具有重叠区域的平面视频图像且相邻视频图像之间的相关性很小，如果对拍摄的原始图像序列直接进行拼接，将会破坏实际场景的视觉一致性，无法满足实际场景中各对象间的几何关系。为了保持实际场景中的空间约束关系，需将拍摄得到的原始图像序列映射到一个统一的柱面坐标空间上即进行柱面投影，这时得到的新图像序列之间只存在水平方向和垂直方向的平移关系。对新的柱面图像序列进行拼接就可以得到360度全景图；

[0058] 视频图像融合模块133，是移动终端设备全景图像可视系统的核心模块，它是将输入的离散的视频图像帧序列进行视频拼接融合的主要器件。根据不同角度视频采样器所采样的视频图像信号的不同又进一步设置了相应的特征点提取单元1331、视频图像配准单元1332和视频图像融合单元1333，其中：

[0059] 特征点提取单元1331，用于提取视频图像中的特征点。视频图像融合首先是要尽可能准确的提取出图像的特征点，所以选择高精度的提取方法至关重要。本发明采用的特征点检测器是由Chris Harris(克里斯·哈里斯)所提出的混合的角和边检测器。根据大量的试验证明，混合的角和边检测器在一致性和有效性方面均具有优良的性能。所述一致性是指对所有的角的提取策略和对所有边的提取策略是一致的；所述有效性是指提取的特征点是能充分表现图像本身特征的点，即这些点是图像的固有属性的特征点。而且这种检测器提取的特征点被证明具有旋转、平移不变性，对信号噪声、数据获取时的参数变化和图像变换以及图像光照条件等具有较好的鲁棒性，即具有一定的惰性，指在一定的条件下该方法不会因为外界因素的影响而失去自己的功能和性质，即能适应大多数环境。所以本发明可以采用这种混合的角和边检测器作为特征点的提取工具；

[0060] 视频图像配准单元1332，用于相邻的两幅视频图像的特征点进行匹配。对两幅视频图像提取特征点后，接着要对他们进行匹配即寻找对应的特征点对。通过混合检测器提取的特征点中有相当多的冗余点，如果不去除这些冗余的特征点将会导致配准参数的误差。为了有效的去除冗余特征点的干扰，本发明提出一种双向最大相关系数匹配与空间坐标距判别准则相结合的匹配策略，该方法在去除冗余的特征点的同时能准确的提取出正确的匹配特征对。通过正确的匹配特征对可以得到相邻两幅视频图像在水平和垂直空间上的位置差参数，利用这一参数以一幅视频图像为基准对另外一幅视频图像进行水平空间平移变换处理。这样在空间上两幅视频图像就被匹配对准了，为下一步融合为更大图像提供了空间上的位置关系；

[0061] 视频图像融合单元1333，用于将具有特征点对的两幅视频图像进行融合，形成一幅大的视频图像。将两幅视频图像配准之后，接着就需要选择合适的图像融合策略来完成图像的拼接。选择融合策略应当满足两方面的要求：融合边界过渡应平滑，消除融合接缝实现无缝拼接；尽量保证不因融合处理而损失原始图像的信息。用来融合的原始视频图像一般情况下由于采样时间和 采样角度等因素的不同而使重叠部分呈现出明暗强度及变形程度的差异，如果直接对这样的图像进行简单的叠加融合，得到的融合图像在重叠区域的边缘上会存在明显的接缝以及重叠区域的模糊和失真现象。为了能够使融合后的图像具有视觉一致性而且没有明显的接缝，本发明采用加权平均的融合方法进行图像平滑过渡。通过该方法融合的图像可能由于两幅视频图像重叠部分中个别对应像素灰度值存在较大的差异而使融合后的图像在这些像素处的灰度值出现跳变。为了使融合后的图像更加平滑，本发明还引入阈值来控制两幅图像重叠区域对应像素灰度值的差异。实验表明针对差异的大小选择合适的阈值，可以明显改善重叠区域的平滑效果。

[0062] 视频输出缓存模块134，用于对融合后待输出的视频图像进行缓存。同视频采样缓存模块原理一样，由于可视移动终端设备的显示是实时显示，这样会给人一种视觉上连续的感觉，但是视频图像融合具有时延性，为了达到实时显示的效果，必须先对融合后的全景视频序列进行缓存达到在时间上满足融合与显示的同步；

[0063] 视频显示模块135，用于显示缓存在视频输出缓存模块中的融合后的视频图像，并可以根据全景视频图像大小的判断来调整分辨率参数，可以自动调整显示器的分辨率使得显示效果达到最佳。对于3G移动终端设备来说，一般都具有超大的显示屏来显示通话对方的视频图像。一般的可视移动终端设备显示的只是一定分辨率下通话对方摄像头所能拍摄到的有限空间，为了显示全景视频图像就必须调整显示器的分辨率，所以本发明提供的视频显示模块可以根据全景视频图像大小的判断来调整分辨率参数，可以自动调整显示器的分辨率使得显示效果达到最佳。

[0064] 如图2所示，为视频图像特征点自动提取流程。利用混合的边和角检测器(以下简称混合检测器)提取兴趣点的基本原理是使用自相关函数来确定信号发生二维变化的位置。首先计算图像像素点水平与垂直方向的梯度，然后用水平和垂直方向的梯度分别与高斯窗平滑函数进行卷积运算而得到一个二阶实对称矩阵。二阶实对称矩阵必然存在两个特征值，特征值的大小反映了图像像素的特征性，也就是如果某像素点是一特征点，那么关于这个点的二阶实对称矩阵的两个特征值都是正值，并且它们是以该像素为中心的区域 中的局部最大值。区域的大小可以根据图像的大小以及需要达到提取特征点的精确度来确定，比如以特征点为中心的4*4、8*8、15*15范围的像素组成的范围大小。利用像素点的两个特征值求取该点的评价函数，当像素点的评价函数值大于某一个阈值时，这个点所对应的位置点就是特征点。其中阈值由特征点的多少决定，而且是与提取特征点的多少成反比的，即阈值越大则提取的特征点越少，否则反之。

[0065] 图3所示，为视频图像配准流程。图像配准原理就是寻找两幅提取特征点后的视频图像的对应特征点对。首先计算特征点相关系数，以第一幅图像中的某个特征点为参考点，和第二幅图像中的每一个特征点分别计算相关系数，这样就会得到一组相关系数，此时选择这组相关系数中最大的相关系数所对应的特征点为第一幅图像中这个点(即参考特征点)在第二幅图像中的匹配特征点。通过以上方法匹配之后得到的匹配对中仍存在伪匹配对，如何去除这些伪匹配对是整个图像配准的关键环节，所以本发明采用一种空间坐标距判别准则。经过分析可以得到如下事实：分别存在于两幅图像中的特征对，则它们与其它特征对的水平坐标之差和垂直坐标之差所组成的一对值称为差值对(也称为距离对)。如果一对特征对是正确的匹配对的话，那么它与其它匹配对之间的差值对应该是所有匹配对的差值对的大多数，否则不是正确的匹配对。

[0066] 在利用混合检测器提取特征点的过程中，需要确定特征点提取评价函数的阈值，阈值的确定对于图像配准精度有着很大的影响。如果阈值设置太小，将会增加特征点个数而使计算量增加，阈值设置过大将会增加特征点漏选、错选的概率。因此为了达到两者的折衷，本发明设计了一种自动调整阈值大小的方法。

[0067] 综上所述，双向最大相关系数与空间坐标距判别准则配准算法具体过程描述如下：

[0068] (1)首先，设定一较大的初始阈值和一步长，通过混合检测器分别提取出第一幅图像和第二幅图像中的特征点；

[0069] (2)以第一幅图像中的特征点为参考点，通过相关系数法在第二幅图像中寻找对应的特征点；

[0070] (3)计算每个特征对所对应的距离对；

[0071] (4)比较各特征对的距离对，得到数量最多的距离对；

[0072] (5)以第二幅图像中的特征点为参考点，通过相关系数法在第一幅图像中寻找对应的特征点；然后重复(3)、(4)步；

[0073] (6)比较两次得到的距离对值是否相等；这时我们可以通过以下步骤来自动调整阈值：

[0074] (a)第一阶段：将初始阈值设为初始的节点，以初始节点为中心，如果两次的距离对相等，则阈值增加一个步长，此时对应的新阈值设为新的节点；如果两次的距离对不相等，则阈值减少一个步长，此时对应的新阈值设为另外一个新节点；然后将新节点作为新的初始节点重复以上过程(即步骤(1)～(6)的过程)，当第一次遇到新的节点与初始节点所得到的结果相反时(即两次的距离对相等或不相等，即如果初始节点表示距离对相等而新节点表示距离对不相等，则表示“结果相反“，反之则表示“结果相同“)，进入第二阶段；否则，步长保持不变，然后将新节点对应的阈值(即增加或减少一个步长之后的阈值)作为初始阈值返回第一阶段。

[0075] (b)第二阶段：以新节点为中心，如果两次的距离对相等，则步长减半并且使阈值增加一个步长(即增加半个原步长)；如果两次的距离对不相等，则步长减半并且使阈值减少一个步长(即减少半个原步长)。

[0076] (c)反复进行第二阶段直到步长的整数位减为0，同时保证两次得到的距离对相等。

[0077] 经过以上鲁棒性的算法之后，就获得了两幅图像之间正确匹配对，最后利用正确匹配对的水平和垂直坐标差对，以一幅视频图像为基准对另外一幅视频图像进行水平空间平移变换处理获得第一幅图像的配准图像。

[0078] 图4所示，为视频全景图像融合原理图。从微观上讲本发明采用加权平均的融合方法消除了融合图像在重叠区域边缘上存在的明显的接缝以及重叠区域的模糊和失真现象，同时本发明还引入阈值来控制两幅图像重叠区域对应像素灰度值的差异。从宏观上讲，本发明采用图像帧到拼接图像的拼接方式，即将当前图像帧(被拼接的、越来越大的那个图像)与拼接图像(摄取 到的基本图像)进行配准。在拼接图像与当前图像帧之间存在较大位移的情况下，可以将前一帧图像与拼接图像间的配准参数作为初始值进行配准。这种合成方式也称为动态图像拼接技术，即采用增量处理的方式，将当前图像(摄取到的基本图像)与当前拼接图像(被拼接的、越来越大的那个图像)变换到同一坐标系上进行配准，以当前的图像内容来更新当前的拼接图像内容。其中，当前拼接图像由当前图像以前的一段图像序列拼接而成)。在这里，因为将图像序列中的图像逐幅变换到当前拼接图像所在的坐标系上进行配准，因此坐标系保持固定不变。由于采用增量的拼接方式，当场景中存在运动目标时，利用动态图像拼接技术获得的拼接图像不会出现运动目标消失的现象。如图4所示是帧到拼接图像合成方式示意图，图中f1为参考视频图像。

[0079] 综上所述，本发明提供了移动终端设备实现可视全景图像的方法及系统。本发明可以理想的完成移动终端设备全景图像可视技术的功能。

[0080] 以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。