用于标注的图像驱动的视图管理的方法和设备

摘要

一种移动装置使用图像驱动的视图管理方法来实时标注图像。所述移动装置所使用的基于图像的布局过程计算显著性地图，且根据视频流的帧来产生边缘地图。所述显著性地图可通过应用阈值以减少显著性等级的数目来进一步加以处理。所述显著性地图及边缘地图一起用于确定待呈现于所述视频流上的标签的布局位置。所述标签被显示于所述布局位置中，直到检测到所述相机的定向改变超过阈值为止。另外，可(例如)基于多个像素来调整所述标签的表示，所述像素以与所述视频帧中的标签的布局位置一致的区域为边界。

权利要求

1.一种用于视图管理的方法，其包括：

存储待呈现的一个或多个标签；

用相机捕捉环境的视频流；

计算来自所述视频流的至少一个帧的显著性地图；

产生具有从所述至少一个帧提取的边缘的边缘地图；

使用所述显著性地图及所述边缘地图一起来确定待呈现于所述视频流上的所述一个或多个标签的第一布局位置；

在显示所述视频流时在所述第一布局位置将所述一个或多个标签呈现于所述视频流上；

检测所述相机相对于先前帧定向的大于阈值的定向改变；以及

将所述一个或多个标签显示于所述第一布局位置中，直到检测到所述相机的所述定向改变为止。

2.根据权利要求1所述的方法，其中计算所述至少一个帧的所述显著性地图包括计算所述至少一个帧的初始显著性地图及将一个或多个阈值应用到所述初始显著性地图。

3.根据权利要求1所述的方法，其中使用所述显著性地图及所述边缘地图一起来确定所述第一布局位置包括基于一个或多个因数来优化所述一个或多个标签的位置，所述因数包括：所述显著性地图上标签与关注点的重叠；所述边缘地图上所述标签与所述关注点的重叠；所述标签的指引线的长度；所述标签的所述指引线的定向；以及所述标签与另一标签的重叠。

4.根据权利要求3所述的方法，其中优化所述一个或多个标签的所述位置包括使用贪婪算法及基于力的算法之一。

5.根据权利要求1所述的方法，其中呈现所述一个或多个标签包括：

分析以与标签的布局位置一致的区域为边界的多个像素；

基于所述标签的初始表示与以所述区域为边界的所述多个像素之间的对比度来调整所述标签的表示；以及以所述调整的表示在所述布局位置上呈现所述标签。

6.根据权利要求5所述的方法，其中以与所述标签的所述布局位置一致的所述区域为边界的所述多个像素包括位于所述标签下方的像素及位于所述标签周围的像素中的至少一者。

7.根据权利要求5所述的方法，其中调整所述标签的所述表示包括调整所述标签的至少一个组件，包括指引线、锚点及文本周围背景。

8.根据权利要求7所述的方法，其中调整所述指引线包括调整所述指引线的饱和度及亮度中的至少一者以增加相对于以与所述指引线一致的区域为边界的所述多个像素的对比度。

9.根据权利要求7所述的方法，其中调整所述锚点包括调整所述锚点的饱和度及亮度中的至少一者以增加相对于以与锚点一致的区域为边界的所述多个像素的对比度。

10.根据权利要求1所述的方法，其中所述方法进一步包括确定从所述相机到被标记的所述环境中的关注点的距离，及基于所述距离来调整锚点的表示。

11.根据权利要求7所述的方法，其中调整所述文本周围背景包括调整所述文本周围背景中的至少一者的饱和度及亮度中的至少一者以增加相对于以与所述文本周围背景一致的区域为边界的所述多个像素的对比度。

12.根据权利要求5所述的方法，其中以所述区域为边界的所述多个像素包括所述至少一个帧中的所有像素。

13.根据权利要求5所述的方法，其中存在多个标签，其中分析以与所述标签的所述布局位置一致的所述区域为边界的所述多个像素包括分析以与所述多个标签的布局位置一致的区域为边界的多重多个像素。

14.根据权利要求1所述的方法，其中在所述第一布局位置中将所述一个或多个标签呈现于所述视频流上，直到所述一个或多个标签的后续确定的第二布局位置比距所述第一布局位置的阈值距离更远为止。

15.一种用于视图管理的设备，其包括：

相机，其捕捉环境的视频流；

运动传感器，其响应于移动而产生数据；

显示器；

存储器，其用于存储待呈现的一个或多个标签；以及

处理器，其耦合到所述显示器，耦合到所述相机以接收所述环境的所述视频流，耦合到所述运动传感器以接收响应于所述移动的所述数据，及耦合到所述存储器以用于接收待呈现的所述一个或多个标签，所述处理器经配置以计算来自所述视频流的至少一个帧的显著性地图，产生具有从所述至少一个帧提取的边缘的边缘地图，使用所述显著性地图及所述边缘地图一起来确定待呈现于所述视频流上的所述一个或多个标签的第一布局位置，及在所述视频流显示于所述显示器上时在所述第一布局位置中将所述一个或多个标签呈现于所述视频流上，使用所述运动传感器所产生的所述数据来检测所述相机相对于先前帧的定向的大于阈值定向改变，及在所述第一布局位置中显示所述一个或多个标签，直到检测到所述相机的所述定向改变为止。

16.根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以计算所述至少一个帧的初始显著性地图及将一个或多个阈值应用到所述初始显著性地图来计算来自所述视频流的所述至少一个帧的所述显著性地图。

17.根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以基于一个或多个因数来优化所述一个或多个标签的布局位置来使用所述显著性地图及所述边缘地图一起来确定所述第一布局位置，所述因数包括：所述显著性地图上标签与关注点的重叠；所述边缘地图上所述标签与所述关注点的重叠；所述标签的指引线的长度；所述标签的所述指引线的定向；以及所述标签与另一标签的重叠。

18.根据权利要求17所述的设备，其中所述处理器经配置以通过经配置以使用贪婪算法及基于力的算法之一来优化所述一个或多个标签位置的所述布局位置。

19.根据权利要求15所述的设备，其中所述处理器经配置以通过经配置以进行以下各项来呈现所述一个或多个标签：分析以与标签的布局位置一致的区域为边界的多个像素；

基于所述标签的初始表示与以所述区域为边界的所述多个像素之间的对比度来调整所述标签的表示；以及以所述调整的表示在所述布局位置上呈现所述标签。

20.根据权利要求19所述的设备，其中以与所述标签的所述布局位置一致的所述区域为边界的所述多个像素包括位于所述标签下方的像素及位于所述标签周围的像素中的至少一者。

21.根据权利要求19所述的设备，其中所述处理器经配置以通过经配置以调整所述标签的至少一个组件来调整所述标签的所述表示，所述至少一个组件包括指引线、锚点及文本周围背景。

22.根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述指引线的饱和度及亮度中的至少一者以增加相对于以与所述指引线一致的区域为边界的所述多个像素的对比度来调整所述指引线。

23.根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述锚点的饱和度及亮度中的至少一者以增加相对于以与所述锚点一致的区域为边界的所述多个像素的对比度来调整所述锚点。

24.根据权利要求15所述的设备，所述设备进一步包括耦合到所述处理器的卫星定位系统接收器，其中所述处理器经进一步配置以基于从所述卫星定位系统接收器接收的数据来确定从所述相机到被标记的所述环境中的关注点的距离，及基于所述距离来调整锚点的表示。

25.根据权利要求21所述的设备，其中所述处理器经配置以通过经配置以调整所述文本周围背景中的至少一者的饱和度及亮度中的至少一者以增加相对于以与所述文本周围背景一致的区域为边界的所述多个像素的对比度来调整所述文本周围背景。

26.根据权利要求19所述的设备，其中以所述区域为边界的所述多个像素包括所述至少一个帧中的所有像素。

27.根据权利要求19所述的设备，其中存在多个标签，其中所述处理器经配置以通过经配置以分析以与所述多个标签的布局位置一致的区域为边界的多重多个像素来分析以与所述标签的所述布局位置一致的所述区域为边界的所述多个像素。

28.根据权利要求15所述的设备，其中所述处理器经配置以在所述第一布局位置中将所述一个或多个标签呈现于所述视频流上，直到所述一个或多个标签的后续确定的第二布局位置比距所述第一布局位置的阈值距离更远为止。

29.一种用于视图管理的设备，其包括：

用于存储待呈现的一个或多个标签的装置；

用于捕捉环境的视频流的装置；

用于计算来自所述视频流的至少一个帧的显著性地图的装置；

用于产生具有从所述至少一个帧提取的边缘的边缘地图的装置；

用于使用所述显著性地图及所述边缘地图一起来确定待呈现于所述视频流上的所述一个或多个标签的第一布局位置的装置；

用于在显示所述视频流时在所述第一布局位置中将所述一个或多个标签呈现于所述视频流上的装置；

用于检测相对于先前帧定向的大于阈值的定向改变的装置；以及

用于将所述一个或多个标签显示于所述第一布局位置中，直到检测到所述定向改变为止的装置。

30.根据权利要求29所述的设备，其中所述用于计算显著性地图的装置计算所述至少一个帧的初始显著性地图及将一个或多个阈值应用到所述初始显著性地图。

31.根据权利要求29所述的设备，其中所述用于使用所述显著性地图及所述边缘地图一起来确定所述第一布局位置的装置基于一个或多个因数以及使用贪婪算法及基于力的算法之一来优化所述一个或多个标签的布局位置，所述因数包括：所述显著性地图上标签与关注点的重叠；所述边缘地图上所述标签与所述关注点的重叠；所述标签的指引线的长度；所述标签的所述指引线的定向；以及所述标签与另一标签的重叠。

32.根据权利要求29所述的设备，其进一步包括用于基于以与所述标签的布局位置一致的区域为边界的多个像素来调整标签的表示的装置。

33.根据权利要求32所述的设备，其中所述用于调整所述标签的所述表示的装置调整所述标签的至少一个组件相对于以与所述标签的所述布局位置一致的所述区域为边界的所述多个像素的对比度，所述标签的所述至少一个组件包括指引线、锚点及文本周围背景。

34.根据权利要求29所述的设备，其进一步包括用于确定到被标记的所述环境中的关注点的距离的装置，及用于基于所述距离来调整锚点的表示的装置。

说明书

用于标注的图像驱动的视图管理的方法和设备

[0001] 相关申请案的交叉参考

[0002] 本申请案主张2012年12月19日申请的且名为“用于标注的图像驱动的视图管理(Image-Driven View Management for Annotations)”的第13/720,735号美国申请案的优先权，所述申请案又根据35USC 119来主张2012年5月23日申请的且名为“用于室外扩增实境中的标注的图像驱动的视图管理(Image-Driven View Management for Annotations in Outdoor Augmented Reality)”的第61/650,884号美国临时申请案的优先权，所述两案均受让给其受让人且通过引用的方式并入本文中。

技术领域

[0003] 本文所述的标的物的实施例大体上涉及用于显示系统中的标注的视图管理，且更具体来说涉及使用基于图像的布局过程用于视图管理。

背景技术

[0004] 扩增实境(AR)表示注册到真实世界物体及场所的数字信息的显示。AR的一个实例为真实世界建筑物及场所的图像或视频流的具有文本或图像信息的标注。扩增实境浏览器(ARB)为一类型的AR应用程序，其中使用标签以允许终端用户在其真实世界环境的背景中的视觉化、浏览及搜索数字数据。所述数字信息经由真实世界环境的视频馈送而显示在终端用户蜂窝式电话、智能电话等上。

[0005] 在常规系统中，通常基于纯地理位置来注册数字信息，通常给定为具有(例如)如通过全球定位系统(GPS)所确定的对应位置的关注点(POI)。通常，没有其它场景知识(例如，所述环境的3D模型)可用于所述系统。此外，即使提供3D模型，基于传感器的跟踪的易错注册通常不准许额外场景知识的有效使用。此外，真实世界环境动态地改变，且因此先前产生的3D模型可能未提供真实世界的最新表示。因此，在当前系统中未使用依赖于所述环境的精确注册的详细三维表示的可用性的视图管理技术。

[0006] 由于通常没有其它信息可用，所以按照惯例使用标签到显示屏幕的投射来执行用以标注POI的图标或文本信息(即，标签)的放置，其通过POI的GPS位置及相机的当前跟踪信息来确定。结果常常是具有遮蔽彼此以及重要的真实世界信息的标签的杂乱场景。因此，常规系统的视觉质量遭受标签在相机所提供的真实世界的视图上的不良放置或表示。

发明内容

[0007] 移动装置使用图像驱动的视图管理方法来用于实时标注图像。移动装置所使用的基于图像的布局过程计算显著性地图，且根据视频流的帧来产生边缘地图。显著性地图可通过应用阈值以减少显著性等级的数目来经进一步处理。一起使用显著性地图及边缘地图以确定待呈现于视频流上的标签的布局位置。所述标签显示于布局位置中，直到检测到相机的定向改变超过阈值为止。另外，可(例如)基于以与视频帧中的标签的布局位置一致的区域为边界的多个像素来调整标签的表示(例如，对比度)。

[0008] 在一个实施方案中，一种方法包含：存储待呈现的一或多个标签；用相机捕捉环境的视频流；计算来自视频流的至少一个帧的显著性地图；产生具有从所述至少一个帧提取的边缘的边缘地图；使用显著性地图及边缘地图来确定待呈现于视频流上的一或多个标签的第一布局位置；在显示视频流时在第一布局位置将一或多个标签呈现于视频流上；检测大于阈值的相对于先前帧的定向的相机的定向改变；及将一或多个标签显示于第一布局位置中，直到检测到相机的定向改变为止。

[0009] 在一个实施方案中，一种设备包含：捕捉环境的视频流的相机；响应于移动而产生数据的运动传感器；显示器；用于存储待呈现的一或多个标签的存储器；及处理器，其耦合到显示器，耦合到相机以接收环境的视频流，耦合到运动传感器以接收响应于移动的数据，及耦合到存储器用于接收待呈现的一或多个标签，所述处理器经配置以计算来自视频流的至少一个帧的显著性地图，产生具有从所述至少一个帧提取的边缘的边缘地图，使用显著性地图及边缘地图来确定待呈现于视频流上的一或多个标签的第一布局位置，及在视频流显示于显示器上在第一布局位置中将一或多个标签呈现于视频流上，使用运动传感器所产生的数据来检测大于阈值的相对于先前帧的定向的相机的定向改变，及在第一布局位置中显示一或多个标签直到检测到相机的定向改变为止。

[0010] 在一个实施方案中，一种设备包含：用于存储待呈现的一或多个标签的装置；用于捕捉环境的视频流的装置；用于计算来自视频流的至少一个帧的显著性地图的装置；用于产生具有从所述至少一个帧提取的边缘的边缘地图的装置；用于使用显著性地图及边缘地图来确定待呈现于视频流上的一或多个标签的第一布局位置的装置；用于在显示视频流时在第一布局位置将一或多个标签呈现于视频流上的装置；用于检测大于阈值的相对于先前帧的定向的定向改变的装置；及用于将一或多个标签显示于第一布局位置中直到检测到的定向改变为止的装置。

[0011] 在一个实施方案中，一种存储媒体包含存储在其上的程序代码，其包含：用以计算来自相机所捕捉的视频流的至少一个帧的显著性地图的程序代码；用以产生具有从所述至少一个帧提取的边缘的边缘地图的程序代码；用以使用显著性地图及边缘地图来确定待呈现于视频流上的一或多个标签的第一布局位置的程序代码；用以在显示视频流时在第一布局位置将一或多个标签呈现于视频流上的程序代码；用以检测大于阈值的相对于先前帧的定向的相机的定向改变的程序代码；及用以将一或多个标签显示于视频流上的第一布局位置中直到检测到相机的定向改变为止的程序代码。

附图说明

[0012] 图1说明展示利用图像驱动的视图管理过程来标注视频流的移动装置的框图。

[0013] 图2是说明可由图1的移动装置使用的基于图像的布局过程的框图。

[0014] 图3是说明使用贪婪算法的布局的优化的流程图。

[0015] 图4是具有不同标签组件的自适应表示的实例的建筑物的图像，包含指引线、锚点及文本周围的背景。

[0016] 图5说明基于距关注点的距离的锚点的自适应表示。

[0017] 图6说明用于管理所显示标签的时间相干性的状态图。

[0018] 图7是说明可由移动装置使用的基于图像的布局过程的流程图。

[0019] 图8说明可用于呈现标签的自适应表示的过程，其中可调整所述标签的表示，包含标签的锚点、指引线、文本的周围背景。

[0020] 图9是能够使用本文所述的基于图像的布局过程来进行视图管理的移动装置的框图。

具体实施方式

[0021] 图1说明展示利用图像驱动的视图管理过程来标注视频流的移动装置100的框图。视图管理包含标签的布局(基于点的放置或标记)以及表示，两者均基于所捕捉视频帧的分析。

[0022] 图1将移动装置100的前侧说明为包含外壳101、显示器102(其可为触摸屏显示器)、以及扬声器104及麦克风106。移动装置100进一步包含用以使环境成像的前向相机110。移动装置100可包含运动传感器112，例如磁力计、回转仪、加速计等。移动装置100可能够使用常规定位技术来确定其位置，例如使用卫星定位系统(SPS)122(例如，众所周知的全球定位系统(GPS))来获得位置固定，使用例如存取点124或蜂窝式塔126的无线源进行三边测量、或使用计算机视觉跟踪技术、或此类技术中的任一者的组合，例如具有计算机视觉跟踪技术的GPS。移动装置100可基于移动装置100的大致位置经由无线网络120而使用远程服务器130来存取数据库135，从而获得待相对于将展示于显示器102上的图像而呈现的位置相依标注。举例来说，服务器130及数据库135可通过在移动装置100上执行的扩增实境浏览器应用程序来存取。如本文所使用，标注及标签描述待覆盖于图像或视频流上的文本或图像信息，且可互换地使用标注及标签。

[0023] 如本文所使用，“移动装置”指任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助手(PDA)、或其它合适的移动装置。移动装置可能够接收无线通信及/或导航信号，例如导航定位信号。术语“移动装置”还意图包含例如通过短程无线、红外线、电线连接或其它连接与个人导航装置(PND)通信的装置，不管卫星信号接收、辅助数据接收及/或位置相关处理是发生在装置处还是在PND处。而且，“移动装置”意图包含所有电子装置，包含能够捕捉其环境的图像(或视频)的无线通信装置、计算机、膝上型计算机、平板计算机等。

[0024] 现有扩增实境浏览器或AR标注系统一般呈现不良的视图管理。举例来说，标签常常显示为与大量视觉杂乱重叠，且缺乏将虚拟内容映射到真实世界关注点的深度线索。另外，在常规系统中，标签的布局以及标签的表示并不考虑在其上呈现标签的图像。举例来说，标签常常呈现为覆盖图像中的重要特征，例如建筑物、人或真实世界标志。另外，标签可用色彩或色调来呈现，其可能大体相对于图像而不良地对比或令人反感。

[0025] 相比来说，移动装置100使用建立在视频图像的显著性及边缘分析上的基于图像的布局过程。显著性及边缘分析可一起用于基于图像的布局，且用以最小化在图像的重要区域上的覆盖且作为用于最小化问题的参数。使用目标函数(即最小化其值)来制定最小化问题，其中惩罚因数包含所要设计空间的一或多个分量。

[0026] 另外，移动装置100所使用的基于图像的布局可提供真实(视频图像)与虚拟(标签)内容之间的视觉相干性。基于在标签的位置下方的图像中的像素来调整标签的表示，包含标签的锚点、指引线及文本周围背景。视频图像(HLS或HSV空间)的明度、饱和度或色度的全局或局部估计可用以调节标签的分量的色彩。

[0027] 因此，移动装置100尤其可用于供其中缺乏场景知识的扩增现实系统使用，例如在扩增现实浏览器中所发现的。移动装置100可经由所捕捉视频帧的分析而提供图像的实时标注以确定所要标注的放置，从而致使场景的明确知识为不必要的。来源于所捕捉视频帧的信息可用以调整标注的外观，例如使得所述标注经定位而使得对重要真实世界信息的干扰得以减少，及使得所呈现标注中的每一者在背景上可读且容易地与其对应关注点相关。另外，为了顾及扩增现实的交互性质，移动装置100可维持所显示标注的帧相干性。

[0028] 图2是说明可由图1中所示的移动装置使用的基于图像的布局过程200的框图。基于图像的布局过程200使用来自所捕捉视频流的信息来控制标签的位置(即，布局)及表示。因此，当前图像202(例如，移动装置100所捕捉的视频流的帧)经接收及分析以识别图像中的重要区，使得图像中的重要内容将不被标签的放置遮蔽。如果需要，可(例如)通过2或4的大小因子来将当前图像202重新调整大小，使得对于640×480像素图像，可将所述图像重新缩放为320×240像素或160×120像素。图像202可经分析以产生边缘地图204以及视觉显著性地图206。可(例如)使用应用到图像202的任何所要边缘检测器(例如坎尼边缘检测器)来产生边缘地图204。可在必要时使用其它边缘检测器，例如，罗伯特交叉(Roberts Cross)算子、索贝尔(Sobel)算子、普瑞维特(Prewitt)算子或微分算子。

[0029] 显著性地图206可通过任何所要显著性计算来产生，但所需要的是所述显著性计算针对实时性能是快速的。显著性计算应消除图像202中的规则图案。另外，所得显著性地图206大小与图像202(或重新调整大小的图像)大小相同可为有利的。虽然可使用任何所要显著性计算，但已发现在国际图像处理会议(ICIP)(香港，2010年9月，2010年)中R.阿成达(R.Achanta)及S.萨斯创克(S.Susstrunk)在“使用最大对称外围的显著性检测(Saliency detection using maximum symmetric surround)”中描述了一种合适的显著性计算。所得显著性地图206为强度图像，其中灰度级表示图像中信息的重要性。通常，显著性计算将产生相对较大数目个显著性等级。因此，如图2中所说明，初始显著性地图206可经进一步处理以产生具有减少数目个显著性等级的第二显著性地图208。举例来说，通过将一或多个阈值应用到初始显著性地图206以使所要数目个显著性等级分类而产生第二显著性地图208。举例来说，可应用两个阈值以产生第二显著性地图208中的三个等级显著性。阈值可具有均匀分布，例如显著性的不同等级具有相同大小的范围，或可具有非线性分布，例如较小范围用于高的显著值及较大范围用于低的显著值。可基于相机响应来根据经验或自动地选择适当阈值。减少第二显著性地图208的显著性等级的数目可为有利的，这是因为其提供显著性信息的简化表示供进一步处理。

[0030] 如图2中所说明，将边缘地图204及所得显著性地图208与用于图像202的标签信息210一起提供给布局解算器220。可(例如)基于移动装置100的所确定位置而(例如)从移动装置100上的本地存储器或从图1中所示的服务器130及数据库135来获得标签信息210。边缘地图204有利地补充显著性信息(如显著性地图208所提供)，这是因为边缘常常在显著性地图中并不显著。因此，显著性信息及边缘信息可一起由布局解算器220使用以对不应放置标签的像素位置进行编码。可将布局解算器220的输出提供给自适应表示块230，其中可基于在标签的位置下方的图像中的像素来调整标签的表示，包含标签的锚点、指引线及文本周围背景。

[0031] 布局解算器220可将标签的布局确定为具有经界定及最小化目标函数的的优化问题。目标函数O将标准图形及真实世界考虑因素中的一些编码为加权惩罚因数：

[0032]

[0033] 其中L界定标签，x界定其屏幕位置，α界定权重及p界定惩罚因数。可使用不同的惩罚因数，包含以下各项：

[0034] 在显著性地图上的标签与关注点重叠：

[0035]

[0036] 其中sx及sy界定标签L的大小，及IM(i,y)是显著性地图在像素位置(i,j)处的值。

[0037] 在边缘地图上的标签与关注点重叠：

[0038]

[0039] 其中sx及sy界定标签L的大小，及EM(i,y)是边缘地图在像素位置(i,j)处的值。

[0040] 指引线长度：

[0041] pLDist(L,x,x0)＝|(x,x0)|方程式4

[0042] 其中x0界定标签L的原始位置，及(x,x0)为x0与标签位置之间的向量。

[0043] 指引线定向：

[0044] pOri(L,x,x0)＝|θ(x,x0)-f(layout)|方程式5

[0045] 其中θ(x,x0)界定指引线的定向，及f(layout)界定所述定向的优选值(例如，用于垂直调整的π/2或用于水平调整的0)。

[0046] 标签重叠：

[0047]

[0048] 其中计算已经放置的当前标签L与n个标签{G}之间的重叠区域。函数overlap(L,Gi)计算标签L与标签Gi之间的欧几里德距离(Euclidian distance)，基于其各自大小来检测标签之间的重叠，及使用如此项技术中良好理解的适当参数化来返回重叠值。

[0049] 可在必要时由目标函数O使用额外或不同的约束。举例来说，可需要避免指引线重叠，其可被检测为两指引线之间的相交点。还可基于指引线定向及锚点及标签的位置来避免指引线重叠

[0050] 布局解算器220可使用(例如)贪婪算法或基于力的算法用于实施上述优化。基于力的算法将惩罚因数实施为一组力，且在此力场中平行移动标签。在特定数目个迭代之后或根据所要终止准则，标签获得其最终位置。可使用模拟退火，这是因为其提供准确结果，但其一般对于当前蜂窝式电话能力为不合要求的。关于基于力的算法，可扩大显著性地图208且可计算距离转换图像。计算梯度以产生用于系统的排斥力(将标签推离重要区域)。类似地处理边缘地图204。可得到复杂的力场(密集及各向同性的)，必须针对所述力场管理不同力的加权并找到适当数目个迭代。

[0051] 贪婪算法依序优化每一标签且评估每一者的目标函数O。将候选位置中的最小值选择为标签的位置。图3是说明使用可由布局解算器220使用的贪婪算法的布局的优化的流程图。如所说明，以标签列表l及视觉地图(例如边缘地图204及显著性地图208)开始(252)，视图截锥体中的当前可见标签从左到右及从近到远地分类以产生新的标签列表l'(254)。在迭代过程中针对每一标签针对搜索空间中的不同位置而最小化目标函数O。举例来说，标签L选自列表l'，及初始化最优位置x_opt(256)。考虑到标签的大小及避免与其它标签重叠的想法，可将初始位置选择为距锚点的最近位置。初始位置的选择取决于搜索空间，且因此，对于顶部搜索空间，初始位置为锚点上方的最近位置，其具有等于标签高度的最小距离，具有小的偏移以避免重叠且在任何其它标签之间具有一些空间。基于搜索空间来选择新的位置(258)。可将新的位置选择为标签的大小及屏幕分辨率的函数。搜索空间的配置为标签的布局定向提供灵活性：顶部、底部、左边、右边、径向及其组合。通过实例的方式，顶部配置可适于室外场景中的远的关注点，而径向配置可适于标注近的物体。使用视觉地图(例如，边缘地图204及显著性地图208)来计算位置x处的标签L的目标函数O(262)，如上文论述。如果目标函数是新的最小值(264)，那么针对标签L将新值x保存为新的最优位置x_opt(266)。所述过程针对用于标签L的新位置x而继续(258)，直到搜索空间是空的为止(26)且接着从列表l'选择新的标签(256)。一旦标签列表为空的(257)，所述过程即以保存在新数据结构中的最优标签位置而停止(268)。

[0052] 为处置视频图像中的图像运动及动态内容，在最初放置所有标签之后可以低频(例如，0.5到5Hz)来执行布局解算器220所使用的过程。

[0053] 如图2中所展示，将布局解算器220的输出提供给自适应表示块230，其中可调整标签的表示，包含标签的锚点、指引线及/或文本周围背景。自适应表示块230考虑相对于图像中背景的标签。另外，距关注点的距离可由自适应表示块230来考虑。可调整标签组件中的一或多者的表示以提供良好可读性，例如通过确保标签组件与视频图像之间的对比度。

[0054] 可调整的一个标签组件为指引线。当标签移动远离锚点位置时，指引线用以将标签链接到所述锚点位置。指引线应对用户容易可见，但当线的色彩与周围像素之间的对比度较低时，所述线常常难以与视频帧中的背景区分。为解决此问题，调整指引线的明度或饱和度以使其与其附近(即，周围像素)相比更可见。增加对比度可通过修改合适色彩空间中的明度信道来进行。举例来说，可在HLS空间中修改指引线的亮度。可计算指引线周围的像素的亮度(或饱和度)的平均值及调整指引线的色彩以产生指定对比度。举例来说，指引线周围的像素可为以具有一宽度的区域为边界的多个像素，所述宽度比指引线的宽度大预定的因数。已确定20％的对比度阈值为合适的，但可使用其它对比度阈值。对比度修改可为正的(指引线变亮)或负的(指引线变暗)，都可修改指引线的亮度(或饱和度)强度。通过实例方式，图4说明具有不同标签组件的自适应表示的实例的建筑物的图像，包含指引线，其经展示与标签1具有不良对比度且与标签2具有相对较高对比度。用标签1及标签2中的黑色及白色来说明指引线，但其它等级的亮度(或饱和度)强度是可能的，如标签3的指引线所说明。

[0055] 可调整的另一标签组件为锚点。当标签从关注点位移时，使用锚点来识别用户的关注点的位置。因此，应突出显示锚点使得其对用户可见。因此，可使用用于上述指引线的相同过程来调节锚点的饱和度及亮度以改进对比度，例如，可通过计算锚点周围的像素的亮度(或饱和度)的平均值及调整锚点的色彩以产生指定对比度。

[0056] 另外，应注意，因为基于图像的布局过程不具有场景知识，所以用于关注点的锚点可显示在物体上，其使关注点模糊，从而引起潜在的深度线索冲突。为解决此问题，锚点的表示可基于距关注点的距离而变化，所述距离可(例如)基于移动装置100的已知位置及关注点的已知位置来确定。举例来说，图5说明基于距关注点的距离的锚点的自适应表示。如图5中所展示，可将锚点显示为环形，其具有用以对距关注点的距离编码的内径r。因此，接近用户的关注点将具有为实心或几乎实心的锚点(即，光盘)，而远离用户的关注点将具有为圆圈的锚点。为确定适当半径r，可将关注点距用户的视点的距离重新缩放到正规化范围。图4说明表示近处关注点的标签3的锚点，而标签4的锚点表示远处关注点，例如在前景中建筑物的后方。可以其它方式来调节锚点，例如调节不透明性以编码其距观察者的距离。因此，近处的关注点可完全为不透明的，而远处的关注点大部分为透明的。

[0057] 可调整的其它标签组件为标签的文本周围背景以及文本本身。ARB中的信息信道的当前标准表示使用静态呈现样式，且一般通过使用用于背景色彩/文本色彩的负的或正的色彩方案来强调对比度，(例如，黑色背景/白色文本、白色背景/黑色文本)。然而，当标签覆盖视频帧的暗区或亮区时，可读性受到损坏。因此，所需要的是标签的主动呈现样式可同时支持多个关注点或多个可见信道的表示调节。可分别调节标签的明度及色度以调适标签背景或其内容(例如，文本)的亮度或饱和度。可使用三种不同方法来确定亮度及饱和度；全局、局部或显著相对。对于全局方法，计算全部图像上的平均亮度及调节标签背景的亮度以具有阈值(例如，20％)以上的对比度差异。对于局部方法，计算每一标签的背景的邻域中的图像的平均亮度(或饱和度)，及基于阈值将对比度调整分别应用于每一标签。举例来说，标签的背景的邻域可为以其大小比标签的背景大出预定因数的区域为边界的多个像素。对于显著相对方法，确定显著区域的平均亮度(或饱和度)，使得标签可相对于图像上的显著性信息而更突出。举例来说，可基于显著性地图208中的最高显著性等级或两个最高等级来确定显著区域。通过实例方式，图4说明相对于周围像素具有低对比度背景的标签5，及说明具有相对较高对比度背景的标签6。

[0058] 上下文及时间相干性可用以处置视频图像中的图像运动及动态内容。举例来说，为实现时间相干性，使(例如)由于不稳定地固持移动装置而引入的抖动所引起的标签移动最小化。另外，如果在场景中仅存在小的动态改变，那么标签不移动。三种类型的共同运动包含相机运动(旋转/位置的大改变)、手摇动/抖动运动(旋转/位置的小改变)、及物体运动(视频图像中动态内容)。可将相机的旋转运动视为主要因素。已确定终端用户一般在步行时不与其扩增现实浏览器交互。举例来说，调查已展示在站立时移动模式主要为旋转(90％)，其中大部分未使用(42％)与旋转组合的多个大移动(>5m)。当在多个位置之间间歇地停止时主要使用ARB，且因此可首先将物理交互约束到旋转移动。

[0059] 因此，时间相干性可基于运动传感器112在移动装置中的使用以确定当前帧中相对于先前帧的相机旋转的量值(例如，旋转、俯仰或倾斜)。图6说明可用于所显示标签的时间相干性的状态图。如所说明，存在三种可能状态：标准布局表示(280)、自适应布局表示(静态)(282)及自适应布局表示(动态)(284)。如图6中所说明，当(例如)使用运动传感器112检测到大运动时，系统将使用标准布局表示(280)。可(例如)通过比较目前帧与先前帧的定向改变与一阈值或大于阈值的平移运动而将大运动确定为移动装置的大的定向改变。
举例来说，可需要检测大于手抖动或大于(例如)5度改变的大运动。当未检测到大运动时，对于特定数目(n)个帧(例如，10个帧)，触发自适应布局表示(静态)(282)以产生上述基于图像的布局。如果在产生基于图像的布局之后未检测到大运动，那么触发自适应布局表示(动态)(284)。如果用户稳定地或缓慢地固持移动装置旋转以观测场景，那么移动装置100停留在动态状态中(284)，以低频执行基于图像的布局过程200。在此条件下，如果所计算最佳位置距当前位置相对较远，那么标签仅移动。此外，为避免跳跃的标签，可在本地测试每一标签以确定是否存在显著性或边缘信息的任何改变且因此可避免布局的重新计算。因此，(例如)由于不稳定地固持移动装置而引入的抖动所引起的标签移动得以最小化，从而改进时间相干性。另外，如果在场景中仅存在小的动态改变，那么标签不移动。此过滤行为抑制了小的动态改变，例如人或自行车经过。另外，平滑动画可用以内插在连续标签位置之间以避免突然标签移动的出现。如果在数个(n)帧上检测到大运动(例如，用户开始将移动装置从左到右平移)，那么系统可返回到标准布局表示(280)。

[0060] 图7是说明可由移动装置100使用的基于图像的布局过程的流程图。如所说明，存储待呈现的一或多个标签(302)。待呈现的标签可包含与特定关注点相关的文本或其它信息。举例来说，相关标签可(例如)基于移动装置100的所确定位置而从远程数据库获得，并存储在移动装置100的本地存储器或存储器中。用相机捕捉环境的视频流(304)。计算来自视频流的至少一个帧的显著性地图(306)。可通过计算初始显著性地图及应用一或多个阈值到初始显著性地图以产生具有多个显著性等级的显著性地图来产生显著性地图。另外，基于从来自视频流的至少一个帧提取的边缘来产生边缘地图(308)。使用显著性地图及边缘地图以确定待呈现于视频流上的一或多个标签的第一布局位置(310)。确定第一布局位置可包含基于一或多个因数来优化一或多个标签的布局位置，所述因数包括：在显著性地图上标签与关注点的重叠；在边缘地图上标签与关注点的重叠；标签的指引线的长度；标签的指引线的定向；及标签与另一标签的重叠。确定第一布局位置可进一步包含使用贪婪算法及基于力的算法。

[0061] 在显示视频流时在第一布局位置中将一或多个标签呈现于视频流上，直到相对于先前帧的定向的相机的所检测定向改变大于阈值为止(312)。可(例如)使用运动传感器(例如，加速计或回转仪)或使用磁力计来检测定向改变。另外，可在第一布局位置中显示一或多个标签，直到一或多个标签的后续确定的第二布局位置比距第一布局位置的阈值距离更远为止。

[0062] 图8说明可用于呈现标签的自适应表示的过程，其中可调整所述标签的表示，包含标签的锚点、指引线、背景或文本。如图8中所说明，分析以与标签的布局位置一致的区域为边界的多个像素(322)，例如以确定像素的区的平均亮度(或饱和度)。举例来说，多个像素可为以标签(或标签的组件)为中心的区中的邻近或非邻近像素，且其可具有取决于标签(或标签的组件)的大小及形状的大小及形状。举例来说，以所述区域为边界的多个像素可包含在布局位置下方的像素及/或围绕布局位置的像素。此外，以所述区域为边界的多个像素可包含图像中的所有像素。当存在多个标签时，分析以与标签的布局位置一致的区域为边界的多个像素可包括分析以与多个标签一致的区域为边界的多个多个像素。基于标签的初始表示与以与标签的布局位置一致的区域为边界的多个像素之间的对比度来调整标签的表示(324)。举例来说，可调整标签的表示，使得标签的表示与以与布局位置一致的区域为边界的多个像素之间的对比度大于预定阈值。以调整的表示在布局位置上呈现标签(326)。可通过调整标签的至少一个组件来调整标签的表示，包括指引线、锚点及文本周围背景。举例来说，可通过调整指引线的饱和度及亮度中的至少一者以增加相对于以与指引线一致的区域为边界的多个像素的对比度来调整指引线。可通过调整锚点的饱和度及亮度中的至少一者以增加相对于以与锚点一致的区域为边界的多个像素的对比度来调整锚点。另外或替代地，可基于所标记环境中相机与关注点之间的确定距离来调整锚点的表示。可通过调整文本周围背景中的至少一者的饱和度及亮度中的至少一者以增加相对于以与文本周围背景一致的区域为边界的多个像素的对比度来调整文本周围背景。

[0063] 图9是能够使用本文所述的基于图像的布局过程来进行视图管理的移动装置100的框图。移动装置100包含相机110以及运动传感器112，例如加速计、回转仪或类似者。如所说明，移动装置100可包含SPS接收器109以确定移动装置100的位置。SPS接收器109用于从SPS系统122(图1)接收位置数据，所述数据可用以确定移动装置100的位置固定，如上文论述。移动装置100可为(例如)A-GPS装置或独立式GPS装置。SPS接收器109可能够从处于全球导航卫星系统(GNSS)(例如，全球定位系统(GPS)、伽利略(Galileo)、格洛纳斯(Glonass)或指南针)的星座中的卫星载具(SV)上从传输器接收信号。然而，SPS接收器109并不限于SPS的全球系统(例如，GNSS)。举例来说，可接入各种区域系统，例如日本的准天顶卫星系统(QZSS)、印度的印度区域导航卫星系统(IRNSS)、中国的北斗(Beidou)等，及/或可与一或多个全球及/或区域导航卫星系统相关联或以其它方式能够与其一起使用的各种扩增系统(例如，基于卫星的扩增系统(SBAS))。通过实例的方式但非限制，SBAS可包含提供完整性信息、微分校正等的扩增系统，例如广域扩增系统(WAAS)、欧洲地球同步导航覆盖服务(EGNOS)、多功能卫星扩增系统(MSAS)、GPS辅助地理扩增导航或GPS及地理扩增导航系统(GAGAN)、及/或类似者。因此，如本文所使用，SPS可包含一或多个全球及/或区域导航卫星系统及/或扩增系统的任何组合，及SPS信号可包含SPS、SPS类似物及/或与此类一或多个SPS相关联的其它信号。

[0064] 移动装置100可进一步包含无线接口111，其可用以与远程服务器130及数据库135通信(例如)以提供移动装置100的位置及从远程数据库135接收与所述位置相关的标签，如图1中所示。无线接口111可用于任何多种无线通信网络中，例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”及“系统”常常互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM及W-CDMA描述于来自名为“第3代合作伙伴计划”(3GPP)的联合会的文献中。Cdma2000描述于来自名为“第3代合作伙伴计划2”(3GPP2)的联合会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE 802.11x网络，及WPAN可为 网络，IEEE 
802.15x或某一其它类型的网络。此外，可使用WWAN、WLAN及/或WPAN的任何组合。

[0065] 移动装置100进一步包含用户接口150，其包含显示器102以及小键盘152、或用户可经由其将信息输入到移动装置100中的其它输入装置。必要时，可通过将虚拟小键盘集成到具有触摸传感器(或手势控制)的显示器102中而消除小键盘152。用户接口150还可包含麦克风106及扬声器104，例如，在移动装置100是蜂窝式电话或类似物的情况下。当然，移动装置100可包含与本发明无关的其它元件。

[0066] 移动装置100还包含控制单元105，其连接到相机110、运动传感器112以及包含显示器102的用户接口150且与所述元件通信。控制单元105可由总线105b、处理器105p及相关联存储器105m、硬件105h、固件105f及软件105s来提供。可将待呈现的标签存储在(例如)存储器105m中。控制单元105接收并处理相机110所提供的视频流以及从运动传感器112获得的数据，如上文论述。控制单元105经进一步说明为包含显著性地图模块113，其根据视频流的帧来计算显著性地图。显著性地图模块113可进一步将一或多个阈值应用到显著性地图以产生第二显著性地图。边缘地图模块114通过从视频流的帧提取边缘而产生边缘地图。布局解算器115使用显著性地图及边缘地图以确定待呈现于视频流上的标签的布局位置。定向改变模块116使用来自运动传感器112的数据来检测大于阈值的相对于先前帧定向的相机的定向改变。自适应表示模块117相对于以与标签的布局位置一致的区域为边界的多个像素来调整标签的至少一个组件的表示，例如，指引线、锚点及文本周围背景。距离确定模块118(例如)基于位置固定来确定相机110与待标记的关注点之间的距离，所述位置固定通过SPS接收器109而提供、或(例如)通过使用无线接口111的三边测量及使用可通过远程服务器130及数据库135经由无线接口111而提供的关于待标记的关注点的位置的信息而提供。呈现模块119产生将在布局位置处展示于显示器上的所得标签。

[0067] 为了清晰性而将各种模块(例如显著性地图模块113、边缘地图模块114、布局解算器115、定向改变模块116、自适应表示模块117、距离确定模块118及呈现模块119)与处理器105p分开说明，但所述模块可为处理器105p的部分或基于执行在处理器105p上的软件105s中的指令而实施于处理器105p中，或可以其它方式实施于硬件105h及/或固件105f中。如本文所使用，将理解处理器105p可(但无需必定)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)及类似物。术语处理器意图描述系统所实施的功能而非特定硬件。此外，如本文所使用，术语“存储器”指任何类型的计算机存储媒体，包含与移动装置相关联的长期、短期或其它存储器，且并不限于任何特定类型的存储器或任何特定数目个存储器、或其上存储存储器的媒体类型。

[0068] 本文所述的方法可取决于应用而由各种装置实施。举例来说，这些方法可实施于硬件105h、固件105f、软件105s或其任何组合中。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、或经设计以执行本文所述的功能的其它电子单元、或其组合中。

[0069] 对于固件及/或软件实施方案，可用执行本文所述功能的模块(例如，程序、函数等等)来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文所述的方法。举例来说，软件代码可存储在存储器105m中及由处理器105p执行。存储器105m可实施于处理器105p内或其外部。如果实施于固件及/或软件中，那么可将功能作为一或多个指令或代码存储于为计算机可读的存储媒体上，其中存储媒体不包含暂时性传播信号。实例包含用数据结构编码的存储器媒体及用计算机程序编码的存储器。存储器媒体包含物理计算机存储器媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式(且非限制)，此类存储器媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。上述组合还应包含在存储媒体的范围内。

[0070] 因此，移动装置100包含用于存储待呈现的一或多个标签的装置，其可为存储器105m。用于捕捉环境的视频流的装置可为(例如)相机110。用于计算来自视频流的至少一个帧的显著性地图的装置可为(例如)显著性地图模块113。用于产生具有从至少一个帧提取的边缘的边缘地图的装置可为(例如)边缘地图模块114。用于使用显著性地图及边缘地图以确定待呈现于视频流上的一或多个标签的第一布局位置的装置可为(例如)布局解算器
115。用于在显示视频流时在第一布局位置将一或多个标签呈现于视频流上的装置可为(例如)呈现模块119。用于检测大于阈值的相对于先前帧的定向的定向改变的装置可为(例如)使用来自运动传感器112的数据的定向改变模块116。用于将一或多个标签显示于第一布局位置中直到检测到相机的定向改变为止的装置可为(例如)显示器102以及定向改变模块
116。用于基于以与标签的布局位置一致的区域为边界的多个像素来调整标签的表示的装置可为(例如)自适应表示模块117。用于确定距环境中被标记的关注点的距离的装置可为(例如)使用SPS接收器109及/或无线接口111所提供的数据的距离确定模块118。基于所述距离来调整锚点的表示的装置可为自适应表示模块117。

[0071] 尽管为了指导目的结合具体实施例来说明本发明，但本发明并不限于其。可在不偏离本发明的范围的情况下进行各种调适及修改。因此，随附权利要求书的精神及范围不应限于前述描述。