有形对象与扩增实境对象的交互

摘要

本发明揭示用于提供有形对象与扩增实境对象的交互的方法、计算机程序产品及设备。在一个实施例中，一种适用于具有扩增实境功能的装置ARD的方法包括：至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪；至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变；以及响应于所述至少一个对象的所述状态改变而致使扩增显现，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变。

权利要求

1.一种适用于具有扩增实境功能的装置ARD的方法，其包括：至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪；

至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变，其中多个对象的状态包含所述多个对象的关系信息；以及响应于所述至少一个对象的所述状态改变而致使扩增显现，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变，且其中所述扩增包括来自所述至少一个对象的交互音频提示。

2.根据权利要求1所述的方法，其中所述一或多个对象包括多个对象，且其中执行3维跟踪包括：确定所述多个对象相对于所述ARD的相对姿势；以及使用所述多个对象的所述相对姿势更新所述多个对象的状态。

3.根据权利要求2所述的方法，其中确定相对姿势包括：检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势。

4.根据权利要求2所述的方法，其中确定相对姿势包括：检测图像中的新对象；以及

更新所述多个对象以包含所述新对象。

5.根据权利要求2所述的方法，其中所述关系信息包括：所述多个对象之间在游戏中的关系；

所述多个对象之间在故事中的关系；

所述多个对象之间相对于背景的关系；或其一些组合。

6.根据权利要求1所述的方法，其中检测至少一个对象的状态改变包括：检测所述至少一个对象相对于所述ARD的位置改变；

检测所述至少一个对象相对于所述ARD的定向改变；

检测至少两个对象之间的位置改变；

检测多个对象的群集的改变；或其一些组合。

7.根据权利要求6所述的方法，其中检测所述至少一个对象相对于所述ARD的所述位置改变包括：检测所述至少一个对象已相对于所述ARD平移；

检测所述至少一个对象已到达距所述ARD第一预定距离；

检测所述至少一个对象已经历相对于所述ARD的第一预定义示意动作运动；或其一些组合。

8.根据权利要求6所述的方法，其中检测所述至少一个对象相对于所述ARD的所述定向改变包括：检测所述至少一个对象已相对于所述ARD旋转。

9.根据权利要求6所述的方法，其中检测至少两个对象之间的所述位置改变包括：检测所述至少两个对象已相对于彼此移动；

检测所述至少两个对象已到达距彼此第二预定距离；

检测所述至少两个对象中的一者已经历相对于其它者的第二预定义示意动作运动；或其一些组合。

10.根据权利要求1所述的方法，其中所述扩增的所述类型包括多个对象之间在所述ARD的显示器中的交互。

11.根据权利要求1所述的方法，其中所述扩增的所述类型包括所述至少一个对象与所述ARD之间在所述ARD的显示器中的交互。

12.根据权利要求1所述的方法，其中所述扩增的所述类型包括对具有焦点的一或多个元素的描述，所述焦点至少部分基于所述至少一个对象的所述状态改变。

13.根据权利要求1所述的方法，其中所述至少一个对象的所述状态改变包括：所述ARD与所述至少一个对象之间的几何布置关系的改变；

所述至少一个对象与在发射所述所俘获图像的相机的视野中的另一对象之间的几何布置关系的改变；或其一些组合。

14.根据权利要求1所述的方法，其中所述状态改变包括所述至少一个对象的特征的改变。

15.根据权利要求1所述的方法，其中所述至少一个对象包括联系在一起的多个子对象，其中所述状态改变包括所述多个子对象中的至少一个子对象的改变。

16.根据权利要求15所述的方法，其中所述至少一个对象包括汽车，且所述多个子对象包括至少一车门、发动机盖及行李箱，其中所述方法进一步包括：在检测到所述汽车的所述车门打开之后，即刻呈现与进入所述汽车有关的扩增；

在检测到所述汽车的所述发动机盖打开之后，即刻呈现与检查所述汽车的发动机有关的扩增；

在检测到所述汽车的所述发动机盖打开之后，即刻呈现与修理所述汽车的发动机有关的扩增；以及在检测到所述汽车的所述行李箱打开之后，即刻呈现与装载所述汽车有关的扩增。

17.根据权利要求1所述的方法，其中所述扩增进一步包括：至少部分基于来自所述ARD的所述至少一个对象的视图的交互；

至少部分基于所述至少一个对象与所述ARD之间的相对运动的交互；

至少部分基于所述至少一个对象与所述ARD之间的距离的交互；

至少部分基于来自所述至少一个对象的示意动作的交互；或其一些组合。

18.根据权利要求1所述的方法，其中所述扩增进一步包括：至少部分基于多个对象中的叠加对象的交互；

至少部分基于所述多个对象中的并排对象的交互；

至少部分基于所述多个对象中的上下对象的交互；

至少部分基于所述多个对象中的里外对象的交互；

至少部分基于所述多个对象中的前后对象的交互；或其一些组合。

19.根据权利要求1所述的方法，其中检测至少一个对象的状态改变包括：检测相对于所述ARD放大所述至少一个对象；

检测相对于所述ARD缩小所述至少一个对象；或其一些组合。

20.根据权利要求1所述的方法，其中：

所述状态改变包括所述至少一个对象到所述ARD的距离的改变，且其中所述扩增进一步包括与所述至少一个对象相关联的角色说出指示所述距离的词语；或所述状态改变包括所述至少一个对象旋转以面向另一对象，且其中所述扩增进一步包括与所述至少一个对象相关联的角色响应于所述至少一个对象旋转以面向另一对象而向与所述另一对象相关联的角色说话。

21.一种具有扩增实境功能的装置ARD，其包括：包含处理逻辑的控制单元，所述处理逻辑包括：经配置以至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪的逻辑；

经配置以至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的逻辑，其中多个对象的状态包含所述多个对象的关系信息；以及经配置以响应于所述至少一个对象的所述状态改变而致使扩增显现的逻辑，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变，且其中所述扩增包括来自所述至少一个对象的交互音频提示。

22.根据权利要求21所述的具有扩增实境功能的装置，其中所述一或多个对象包括多个对象，且其中经配置以执行3维跟踪的逻辑包括：经配置以确定所述多个对象相对于所述ARD的相对姿势的逻辑；以及经配置以使用所述多个对象的所述相对姿势更新所述多个对象的状态的逻辑。

23.根据权利要求22所述的具有扩增实境功能的装置，其中经配置以确定相对姿势的逻辑包括：经配置以检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势的逻辑。

24.根据权利要求22所述的具有扩增实境功能的装置，其中经配置以确定相对姿势的逻辑包括：经配置以检测图像中的新对象的逻辑；以及

经配置以更新所述多个对象以包含所述新对象的逻辑。

25.根据权利要求22所述的具有扩增实境功能的装置，其中所述关系信息包括：所述多个对象之间在游戏中的关系；

所述多个对象之间在故事中的关系；

所述多个对象之间相对于背景的关系；或其一些组合。

26.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以检测至少一个对象的状态改变的逻辑包括：经配置以检测所述至少一个对象相对于所述ARD的位置改变的逻辑；

经配置以检测所述至少一个对象相对于所述ARD的定向改变的逻辑；

经配置以检测至少两个对象之间的位置改变的逻辑；

经配置以检测多个对象的群集的改变的逻辑；或其一些组合。

27.根据权利要求26所述的具有扩增实境功能的装置，其中经配置以检测所述至少一个对象相对于所述ARD的所述位置改变的逻辑包括：经配置以检测所述至少一个对象已相对于所述ARD平移的逻辑；

经配置以检测所述至少一个对象已到达距所述ARD第一预定距离的逻辑；

经配置以检测所述至少一个对象已经历相对于所述ARD的第一预定义示意动作运动的逻辑；或其一些组合。

28.根据权利要求26所述的具有扩增实境功能的装置，其中经配置以检测所述至少一个对象相对于所述ARD的所述定向改变的逻辑包括：经配置以检测所述至少一个对象已相对于所述ARD旋转的逻辑。

29.根据权利要求26所述的具有扩增实境功能的装置，其中经配置以检测至少两个对象之间的所述位置改变的逻辑包括：经配置以检测所述至少两个对象已相对于彼此移动的逻辑；

经配置以检测所述至少两个对象已到达距彼此第二预定距离的逻辑；

经配置以检测所述至少两个对象中的一者已经历相对于其它者的第二预定义示意动作运动的逻辑；或其一些组合。

30.根据权利要求21所述的具有扩增实境功能的装置，其中所述扩增的所述类型包括多个对象之间在所述ARD的显示器中的交互。

31.根据权利要求21所述的具有扩增实境功能的装置，其中所述扩增的所述类型包括所述至少一个对象与所述ARD之间在所述ARD的显示器中的交互。

32.根据权利要求21所述的具有扩增实境功能的装置，其中所述扩增的所述类型包括对具有焦点的一或多个元素的描述，所述焦点至少部分基于所述至少一个对象的所述状态改变。

33.根据权利要求21所述的具有扩增实境功能的装置，其中所述至少一个对象的所述状态改变包括：所述ARD与所述至少一个对象之间的几何布置关系的改变；

所述至少一个对象与在发射所述所俘获图像的相机的视野中的另一对象之间的几何布置关系的改变；或其一些组合。

34.根据权利要求21所述的具有扩增实境功能的装置，其中所述状态改变包括所述至少一个对象的特征的改变。

35.根据权利要求21所述的具有扩增实境功能的装置，其中所述至少一个对象包括联系在一起的多个子对象，其中所述状态改变包括所述多个子对象中的至少一个子对象的改变。

36.根据权利要求21所述的具有扩增实境功能的装置，其中经配置以检测至少一个对象的状态改变的逻辑包括：经配置以检测相对于所述ARD放大所述至少一个对象的逻辑；

经配置以检测相对于所述ARD缩小所述至少一个对象的逻辑；或其一些组合。

37.根据权利要求21所述的具有扩增实境功能的装置，其中：所述状态改变包括所述至少一个对象到所述ARD的距离的改变，且其中所述扩增进一步包括与所述至少一个对象相关联的角色说出指示所述距离的词语；或所述状态改变包括所述至少一个对象旋转以面向另一对象，且其中所述扩增进一步包括与所述至少一个对象相关联的角色响应于所述至少一个对象旋转以面向另一对象而向与所述另一对象相关联的角色说话。

38.一种具有扩增实境功能的装置ARD，其包括：用于至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪的装置；

用于至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的装置，其中多个对象的状态包含所述多个对象的关系信息；以及用于响应于所述至少一个对象的所述状态改变而致使扩增显现的装置，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变，且其中所述扩增包括来自所述至少一个对象的交互音频提示。

39.根据权利要求38所述的ARD，其中所述一或多个对象包括多个对象，且其中用于执行3维跟踪的装置包括：用于确定所述多个对象相对于所述ARD的相对姿势的装置；以及用于使用所述多个对象的所述相对姿势更新所述多个对象的状态的装置。

40.根据权利要求39所述的ARD，其中用于确定相对姿势的装置包括：用于检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势的装置。

41.根据权利要求39所述的ARD，其中确定相对姿势包括：用于检测图像中的新对象的装置；以及

用于更新所述多个对象以包含所述新对象的装置。

42.根据权利要求38所述的ARD，其中用于检测至少一个对象的状态改变的装置包括：用于检测所述至少一个对象相对于所述ARD的位置改变的装置；

用于检测所述至少一个对象相对于所述ARD的定向改变的装置；

用于检测至少两个对象之间的位置改变的装置；

用于检测多个对象的群集的改变的装置；或其一些组合。

43.根据权利要求42所述的ARD，其中用于检测所述至少一个对象相对于所述ARD的所述位置改变的装置包括：用于检测所述至少一个对象已相对于所述ARD平移的装置；

用于检测所述至少一个对象已到达距所述ARD第一预定距离的装置；

用于检测所述至少一个对象已经历相对于所述ARD的第一预定义示意动作运动的装置；或其一些组合。

44.根据权利要求42所述的ARD，其中用于检测所述至少一个对象相对于所述ARD的所述定向改变的装置包括：用于检测所述至少一个对象已相对于所述ARD旋转的装置。

45.根据权利要求42所述的ARD，其中用于检测至少两个对象之间的所述位置改变的装置包括：用于检测所述至少两个对象已相对于彼此移动的装置；

用于检测所述至少两个对象已到达距彼此第二预定距离的装置；

用于检测所述至少两个对象中的一者已经历相对于其它者的第二预定义示意动作运动的装置；或其一些组合。

46.根据权利要求38所述的ARD，其中用于检测至少一个对象的状态改变的装置包括：用于检测相对于所述ARD放大所述至少一个对象的装置；

用于检测相对于所述ARD缩小所述至少一个对象的装置；或其一些组合。

说明书

有形对象与扩增实境对象的交互

[0001] 相关申请案的交叉参考

[0002] 本申请案主张以下申请案的权益：2013年3月15日申请且标题为“有形对象与扩增实境对象的交互(Interactions of Tangible and Augmented Reality Objects)”的第13/844,589号美国申请案；2012年7月26日申请且标题为“有形对象与扩增实境对象的交互(Interactions of Tangible and Augmented Reality Objects)”的第61/676,246号美国临时申请案；2012年7月26日申请且标题为“维持扩增的连续性(Maintaining Continuity of Augmentations)”的第61/676,249号美国临时申请案；2012年7月26日申请且标题为“用于控制扩增实境的方法及设备(Method and Apparatus for Controlling Augmented Reality)”的第61/676,278号美国临时申请案；2012年7月26日申请且标题为“有形对象与扩增实境对象的交互(Interactions of Tangible and Augmented Reality Objects)”的第61/676,255号美国临时申请案；以及2012年7月26日申请且标题为“有形项目对虚拟空间中的粒子系统扩增的影响(Tangible Items′ Effect on Particle System Augmentation in Virtual Spaces)”的第61/676,274号美国临时申请案。前述美国申请案的全文特此以引用的方式并入。

技术领域

[0003] 本发明涉及扩增实境的领域。明确地说，本发明涉及有形对象与扩增实境对象的交互。

背景技术

[0004] 常规扩增实境应用提供对现实世界环境的实况观看，其元素可被计算机产生的感觉输入(例如视频、声音、图形或GPS数据)加以扩增。对于此类应用，对现实的观看可通过计算装置修改，且所述应用可增强用户对现实的感知且提供关于用户环境的更多信息。举例来说，经扩增内容可实时地且在环境元素的语义上下文(例如在比赛期间的赛事统计及概述)中应用。随着例如智能电话等移动装置的激增，关于用户的周围现实世界的信息可在具有额外扩增内容的情况下显示在移动装置上，所述信息例如是关于具有重叠在现实世界对象上的虚拟对象的环境的人为信息。

[0005] 可通过识别有形现实世界对象及扩增实境对象且在其间提供交互而改进常规扩增实境应用，此可进一步促使用户参与到其环境中。此外，可通过使得用户能够通过用户定义的接口与有形及虚拟环境交互而改进常规扩增实境应用。因此，需要可改进常规扩增实境应用的方法、计算机程序产品及具有扩增实境功能的装置。

发明内容

[0006] 本发明涉及有形对象与扩增实境对象的交互。根据本发明的实施例，一种适用于具有扩增实境功能的装置(ARD)的方法包括：至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪；至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变；以及响应于所述至少一个对象的所述状态改变而致使扩增显现，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变。所述一或多个对象包括多个对象。

[0007] 执行3维跟踪的方法包括：确定所述多个对象相对于所述ARD的相对姿势；以及使用所述多个对象的所述相对姿势更新所述多个对象的状态，其中所述多个对象的所述状态包含所述多个对象的关系信息。确定相对姿势的方法包括检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势。确定相对姿势的方法包括：检测图像中的新对象；以及更新所述多个对象以包含所述新对象。所述关系信息包括以下各者中的至少一者：多个对象之间在游戏中的关系、多个对象之间在故事中的关系，及所述多个对象之间相对于背景的关系。

[0008] 检测至少一个对象的状态改变的方法包括以下各者中的至少一者：检测所述至少一个对象相对于所述ARD的位置改变；检测所述至少一个对象相对于所述ARD的定向改变；检测至少两个对象之间的位置改变；以及检测多个对象的群集的改变。

[0009] 检测所述至少一个对象相对于所述ARD的所述位置改变的方法包括以下各者中的至少一者：检测所述至少一个对象已相对于所述ARD平移；检测所述至少一个对象已到达距所述ARD的第一预定距离；以及检测所述至少一个对象已经历相对于所述ARD的第一预定义示意动作运动。检测所述至少一个对象相对于所述ARD的所述定向改变的方法包括检测所述至少一个对象已相对于所述ARD旋转。检测至少两个对象之间的所述位置改变的方法包括以下各者中的至少一者：检测所述至少两个对象已相对于彼此移动；检测所述至少两个对象已到达距彼此的第二预定距离；以及检测所述至少两个对象中的一者已经历相对于另一者的第二预定义示意动作运动。

[0010] 根据本发明的方面，所述扩增的类型包括多个对象之间在所述ARD的显示器中的交互。所述扩增的类型包括所述至少一个对象与所述ARD之间在所述ARD的显示器中的交互。所述扩增的类型包括对具有焦点的一或多个元素的描述，所述焦点至少部分基于所述至少一个对象的所述状态改变。所述至少一个对象的所述状态改变包括以下各者中的至少一者：所述ARD与所述至少一个对象之间的几何布置关系的改变，及所述至少一个对象与发射所述所俘获图像的相机的视野中的另一对象之间的几何布置关系的改变。所述状态改变包括所述至少一个对象的特征的改变。所述至少一个对象包括联系在一起的多个子对象，且其中所述状态改变包括所述多个子对象中的至少一个子对象的改变。

[0011] 根据本发明的方面，所述扩增包括以下各者中的至少一者：至少部分基于来自所述ARD的所述至少一个对象的视图的交互；至少部分基于所述至少一个对象与所述ARD之间的相对运动的交互；至少部分基于所述至少一个对象与所述ARD之间的距离的交互；至少部分基于来自所述至少一个对象的提示的交互；以及至少部分基于来自所述至少一个对象的示意动作的交互。所述扩增进一步包括以下各者中的至少一者：至少部分基于多个对象中的叠加对象(object-on-object)的交互；至少部分基于所述多个对象中的并排对象(object-besides-object)的交互；至少部分基于所述多个对象中的上下对象(object-above-object)的交互；至少部分基于所述多个对象中的套叠对象(object-in-object)的交互；以及至少部分基于所述多个对象中的前后对象(object-behind-object)的交互。

[0012] 检测至少一个对象的状态改变的方法包括以下各者中的至少一者：检测所述至少一个对象相对于所述ARD的放大；以及检测所述至少一个对象相对于所述ARD的缩小。所述状态改变包括所述至少一个对象到所述ARD的距离的改变，且其中所述扩增包括与所述至少一个对象相关联的角色说出指示所述距离的词语；或所述状态改变包括所述至少一个对象旋转以面向另一对象，其中所述扩增包括与所述至少一个对象相关联的角色响应于所述至少一个对象旋转以面向另一对象而向与所述另一对象相关联的角色说话。

[0013] 根据本发明的另一实施例，一种适用于具有扩增实境功能的装置(ARD)的方法包括：至少部分基于所俘获图像执行对一或多个主要对象的3维跟踪，其中所述一或多个主要对象中的至少一个主要对象包含联系在一起以形成所述至少一个主要对象的一或多个子对象；检测所述一或多个子对象中的至少一个子对象的状态改变；以及响应于所述至少一个子对象的所述状态改变而产生用于显现扩增的信息。

[0014] 执行3维跟踪的方法包括：确定所述至少一个子对象相对于其对应主要对象或相对于所述ARD的相对姿势；以及使用所述至少一个子对象的所述相对姿势更新所述对应主要对象的状态，其中所述对应主要对象的所述状态包含所述对应主要对象的关系信息。

[0015] 确定所述至少一个子对象的所述相对姿势的方法包括检测所俘获图像中的所述对应主要对象相对于所述对应主要对象的先前所俘获图像的姿势。确定所述至少一个子对象的所述相对姿势的方法包括检测图像中的新对象，及更新所述一或多个主要对象以包含所述新对象。所述关系信息包括以下各者中的至少一者：一或多个对象之间在游戏中的关系、一或多个主要对象之间在故事中的关系，及所述一或多个主要对象之间相对于背景的关系。

[0016] 检测所述至少一个子对象的状态改变的方法包括以下各者中的至少一者：检测所述至少一个子对象相对于其对应主要对象的位置改变，及检测所述至少一个子对象相对于其对应主要对象的定向改变。检测所述至少一个子对象相对于其对应主要对象的位置改变的方法包括以下各者中的至少一者：检测所述至少一个子对象已相对于其对应主要对象平移；检测所述至少一个子对象已到达相对于其对应主要对象的第一预定位置；以及检测所述至少一个子对象已经历相对于其对应主要对象的第一预定义示意动作运动。检测所述至少一个子对象相对于其对应主要对象的定向改变的方法包括检测所述至少一个子对象已相对于其对应主要对象旋转。

[0017] 根据本发明的方面，所述至少一个子对象的所述状态改变包括以下各者中的至少一者：所述至少一个子对象已移动至少一个自由度；以及所述一或多个子对象已独立于彼此而移动。显现扩增的方法包括在所述ARD的显示器中呈现多个主要对象及其对应子对象之间的交互。显现扩增的方法进一步包括在所述ARD的显示器中呈现多个主要对象、其对应子对象与所述ARD之间的交互。所述状态改变包括将所述至少一个子对象添加到其对应主要对象。所述状态改变包括从所述至少一个子对象的对应主要对象移除所述至少一个子对象。所述信息是基于所述至少一个子对象相对于其对应主要对象及不同于所述对应主要对象的主要对象的姿势而产生。

[0018] 所述方法进一步包括以下各者中的至少一者：在检测到汽车的门打开之后，即刻呈现与进入所述汽车有关的扩增；在检测到所述汽车的发动机盖打开之后，即刻呈现与检查所述汽车的发动机有关的扩增；在检测到所述汽车的发动机盖打开之后，即刻呈现与修理所述汽车的发动机有关的扩增；以及在检测到所述汽车的行李箱打开之后，即刻呈现与装载所述汽车有关的扩增。

[0019] 根据本发明的又一实施例，一种具有扩增实境功能的装置(ARD)包括包含处理逻辑的控制单元；所述处理逻辑包括：经配置以至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪的逻辑；经配置以至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的逻辑；以及经配置以响应于所述至少一个对象的所述状态改变而致使扩增显现的逻辑，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变。

[0020] 根据本发明的又一实施例，一种计算机程序产品包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体；所述指令包括：用于至少部分基于所俘获图像执行对一或多个主要对象的3维跟踪的指令，其中所述一或多个主要对象中的至少一个主要对象包含联系在一起以形成所述至少一个主要对象的一或多个子对象；用于检测所述一或多个子对象中的至少一个子对象的状态改变的指令；以及用于响应于所述至少一个子对象的所述状态改变而产生用于显现扩增的信息的指令。

[0021] 根据本发明的又一实施例，一种设备包括：用于至少部分基于一或多个对象的所俘获图像执行对所述一或多个对象的3维跟踪的装置；用于至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的装置；以及用于响应于所述至少一个对象的所述状态改变而致使扩增显现的装置，其中所述扩增的类型至少部分基于所述至少一个对象的所述状态改变。

附图说明

[0022] 在配合以下图式阅读本发明的实施例的详细描述之后，将可更加清楚地理解本发明的前述特征和优点及其额外特征和优点。

[0023] 图1说明根据本发明的一些方面的具有扩增实境功能的装置。

[0024] 图2说明根据本发明的一些方面的示范性具有扩增实境功能的装置的框图。

[0025] 图3说明根据本发明的一些方面的至少部分基于对象与ARD之间的相对位置而提供交互的方法。

[0026] 图4说明根据本发明的一些方面的使虚拟角色在交互中采用主焦点的方法。

[0027] 图5说明根据本发明的一些方面的至少部分基于对象与ARD之间的移动而提供交互的又一方法。

[0028] 图6说明根据本发明的一些方面的至少部分基于事件触发扩增的方法。

[0029] 图7说明根据本发明的一些方面的至少部分基于对象不在焦点中而继续提供扩增的方法。

[0030] 图8说明根据本发明的一些方面的至少部分基于从ARD对对象的观看而控制交互事件的方法。

[0031] 图9说明根据本发明的一些方面的至少部分基于另一对象的添加而提供交互的又一方法。

[0032] 图10说明根据本发明的一些方面的至少部分基于另一角色的添加而提供交互的又一方法。

[0033] 图11说明根据本发明的一些方面的至少部分基于恢复的场景而提供交互的又一方法。

[0034] 图12说明根据本发明的一些方面的至少部分基于对象与ARD之间的距离而触发交互的方法。

[0035] 图13说明根据本发明的一些方面的至少部分基于对象及ARD的移动而触发交互的方法。

[0036] 图14说明根据本发明的一些方面的至少部分基于叠加对象而提供交互的方法。

[0037] 图15说明根据本发明的一些方面的至少部分基于套叠对象的相对定向而提供交互的又一方法。

[0038] 图16说明根据本发明的一些方面的至少部分基于另一对象的定向而提供对象的扩增的方法。

[0039] 图17说明在一些实施例中提供有形对象与扩增实境对象的交互的流程图。

[0040] 图18说明在一些实施例中提供有形对象与扩增实境对象的交互的另一流程图。

[0041] 图19A、19B、19C及19D说明根据本发明的一些方面的用作自动家庭控制装置的ARD的实例。

[0042] 图20说明在一些实施例中提供有形对象与扩增实境对象的交互的又一流程图。

[0043] 贯穿各图使用相同数字。

具体实施方式

[0044] 揭示有形对象与扩增实境对象的交互的实施例。呈现以下描述以便使得所属领域的技术人员能够制作和使用本发明。特定实施例及应用的描述是仅作为实例而提供。所属领域的技术人员将容易明白本文所述的实例的各种修改及组合，且在不脱离本发明的精神和范围的情况下，本文中所界定的一般原理可以应用于其它实例和应用。因此，本发明并不希望限于所描述及展示的实例，而应被赋予符合本文揭示的原理和特征的最宽范围。词语“示范性”或“实例”在本文中用于意味着“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

[0045] 图1说明根据本发明的一些方面的具有扩增实境功能的装置。如图1所示，具有扩增实境功能的装置(ARD)14包含外壳101、显示器112、一或多个扬声器118，及麦克风116。可为触摸屏显示器的显示器112可说明由相机108俘获的图像或任何其它所要用户接口信息。当然，ARD 14可包含未必与本发明有关的额外组件。

[0046] 如本文中所使用，ARD装置指代任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或其它合适的移动平台。移动平台可能够接收无线通信及/或导航信号，例如导航定位信号。术语ARD还意欲包含例如通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置，而不管是在所述装置处还是在PND处发生卫星信号接收、辅助数据接收及/或定位相关处理。而且，ARD意欲包含所有电子装置，包含能够俘获用于姿势跟踪的图像以及能够执行扩增实境用户接口功能的无线通信装置、计算机、膝上型计算机平板计算机、智能电话、数码相机等。

[0047] 图2说明根据本发明的一些方面的示范性具有扩增实境功能的装置的框图。ARD 14的移动平台包含用于俘获环境的图像的相机108，所述图像可为个别照片或视频帧。
ARD14的移动平台还可包含传感器109，传感器109可用以提供ARD 14的移动平台可借以确定其位置及定向(即，姿势)的数据。可与ARD 14的移动平台一起使用的传感器的实例包含加速度计、石英传感器、陀螺仪、用作线性加速度计的微机电系统(MEMS)传感器，以及磁力计。

[0048] ARD 14的移动平台还可包含用户接口110，所述用户接口110包含能够显示图像的显示器112。用户接口110还可包含用户可借以将信息输入到ARD 14的移动平台的小键盘114或其它输入装置。如果需要，则可通过将虚拟小键盘集成到具有触摸传感器的显示器
112中而消除小键盘114。用户接口110还可包含麦克风116及一或多个扬声器118(例如，如果移动平台为蜂窝式电话)。当然，ARD 14的移动平台可包含与本发明不相关的其他组件。

[0049] ARD 14的移动平台进一步包含控制单元120，控制单元120可连接到相机108及传感器109以及用户接口110连同任何其它所要特征且与之通信。控制单元120可由一或多个处理器122及相关联的存储器/存储装置124提供。控制单元120还可包含软件126以及硬件128及固件130。控制单元120包含跟踪单元132，所述跟踪单元132经配置以跟踪ARD 14的位置并且跟踪由ARD 14监视的一或多个对象的位置。控制单元120可进一步包含扩增实境用户接口单元134，所述扩增实境用户接口单元134经配置以在ARD 14的显示器112上呈现扩增实境交互。跟踪单元132及扩增实境用户接口单元134为了清楚起见而说明为与处理器
122及/或硬件128分开，但可基于软件126及固件130中的指令而组合及/或实施于处理器
122及/或硬件128中。

[0050] 根据本发明的方面，可结合一或多个有形接口项目来使用ARD 14。在本文所述的实例中的许多者中，有形接口项目称为“对象”或“玩偶”。然而，还可使用其它类型的有形对象，且本文所揭示的技术不限于玩偶。举例来说，有形接口项目可包含用户的环境中的一或多个项目，例如可在ARD 14的相机的视野内的可乐罐、咖啡杯、杂志或其它有形项目。

[0051] 由ARD 14提供的扩增可形成连续故事路径。此类连续故事路径在本文中可被称作“场景”。ARD 14的扩增逻辑可经配置以监视用户的注意力，且如果用户看起来对特定场景失去兴趣，则改变场景。下文更详细地描述用于与用户交互及用于定制由ARD 14提供的扩增内容的技术。

[0052] 根据本发明的实施例，存在通过将ARD 14及/或对象移动到不同相对位置来触发不同扩增的众多方式。在图3中所示的实例中，可通过朝向有形对象21(也称为伯尼(Bernie)21)移动ARD 14来触发扩增。经扩增虚拟角色31(也称为经扩增伯尼31)可响应于ARD14移动地较接近于有形对象21而说出“接近”(用音频20表示)。类似地，在另一示范性情境中，可通过将ARD 14移动地远离对象21而触发扩增。经扩增虚拟角色31可响应于ARD 14从对象21移远而说出“远”。对于另一实例，可通过将ARD 14从一个对象附近移动到另一对象附近而触发扩增，而无需缩小且接着放大(或移远且接着移近)。经扩增虚拟角色31可响应于ARD 14将对象置于其显示器的视野中而挥动其手。

[0053] 对于又一实例，可通过从先前场景首先移远且接着朝向对象移动而触发扩增。类似地，经扩增虚拟角色31可响应于ARD 14朝向对象21移动而挥动其手。在其它方法中，可通过改变ARD 14与例如对象21等对象之间的几何布置关系而触发各种扩增。在又其它方法中，可基于因素的组合来触发各种扩增，所述因素例如ARD 14与对象之间的距离以及ARD 14与对象21保持相对于彼此实质上静止的时间量。

[0054] 在上文展示的实例中，可促进使用ARD的探索。可针对移近对象或从对象移远而向用户奖励不同扩增。用户可通过用单手握持装置来执行此动作，因此使第二只手空闲出来以保持参与到有形游戏中。

[0055] 根据本发明的实施例，扩增可响应于ARD 14放大对象21而改变。所述缩放功能可通过将ARD 14移近对象21而实现。所述缩放功能还可通过将对象21移近ARD 14而实现。或者，所述缩放功能可通过对ARD 14的显示器中的对象21的视图执行软件及/或硬件调整而实现。

[0056] 在各种实施方案中，触发扩增可表示为ARD 14屏幕上的对象21采用主焦点的扩增，例如虚拟角色31旋转以看向ARD 14的方向，如图4中所示。在另一方法中，扩增可改变为使虚拟角色31向用户挥手。在又一方法中，扩增可改变为使虚拟角色31说出“嘿，你好！”[0057] 在又其它实施方案中，可根据ARD 14与对象21之间的几何布置关系的改变而触发事件。举例来说，当ARD 14放大TV时，视频可开始播放；或当ARD 14放大马桶时，可弹出鲜花。如图6的实例中所示，响应于ARD 14放大浴缸，充满气泡的经扩增浴缸32可展示在ARD 14的显示器上。

[0058] 场景可改变，其中未聚焦的对象的元素受对象的焦点影响。举例来说，如果ARD 14在伯尼正与布雷特(Brett)讨论的同时放大伯尼，则可通过布雷特说出“嘿，伯尼，你那里都有谁？”来产生与用户的交互。对于另一实例，如果ARD 14放大正在浴缸22中嬉戏的伯尼21，浴缸冒泡的声音变得较安静，或来自经扩增浴缸32的气泡33可在经扩增伯尼31四周浮起，如图7中所说明。对于又一实例，可展示背景12的扩增(例如地板)。在一些实施例中，可调整一或多个对象的分辨率。举例来说，可基于ARD 14相对于图画的缩放或“位置”来调整虚拟图画的分辨率。

[0059] 场景可基于交互的若干方面而起始动作。举例来说，经扩增伯尼31可能说出“接近”且用户可能以移近作为响应，则ARD 14可经配置以通过触发以下新扩增而奖励用户：使伯尼说出“好！”及/或使伯尼响应于用户遵从指令而跳一段舞蹈。

[0060] 根据本发明的实施例，扩增可响应于ARD 14缩小对象21而改变。还可通过将ARD14从对象21移远来实现缩放功能。或者，可通过在ARD 14上使用缩小功能或通过将对象21从ARD 14移远来实现缩放功能。

[0061] 在一个方法中，所触发事件可在ARD 14缩小触发对象(例如如图8中所示的TV 24)之后继续。在其它实施方案中，所触发事件可在ARD 14缩小之后不继续。举例来说，TV 24可随着ARD 14缩小而变暗。在又一方法中，缩小可结束场景、改变场景或恢复先前场景。举例来说，经扩增伯尼31可停止看向用户且返回到看电视。在又一方法中，场景可基于交互的若干方面而继续。举例来说，经扩增伯尼21可说出“远”，且场景可经调整以展示经扩增伯尼距ARD 14较远。

[0062] 在其它实施方案中，当ARD 14从对一个对象的缩放状态移动到对另一对象的缩放状态而不首先缩小时，不同或组合扩增可出现。所述移动可包含但不限于：1)ARD 14的侧向或旋转移动；2)一个对象移出紧密接近ARD 14的帧且新对象移入所述帧中；以及3)新对象紧密接近ARD 14而引入，而先前对象仍可在所述帧中。

[0063] 不同扩增可为场景从先前对象缩放状态的延续。在如图9中所示的一个方法中，在放大TV 24(视频正在虚拟TV 34中播放)时，接着将伯尼21引入到帧中(TV 21仍在所述帧中或不在所述帧中)致使虚拟伯尼31通过说出“哦，你在看电视啊！我可以与你一起看吗？”而与用户交互。在如图10中所示的另一方法中，当从放大伯尼21(其致使虚拟伯尼说出“哦，是你啊”)水平移动到放大狗25时，虚拟狗35说出“伯尼是对的，就是你！”(20)。

[0064] 在又其它实施方案中，在先前缩小结束场景而不首先缩放另一对象的情况下，在缩小之后，ARD 14可回到放大相同对象。场景可以与第一次不同的扩增而恢复，例如，伯尼可以说出“嘿，你又来了！”

[0065] 在又其它实施方案中，场景可不恢复，而替代地可在以下情形中开始新场景，所述情形包含但不限于：1)如果时间t已过去(例如，2到5分钟)；2)如果ARD 14检测到新用户(例如，经由皮肤电响应签名)；3)如果ARD 14以某一方式(例如，屏幕向下)放下；或4)如果ARD 14经配置以临时以缩小模式探索不同地板或不同对象。注意，新场景可为第一缩放状态场景的重复。对于又一实例，新场景可为虚拟角色的新表示，其可向用户提供新的体验。

[0066] 在缩放到另一对象上或探索不同区域或对象之后，场景可恢复，其中从先前体验添加了故事主线元素。在图11中所示的实例中，场景从伯尼21移动到在不同房间中的狗25，接着可返回到伯尼21，且虚拟伯尼31可与用户交互，例如通过说出“哦，你好！我还在洗澡呢。你想与狗一起看电视节目吗？”

[0067] 在其它实施方案中，如图12中所示，扩增16可取决于对象距ARD 14有多近(对象的相对大小)而不同。因素可包含但不限于：1)在一定距离处，浴缸的水打漩；2)随着ARD 14变近，气泡开始出现；以及3)随着ARD 14变得更近，经扩增橡胶鸭可弹出。

[0068] 根据本发明的实施例，ARD 14可经配置以使用目标位置状态作为扩增的触发。举例来说，ARD 14可经配置以支持装置与3D标记的2×6度的相对位置交互。ARD 14可相对于对象移动到任何位置，且对象可相对于ARD 14移动到任何地点，或其两者可相对于彼此一起移动。为促进且奖励全范围的探索及扩增，每一位置及/或移动可触发带不同扩增的交互。注意，可相对于例如地板等参考背景12对位置及/或运动进行分类。

[0069] 如图13中所说明，ARD 14可相对于可放置在参考背景12上的对象移动。经扩增图像可改变，而被跟踪的对象相对于地板12的相对位置可不变。地板12可用以确定哪一项目可能正在移动，例如ARD 14、对象或ARD 14与对象两者的组合可能在运动中。举例来说，对象可相对于ARD 14移动。对于另一实例，对象可放置在参考地板12上，且在被跟踪的对象相对于地板12的相对位置改变的同时，经扩增图像可在ARD 14的视图中改变。

[0070] 对于又一实例，ARD 14与对象两者可相对于彼此移动。在此实例中，对象可放置在参考地板12上，且在被跟踪的对象相对于参考地板的相对位置具有某一改变(可能小于ARD 14所观测到的改变)的同时，经扩增图像可在ARD 14的视图中改变。

[0071] 对于又一实例，ARD 14与对象可维持相对于彼此的位置，但其位置可相对于地板12改变。举例来说，对象及ARD 14可升高，且一起移出玩耍的地板区域，因此对象的经扩增图像在ARD 14的视图中可不改变，而被跟踪的对象相对于地板12的相对位置已改变。注意，可通过监视ARD 14与对象之间的距离的改变而不跟踪ARD 14或对象是否已移动来对其间的相对位置及/或相对运动进行分类。根据本发明的方面，所述分类中的每一者可触发不同扩增。

[0072] 在一些实施方案中，如图14中所示，ARD 14可经配置以支持叠加对象交互。如果对象放置在另一对象上，则此动作或所得状态可触发扩增。举例来说，如果ARD 14观测到伯尼21放置在马桶27上，经扩增伯尼31可说出“我休息一下，现在我需要去小便”。此外，将多个对象堆叠可触发产生新的经扩增对象。举例来说，将伯尼21堆叠在马桶27上可引起经扩增伯尼31坐在经扩增马桶37上的新组合扩增100。对于另一实例，堆叠积木以形成汽车的形状可触发汽车的扩增。在所述积木可用以产生新形式的情况下，用户甚至在所述积木可不再处于视图中之后仍可保持已产生的扩增。

[0073] 在另一方法中，ARD 14可经配置以支持并排对象交互。紧挨着彼此放置的对象可触发产生新的经扩增对象。举例来说，将积木放置在彼此旁侧可触发重叠在其上的经扩增视频屏幕。而且，可添加更多积木以使屏幕更大。对象的相对定向可触发不同扩增。举例来说，使伯尼面向布雷特可触发角色向彼此打招呼的扩增；而使伯尼在布雷特后面可触发在伯尼讲话说布雷特吃惊的扩增。

[0074] 在又一方法中，ARD 14可经配置以支持上下对象(object-above-object或object-below-object)交互。当对象放置在另一对象上方时，此动作可触发扩增。举例来说，如果将浇水壶保持在花盆上，其可触发花从花盆长出的扩增。对于另一实例，如果以在钢琴上弹奏的曲调扩增所述钢琴，则用户可将钢琴保持在吉他上方以触发包含来自钢琴及吉他两者的声音的歌曲扩增。

[0075] 在其它实施方案中，ARD 14可经配置以引起通过动作或定向连同位置触发的扩增。举例来说，如果以“浇注”运动将钢琴倾倒在吉他上，则扩增可将曲调从钢琴“浇注”到吉他中，使得钢琴可停止弹奏，而吉他可接过所述曲调。注意，可以不同量完成“浇注”。举例来说，当键盘将一拍倾倒在吉他上，且接着倾倒在大号上时，这些动作可触发曲调中的一些传递到每一乐器的扩增。

[0076] 在一种方法中，如果所触发的扩增持续存在，则可展示以下场景，包含但不限于：1)吉他“倾倒”在共鸣板上，从而触发从共鸣板弹奏吉他曲调的扩增；2)用户接着将ARD的视图移动到钢琴，且执行致使钢琴演奏新曲调的动作；3)用户接着将钢琴移动到共鸣板上(移动视图以看到钢琴及共鸣板)，共鸣板可仍弹奏吉他曲调；4)钢琴“倾倒”在共鸣板上，从而触发将钢琴曲调添加到从共鸣板演奏的吉他曲调的扩增；或5)可用例如鼓、吉他等其它乐器重复以上操作，从而在共鸣板上形成复杂歌曲。

[0077] 在另一方法中，扩增可持续存在，从而致使从共鸣板连续地演奏复杂曲调，直到可检测以下各者中的一或多者：1)用户执行动作以停止所述曲调，例如摇动共鸣板以清除曲调，或将歌曲“倾倒”到垃圾箱中，或用户选择保存歌曲；2)所有乐器可能已在ARD14的视图之外达预定时间周期；或3)应用程序被关闭或ARD 14可能被关掉。

[0078] 在又其它实施方案中，ARD 14可经配置以支持套叠对象交互。在此实例中，对象可部分或完全含于另一对象中，此可产生可触发特定交互的新状态。在一种情形中，在仅部分套叠状态对象上的部分套叠状态可触发扩增。举例来说，当将伯尼放入浴缸中时，可触发扩增以展示伯尼正在洗澡。

[0079] 在另一情形中，在多重套叠状态对象上的部分套叠状态可触发扩增。举例来说，汽车可能足够大以使伯尼完全处于内部，例如经由一或多个车门进入。伯尼进入汽车的每一不同阶段可表示可触发扩增的状态。对于另一实例，伯尼在相对于汽车侧踏的范围处(如通过ARD所观测)关闭汽车的打开的乘客侧车门(或开口)，因此指示伯尼接近或处于汽车的平面图中，经扩增伯尼可说出“我要上车了”。对于又一实例，伯尼可占据地板上可邻近于驾驶员侧车门(或开口)的地板上的位置或与所述位置相同的位置(如由ARD14所观测)，在所述情形中，经扩增伯尼可说出“我要开车了”。

[0080] 在又一情形中，在单一或多重进入状态对象上的完全进入状态可触发扩增。当部分关闭时，例如当伯尼在汽车内部时，可经由汽车的车窗看到伯尼，此可触发汽车发动机发动的声音的扩增，且可通过虚拟伯尼说出“耶，我出发了！”来执行与用户的交互。当完全遮挡时，例如当ARD 14可看到伯尼大半处于汽车中，接着汽车车门关闭且看不见伯尼时，场景流程以伯尼在汽车内部的状态而继续。此可触发汽车发动机发动的声音，且虚拟伯尼可说出“耶，我出发了！”

[0081] 在又一情形中，里外对象状态可影响外部对象的扩增。如果已知伯尼处于“车内”(汽车内部)状态，则可触发扩增以使伯尼驾驶汽车，而能够或不能够在现实世界中观测到伯尼在汽车中。在又一情形中，外部对象可影响里外对象状态的扩增。如果已知伯尼处于“车内”状态，则可触发扩增以使伯尼戴着鸭舌帽及驾驶手套。当伯尼退出车内状态时，扩增结束，例如其不再佩戴其帽子。在其它情形中，在车内状态结束之后，扩增可持续存在。

[0082] 在又一情形中，当看到第一对象在第二对象中时，具有遮挡的场景可持续存在。举例来说，如果经由汽车的车窗看到伯尼，则伯尼被遮挡。如果ARD 14移动到汽车上方且无法经由车顶看到伯尼，则场景可以假定伯尼处于汽车中(第一对象仍在第二对象中)的状态而继续，直到1)从某角度观测汽车，可观测伯尼但伯尼不再在那里；2)看到伯尼退出汽车；3)在其它地方看到伯尼；4)汽车不在ARD 14的视图中已过去一定量的时间；5)已放下ARD 14达一定量的时间t2(例如1分钟)；或6)ARD 14已被放下且已被另一用户拾起，其可通过检查距地板的最大高度偏差或经由例如生物识别检查因子(例如GSR)、心律、面部辨识、指纹或其任何组合等方法来检测。注意，当看到第一对象处于进入第二对象中的状态时，具有遮挡的场景可持续存在，其中第二对象可完全遮挡第一对象，例如，伯尼可处于没有车窗的汽车中。在又一情形中，可通过将对象放置在另一对象之上而实现对象在上状态。此状态可触发与对象进入状态相同或不同的扩增。举例来说，对象可能够物理地覆盖另一对象，例如玩具角色可被置于电话亭中，从而部分或完全地覆盖所述玩具角色。

[0083] 如图15中所示，对象之间的相对定向可触发不同扩增。在此实例中，两个或两个以上对象可具有相对于彼此的多个定向或对准状态，且不同定向可触发不同扩增。举例来说，当伯尼21放置于浴缸22中时，可展示经扩增伯尼31正泼溅水且制造气泡。对于另一实例，当伯尼21躺在浴缸22中时，可展示经扩增伯尼31正在重复地唱一首歌。

[0084] 如图16中所示，对象的定向可影响另一对象的状态。在其中对象影响另一对象的扩增的情况下，第一对象的定向可确定第二对象的扩增。举例来说，狗25可放置于电话亭28中，其中狗25可被电话亭28完全遮挡，或其中可经由电话亭28的窗口看见狗25。电话亭28可接着在任何方向上转动，例如1)电话亭28可相对于地板12移动；2)电话亭28可相对于ARD 14移动；或3)ARD 14可相对于电话亭28移动。

[0085] 在另一方法中，电话亭28的定向可影响狗25的扩增，使得经扩增狗35变为超级狗、外卖狗或小狗。注意，可经由经扩增电话亭38或其部分看到扩增；还可在狗25退出电话亭28之后看到扩增；或可在狗25可在电话亭28之内及之外两者时看到扩增。

[0086] 在又一方法中，扩增可在以下情境中的一或多者中持续存在，所述情境包含但不限于：a)在狗25处于电话亭28中时；b)在狗25退出电话亭28时；c)在狗25处于距电话亭28预定义距离之内时；d)一时间周期，其中所述时间周期是在离开电话亭28之后；e)直到狗25重新进入电话亭28或去驾驶汽车；f)在扩增与额外扩增配合的情况下，例如，如果经扩增超级狗38可进入汽车，则经扩增超级狗38还可佩戴驾驶员的帽子及手套；以及g)贯穿整个扩展场景，直到1)狗25不在ARD 14的视图中已过去一定量的时间t1(例如2分钟)；2)已放下ARD 14达一定量的时间t2(例如1分钟)；或3)ARD 14已被放下且已被另一用户拾起，其可通过检查距地板的最大高度偏差或经由例如生物识别检查因子(例如GSR)、心律、面部辨识、指纹或其任何组合等方法来检测。

[0087] 根据本发明的方面，前后对象(遮挡)交互可触发不同扩增。一对象部分地遮挡另一对象可触发动作。举例来说，伯尼21在TV 24后方的场景(即，伯尼21可部分地被TV24遮挡)可触发经扩增伯尼31修理TV 34(未展示)。注意，在一些情况下，可能对两个对象中的仅一者的扩增或对两个对象两者的扩增或对两个对象的组合扩增存在影响。

[0088] 在又一方法中，如在以下实例中，ARD 14相对于一或多个对象的移动可触发扩增。在机器人之间的经扩增搏斗游戏中，如果机器人中的一者被击中且损坏，则ARD 14可经配置以放大所述机器人，且接着ARD 14可经配置以如同扳手般旋拧以修理所述机器人。或者，可使用另一动作来抓住所述机器人，例如可在触摸屏上触摸所述机器人，接着ARD 14可经配置以如同扳手般旋拧以修理所述机器人。此外，ARD 14可里外平移以为所述机器人加油；
或可将摇动运动应用到ARD 14以撤销一动作。

[0089] 根据本发明的实施例，对象可用作对扩增的有形调整。扩增可具有可调整的若干方面，例如音量、亮度、内容，等。在一些实施方案中，对象的移动可用以如下改变状态。在一种方法中，对象可改变其自身状态的一个方面。举例来说，ARD的视图中的收音机可触发播放歌曲的扩增；旋转所述收音机可致使收音机的音量增大或减小。

[0090] 在另一方法中，对象可改变另一对象的状态的一个方面，例如旋拧电话亭28可改变狗25的扩增，如图16中所说明。举例来说，将伯尼21放置在TV 24附近可触发在经扩增TV 34上播放视频的扩增；旋转伯尼25可致使TV 24上的频道被改变。

[0091] 在又一方法中，多个对象可影响自身的扩增或其它对象的扩增。举例来说，转动经扩增TV 34可致使TV 24的频道在扩增中改变。在其它实施方案中，转动伯尼21可致使音量被调整，且转动另一对象可致使TV 24的亮度被调整。

[0092] 在又其它实施方案中，对象的位置可影响自身的扩增或其它对象的扩增。举例来说，可通过上下移动经扩增收音机、向前拉动经扩增收音机及/或向后推动经扩增收音机来控制经扩增收音机的音量。可相对于地板、ARD 14或另一对象来观测收音机的位置。

[0093] 根据本发明的实施例，对象的示意动作可用作扩增的触发。对象可以自然表现的示意动作移动以触发相关联的扩增。举例来说，在花盆上倾斜喷壶可触发为花浇水的扩增。

[0094] 根据本发明的一些方面，可实施以下示范性交互，所述交互包含但不限于：1)经扩增布雷特可询问伯尼问题，其中用户可使伯尼点头或摇头以作为响应，从而相应地提供经扩增肯定或否定响应；2)在棋盘上移动棋子可触发所移动棋子与待俘获的棋子之间的经扩增巫师搏斗，其中所移动的棋子赢得搏斗；3)快速向左或向右移动书本可翻动所述书本的虚拟页；以及4)轻触吉他可设定经扩增歌曲的旋律。

[0095] 根据本发明的实施例，对象的示意动作可用作场景产生。可促进用户在现实世界中表现。举例来说，用户可以自然表现的示意动作移动对象以如下触发自动产生的场景进展，包含但不限于：1)如果用户使角色点头，则经扩增场景反映角色同意；且如果用户使角色摇头，则经扩增场景反映角色可能不同意；2)如果用户使伯尼向布雷特鞠躬，则经扩增场景可反映伯尼正向布雷特打招呼；3)如果用户使狗25上下跳动，则经扩增狗35可变得兴奋且保持兴奋预定持续时间，从而相应地影响场景；以及4)如果用户使狗25躺下，经扩增狗35可显得疲劳；且如果留在那里，则其入睡。其它经扩增角色可对狗的动作做出响应，例如向彼此说嘘声。

[0096] 根据本发明的实施例，ARD可经配置以执行环境状态交互。对象可驻留在由背景(例如地板)建立的经扩增环境中。可促进用户探索环境且与环境中的元素交互。在以下实例中，可假定墙壁、门及窗户是虚拟的，而非有形元素。在一些实施方案中，可由用户操作经扩增环境中的虚拟元素，例如可通过以下操作打开关闭的窗户：1)将角色移动到窗户附近，2)移动角色以面向窗户，或3)经角色提示，例如经扩增伯尼说出“哼，这里好热。我应该打开窗户吗？”此扩增可继之以来自用户的输入，例如使伯尼点头或摇头。此外，可根据ARD 14相对于窗户的定向来操作经扩增环境中的虚拟元素。在一个实施方案中，向上看向窗户可触发窗户打开，且向下看向绕线器可触发窗户关闭。

[0097] 在一些实施方案中，将ARD 14移动得极接近于虚拟窗户可触发环境状态交互。此外，推动ARD 14穿过虚拟窗户可致使窗户打开，从而允许ARD 14通过。此外，可通过在屏幕上轻触及/或发出例如“打开窗户”等话音命令而操作经扩增环境中的虚拟元素。

[0098] 根据本发明的一些方面，图17、图18及图20中描述的功能可由图2的控制单元120实施。在一些实施方案中，所述功能可由处理器122、软件126、硬件128及固件130或这些框的组合来执行以执行上文所描述的ARD的各种功能，包含由跟踪单元132及扩增实境用户接口单元134执行的功能。图17说明根据本发明的一些方面的提供有形对象与扩增实境对象的交互的流程图。在框1702中，控制单元120可经配置以至少部分基于一或多个对象的所俘获图像执行一或多个对象的3维跟踪。在框1704中，控制单元120可经配置以至少部分基于所俘获图像检测所述一或多个对象中的至少一个对象的状态改变。在框1706中，控制单元120可经配置以响应于所述至少一个对象的状态改变而致使扩增显现，其中扩增的类型是至少部分基于所述至少一个对象的状态改变。注意，所述一或多个对象可包含多个对象。

[0099] 根据本发明的实施例，在框1702中执行的方法可进一步包含在框1710到1712中执行的方法。举例来说，在框1710中，控制单元120可经配置以确定所述多个对象相对于ARD的相对姿势，且使用所述多个对象的相对姿势更新所述多个对象的状态，其中所述多个对象的状态包含所述多个对象的关系信息。在框1710中执行的方法可进一步包含在框1730到1732中执行的方法。在框1730中，控制单元120检测所述多个对象相对于所述多个对象的先前所俘获图像的姿势。在框1732中，控制单元120检测图像中的新对象，且更新所述多个对象以包含所述新对象。所述关系信息包括以下各者中的至少一者：多个对象之间在游戏中的关系、多个对象之间在故事中的关系，及所述多个对象之间相对于背景的关系。

[0100] 在框1704中执行的方法可进一步包含在框1714到1720中执行的方法。在框1714中，控制单元120检测所述至少一个对象相对于ARD的位置改变。在框1716中，控制单元120检测所述至少一个对象相对于ARD的定向改变。在框1718中，控制单元120检测至少两个对象之间的位置改变。在框1720中，控制单元120检测多个对象的群集的改变。

[0101] 在框1714中执行的方法可进一步包含在框1734中执行的方法，其中控制单元120：1)检测所述至少一个对象已相对于所述ARD平移，2)检测所述至少一个对象已到达距所述ARD的第一预定距离，或3)检测所述至少一个对象已经历相对于所述ARD的第一预定义示意动作运动。在框1716中执行的方法可进一步包含在框1736中执行的方法，其中控制单元120检测所述至少一个对象已相对于所述ARD旋转。

[0102] 类似地，在框1718中执行的方法可进一步包含在框1738中执行的方法，其中控制单元120：1)检测所述至少两个对象已相对于彼此移动，2)检测所述至少两个对象已到达距彼此的第二预定距离，及3)检测所述至少两个对象中的一者已经历相对于其它者的第二预定义示意动作运动。

[0103] 在框1706中执行的方法可进一步包含在框1722到1724中执行的方法。扩增的类型可包括，包含但不限于：1)如框1722中所描述的多个对象之间在所述ARD的显示器中的交互，2)如框1724中所描述的所述至少一个对象与所述ARD之间在所述ARD的显示器中的交互，及3)对具有焦点的一或多个元素的描述，所述焦点至少部分基于所述至少一个对象的所述状态改变。

[0104] 所述至少一个对象的所述状态改变可包括以下各者中的至少一者：所述ARD与所述至少一个对象之间的几何布置关系的改变，所述至少一个对象与发射所俘获图像的相机的视野中的另一对象之间的几何布置关系的改变，及所述至少一个对象的特征的改变。

[0105] 根据本发明的方面，所述扩增包括以下各者中的至少一者：至少部分基于来自所述ARD的所述至少一个对象的视图的交互；至少部分基于所述框1706中的扩增可括以下各者中的至少一者：至少部分基于来自ARD的所述至少一个对象的视图的交互；至少部分基于所述至少一个对象与所述ARD之间的相对运动的交互；至少部分基于所述至少一个对象与所述ARD之间的距离的交互；至少部分基于来自所述至少一个对象的提示的交互；以及至少部分基于来自所述至少一个对象的示意动作的交互。

[0106] 框1706中的扩增进一步包括以下各者中的至少一者：至少部分基于多个对象中的叠加对象的交互；至少部分基于所述多个对象中的并排对象的交互；至少部分基于所述多个对象中的上下对象的交互；至少部分基于所述多个对象中的里外对象的交互；以及至少部分基于所述多个对象中的前后对象的交互。

[0107] 检测至少一个对象的状态改变的方法可包括以下各者中的至少一者：检测所述至少一个对象相对于所述ARD的放大；以及检测所述至少一个对象相对于所述ARD的缩小。

[0108] 图18说明根据本发明的一些方面的提供有形对象与扩增实境对象的交互的另一流程图。在框1802中，控制单元120可经配置以至少部分基于所俘获图像执行一或多个主要对象的3维跟踪，其中所述一或多个主要对象中的至少一个主要对象包含联系在一起以形成所述至少一个主要对象的一或多个子对象。在框1804中，控制单元120可经配置以检测所述一或多个子对象中的至少一个子对象的状态改变。在框1806中，控制单元120可经配置以响应于所述至少一个子对象的所述状态改变而产生用于显现扩增的信息。

[0109] 根据本发明的实施例，在框1802中执行的方法可进一步包含在框1810到1812中执行的方法。举例来说，在框1810中，控制单元120确定至少一个子对象相对于其对应主要对象的相对姿势。在框1812中，控制单元120使用所述至少一个子对象的相对姿势更新所述对应主要对象的状态，其中所述对应主要对象的状态包含所述对应主要对象的关系信息。在框1810中执行的方法可进一步包含在框1830到1832中执行的方法。在框1830中，控制单元120检测所俘获图像中的对应主要对象相对于所述对应主要对象的先前所俘获图像的姿势。在框1832中，控制单元120检测图像中的新对象，且更新所述一或多个主要对象以包含所述新对象。注意，所述关系信息包括以下各者中的至少一者，包含但不限于：1)一或多个对象之间在游戏中的关系，2)一或多个主要对象之间在故事中的关系，及3)所述一或多个主要对象之间相对于背景的关系。

[0110] 在框1804中执行的方法可进一步包含在框1814到1818中执行的方法。在框1814中，控制单元120检测所述至少一个子对象相对于其对应主要对象的位置改变。在框1816中，控制单元120检测所述至少一个子对象相对于其对应主要对象的定向改变。在框1814中执行的方法可进一步包含在框1834中执行的方法。在框1834中，控制单元120检测所述至少一个子对象已相对于其对应主要对象平移，检测所述至少一个子对象已到达相对于其对应主要对象的第一预定位置，或检测所述至少一个子对象已经历相对于其对应主要对象的第一预定义示意动作运动。在框1816中执行的方法可进一步包含在框1836中执行的方法。在框1836中，控制单元120检测所述至少一个子对象已相对于其对应主要对象旋转。

[0111] 在框1818中，控制单元120检测所述至少一个子对象已移动至少一个自由度，或检测所述一或多个子对象已独立于彼此而移动。在框1806中执行的方法可进一步包含在框1820到1822中执行的方法。在框1820中，控制单元120在ARD的显示器中呈现在多个主要对象及其对应子对象之间的交互。在框1820中，控制单元120在ARD的显示器中呈现多个主要对象、其对应子对象与ARD之间的交互。

[0112] 根据本发明的一些方面，状态改变可包括将所述至少一个子对象添加到其对应主要对象；且所述状态改变可进一步包括从其对应主要对象移除所述至少一个子对象。可基于至少一个子对象相对于其对应主要对象的姿势以及不同于所述对应主要对象的主要对象来产生框1806的信息。所述方法进一步包括以下各者中的至少一者：在检测到汽车的门打开之后，即刻呈现与进入所述汽车有关的扩增；在检测到所述汽车的在框1806中执行的方法可进一步包含但不限于：1)在检测到汽车的车门打开之后，即刻呈现与进入所述汽车有关的扩增；2)在检测到所述汽车的发动机盖打开之后，即刻呈现与检查所述汽车的发动机有关的扩增；3)在检测到所述汽车的发动机盖打开之后，即刻呈现与修理所述汽车的发动机有关的扩增；以及4)在检测到所述汽车的行李箱打开之后，即刻呈现与装载所述汽车有关的扩增。

[0113] 图20说明根据本发明的一些方面的提供有形对象与扩增实境对象的交互的又一流程图。在框2002中，控制单元120可经配置以接收至少一个对象的选择。在框2004中，控制单元120可经配置以在由相机俘获的多个图像中跟踪至少一个对象。在框2006中，控制单元120可经配置以至少部分基于所述跟踪而致使控制信号经由机器接口从装置发射到现实对象。

[0114] 在框2004中执行的方法可进一步包含在框2010到2014中执行的方法。在框2010中，控制单元120确定所述至少一个对象相对于装置的相对姿势。在框2012中，控制单元120使用所述相对姿势更新所述至少一个对象的状态。控制单元120在框2014中放大以获得所述至少一个对象的特写图，且在框2032中将所述至少一个对象置于所述装置的中心屏幕。在框2010中执行的方法可进一步包含在框2030中执行的方法。在框2030中，控制单元120检测所述至少一个对象相对于所述至少一个对象的先前所俘获图像的相对姿势。

[0115] 在框2006中执行的方法可进一步包含在框2016到2020中执行的方法。在框2016中，控制单元120显现用于所述至少一个对象的控制机构的扩增；且在框2018中，控制单元120在装置的显示器上提供用户定义的控制机构。在框2020中，控制单元120使用装置的动作来模拟控制机构的操作。

[0116] 注意，框2006的机器接口可包含但不限于蓝牙、Wi-Fi及IR。所述多个图像中的至少一个图像显示在装置的触摸屏上，且其中接收至少一个对象的选择可包括接收关于触摸屏上的用户输入的信息。

[0117] 在一个示范性应用中，控制单元120可经配置以在装置的视图中跟踪收音机，提供由收音机播放歌曲的扩增，且基于确定收音机已旋转而调整歌曲的音量。在另一示范性应用中，控制单元120可经配置以在装置的视图中跟踪电视，确定对象已被放置在电视附近，且基于所放置的对象触发在电视上播放视频的扩增。在又一示范性应用中，控制单元120可经配置以跟踪便利贴，所述便利贴展示剩余电视节目，且引起数字录像机的记录设定的改变以记录所述电视节目。

[0118] 图19A、19B、19C及19D说明用作自动家庭控制装置的具有扩增实境功能的装置的实例。在图19A、19B、19C及19D中所说明的实例中，说明家用项目29(可乐罐)及家用项目12(杂志)，且在ARD 14上提供用于家用项目29及12的经扩增对象34。还可使用其它类型的家用对象或其它类型的对象。

[0119] 在一些实施方案中，经扩增对象34可完全覆盖与经扩增对象34相关联的有形对象(也可被称作现实世界对象或现实对象)。在其它实施方案中，经扩增对象34可仅覆盖有形项目的部分。举例来说，可看到有形项目被经扩增对象34的一部分覆盖，或可对有形项目进行滤波以提供更微妙的外观。可应用的滤波器类型的一些实例为用以相对于场景的其余项目减小有形项目的亮度、对比度及/或饱和度的滤波器。在一些实施方案中，环境扩增可用以覆盖所有或一些有形项目，即使扩增内容可能小于项目的图像。举例来说，在图19A中所说明的实例中，扩增内容16覆盖有形项目：杂志12。扩增内容16可能小于可乐罐29，但环境扩增已在ARD 14所显示的扩增内容中减小可乐罐的对比度及饱和度。

[0120] 在一些实施方案中，例如在图19A、19B、19C及19D中所说明的实例中，针对有形项目提供的扩增内容可为与有形项目类型不同的对象。举例来说，图19A、19B、19C及19D中的可乐罐29已被看起来像电视机的经扩增对象34替换。可使用其它类型的表示。扩增内容与有形项目的关联可为：(1)持久性的——持续跨越多个AR会话，直到有形项目与扩增内容之间的关联被重新指派；(2)粘性的——持续使用会话的持续时间(例如，只要应用程序接通)；或(3)宽松的，仅持续“场景”的持续时间。

[0121] 根据本发明的方面，可与ARD 14结合使用的某些对象可具有与其相关联的拟人化方面，例如一或多个面部特征(例如，眼睛、口部或耳朵)或其它特征(例如，动画式移动)。ARD 14的扩增逻辑可经配置以提供与使用这些拟人化方面来与装置的用户通信相关联的扩增内容。举例来说，玩具的经扩增表示可制作成动画以展现感情，在场景中四处移动，唱歌，讲话，且展示对用户的关注(或“听取”)。

[0122] 对象可驻留在目标参考背景上。举例来说，玩具可驻留在地板、桌面、游戏垫或其它表面上。ARD 14可经配置以跟踪参考地板与一或多个玩偶。ARD 14可视情况在ARD14所提供的AR视图中将背景扩增上覆在现实世界的地板及其它部分上。图19A、19B、19C及19D说明一实例，其中项目可乐罐29驻留在例如杂志等目标参考背景12上，目标参考背景12可充当用于显示在ARD 14上的经扩增内容的参考平面。例如桌面、书本、纸张、墙壁或其它项目等其它目标参考背景也可充当参考平面。在ARD 14所提供的扩增内容中包含参考平面可为任选的。

[0123] 图20说明根据本发明的一些方面的提供有形对象与扩增实境对象的交互的又一流程图。在框2002中，控制单元120可经配置以接收至少一个对象的选择。在框2004中，控制单元120可经配置以在由相机俘获的多个图像中跟踪至少一个对象。在框2006中，控制单元120可经配置以至少部分基于所述跟踪而致使控制信号经由机器接口从装置发射到现实对象。

[0124] 在框2004中执行的方法可进一步包含在框2010到2014中执行的方法。在框2010中，控制单元120确定所述至少一个对象相对于装置的相对姿势。在框2012中，控制单元120使用所述相对姿势更新所述至少一个对象的状态。控制单元120在框2014中放大以获得所述至少一个对象的特写图，且在框2032中将所述至少一个对象置于所述装置的中心屏幕。在框2010中执行的方法可进一步包含在框2030中执行的方法。在框2030中，控制单元120检测所述至少一个对象相对于所述至少一个对象的先前所俘获图像的相对姿势。

[0125] 在框2006中执行的方法可进一步包含在框2016到2020中执行的方法。在框2016中，控制单元120显现用于所述至少一个对象的控制机构的扩增；且在框2018中，控制单元120在装置的显示器上提供用户定义的控制机构。在框2020中，控制单元120使用装置的动作来模拟控制机构的操作。

[0126] 注意，框2006的机器接口可包含但不限于蓝牙、Wi-Fi及IR。所述多个图像中的至少一个图像显示在装置的触摸屏上，且其中接收至少一个对象的选择可包括接收关于触摸屏上的用户输入的信息。

[0127] 根据本发明的方面，可使用数种技术执行识别及跟踪图像帧中的特征。在一种方法中，可通过检查每一2乘2梯度矩阵的最小特征值来执行识别特征的方法。接着，使用最小化两个窗之间的差异的牛顿-拉普森方法(Newton-Raphson method)来跟踪特征。多分辨率跟踪方法允许图像之间的相对较大位移。注意，在从一个帧到下一帧跟踪特征期间，错误可能累积。为检测潜在不良的特征，移动装置可经配置以监视在当前帧中围绕所述特征的窗中的图像信号是否仍类似于在前一帧中围绕所述特征的图像信号。因为可在许多帧上跟踪特征，因此图像内容可能变形。为解决此问题，可用相似度或仿射映射来执行一致性检查。

[0128] 根据本发明的方面，为识别图像中的对象，可提取所述对象上的若干点以提供所述对象的特征描述(也称为关键点、特征点或简称为特征)。当尝试在含有许多其它对象的测试图像中定位所述对象时，可接着使用从训练图像提取的此描述来识别所述对象。为执行可靠辨识，甚至在图像缩放、噪声及照明改变下仍可检测从训练图像提取的特征。此类点通常位于图像的高对比度区域，例如对象边缘上。

[0129] 这些特征的另一特性为其间的在原始场景中的相对位置可不从一个图像到另一图像而改变。举例来说，如果仅将车门的四个拐角用作特征，则其可有效而不管车门的位置如何；但如果使用帧中的若干点，则如果车门打开或关闭，辨识可能失败。类似地，如果在所处理的组中的两个图像之间发生其内部几何布置的任何改变，则位于铰接或柔性对象中的特征通常可能无效。在一些实施方案中，SIFT检测且使用来自图像的大量特征，其可减少由所有特征匹配错误的平均错误的局部变化引起的错误的贡献。因此，所揭示方法可识别甚至处于杂物中且部分被遮挡的对象；因为SIFT特征描述符对于均匀缩放、定向可不变，且对于仿射失真及照明改变部分地不变。

[0130] 举例来说，可首先从一组参考图像提取对象的关键点且将其存储于数据库中。通过比较来自新图像的每一特征与此数据库且基于其特征向量的欧几里得距离找出候选匹配特征来在新图像中辨识对象。从整组匹配，可识别在对象及其在新图像中的地点、缩放及定向上一致的关键点的子组以滤出良好匹配。可通过使用一般化的霍夫(Hough)变换的杂凑表实施方案来执行一致群集的确定。在对象及其姿势上一致的3个或3个以上特征的每一群集可接着经受进一步详述的模型验证，且随后可舍弃离群值。可接着基于拟合准确度及可能的错误匹配的数目来计算一组特定特征指示存在对象的概率。通过测试的对象匹配可以高置信度识别为正确的。

[0131] 根据本发明的方面，图像特征产生将图像变换成大的特征向量集合，所述特征向量中的每一者对于图像平移、缩放及旋转可为不变的，且对于照明改变为不变的并且对于局部几何失真是稳健的。这些特征与灵长类动物视觉中用于对象辨识的下颞叶皮层中的神经元具有类似特性。关键地点可被定义为在尺度空间(scale space)中应用于一系列经平滑化且重新取样的图像的高斯功能的差异结果的最大值及最小值。可舍弃低对比度候选点及沿着边缘的边缘响应点。优势定向指派给局部化的关键点。此方法确保关键点对于匹配及辨识更为稳定。可接着通过考虑围绕所述关键地点的半径的像素、模糊化且重新取样局部图像定向平面来获得对局部仿射失真稳健的SIFT描述符。

[0132] 特征匹配及编索引可包含存储SIFT关键点及从新图像识别匹配的关键点。在一种方法中，也称为最佳区间优先搜索方法(best-bin-first search method)的k-d树算法的修改可用以使用有限量的计算来以高概率识别最接近的相邻者。最佳区间优先算法使用k-d树算法的经修改搜索次序以使得可按距查询地点最近的距离的次序搜索特征空间中的区间。此搜索次序需要使用基于堆栈的优先级队列来有效地确定搜索次序。可通过从训练图像识别每一关键点在关键点数据库中的最接近的相邻者来找出每一关键点的最佳候选匹配。最接近的相邻者可被定义为距给定描述符向量具有最小欧几里得距离的关键点。可通过取距最近相邻者的距离与次近者的距离的比率来确定匹配是正确的概率。

[0133] 在一个示范性实施方案中，可拒绝距离比率大于0.8的匹配，此举消除90％的错误匹配，同时舍弃小于5％的正确匹配。为进一步改进最佳区间优先算法的效率，可在检查预定数目个(例如100个)最接近的相邻候选者之后停止搜索。对于具有100,000个关键点的数据库，此可提供较之确切的最接近相邻者搜索加速约2个数量级，而又导致正确匹配数目的小于5％的损失。

[0134] 注意，对于所述示范性实施方案，可使用霍夫变换来将可靠模型假设集群以搜索在特定模型姿势上一致的关键点。可使用霍夫变换来通过使用每一特征选出可与所述特征一致的对象姿势而识别具有一致解释的特征群集。当发现特征群集选出对象的相同姿势时，解释正确的概率可高于任何单个特征。可产生杂凑表中的条目以依据匹配假设预测模型地点、定向及缩放。可搜索杂凑表以识别在区间中具有至少3个条目的群集，且可将区间排序成大小的降序。

[0135] 根据本发明的方面，SIFT关键点中的每一者可指定2D地点、缩放及定向。此外，数据库中的每一匹配关键点可具有与训练图像(在其中发现所述关键点)有关的其参数的记录。由这4个参数暗示的相似度变换可近似等于3D对象的6自由度姿势空间，并且也不考量任何非硬质变形。因此，示范性实施方案可对于定向使用30度的宽区间大小，对于缩放使用因数2，且对于地点使用0.25倍的最大投影训练图像维度(使用预测缩放)。可向以较大缩放产生的SIFT关键样本给出两倍于以较小缩放产生的样本的权重。对于此方法，较大缩放可实际上能够滤出用于以较小缩放进行检查的最可能相邻者。此方法还通过向噪声最小的缩放给出较大权重而改进辨识性能。根据本发明的方面，为避免区间指派中的边界效应问题，每一关键点匹配可在每一维度中选出2个最近的区间，从而对于每一假设得到总共16个条目且进一步加宽了姿势范围。

[0136] 根据本发明的方面，对于给定参数解，可通过检查每一图像特征与模型之间的一致性来移除离群值。举例来说，给定线性最小平方解，可能需要每一匹配在用于霍夫变换区间中的参数的错误范围的一半内一致。在离群值被舍弃时，可用剩余点来求解线性最小平方解，且所述过程可迭代。在一些实施方案中，如果在舍弃离群值之后剩余小于预定数目个点(例如，3个点)，则可拒绝所述匹配。此外，可使用自上向下的匹配阶段来添加与所投影模型位置一致的任何进一步匹配，所述匹配可能归因于相似度变换近似或其它错误而从霍夫变换区间错过。

[0137] 接受或拒绝模型假设的决策可基于详述的概率模型。给定模型的投影大小、区域内特征的数目及拟合的准确度，所述方法首先计算到模型姿势的错误匹配的预期数目。贝叶斯概率分析可接着给出可基于所发现的匹配特征的实际数目呈现对象的概率。如果正确解释的最终概率大于预定百分比(例如95％)，则可接受模型。

[0138] 根据本发明的方面，在一种方法中，旋转不变特征变换(RIFT)方法可用作SIFT的旋转不变一般化以解决杂物下或部分遮挡情境。可使用划分成相等宽度的同心环的圆形归一化片来建构RIFT描述符，且在每一环内，可计算梯度定向直方图。为维持旋转不变性，可在每一点处相对于从中心指向外的方向测量定向。

[0139] 在另一方法中，可使用一般化的稳健不变特征(G-RIF)方法。G-RIF以组合感知信息与空间编码的统一形式编码边缘定向、边缘密度及色调信息。对象辨识方案使用基于相邻上下文的表决来估计对象模型。

[0140] 在又一方法中，可使用加速稳健特征(SURF)方法，其使用缩放及旋转不变关注点检测器/描述符，在可重复性、独特性及稳健性方面，其可能性能优于先前所提议的方案。SURF依赖于整体的图像用于图像卷积以减少计算时间，且依靠最主要的现有检测器及描述符的强度(对于检测器及分布式描述符使用基于快速赫斯矩阵的测量)。SURF方法描述哈尔小波响应(Haar wavelet response)在关注点领域内的分布。整体的图像可用于速度，且64个维度可用以减少用于特征计算及匹配的时间。编索引步骤可基于拉普拉斯(Laplacian)的正负号，其增大描述符的匹配速度及稳健性。

[0141] 在又一方法中，可使用主分量分析SIFT(PCA-SIFT)方法。在一些实施方案中，PCA-SIFT描述符为在支持区域内计算的在x及y方向上的图像梯度的向量。梯度区域可在39x39个地点处取样。因此，向量可具有维度3042。通过PCA，维度可减小到36。在又一方法中，可使用梯度地点-定向直方图(GLOH)方法，其为经设计以增大其稳健性及独特性的SIFT描述符的扩展。在一些实施方案中，可针对在径向方向上具有三个区间(半径设定到6、11及15)且在倾斜方向上具有8个区间(其导致17个地点区间)的对数极坐标地点栅格计算SIFT描述符。中心区间可不在倾斜方向上进行划分。可在16个区间中量化梯度定向，从而导致272个区间的直方图。通过PCA可减小此描述符的大小。可根据从各种图像收集的图像块估计PCA的协方差矩阵。128个最大特征向量可接着用于描述。

[0142] 在又一方法中，可使用两对象辨识算法来配合当前移动装置的限制而使用。与经典SIFT方法相比，加速分段测试特征(Features from Accelerated Segment Test，FAST)拐角检测器可用于特征检测。此方法在离线准备阶段(其中可以不同灰度层级产生特征)与在线阶段(其中可以移动装置的相机图像的当前固定灰度层级产生特征)之间加以区分。在一个示范性实施方案中，可从预定固定片大小(例如15x15像素)产生特征，且所述特征形成具有36个维度的SIFT描述符。可通过将可扩展词汇树(scalable vocabulary tree)集成在辨识管线中而进一步扩展所述方法。此允许有效地辨识移动装置上的大量对象。

[0143] 根据本发明的方面，局部图像特征的检测及描述可有助于对象辨识。SIFT特征可为局部的且基于对象在特定关注点处的外观，且对于图像缩放及旋转可为不变的。其对于照明、噪声的改变及视点的较小改变也可为稳健的。除这些特性之外，特征可为高度独特的，相对容易提取且允许以低失配概率正确地识别对象。可相对容易地对照局部特征的(大)数据库来匹配特征，且通常可使用例如具有最佳区间优先搜索的k维(k-d)树等概率算法。通过一组SIFT特征进行的对象描述对于部分遮挡也可为稳健的。举例来说，来自对象的少到3个SIFT特征可足以计算其地点及姿势。在一些实施方案中，对于小数据库且在现代计算机硬件上，可准实时地执行辨识。

[0144] 根据本发明的方面，可使用随机样本一致性(RANSAC)技术来移除由相机视图中的移动对象引起的离群值。注意，RANSAC使用迭代方法来从含有离群值的一组所观测数据来估计数学模型的参数。此方法可为非确定性的，因为其以相关联概率产生合理结果，其中所述概率可随着执行更多迭代而增大。

[0145] 在一个示范性实施方案中，一组观测到的数据值，可以对应置信度参数拟合到观测结果的参数化模型。在此示范性实施方案中，所述方法迭代地选择原始数据的随机子组。这些数据可为假想的群内值(inlier)，且可接着如下测试所述假设：

[0146] 1.可将模型拟合到假想的群内值，即从所述群内值重建构模型的所有自由参数。

[0147] 2.接着可对照拟合的模型测试所有其它数据，且如果一点良好地拟合到所述估计模型，则可认为其是假想的群内值。

[0148] 3.如果已将足够数目的点分类为假想的群内值，则可认为所述估计模型可接受。

[0149] 4.可从所有假想群内值重新估计所述模型，因为其仅已从初始组假想群内值进行了估计。

[0150] 5.最终，可通过相对于模型估计群内值的错误来评估所述模型。

[0151] 每当产生因为过少的点被分类为群内值而可被拒绝的模型或与对应错误测量一起产生改进的模型时，可重复以上程序预定次数。在后一种情况下，如果错误低于先前保存的模型，则可保持所述改进的模型。

[0152] 在另一示范性实施方案中，可使用基于模型的运动跟踪方法来主动地识别并移除在相机视图中的移动对象。在一种方法中，跟踪的目标可处理为模型辨识问题。可跟踪目标的二进制表示，且可使用基于豪斯多夫距离(Hausdorff distance)的搜索来在图像的若干区域中搜索对象。对于目标的二进制表示(模型)，可用模型历史的概念来扩增从高斯平滑化图像的标准坎尼边缘检测器(canny edge detector)的输出。在每一帧处，可使用来自当前图像的坎尼边缘及当前模型来对每一目标执行豪斯多夫搜索。此外，可执行仿射估计以大致得出净背景运动。从这两个搜索的结果，可搜集关于目标的信息，且可使用所述信息来大致得出目标的运动并且在目标的区域中将背景与运动分离开来。为能够处置危险性/不寻常的条件(例如被遮挡的对象进入阴影中，对象离开帧，或相机图像失真提供不良图像质量)，可保持关于目标的历史数据，例如目标的过去运动及大小改变、目标的特征性视图(在所有时间存在的快照，其提供已跟踪目标的不同方式的准确表示)，及在过去的匹配质量。

[0153] 跟踪目标的历史可不仅仅适用于辅助危险性/不寻常的条件；可靠的运动跟踪方法的那一部分可涉及历史数据，而不仅仅是运动比较的逐帧方法。此历史状态可提供关于如何决定应将何内容视为目标的部分的信息(例如，以相同速度移动的接近于对象移动的事物应并入所述对象中)，且通过关于运动及大小的信息，所述方法可预测性地估计丢失的对象可能去往何处，或其可能重新出现于何处(其始终适用于恢复离开帧且在时间上稍后重新出现的目标)。

[0154] 运动跟踪方法中的固有挑战可能由以下事实引起：相机可具有任意移动(相较于固定相机)，其使得难以开发可处置相机运动的不可预测改变的跟踪系统。可使用具计算效益的仿射背景估计方案来提供关于相机及场景的运动的信息。

[0155] 根据本发明的方面，可执行时间t的图像到时间t+dt的图像的仿射变换，其允许使两个图像的运动相关。此背景信息允许所述方法从时间t的图像及仿射变换(其可为净场景运动的近似)合成时间t+dt的图像。此合成图像可适用于产生新模型信息及从模型空间移除背景杂物，因为可采用在t+dt的实际图像与在t+dt处所产生的图像的差异来从目标周围的空间移除图像特征。

[0156] 除使用仿射变换作为清除搜索空间的工具之外，其还可用以归一化目标的坐标移动：通过具有跟踪背景可如何移动的向量及跟踪目标可如何移动的向量，可采用所述两个向量的差异来产生描述目标相对于背景的运动的向量。此向量允许所述方法预测性地匹配目标应处的位置，且预测危险条件(例如，在运动的方向上向前看可提供关于即将出现的障碍物的线索，并且保持跟踪对象在危险条件下可能处于的位置)。当对象进入危险条件时，所述方法可能仍能够估计背景运动，且结合模型的先前移动的知识来使用所述背景运动猜测模型可能重新出现于何处或重新进入帧中。

[0157] 背景估计可为对象的长期跟踪的关键因素。注意，可在不进行背景估计的情况下执行短期跟踪，但在一段时间之后，在没有对背景的良好估计的情况下，可能难以有效地应对对象失真及危险。

[0158] 根据本发明的方面，使用豪斯多夫距离作为匹配运算符的优点之一是其在匹配期间对于形状的改变可能非常耐受，但使用豪斯多夫距离作为匹配运算符可能需要更准确地定义所跟踪的对象。

[0159] 在一种方法中，可使用从时间t+1图像获得新模型的基于直接扩张的方法(straight dilation-based method)。注意，在可能存在接近于对象的非对象特征(其出现频率很高)的一些情形中，扩张方法可能并不有效，因为其可能将整个场景缓慢地并入模型中。因此，可采用从帧到帧更新模型的方法，所述方法可耐受模型形状的改变，但并不过于宽松以致将非模型像素并入到模型中。一个示范性实施方案为使用背景移除与将先前模型添加到当前模型匹配窗及采用看似稳定的像素以及其周围的新像素(其随时间推移可因为其可能不稳定而从模型消除或并入到模型中)的组合。此方法可有效地保持模型在图像中相对清洁而无杂物。举例来说，通过此方法，接近于卡车的道路不再被逐像素地拉入模型中。注意，模型可能显得臃肿，但此可为建构模型的方式的历史效果的结果，但其还可具有使搜索结果更为确定的特征，因为此方法可使更多模型像素可能在下一帧中匹配。

[0160] 注意，在每一帧处，可能存在大量计算要执行。根据一些实施方案，移动装置可经配置以执行平滑化/特征提取、匹配每一目标(例如每模型一个匹配)的豪斯多夫，以及仿射背景估计。这些操作中的每一者可个别地在计算上非常昂贵。为实现在移动装置上的实时执行，设计可经配置以使用尽可能多的并行性。

[0161] 注意，至少接下来的三段、图1到2、图17到20及其对应描述提供用于至少部分基于一或多个对象的所俘获图像执行所述一或多个对象的3维跟踪的装置、用于至少部分基于所述所俘获图像检测所述一或多个对象中的至少一个对象的状态改变的装置，且用于响应于所述至少一个对象的所述状态改变而致使扩增显现的装置。

[0162] 本文所述的方法和移动装置可以取决于应用通过各种装置实施。举例来说，这些方法可以用硬件、固件、软件或其组合实施。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文所述的功能的其它电子单元或其组合内实施。本文中，术语“逻辑控制”涵盖通过软件、硬件、固件或组合实施的逻辑。

[0163] 对于固件及/或软件实施方案，可用执行本文中所描述的功能的模块(例如，程序、功能等等)实施方法。任何有形地体现指令机器可读媒体都可以用于实施本文所述的方法。举例来说，软件代码可存储在存储器中并且通过处理单元执行。存储器可实施在处理单元内或处理单元外部。如本文所使用，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储装置且不限于任何特定类型的存储器或数目的存储器，或任何类型的存储存储器的媒体。

[0164] 如果在固件及/或软件中实施，则可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含编码有数据结构的计算机可读媒体及编码有计算机程序的计算机可读媒体。计算机可读媒体可采用制品的形式。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用于存储指令或数据结构的形式的期望程序代码并且可通过计算机存取的媒体；在本文中使用时，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)，软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

[0165] 除了存储在计算机可读媒体上之外，还可将指令及/或数据提供为通信设备中包含的发射媒体上的信号。举例来说，通信设备可包含具有指示指令及数据的信号的收发器。所述指令及数据经配置以致使至少一个处理器实施权利要求书中概述的功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的信号的发射媒体。在第一时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第一部分，而在第二时间，通信设备中所包含的发射媒体可包含用以执行所揭示的功能的信息的第二部分。

[0166] 本发明可以配合例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等各种无线通信网络实施。术语“网络”与“系统”常常可互换使用。术语“位置”与“地点”常常可互换使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可以实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM及W-CDMA描述于来自名为“第三代合作伙伴计划”(3GPP)的协会的文献中。Cdma2000描述于来自名为“第三代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献可公开获得。WLAN可为IEEE802.11x网络，且WPAN可为蓝牙网络、IEEE 802.15x或某种其它类型的网络。所述技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。

[0167] 移动台是指例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航信号的其它合适的移动装置等装置。术语“移动台”还希望包含例如通过短程无线、红外线线连接或其它连接(不管是卫星信号接收、辅助数据接收和/或在所述装置或在所述PND处发生的与位置相关的处理)与个人导航装置(PND)通信的装置。而且，“移动台”希望包含所有装置，包含无线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi或其它网络与服务器通信，并且不管是在所述装置处、服务器处还是在与所述网络相关联的另一装置处发生卫星信号接收辅助数据接收及/或与位置相关的处理。以上各者的任何可操作组合也被视为“移动台”。

[0168] 某个事物被“优化”、“需要”或其它说法并不指示本发明仅适用于被优化的系统或其中存在所述“所需”元件的系统(或其它归因于其它说法的局限性)。这些名称仅指代特定描述的实施方案。当然，许多实施方案是可能的。所述技术可以与除了本文中论述的协议之外的协议一起使用，包含正在开发或有待开发的协议。

[0169] 相关领域的技术人员将认识到，可以使用所揭示的实施例的许多可能修改和组合，同时仍然采用相同的基本基础机构和方法。出于解释的目的，前文描述是参考具体实施例撰写的。然而，上文的说明性论述并不希望是穷举的或将本发明限于所揭示的精确形式。鉴于以上教示，许多修改及变化均是可能的。选择且描述所述实施例是为了阐释本发明的原理及其实际应用，且为了使得所属领域的技术人员能够以适合于所涵盖的特定用法的各种修改最好地利用本发明及各种实施例。