会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 电磁学 / 电磁辐射 / 使用闪烁电磁辐射的增强输入

使用闪烁电磁辐射的增强输入

阅读:1042发布:2020-09-29

IPRDB可以提供使用闪烁电磁辐射的增强输入专利检索,专利查询,专利分析的服务。并且使用闪烁电磁辐射的增强输入,其中访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的第一侧上捕捉的第一图像和第二图像,所述第一图像是在使用被投映的电磁辐射照射物体时被捕捉的,所述第二图像是在所述被投映的电磁辐射熄灭时被捕捉的。基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置。基于所确定的位置控制应用程序。,下面是使用闪烁电磁辐射的增强输入专利的具体信息内容。

1.一种计算机实现的方法,包括:

访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的 第一侧上被捕捉到的第一图像和第二图像,所述第一图像是在使用被投映的 电磁辐射照射物体时被捕捉的,并且所述第二图像是在所述被投映的电磁辐 射熄灭时被捕捉的;

基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置;和基于所确定的位置控制应用程序。

2.如权利要求1所述的方法,还包括:沿着且平行于屏幕的第二侧投映 电磁辐射作为第一光幕。

3.如权利要求2所述的方法,还包括:

邻近且平行于屏幕的第二侧投映电磁辐射作为第二光幕,所述第一光幕 和所述第二光幕彼此平行且相对于屏幕的第二侧被放置在第一场所和第二场 所处。

4.如权利要求1所述的方法,其中所述物体包括人体的一部分。

5.如权利要求1所述的方法,还包括:确定第二位置,并且其中所述应 用程序是基于所确定的位置和所述第二位置而控制的。

6.如权利要求1所述的方法,其中基于第一图像和第二图像的比较而确 定物体相对于所述屏幕的位置包括:将第一图像和第二图像相减以便生成差 异图像。

7.如权利要求6所述的方法,其中确定物体相对于所述屏幕的位置包括: 确定物体在差异图像中的场所。

8.如权利要求1所述的方法,其中基于所确定的位置控制应用程序包括: 控制光标。

9.如权利要求1所述的方法,其中所述被投映的电磁辐射包括红外辐射。

10.如权利要求1所述的方法,其中可视图像被投映到所述屏幕,所述 物体处于运动中,并且基于所确定的位置控制应用程序包括控制所述可视图 像上的光标,从而所述光标的运动对应于所述物体的运动。

11.如权利要求10所述的方法,其中所述物体的运动包括人做出的手势。

12.如权利要求1所述的方法,其中访问第一图像和第二图像包括访问 物体和第二物体的第一图像和第二图像,所述物体和所述第二物体被放置在 所述屏幕的相同侧上,并且进一步包括确定第二物体相对于所述屏幕的位置。

13.如权利要求1所述的方法,还包括:对屏幕上投射的阴影建模,所 述阴影是当所述物体被所述投映的电磁辐射照射时由所述物体投射的。

14.如权利要求13所述的方法,还包括:基于所述模型确定所述阴影模 糊了第二物体,并且其中确定第二物体相对于所述屏幕的位置包括考虑所述 阴影。

15.一种系统,包括:

透明屏幕,包括第一侧和第二侧;

电磁辐射源,所述源被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐 射之间交替;

位于屏幕的第一侧上的传感器,其被配置成以该闪烁率感测电磁辐射, 所述电磁辐射是从位于屏幕的第二侧上的屏幕附近的物体反射的;和处理器,其被配置成:

基于所感测的电磁辐射而确定物体的位置,和

基于所确定的物体的位置而控制应用程序。

16.如权利要求15所述的系统,其中:

所述屏幕包括边缘,和

所述电磁辐射源包括沿着屏幕的一个或多个边缘放置的发射器的线性阵 列,从而电磁辐射被投映在屏幕的第二侧上且与该屏幕的第二侧平行。

17.如权利要求16所述的系统,其中所述屏幕包括平行四边形。

18.如权利要求15所述的系统,其中所述电磁辐射源包括一系列发射器 的线性阵列,每个线性阵列位于屏幕的第二侧离该屏幕表面一段距离处。

19.如权利要求15所述的系统,其中所述电磁能量源发射发散的电磁能 量,并且进一步包括与所述源相邻的通道,所述通道被配置成校准所发射的 电磁能量。

20.如权利要求19所述的系统,其中所述通道包括材料块,所述材料块 具有一条贯穿该块从入口延伸到出口的过道,所述发散的电磁能量接入所述 入口,并且所述发散的电磁能量的一部分从所述出口射出作为被校准的电磁 能量。

21.如权利要求19所述的系统,其中所述通道包括镜头。

22.如权利要求15所述的系统,其中所述电磁辐射源包括位于屏幕的第 一侧上的发射器,并且所述电磁辐射穿过所述屏幕且与所述物体交互作用。

23.如权利要求15所述的系统,其中所述电磁辐射源包括发光二极管。

24.如权利要求23所述的系统,其中所述发光二极管发射红外辐射。

25.如权利要求15所述的系统,其中所述传感器包括像素阵列。

26.如权利要求15所述的系统,其中所述处理器被进一步配置成对物体 投射的阴影建模,并且基于所建模的阴影确定位于屏幕的第二侧上的第二物 体的位置。

27.一种计算机程序产品,其有形地体现为机器可读介质,所述计算机 程序产品包括当由机器读取时操作来使得数据处理装置执行下列步骤的指 令:访问在屏幕的第二侧上放置的环境电磁辐射发射器和物体的、在屏幕的 第一侧上被捕捉到的第一图像和第二图像,所述第一图像是在使用被投映的 电磁辐射照射物体时被捕捉的,并且所述第二图像是在所述被投映的电磁辐 射熄灭时被捕捉的;

基于第一图像和第二图像的比较而确定物体相对于所述屏幕的位置;和基于所确定的位置控制应用程序。

说明书全文

相关申请的交叉引用

本申请要求于2007年2月15日提交的美国临时申请No.60/890108的利 益,此处并入其整体作为参考。

技术领域

本公开通常涉及用户输入。

背景技术

如果在屏幕附件的物体被恒定光源和环境光(ambient light)两者照射, 则环境光可能无法与该恒定光源充分地区分开来,以允许该恒定光源从物体 出去的反射(reflection of the constant source off of the object)用作用户输入。

发明内容

在一个普通实现方式中,使用闪烁光(flashing light)照射物体,其中屏幕 之后的环境光在闪烁光的关闭周期期间被实时地或者近实时地检测并且从屏 幕的图像中被过滤。基于过滤操作,可以辩别并且使用物体相对于屏幕的二 维或三维位置或运动,例如通过将检测到的位置或运动映射成控制输入或鼠 标事件来控制应用程序。
在另一普通实现方式中,访问在屏幕的第二侧上放置的环境电磁辐射发 射器和物体的、在屏幕的第一侧上捕捉的第一图像和第二图像。所述第一图 像是在使用被投映的电磁辐射照射物体时被捕捉的,所述第二图像是在所述 被投映的电磁辐射熄灭时被捕捉的。基于第一图像和第二图像的比较而确定 物体相对于所述屏幕的位置。基于所确定的位置控制应用程序。
实现方式可以包括下列特征中的一个或多个特征。可以沿着且平行于屏 幕的第二侧投映电磁辐射作为第一光幕。可以邻近且平行于屏幕的第二侧投 映电磁辐射作为第二光幕,所述第一光幕和所述第二光幕彼此平行且相对于 屏幕的第二侧被放置在第一场所和第二场所处。所述物体可以包括人体的一 部分。可以确定第二位置,并且所述应用程序可以是基于所确定的位置和所 述第二位置而控制的。基于第一图像和第二图像的比较而确定物体相对于所 述屏幕的位置可以包括:将第一图像和第二图像相减以便生成差异图像。确 定物体相对于所述屏幕的位置可以包括:确定物体在差异图像中的场所。
在一些示例实现方式中,基于所确定的位置控制应用程序可以包括:控 制光标。所述被投映的电磁辐射可以包括红外辐射。可视图像可被投映到所 述屏幕,所述物体可以处于运动中,并且基于所确定的位置控制应用程序可 以包括控制所述可视图像上的光标,从而所述光标的运动对应于所述物体的 运动。所述物体的运动可以包括人做出的手势。
在一些示例实现方式中,访问第一图像和第二图像可以包括访问物体和 第二物体的第一图像和第二图像,所述物体和所述第二物体被放置在所述屏 幕的相同侧上,并且可以确定第二物体相对于所述屏幕的位置。可以对屏幕 上投射的阴影建模,其中所述阴影可以是当所述物体被所述投映的电磁辐射 照射时由所述物体投射的。可以基于所述模型确定所述阴影模糊了第二物体。 确定第二物体相对于所述屏幕的位置包括考虑所述阴影。
在其它普通实现方式中,一种系统包括:透明屏幕,包括第一侧和第二 侧;电磁辐射源,所述源被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐 射之间交替。传感器位于屏幕的第一侧上,并且被配置成以该闪烁率感测电 磁辐射,并且从位于屏幕的第二侧上的屏幕附近的物体反射电磁辐射。所述 系统也包括处理器,其被配置成:基于所感测的电磁辐射而确定物体的位置, 和基于所确定的物体的位置而控制应用程序。
实现方式可以包括下列特征中的一个或多个特征。所述屏幕可以包括边 缘,和所述电磁辐射源可以包括沿着屏幕的一个或多个边缘放置的发射器的 线性阵列,从而电磁辐射被投映在屏幕的第二侧上且与该屏幕的第二侧平行。 所述屏幕可以是平行四边形。所述电磁辐射源可以包括一系列发射器的线性 阵列,并且每个线性阵列可以位于屏幕的第二侧离该屏幕表面一段距离处。 所述电磁能量源可以发射发散的电磁能量,并且通道与所述源相邻,其中所 述通道可以被配置成校准所发射的电磁能量。所述通道可以包括材料块,所 述材料块具有一条贯穿该块从入口延伸到出口的过道,并且所述发散的电磁 辐射可以接入所述入口,并且所述发散的电磁辐射的一部分可以从所述出口 射出作为被校准的电磁辐射。所述通道可以包括镜头。所述电磁辐射源可以 包括位于屏幕的第一侧上的发射器,并且所述电磁辐射穿过所述屏幕且与从 所述物体反射出去。所述电磁辐射源可以是发光二极管。所述发光二极管可 以发射红外辐射。所述传感器可以是像素阵列。所述处理器也可被配置成对 物体投射的阴影建模,并且基于所建模的阴影确定位于屏幕的第二侧上的第 二物体的位置。
上述的任一技术的实施方式可以包括方法或处理、系统或者存储在存储 装置上的指令。特定实施方式的细节被阐述在附图以及下面的描述中。其它 特征将从下面的描述(包括附图和权利要求书)中显而易见。

附图说明

图1A到图1C提供了示例系统的上下文图。
图2到图4、图7A到图7D、图9和图10示出了允许用户与应用程序进 行交互作用的示例系统。
图5是图示用于确定物体的位置的示例处理的流程图。
图6图示了两个示例输入图像以及得到的差图像。
图8A和图8B图示了示例电磁辐射源。
图11示出了示例系统和伴随的受控应用程序。

具体实施方式

在一种普通实现方式中,物体被闪烁光照射,其中屏幕之后的环境光在 该闪烁光的关闭周期期间被实时地或者近实时地检测并且从该屏幕的图像中 被过滤。基于所述过滤操作,可以辩别并且使用物体相对于屏幕的二维或三 维位置或运动,例如通过将检测到的位置或运动映射到控制输入或鼠标事件 来控制应用程序。
例如,并且参考图1A,系统100允许用户102、103和104不必触摸屏 幕110就可以与被显示在透明屏幕110上的应用程序105进行交互作用。在 所示的示例中,用户102、103和104通过平行投映到屏幕110且在其之前的 光的帘幕(也可被称作“光幕”和/或“光平面”)来运动物体,以便与应用 程序105交互作用。在图1A中所示的示例中,应用程序105是“抢夺植物” 游戏。
光幕是通过从源115和120发射的电磁辐射而形成的。电磁辐射可以是 光。为了与应用程序105交互作用,用户102、103和104可以朝着屏幕110 运动或放置物体,例如手或棒,以便打断光幕。光幕中物体的运动、盘旋和/ 或放置可以促使系统100向应用程序105发出鼠标事件序列(或者其它I/O 事件),从而影响应用程序105的控制。因此,用户102、103和104可以通 过运动、放置或盘旋物体以便物体被光幕照射来控制应用程序105。
如下面更详细所述,物体相对于屏幕110的运动、放置和/或位置被确定 并且被用来控制应用程序105。具体地,被放置在光幕中的物体反射从源115 和120投映的电磁能量,并且通过传感器,例如像素、像素阵列或相机,感 测所反射的电磁能量。根据所感测的能量来确定物体的位置或运动,并且根 据所确定的位置或运动来控制应用程序105。除了物体将来自源115和120 的光反射到屏幕110,物体也可以反射环境光,或者环境光自身可以照射屏 幕110。环境光可以出现在图像上并且否则被错误地检测为物体。
为了将来自被物体反射的源115和120的光与来自可被错当作物体的环 境光点的光区分开来,源115和120以预定的模式或顺序(例如源115和120 以及光幕正闪烁)发射电磁辐射,因此被光幕照射的物体也以预定的模式或 顺序照射。因此,真正的物体出现在源115和120发射辐射时收集的图像中, 而环境光点出现在所有图像中,包括那些在源115和120没有发射电磁辐射 时收集的图像。通过将在源115和120发射电磁辐射时收集的图像与在源115 和120正熄灭电磁能量时收集的图像进行比较,真正的物体可以与由环境光 造成的屏幕110上的游离点(spray spot)区分开来。使用预定的模式或者顺 序同步或者调整传感器,从而传感器交替收集当物体被源115和120照射时 以及当物体不被源115和120照射时屏幕的图像。
在图1A中所示的示例中,“抢夺植物”游戏105允许用户从投映到屏幕 110上的植物121、122、123和124中选择一种植物。一旦选择一种植物, 则游戏105呈现所选植物的放大且带阴影的版本。用户102用他的右手134 来选择植物121,并且用户104选择植物123和124。在这个示例中,用户 102将手132和134放置到光幕,并且当手134被光幕照射时例如通过用手 134做出手势,或者当手134被光幕照射时将手在植物121上盘旋,来选择 植物121。手132和134分别投射阴影135和137。用户104将手141和143 放置在光幕中,并且选择植物123和124。手141和143分别投射阴影145 和147。除了用手或者其它物体选择特定植物,用户103已经将他身体的大 部分149放置在光幕中。根据光幕的构造,用户103的身体可能或者不能投 射阴影150。
参考图1B,示出了手132、134、141、143的位置的呈现、以及打破光 幕的身体部分149。位置132b和134b被确定为对应于手132和134关于屏 幕110的位置,并且位置141b和143b对应于手141和143关于屏幕110的 位置。位置160对应于用户103的身体部分149的位置。如下面更详细讨论 的,系统100分析屏幕110上由光幕照射的物体造成的反射的其它特征当中 的尺寸和形状,以便确定如何控制应用程序105。在这个示例中,用户103 的身体部分149太大而无法作为选择,因此位置160可被认为是错误并且被 忽略。
参考图1C,基于所确定的位置来控制应用程序105。位置134b对应于植 物121的选择,并且作为选择的结果,植物121被放大为植物126。类似地, 位置141b和位置143b分别对应于植物123和124的选择,并且植物123和 124被分别放大为植物128和129。相反,错误160不选择植物122,因为它 被自动地确定为太大而不能是控制选择或者因为它不能接触植物被投映的屏 幕的区域。位置132b不对应于植物,因此位置132b不能使得植物121-124 中的任一个变得被放大。
参考图2,图示了系统200的侧视图。系统200允许用户与可以在计算 设备201上运行的应用程序交互作用。该应用程序被投影仪202投映到透明 屏幕205。该应用程序可以是例如上面参考图1A-图1C所讨论的游戏“抢夺 植物”105的应用程序。在其它示例中,该应用程序可以是任何其它计算机 程序,例如呈现应用程序、图像和/或视频编辑软件、或者电子制图应用程序。
系统200包括投影仪202、屏幕205、将电磁辐射投映到光幕215的源 210、和使屏幕205成像的传感器220。具体地,当物体被光幕215照射时, 传感器220感测从物体230反射到屏幕205的电磁辐射。从物体230反射的 辐射使得亮点232出现在屏幕205上。传感器220也在屏幕上使其它亮点(例 如由环境光源235造成的亮点)成像。在所示的示例中,亮点237由环境光 源235造成。除了反射从源210发射的电磁辐射,物体230也可以反射来自 环境光源235的环境光。源210可被包含在围绕屏幕205安装的结构240中。
屏幕205是清晰、透明或者半透明的屏幕,投影仪202将应用程序的图 像投映到该屏幕。屏幕205可以例如由玻璃、树脂玻璃、半透明塑料、或者 任何其它透明或半透明材料制成。例如,屏幕可以是商店中的橱窗、或者其 上被投映图像并且请求相互作用的专用屏幕(例如,在诸如商场或机场之类 的拥挤范围中),或者屏幕可被安放在诸如剧院、娱乐厅或者酒吧厅之类的娱 乐设施中。投影仪202可以包括过滤器203,用于从被投影仪202投映的图 像中去除红外辐射。
源210可以是电磁辐射的任意发射器。例如,源210可以是激光器、发 光二极管(LED)或者宽带光源。源210在发射电磁辐射与不发射电磁辐射 之间交替。因此,源可被认为以一闪烁顺序或模式闪烁,并且与提供恒定照 射的光幕相反,光幕215是闪光幕。在一些实施方式中,从源210发射的电 磁辐射是红外辐射,包括普通人眼感知以外的波长。因此,在这些实现方式 中,光幕215对于系统200的用户来说是不可视的。类似地,在这些实现方 式中,物体230反射到屏幕205的光对于用户来说也是不可视的。因此,反 射到屏幕205的光不会干扰被投映的应用程序的用户观看。在其它实现方式 中,源210可以发射具有可视波带中的波长(例如,400纳米到700纳米) 的电磁辐射。
传感器220与源210同步,因此传感器220以一闪烁率在当源210正发 射电磁辐射时与当源210正熄灭电磁辐射时感测数据之间交替。例如,传感 器220可以是相机,其以每秒三十帧、六十帧或者一百二十帧来捕捉帧、或 者图像。在这个示例中,源210发射电磁能量,因此由源210收集的每隔一 帧是当光幕215被照射时捕捉的图像。过滤器223可被放置在传感器220的 前面和/或与传感器220集成,从而通过传感器220来感测具有从源210发射 的辐射波长的电磁辐射。
物体230可以是用户的手指或手、指针、触针或者其它类似尺寸的物体。 当物体230被光幕215照射时,物体230将电磁辐射反射到屏幕205。被反 射的电磁辐射穿过屏幕205并且被传感器220感测。环境光源235可以是白 炽光灯泡(例如来自密封顶板固定装置),或者太阳光。来自环境光源235的 辐射也出现在屏幕上作为亮点,例如亮点237。由环境光源235造成的屏幕 上的亮点237也被传感器220感测并且存在于传感器220收集到的数据中。 环境光源235可以是固定的,或者至多仅慢慢地运动。因此,环境光源235 使得亮点237出现在由传感器220在特定时间段中收集的数据中,并且亮点 237出现在通常在该时间段内不同的时间处收集的数据的相同部分中。将在 时间段上当源210发射辐射时收集的数据与当源不发射辐射时收集的数据相 减、或者不同地进行比较会导致来自环境光源235的能量从所述数据中去除。 然而,因为(作为物体被光幕215照射的结果)从物体230反射的电磁辐射 仅存在于当源210正发射电磁辐射时被传感器220收集的数据中,因此比较 数据不会导致物体230的图像的去除。闪烁光幕215的这种使用使得由实际 物体的存在引起的屏幕上的亮点(例如亮点232)与由来自环境光源235的 辐射引起的屏幕205上的点(例如亮点237)区分开来。
在图2所示的实现方式中,传感器220位于屏幕205的第一侧240,源 210位于屏幕205的第二侧245。因此,光幕215也位于屏幕205的第二侧 245。在其中传感器220和源210位于屏幕205的相对两侧的实现方式中,从 物体230反射的电磁辐射穿过屏幕205并且被传感器220感测。在其它实现 方式中,诸如图9所示的实现方式中,源210和传感器205可以都位于屏幕 205的第一侧240。在这些实施方式中,从源210发射的电磁辐射穿过屏幕 205并且照射物体230。物体230反射电磁辐射,并且所反射的电磁辐射穿过 屏幕205并且被传感器220感测。
参考图3,图示了系统300的正视图。系统300可以类似于针对图2所 讨论的系统200。系统300包括屏幕305和源310,该源310将电磁辐射的光 幕投映成与屏幕305平行且在屏幕305之前。源310被配置成以一闪烁率在 发射电磁辐射和熄灭电磁辐射之间交替。在图3所示的示例中,源310是沿 着屏幕305的边缘306a放置的发射器311的线性阵列。发射器311例如可以 是线激光器和/或红外LED。从发射器311发射的电磁能量可以是发散的,并 且该发散的电磁能量穿过通道312,从而使得电磁辐射制成与屏幕205的表 面平行且在其表面之上的薄光幕。下面讨论通道312的细节。
屏幕305也包括边缘306b、306c和306d。在其它示例中,屏幕305可以 包括更多或者更少边缘。在其它示例中,例如在图7中图示的示例中,屏幕 305多于一个的边缘可以具有沿着边缘放置的相应源。当光幕照射物体330 和332时,电磁辐射进行投映,并且物体330和332分别投射阴影331和333。 物体330和332例如可以是手、棒和/或指针。阴影331部分地模糊物体332。 因为确定了物体330的位置,并且已知源310的位置,因此可以对阴影331 的形状、大小和/或位置进行建模。对阴影331建模可被用于例如确定屏幕305 上不能精确地检测或者可能根本无法检测另外物体的位置(例如物体312) 的盲点。
参考图4,图示了用于确定和/或跟踪物体相对于屏幕的位置的系统400。 该系统包括源系统410、检测系统430和跟踪系统440。源系统410产生与屏 幕的表面平行且相邻的光幕,例如上面参考图2所讨论的光幕215。检测系 统430感测从被光幕照射的物体反射的辐射,并且跟踪系统440确定物体相 对于屏幕的位置或运动。
源系统410生成可被用于照射在屏幕一侧上的物体的闪烁光幕或者其它 投映的电磁照射。源系统410包括发射器412以及控制该发射器412的电子 装置和控制器416。源系统410也可以包括通道414,以便从发射发散的电磁 辐射的发送器(例如LED)中产生薄光幕。电子装置和控制器416包括耦接 到发射器412且使得发射器412闪烁的电子装置。例如,电子装置和控制器 416促使发射器412以一闪烁率在发射电磁辐射和熄灭电磁辐射之间交替。 发射器412可以是红外发射器,其发射具有在680纳米以上的波长的红外电 磁辐射。在一些实施方式中,发射器412可以发射可见光。
来自源系统410的电磁辐射420照射屏幕一侧上的物体,并且电磁辐射 被从物体反射到屏幕并且被检测系统430感测。具体地,检测系统430对屏 幕成像。检测系统430包括传感器432、过滤器434、传感器电子装置和控制 器436、和输入/输出(“I/O”)接口438。在一些实现方式中,检测系统430 可以是数码相机,并且传感器432可以是相机中包括的像素阵列。过滤器434 可以是用于阻挡具有除了由发射器412产生的电磁辐射的波长以外的波长的 电磁辐射的过滤器。I/O接口438可以与跟踪系统440和/或源系统410通信 以便向源系统410发送允许源系统410与检测系统430同步的信号。例如, 在检测系统430是按帧收集数据的相机的实现方式中,I/O接口438可以在每 帧的开始处将信号发送到源系统410。该相机可以每秒收集三十帧数据。源 系统410的电子装置和控制器416接收信号并且控制发射器412,从而发射 器412以一允许相机收集的每隔一帧的数据是当发射器412正发射电磁辐射 时捕捉的屏幕的图像的比率,在发射电磁辐射与熄灭电磁辐射之间交替。
系统400也包括跟踪系统440。跟踪系统440根据由检测系统430收集 的屏幕的图像而确定由光幕照射的物体的位置。跟踪系统440使用所确定的 位置来控制应用程序,例如关于图1A到图1C上面所讨论的应用程序105。 跟踪系统440包括分析模块450、应用程序到控制器460的接口、输入/输出 模块470、处理器480和存储器490。
分析模块450确定由跟踪系统光幕照射的物体的位置。分析模块450包 括将数据从检测系统430输入到分析模块450的输入例程452。该输入例程 452也可以将来自检测系统430的数据转换为可被分析模块450处理的格式。 分析模块450也包括比较模块454,用于比较由检测模块430在不同时刻收 集的数据。例如,比较模块454可以将由检测模块430在发射器正发射辐射 时收集的数据与由检测模块430在发射器412正熄灭辐射时收集的数据相减。
分析模块450也包括阴影建模器456,其对由被光幕照射的物体投射的 阴影建模,以便确定甚至当物体存在时在屏幕上不能精确地或者根本不能检 测到物体的位置的盲点。分析模块450也包括位置确定模块458,用于确定 被光幕照射的物体相对于屏幕的位置。具体地,被光幕照射的物体将光反射 到屏幕。结果,被检测系统430捕捉的屏幕的图像在对应于物体的位置处相 对于屏幕具有亮点。在一些实现方式中,物体运动,并且当物体运动穿过光 幕时,位置确定模块458跟踪物体。在一些实现方式中,物体的运动可以是 用户的手的手势。在这些实现方式中,位置确定模块458确定已经做出了特 定手势。该特定手势可以表示通过物体的运动控制的应用程序将要执行某一 动作。
跟踪系统440也包括接口460,用于将由位置确定模块458确定的位置 传递到基于所确定的位置而控制的应用程序。例如,该应用程序可以是游戏, 并且该游戏可以基于光标的运动而控制。光标的运动可以对应于被光幕照射 的物体的运动。跟踪系统440也包括输入/输出模块470。输入/输出模块470 可以包括与检测系统430连接的端口。输入/输出模块470可以包括鼠标、指 示笔、键盘、指针和/或允许用户与跟踪系统440交互作用的其它输入/输出装 置。输入/输出模块470可以包括使得自动化处理或机器能够与跟踪系统440 交互作用的端口或接口。
跟踪系统440也包括处理器480和存储器490。跟踪系统440可以包括 不止一个处理器和不止一个存储器。处理器480可以是适于执行计算机程序 的处理器,例如通用或专用处理器、以及任意类型的数字计算机的任意一个 或多个处理器。通常,处理器从只读存储器或者随机访问存储器或者两者接 收指令和数据。处理器480从工作流导航系统跟踪系统440的组件接收指令 和数据,例如以便确定物体相对于屏幕的位置。
参考图5,图示了用于确定被闪烁光幕照射的物体的位置的示例处理 500。处理500可以例如由系统(例如,上面讨论的系统200、300和/或400) 中包含的一个或多个处理器执行。例如,处理500可以由参考图4所讨论的 跟踪系统440中包括的处理器480执行。
访问物体和环境辐射的第一图像和第二图像(510)。第一图像和第二图 像是在屏幕的第一侧被捕捉的,并且物体和环境辐射被放置在屏幕的第二侧。 第一图像是当以投射的辐射照射物体时捕捉的,并且第二图像是当投射的辐 射熄灭时捕捉的。简单返回图2作为示例,屏幕的第一侧可以是屏幕205的 第一侧240,并且屏幕的第二侧可以是屏幕205的第二侧245。物体可以是诸 如物体230的物体,并且环境辐射可以是诸如环境光源235的源。投映的照 射可以是闪烁的光幕,例如光幕215。
回到图5,基于第一图像和第二图像的比较确定物体相对于屏幕的位置 (520)。例如,通过将第一图像与第二图像相减可以比较第一图像和第二图 像。基于所确定的位置来控制应用程序(530)。
参考图6,示出了用于确定物体的位置的示例数据的图示600。具体地, 图示600中所示的数据示出了环境光的运动。图示600中的示例数据可用于 处理例如处理500中,以便在存在环境辐射的情况下确定物体相对于屏幕的 位置。光幕被投映成与屏幕的一侧平行且沿着该侧。在物体(在这个示例中, 物体是手指)被光幕照射时,物体将光从光幕反射到屏幕,从而屏幕的图像 包括与手指相对于屏幕的位置对应的亮点605。
图像610和620是屏幕的图像,并且图像610和620可以例如由参考图 4所讨论的检测系统430来收集。在所示的示例中,图像610包括由电磁辐 射从手指的反射造成的亮点605,它是在手指被光幕照射的时间t收集的。图 像620不包括对应于手指的亮点,它是在手指不被光幕照射的时间t+1收集 的。例如,图像610可以是当一个或多个发射器发射电磁辐射时收集的,并 且图像620可以是当一个或多个发射器熄灭电磁辐射时收集的。因此,如果 手指605触摸屏幕,或者接近屏幕使得手指被光幕照射,则被从手指到屏幕 的反射造成的亮点605出现在当手指被闪烁光幕照射时捕捉的屏幕的图像 中。
图像610和620也包括由环境光源造成的亮点635和640。例如,亮点 635和640可以是环境光源直接在屏幕上发光或者从环境光源被反射到屏幕 的辐射的结果。与亮点605(它是由从手指反射的光造成的并且仅当手指被 闪烁光幕照射时而存在)相反,由环境光源造成的亮点635和640被包含在 每个捕捉的图像中。因此,通过将彼此相邻帧(例如图像610和620)相减 以便生成差异图像630,消除了由环境光源造成的亮点635和640,但是由从 手指的反射造成的亮点605保留。
因为光幕照射屏幕前面的阴影区域,因此手指的尖端被光幕照射,并且 手指的尖端将光反射到屏幕。可以执行对帧610和620进行相减以外的附加 处理,以便确定手指的大小、姿式或者位置,和/或检验手指是被闪烁光幕照 射的真实物体。例如,可以分析由从手指的反射造成的亮点605的大小和形 状,以便确定手指是否真实存在。另外地,多个用户可以通过光幕与应用程 序交互作用。
参考图7A,图示了系统700的正视图。系统700可以类似于上面参考图 2所讨论的系统200和/或上面参考图3所讨论的系统300。屏幕705包括边 缘706a、706b、706c和706d。在图7所示的实现方式中,源710a、710b、 710c和710d分别位于边缘706a、706b、706c和706d附近和/或之上,并且 源710a、710b、710c和710d生成基本覆盖屏幕705的光幕。源710a、710b、 710c和710d将光幕平行投映到屏幕705,并且偏移屏幕705的表面。源710a、 710b、710c和710d包括发射器711和通道712。在一些实现方式中,屏幕705 可以包括多个或者更少边缘。在一些实现方式中,屏幕705的一个或者多个 边缘不具有相应的源。例如,在这些实现方式中,两个边缘具有相应的源, 并且两个边缘不具有相应的源。
参考图7B-7D,示出了示例发射器711,该发射器711是LED。具体地, 图7B示出了发射器711,图7C示出了发射器711的侧视图,图7D示出了 发射器711的阵列的正视图。发射器711发射作为光锥716的电磁辐射。光 锥716的一部分穿过通道712,并且形成为光幕。通道712可以由挡光材料 和/或不反射的材料制成。制成通道712的材料可以阻挡通道两侧的光。在一 些实现方式中,通道712可以具有玻璃或树脂玻璃的侧面,它们可被变动来 防止光在通道内部反射。例如,树脂玻璃或玻璃可被磨光或者喷沙,以致玻 璃或树脂玻璃具有散射粗糙的表面。通道712可用空气填充。在一些实现方 式中,发射器可以是发射被相对校准的辐射的线激光器。在这些实现方式中, 因为发射器发射不发散的辐射,因此不必使用通道712就可以生成光幕。
参考图8A和图8B,图示了其中激光源810产生光幕815的示例。激光 源810可以是红外激光源。激光源810产生与从LED发射的光同样多的不发 散的光。因此,如上所讨论的通道712的通道可以不必生成基本上覆盖屏幕 820的光幕。圆柱形镜头825可被用来制成来自激光器810的薄光平面。圆 柱形镜头825沿着一条线分发从激光器810发射的光束。被分发的射束使得 薄光平面815与屏幕820的表面平行投映并且在屏幕820的表面之上,并且 被分发的射束有效地覆盖屏幕820。具体地参考图8B,具有相关圆柱形镜头 825的线激光器810的结构的示例被示出具有屏幕820。随着距中点830的距 离增加,从线激光器810发射的光的强度减小。因此,多个激光器810通常 被用来使用特定强度的光幕815来有效地覆盖屏幕820。
在图8B所示的示例中,一部分屏幕未被从多个线激光器生成的光幕故覆 盖。例如,部分835未被光幕覆盖。因此,在屏幕820的部分835的前面的 物体不将电磁辐射从闪烁光幕反射到屏幕,因为闪烁光幕没有照射部分835 前面的物体。结果,没有确定所述物体的位置。在一些实施方式中,屏幕820 的一部分没有被闪烁光幕有意地覆盖。例如,部分835可以对应于用户不能 选择一个项目的投映应用程序中的位置。部分835可以对应于不是应用程序 一部分的屏幕上示出的投映中的区域。
参考图9,图示了系统900。投影仪902在屏幕905上投映应用程序的图 像。该应用程序可被实现为软件应用程序或硬件模块。来自源910的闪烁电 磁辐射908穿过屏幕905并且照射物体930,并且当物体930被源910照射 时从物体930反射的光912在屏幕905上被传感器920成像形成亮点932。 源910被配置成以一闪烁率在发射电磁辐射与熄灭电磁辐射之间交替。另外, 环境光源935生成由传感器920成像的亮点937。系统900跟踪物体930相 对于屏幕905的位置,并且基于物体930的位置而控制应用程序。
类似于系统200,系统900跟踪物体930相对于屏幕905的位置,并且 根据物体930的位置控制应用程序。然而,在系统900中,源910和物体930 位于屏幕905的相对两侧。具体地,源910位于屏幕905的第一侧940,物 体930位于屏幕905的第二侧945。另外,在这个示例中,环境光源935位 于屏幕905的第二侧945。
参考图10,当物体1030被多个闪烁光幕1015、1016和1017照射时, 系统1000确定物体1030的一个或多个位置。闪烁光幕1015、1016和1017 分别位于距屏幕1005的表面1006的距离d1、d2和d3处。在所示的示例中, 物体1030同时在多个位置处与闪烁光幕1015、1016和1017相交。快照1020 示出了物体1030相对于屏幕1005的位置。可以使用多个位置例如来确定物 体1030的运动的轨迹。亮点1040、1041和1042是由物体将光从闪烁光幕 1015、1016和1017分别反射到屏幕1005而造成的。
参考图11,图示了系统1100。投影仪1102在屏幕1105上投映应用程序 1103“抢夺植物”的图像。源1110发射电磁辐射以便生成闪烁光幕1115。传 感器1120感测当物体1130运动穿过闪烁光幕1115时被物体1130反射的电 磁辐射。在图11中所示的示例中,物体1130是人的手指,并且当物体1130 运动穿过光幕1115时,物体1130示出在三个不同时刻t1、t2和t3处。来自 闪烁光幕的电磁辐射将物体1130反射到屏幕1105作为亮点1131、1132和 1133。环境光源(未示出)造成屏幕1105上的亮点1134。尽管亮点1134出 现在屏幕1105上并且被传感器1120成像,但是通过类似于上述的技术,可 以从所收集的数据中去除亮点1134。在三个时刻中的每个时刻也示出光标 1140的相应位置1161、1162和1163。
人将物体1130从时刻t1处的位置1151垂直地运动到时刻t2处的位置 1152。受控应用程序中的光标1140具有从位置1161到位置1162的相应垂直 运动。在时刻t2与时刻t3之间,用户再次将物体1130从位置1152垂直地运 动到位置1153。植物1170被投映在屏幕1105上的位置1153处。另外,用户 也用物体1130做出姿式,因此物体在时刻t3正向上指。在时刻t3做出的手势 对应于在时刻t4发生的选择(例如,等效于用鼠标点击选择一个项),这是在 时刻t3之后立即发生的。因此,受控应用程序中的光标1140具有从位置1162 到位置1163的相应垂直运动。另外,用户通过在时刻t3做出的手势选择植物 1170。因此,作为用户通过在光幕上做出手势选择植物1170的结果,植物1170 在时刻t4变得被放大。
实现方式可以包括例如处理、装置或者用于执行处理的装置。例如,实 现方式可以包括一个或多个被配置成执行一个或多个处理的装置。装置可以 包括例如分离的或者集成的硬件、固件和软件。装置可以包括例如计算设备 或者其它计算或处理装置,尤其是否被编程来执行一个或多个所描述的处理 或者其变型。这样的计算或处理装置可以包括例如处理器、集成电路、可编 程逻辑装置、个人计算机、个人数字助理、游戏装置、蜂窝电话、计算器和 包含软件应用程序的装置。计算设备可以是上面参考图2所讨论的计算设备 201。
实现方式也可以体现为包括一个或多个具有用于执行一个或多个处理的 指令的计算机可读介质的装置。该计算机可读介质可以包括例如存储装置、 存储器、和编码或传送指令的格式化的电磁波。计算机可读介质也可以包括 例如各种非易失性或易失性存储器结构,例如硬盘、闪存、随机访问存储器、 只读存储器、和致密盘。指令可以例如在硬件、固件、软件中,并且是电磁 波形式。
因此,计算设备可以表示被编程来执行所描述的实现的计算设备的实现 方式,并且存储装置可以表示存储用于执行所描述的实现方式的指令的计算 机可读介质。
已经描述了数种实现方式。然而,将会理解可以进行各种修改。因此, 其它实现方式在所附权利要求的范畴之内。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用