通过穿戴式设备的基于雷达的手势识别转让专利

申请号 : CN201510300495.4

文献号 : CN105278674B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 伊万·波派列夫加埃塔诺·罗伯托·艾洛

申请人 : 谷歌有限责任公司

摘要 :

本文档描述了用于通过穿戴式设备的基于雷达的手势识别的技术和设备。与穿戴式计算设备常见的小且难以使用的输入接口相比,该技术通过该穿戴式雷达设备实现易于使用的用户接口。此外,这些技术不限于与穿戴式计算设备对接,而是可以帮助用户控制各种非穿戴式设备,诸如控制音响的音量、暂停电视上播放的影片或选择台式计算机上的网页。

权利要求 :

1.一种基于雷达的手势识别系统,包括:

在穿戴式设备中的微波无线电元件,所述微波无线电元件被配置成提供与所述穿戴式设备所存在的用户身体部位相邻的平面局部雷达场,所述平面局部雷达场对应于感测到与其的手势交互的平面表面;

天线元件,所述天线元件被配置成感测与所述平面局部雷达场的所述手势交互,所述手势交互具有在所述平面局部雷达场中的所述平面表面上的多个目标,所述手势交互穿过所述平面局部雷达场;以及信号处理器,所述信号处理器被配置成处理所述平面局部雷达场中所感测的具有所述多个目标的手势交互以足以提供能用来从所感测的具有所述多个目标的手势交互确定二维手势或三维手势的手势数据。

2.如权利要求1所述的基于雷达的手势识别系统,其中,所述微波无线电元件被配置成发出在3GHz至300GHz范围中的微波辐射,以及所述天线元件被配置成感测所发出的微波辐射的手势交互以跟踪所述多个目标中的两个或更多个的位置达2至25毫米的分辨率,所述位置的分辨率基于所发出的微波辐射的3GHz至300GHz范围。

3.如权利要求1所述的基于雷达的手势识别系统,其中,所述微波无线电元件被配置成发出能穿透衣物但不穿透人体组织的微波辐射,以及所述天线元件或信号处理器被配置成区分由衣物引起的所述平面局部雷达场中的手势交互和由人体组织引起的所述平面局部雷达场中的手势交互。

4.如权利要求1所述的基于雷达的手势识别系统,其中,所述微波无线电元件被配置成发出连续调制的辐射、超宽带辐射或亚毫米波频率辐射。

5.如权利要求1所述的基于雷达的手势识别系统,其中,所述微波无线电元件被配置为形成以束发出的辐射,所述束使所述天线元件和所述信号处理器能够确定哪些束被中断。

6.如权利要求1所述的基于雷达的手势识别系统,其中,所述手势交互在与所述多个目标相对应的位置处中断所述平面局部雷达场。

7.如权利要求1所述的基于雷达的手势识别系统,其中,所述平面局部雷达场包括在对象上方或下方的雷达平面,或者在对象上方或下方的多个平面。

8.如权利要求7所述的基于雷达的手势识别系统,其中,所述对象包括人手或衣物。

9.如权利要求1所述的基于雷达的手势识别系统,进一步包括:

一个或多个计算机处理器;以及

存储有指令的一个或多个计算机可读存储介质,所述指令响应于被所述一个或多个计算机处理器执行而执行包括下述的操作:基于从所述信号处理器提供的手势数据来确定二维手势或三维手势;

将所确定的二维手势或所确定的三维手势映射到与用于与远程设备相关联的应用的控制输入相关联的预先配置的控制手势;以及使传输设备将所述控制输入发送到所述远程设备,用来实现应用的控制。

10.如权利要求9所述的基于雷达的手势识别系统,其中,所述预先配置的控制手势是多个复杂手势或单手手势中的一个。

11.一种计算机实现的方法,包括:

对穿戴式计算设备上的应用确定能够控制所述应用的控制的集合;

指示通过平面局部雷达场可选择的所述控制的集合或子集;

使基于雷达的手势识别系统呈现与所述基于雷达的手势识别系统所存在的用户身体部位相邻的所述平面局部雷达场,所述平面局部雷达场对应于感测到与其的二维或三维手势交互的平面表面;

使所述基于雷达的手势识别系统感测与所述平面局部雷达场的所述手势交互,所述手势交互具有在所述平面局部雷达场中的所述平面表面上的多个目标,所述手势交互穿过所述平面局部雷达场;

确定通过在所述平面局部雷达场中感测的手势交互选择的所述控制的所述集合或子集的控制;以及将所确定的控制传递给所述应用。

12.如权利要求11所述的计算机实现的方法,其中,所述计算机实现的方法在所述穿戴式计算设备上执行,所述穿戴式计算设备与所述基于雷达的手势识别系统分离,在与所述穿戴式计算设备相关联的显示器上执行指示所述控制的所述集合或子集,并且所述方法进一步包括在确定所选择的控制之前从所述基于雷达的手势识别系统接收手势数据。

13.一种穿戴式计算设备,包括:

被配置成感测手势的基于雷达的手势识别系统;

一个或多个计算机处理器;以及

存储有指令的一个或多个计算机可读存储介质,所述指令响应于被所述一个或多个计算机处理器执行而执行包括下述的操作:使所述基于雷达的手势识别系统提供与所述穿戴式计算设备所存在的用户身体部位相邻的平面局部雷达场,所述平面局部雷达场对应于感测到与其的手势交互的平面表面;

使所述基于雷达的手势识别系统感测与所述平面局部雷达场的交互,所述交互具有在所述平面局部雷达场中的所述平面表面上的多个目标,所述交互穿过所述平面局部雷达场;

基于所感测的与所述平面局部雷达场的交互来确定二维手势或三维手势;以及将所确定的手势传递给所述穿戴式计算设备的应用或操作系统,用来使所述应用或操作系统接收与所确定的手势相对应的输入。

14.如权利要求13所述的穿戴式计算设备,其中,所述穿戴式计算设备进一步包括显示器,以及所述操作进一步包括使所述显示器呈现与所感测的交互相对应的移动和位置的实时的视觉。

15.如权利要求13所述的穿戴式计算设备,其中,所述穿戴式计算设备进一步包括显示器,以及所述操作进一步包括:将所述平面局部雷达场覆盖在对象上;

确定所述平面局部雷达场覆盖于其上的所述对象;

在所述显示器上呈现所述对象的视觉;以及

响应于感测到所述平面局部雷达场中的交互,在与所述对象处所感测的交互的位置相对应的用于所述对象的视觉中的位置处呈现所感测的交互。

16.如权利要求13所述的穿戴式计算设备,其中,所述穿戴式计算设备进一步包括显示器,以及所述操作进一步包括使所述显示器呈现与所感测的交互相对应的位置的视觉。

17.如权利要求16所述的穿戴式计算设备,其中,所述显示器呈现示出所述局部雷达场的可选择控制区域的接口,以及与所感测的交互相对应的位置的视觉指示响应于感测到所述局部雷达场中的交互而对可选择的控制区域的选择。

18.如权利要求13所述的穿戴式计算设备,其中,所述操作进一步包括:基于与所述应用相关联的用户接口来确定所述用户接口的控制的集合,所述用户接口能通过所述控制来接收输入;

向所述用户接口指示用于通过所述基于雷达的手势识别系统选择的所述控制的集合或所述控制的集合的子集,用来使所述用户接口高亮或指示用于通过所述基于雷达的手势识别系统选择的所述控制的集合或所述控制的集合的子集;以及响应于选择所述控制的集合或子集中的一个的所感测的交互,使与所述应用相关联的用户接口指示对所选择的控制的选择。

19.如权利要求18所述的穿戴式计算设备,其中,所述用户接口显示在远程设备上,所述远程设备远离所述穿戴式计算设备。

20.如权利要求18所述的穿戴式计算设备,其中,所述用户接口显示在与所述穿戴式计算设备相关联的显示器上。

说明书 :

通过穿戴式设备的基于雷达的手势识别

[0001] 优先权申请
[0002] 根据35U.S.C.§119(e),本申请要求名称为“Radar-Based Gesture-Recognition through a Wearable Device”并且在2014年6月3日提交的美国临时专利申请No.62/007,324的优先权,其全部内容通过引用合并于此。

背景技术

[0003] 穿戴式计算设备受欢迎程度继续增加,因为这些设备小且轻,易于穿戴和跟踪,并且通常具有基本的计算能力。然而,穿戴式计算设备通常具有小或难以使用的输入接口。例如,计算戒指或手镯可以使用通过其接收用户输入的非常小的触摸屏。不仅许多用户难以看到选择什么,而且物理地选择小触摸屏的期望部分也可能是挑战。诸如计算眼镜的其他穿戴式计算设备可以使用小的集成按钮。小的集成按钮提供很少选择并且可能要求用户记住与按钮相关联的功能,导致差的用户体验度。
[0004] 为了解决这些输入限制,用户可以为他们的穿戴式计算设备扩展相对大的外围输入接口,诸如触摸显示器。然而,该解决方案增加了另一设备,这增加了成本、大小、重量和用户的复杂性,进而挫伤用户期望穿戴式计算设备的许多理由。

发明内容

[0005] 本文档描述了通过穿戴式设备的基于雷达的手势识别的技术和方法。与穿戴式计算设备常见的小或难以使用的输入接口相比,该技术通过该穿戴式雷达设备使得能够实现易于使用的输入接口。此外,这些技术不限于与穿戴式计算设备对接,而是可以帮助用户控制各种非穿戴式设备,诸如控制立体声系统的音量、暂停在电视上播放的影片或选择台式计算机上的网页。
[0006] 提供该发明内容来介绍有关通过穿戴式设备的基于雷达的手势识别的简化概念,在具体实施方式中将进一步描述。该发明内容不旨在识别所要求的主题的必要特征,也不旨在用于确定所要求的主题的范围。

附图说明

[0007] 参考附图描述用于基于雷达的手势识别的技术和设备的实施例。在整个附图中使用相同的编号来引用相同的特征和组件:
[0008] 图1图示能够实现通过穿戴式设备的基于雷达的手势识别的示例性环境。
[0009] 图2图示示例性穿戴式基于雷达的手势识别系统和穿戴式计算设备。
[0010] 图3图示由图2的穿戴式基于雷达的手势识别系统发出的示例性3D体积雷达场。
[0011] 图4图示由图2的穿戴式基于雷达的手势识别系统发出的示例性表面雷达场。
[0012] 图5图示由图2的穿戴式基于雷达的手势识别系统发出的另一示例性表面雷达场。
[0013] 图6图示由图2的穿戴式基于雷达的手势识别系统发出的第三示例性表面雷达场。
[0014] 图7图示由图2的穿戴式基于雷达的手势识别系统发出的示例性平面雷达场。
[0015] 图8图示与由图2的穿戴式基于雷达的手势识别系统发出的示例性双平面雷达场的第一交互。
[0016] 图9图示与图8的示例性双平面雷达场的第二交互。
[0017] 图10图示由图2的穿戴式基于雷达的手势识别系统发出的、与衬衫袖一致的示例性雷达场。
[0018] 图11图示示例性远程计算设备。
[0019] 图12图示使得能够使用通过穿戴式设备的基于雷达的手势识别的示例性方法。
[0020] 图13图示使得包括通过用于应用的特定控制的通过穿戴式设备能够使用基于雷达的手势识别的方法。
[0021] 图14图示体现或可以实现使得通过穿戴式设备能够使用基于雷达的手势识别的技术的示例性计算。

具体实施方式

[0022] 概览
[0023] 本文档描述了使用基于雷达的手势识别的技术和实现基于雷达的手势识别的设备。这些技术和设备可以使得能够实现大量手势并且通过穿戴式雷达系统使用那些手势。当穿戴式雷达系统是穿戴式计算设备的一部分时,例如,基于雷达的手势识别使用户能够通过比手镯或戒指大的表面提供输入,诸如用用户的右手手指轻击用户的左手的顶部来输入选择。这里,较大的表面是其上覆盖局部雷达场的用户的左手的顶部。替代地,可以使用穿戴式雷达系统来控制其他计算设备和与其他计算设备交互,诸如接收简单或非常复杂的手势,用户不必触摸远程触摸屏,产生用于游戏控制器的大的身体运动,或走到声音系统接收器来调整音量旋钮或按钮。
[0024] 这些仅是能如何执行使得能够使用通过穿戴式设备的基于雷达的手势识别的技术和/或设备的两个示例。本文档现在转向示例性环境,之后描述示例性基于雷达的手势识别系统、示例性方法和示例性计算系统。
[0025] 示例性环境
[0026] 图1是其中可以实现使用基于雷达的手势识别系统的技术以及包括该基于雷达的手势识别系统的装置的示例性环境100的图示。环境100包括穿戴式计算设备102、穿戴式基于雷达的手势识别系统104、网络106和远程计算设备108。环境100包括两个示例性设备和用于使用穿戴式基于雷达的手势识别系统104的方式,在104-1示出第一个,其中穿戴式基于雷达的手势识别系统与穿戴式计算设备102集成,以及在104-2示出第二个,其中穿戴式基于雷达的手势识别系统独立于穿戴式计算设备102。下面一般地描述这些穿戴式基于雷达的手势识别系统104-1和104-2,在此之后将详细地说明它们。
[0027] 穿戴式计算设备102包括穿戴式基于雷达的手势识别系统104-1,以及在这种情况下,这些设备一起工作来提高与穿戴式计算设备102的用户交互。例如假定穿戴式计算设备102包括通过其执行显示和用户交互的小触摸屏110。该小触摸屏110由于用于选择输入的大小、由此通常用户所需的精度会使交互困难且耗时,所以会对用户提出一些挑战。然而,考虑提供覆盖用户的手114的顶部的局部雷达场112的穿戴式基于雷达的手势识别系统
104-1。显而易见,与小触摸屏110相比,明显地增加了用户可以进行选择的区域。
[0028] 示出独立于穿戴式计算设备102的穿戴式基于雷达的手势识别系统104-2。在此假定穿戴式基于雷达的手势识别系统104-2通过网络106以及通过发送响应于识别手势的输入来与远程计算设备108交互,在此示出与局部雷达场118交互的拇指和中指手势116。手势能被映射到各个远程计算设备108以及它们的应用,由此实现对许多设备和应用的控制。许多复杂和唯一手势能由穿戴式基于雷达的手势识别系统104识别,由此允许精确和/或单一手势控制,即使对于多个应用。穿戴式基于雷达的手势识别系统104不管是否与计算设备集成、具有计算能力、几乎不具有计算能力,每一个都能够用来与远程计算设备108交互。
[0029] 网络106包括许多类型的无线或部分无线通信网络中的一个或多个,诸如局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等等。
[0030] 通过各种非限定示例设备示出远程计算设备108:服务器108-1、智能电话108-2、膝上型电脑108-3、计算眼镜108-4、电视108-5、相机108-6、平板电脑108-7和台式电脑108-8,但是也可以使用其他设备,诸如家庭自动控制系统、声音或娱乐系统、家用电器、安全系统、笔记本和电子阅读器。注意,远程计算设备108能是穿戴式的、非穿戴但移动的、或相对固定的(例如台式电脑和服务器)。
[0031] 更详细地,考虑图2将穿戴式基于雷达的手势识别系统104图示为穿戴式计算设备102的一部分或独立于穿戴式计算设备102。还注意,穿戴式基于雷达的手势识别系统104能与许多不同服装、配件和计算设备,诸如上述的示例性远程计算设备108、夹克(例如在袖子或袖套上具有局部雷达场)、帽子、书、计算戒指、眼镜等等,一起使用或嵌入在其内。此外,局部雷达场能是不可见的,并且穿透某些材料,诸如纺织物,由此进一步扩展能如何使用和实现穿戴式基于雷达的手势识别系统104。尽管在此所示的示例一般地示出每设备一个穿戴式基于雷达的手势识别系统104,但能使用多个,由此增加手势的数量和复杂性,以及精度和鲁棒识别。穿戴式计算设备102包括一个或多个计算机处理器202和计算机可读介质
204,其包括存储器介质和存储介质。能由处理器202执行被实现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)来提供在此所述的一些功能。计算机可读介质204还包括手势管理器206(如下所述)。
[0032] 计算设备102还可以包括网络接口208,用于在有线、无线或光纤网络上传送数据。通过示例但不是限制,网络接口208可以在局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等等上传送数据(例如通过图1的网络106)。穿戴式计算设备102包括显示器210,其能够是触敏的,但是这不是必需的。
[0033] 穿戴式基于雷达的手势识别系统104如上所述被配置成感测手势。为实现此,穿戴式基于雷达的手势识别系统104包括微波无线电元件212、天线元件214和信号处理器216。
[0034] 一般地,微波无线电元件212被配置成提供局部雷达场。该局部雷达场通常小,诸如离微波无线电元件小于1米的1/2。微波无线电元件212能够被配置成连续地发出调制辐射、超宽带辐射或亚毫米波频率辐射。微波无线电元件212在一些情况下被配置为形成以束的辐射,该束帮助天线元件214和信号处理器216确定哪些束被中断,由此确定局部雷达场内的交互的位置。
[0035] 天线元件214被配置成感测局部雷达场内的交互,以及信号处理器216被配置成处理局部雷达场中的所感测的交互以足以提供可用来从所感测的交互确定手势的手势数据。天线元件214能够包括一个或多个传感器,诸如辐射传感器阵列,阵列中的数量基于所期望的分辨率和场是否为表面、平面或体积。
[0036] 由微波无线电元件212提供的场能够是施加到人体组织或非人体对象的三维(3D)体积(例如半球、立方体或圆柱)、平面或表面。在3D体积(或场的实施例中,平面或表面)的情况下,天线元件214被配置成感测多个目标(例如手指、一个移动手指或手元素,诸如关节或手掌)的3D体积中的交互,以及信号处理器216被配置成处理3D体积中的所感测的交互以足以提供可用来确定三维中的手势的手势数据。
[0037] 在图3中图示了3D体积的示例,其示出由穿戴式计算设备102的穿戴式基于雷达的手势识别系统104-1发出的3D体积雷达场302。利用3D体积雷达场302,用户可以利用中断该体积的右手或设备(例如触笔)来执行复杂或简单的手势。示例性手势包括可与当前触敏显示器一起使用的许多手势,诸如轻扫、两个手指捏和展开、轻击等等。使能复杂或简单、但三维的其他手势,示例包括许多手语手势,例如美国手语(ASL)或世界上其他手语手势。这些中的一些包括上下拳头,其在ASL中是指“是”,打开的食指和中指变成与打开的拇指连接,是指“否”、平伸的手向上移动一级是指“前进”、平伸且倾斜的手上下移动,是指“下午”、握紧的手指和打开的拇指变成打开的手指和打开的拇指,是指“出租车”、食指在大致垂直的方向中向上移动是指“向上”等等。这些仅是能映射到特定设备或应用的许多手势中的一些,诸如跳到基于Web的无线电应用的另一首歌、正在音响上播放的光盘上的下一首歌或计算机显示器或数字图片框上的文件或相册中的下一页或图像的快进手势。
[0038] 局部雷达场还能包括应用于人体组织或非人体对象的表面。在这种情况下,天线元件214被配置成感测表面中的交互,以及信号处理器216被配置成处理表面中的所感测的交互以足以提供可用来确定手势的手势数据。
[0039] 在图1中的在局部雷达场112处、以及在图4、5和6中图示例性表面。图4图示由图1的穿戴式基于雷达的手势识别系统104-2发出的表面雷达场402。利用表面雷达场402,用户的手(右手404)可以交互来执行手势,诸如在用户的另一手(左手406)上轻击,由此中断表面雷达场402。示例性手势包括单一和多手势轻扫、展开、挤压、非线性移动等等。类似地,图5和6分别图示与穿戴式计算设备102协作的由图1的穿戴式基于雷达的手势识别系统104-1(被右手504或左手604遮蔽)发出的表面雷达场502和602。利用表面雷达场502或602,与穿戴式基于雷达的手势识别系统104-1存在的手相同的手(右手504或左手604)可以交互来在曲面对象506(在此为罐头)或平坦对象(施加图6的表面雷达场602,诸如台面、墙壁等等)上执行手势,由此中断表面雷达场502或602。
[0040] 局部雷达场还可以包括用户可以与之交互的一个或多个平面。在这种情况下,天线元件214被配置成感测平面中的交互,以及信号处理器216被配置成处理表面中的所感测的交互以足以提供可用来确定手势的手势数据。
[0041] 在图1中的局部雷达场118处、以及图7、8和9中图示示例性平面。图7图示由图1的穿戴式基于雷达的手势识别系统104-2发出的平面雷达场702。利用平面雷达场702,用户的手(左手704)可以通过执行手势,诸如轻击平面来与平面交互,由此中断平面雷达场702,或通过在此预期的许多其他手势,诸如上下拳头运动来表示“是”,来与平面交互。能使用其他非常复杂和简单的手势,包括触敏显示器常见的那些手势,而且更多,因为手势能继续通过平面,这对于触敏显示器是不允许的。例如,两个手指放在平面中并且象挤压运动一样抓回的手势能被解释为相对于两手指轻击或轻扫的新手势。
[0042] 图8和9图示与由图1的穿戴式基于雷达的手势识别系统104-1(在图8中被遮蔽)或104-2(在图9中被遮蔽)中的一个或多个发出的示例性双平面雷达场802和804的交互。图8图示用户可以通过其执行各种手势的与双平面雷达场中的一个、在此为场802交互的用户的右手806。图9图示与利用右手904执行的挤压和移动动作902、这里与双平面雷达场802和
804两者的另一交互。这仅是对于触敏显示器来说不允许的许多预期的、复杂手势中的一个。
[0043] 通过局部雷达场的最后示例的示例,考虑图示由图1的穿戴式基于雷达的手势识别系统104(被遮蔽)发出的、与衬衫袖套1004一致的示例性雷达场1002的图10。如在此所述,能发出或感测局部雷达场来优选地适合于织物或人体组织。在这种情况下,衬衫袖套1004能是影响雷达场1002的材料或简单是任何常见的衣服材料。由此,衬衫袖套1004能与图5的曲面对象506(影响雷达场)或图3(体积)、或图4、7、8或图9(不太或不影响雷达场)所示的局部雷达场类似。
[0044] 除这些示例性局部雷达场外,还预期其他雷达场,诸如视觉上与图7的平面702类似的体积扇形,或多个平面或表面来更好地实现多手手势。由此,由微波无线电元件212提供的两个或更多个平面或两个或更多个表面(例如用户的双手,即使来自单个穿戴式基于雷达的手势识别系统104)由此允许非常复杂的多手手势。这些多手手势对当前使用的许多手语中的甚至一种,数量也达几百或甚至上千。
[0045] 回到图2,穿戴式基于雷达的手势识别系统104还包括被配置成将手势数据发送到远程设备的发射设备,尽管当穿戴式基于雷达的手势识别系统104与穿戴式计算设备102集成时可以不使用。当包括时,以可由远程计算设备108使用的格式,提供手势数据,足以在由穿戴式基于雷达的手势识别系统104或穿戴式计算设备102未确定手势的那些情况下,使远程计算设备108确定手势。
[0046] 更详细地,微波无线电元件212能被配置成发射在1GHz至300GHz范围、以及3GHz至100GHz范围中的微波辐射,以提供局部雷达场。该范围影响天线元件214感测交互的能力,诸如跟踪两个或更多个目标的位置达约2至约25毫米的分辨率。微波无线电元件212能被配置成与穿戴式基于雷达的手势识别系统104的其他实体一起具有相对快的更新速率,这能有助于交互的分辨率。
[0047] 通过选择特定频率,穿戴式基于雷达的手势识别系统104能操作为基本上穿透衣服但基本上不穿透人体组织。此外,天线元件214或信号处理器216能被配置成区分由衣服引起的局部雷达场的交互和由人体组织引起的局部雷达场中的那些交互。由此,穿戴式基于雷达的手势识别系统104的穿戴者可以具有覆盖微波无线电元件212(或甚至实现微波无线电元件212)的夹克或衬衫以及覆盖一只或更多手(例如做手势的右手404和其上覆盖场的左手406)的手套,但穿戴式基于雷达的手势识别系统104仍然起作用。
[0048] 穿戴式基于雷达的手势识别系统104还可以包括一个或多个系统处理器202和系统介质222(例如一个或多个计算机可读存储介质)。系统介质222包括系统管理器224,其能执行各种操作,包括基于来自信号处理器216的手势数据来确定手势,将所确定的手势映射到与用于与远程设备108相关联的应用的控制输入相关联的预先配置的控制手势,以及使收发器218将控制输入发送到远程设备,用来实现对应用的控制。这仅是能实现通过穿戴式基于雷达的手势识别系统104的上述控制的一种方式。将系统管理器224的操作更详细地提供为下述方法1200和1300的一部分。
[0049] 参考图1,考虑在图11中详细图示的远程计算设备108。远程计算设备108包括一个或多个计算机处理器1102和计算机可读存储介质(存储介质)1104。存储介质1104包括被实现为可由计算机处理器1102执行来在一些情况下提供在此所述的功能的计算机可读指令的应用1106和/或操作系统(未示出)。存储介质1104还包括远程手势管理器1108(如下所述)。
[0050] 远程计算设备108还可以包括显示器1110和用于在有线、无线或光纤网络上传送数据的网络接口1112。举例而不限制,网络接口1112可以在局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等等上传送数据。
[0051] 远程手势管理器1108能与应用1106和穿戴式基于雷达的手势识别系统104交互,在一些情况下,用来通过由穿戴式基于雷达的手势识别系统104接收的手势来帮助控制应用1106。
[0052] 在下文中更详细地阐述这些和其他能力和配置、以及图1-11的实体动作和交互的方式。这些实体可以进一步细分、结合等等。图1的环境100和图2-10的详细图示示出采用所述技术的许多可能的环境和设备中的一些。
[0053] 示例性方法
[0054] 图12和13描述使得能够实现通过穿戴式设备的基于雷达的手势识别的方法。在此的这些方法和其他方法被示为指定所执行的操作的块的集合,但不一定限于用于由各个块执行的操作的所示的顺序或组合。在下述论述部分中,可以参考图1的环境100和图2-11的实体,参考仅用于示例目的。技术不限于由在一个设备上操作的一个实体或多个实体执行。
[0055] 在块1202,呈现局部雷达场。能由手势管理器206、系统管理器224、信号处理器216或远程手势管理器1108中的一个或多个导致呈现该局部雷达场。由此,系统管理器224可以使穿戴式基于雷达的手势识别系统104的微波无线电元件212呈现(例如投影或发射)上述局部雷达场中的一个。
[0056] 方法1200可以在1204呈现示出局部雷达场的可选择控制区或特定手势的接口,诸如分别在用于穿戴式计算设备102或远程计算设备108的显示器210或1110上。用户可以查看显示器并且看到各种区选择各种输入的区域。远程手势管理器1108可以使电视108-5例如示出特定手势,该特定手势独立于特定区域来表示各种选择,诸如拇指和手指的快速散开来静音,或所述的局部雷达场,并且在该场的区域中,诸如轻击一个区域来暂停电视以及轻击另一个来快进正播放的媒体。
[0057] 在1206,感测局部雷达场中的交互。这些交互包括许多上述提到的交互,诸如上下拳头来表示“是”选择、两个手指轻击手势、或双手手势,诸如相对于彼此轻击相对食指、中指和拇指通过平面或体积来表示“吃”输入,如在一些手语中的含义一样。
[0058] 响应于所感测的交互,技术可以在1208呈现对应于所感测的交互的位置和/或实时运动的视觉近似。这能通过诸如在图1的显示器110上提供视觉反馈来示出与局部雷达场112的交互来帮助用户。
[0059] 在1210,基于所感测的局部雷达场中的交互来确定手势。由信号处理器216处理所感测的交互,其可以提供手势数据,用于关于预期手势的后续确定,诸如由系统管理器224、手势管理器206或远程手势管理器1108进行,如在此所述。
[0060] 在1212,将所确定的手势传递给应用或操作系统,用来使应用或操作系统接收对应于所确定的手势的输入。由此,用户可以做出暂停远程设备上的媒体的播放的手势,以及在1212,可以传递手势,用来暂停播放。因此,在一些实施例中,穿戴式基于雷达的手势识别系统104以及这些技术用于电视、计算机、仪器等等的通用控制器。
[0061] 在一些情况下,当将方法1200应用于具有穿戴式基于雷达的手势识别系统的穿戴式计算设备时,技术也可以通过示出局部雷达场覆盖于其上的对象、诸如用户的左手或用户的左手的顶部表面来帮助用户。然后,该技术可以在显示器上呈现对象的视觉近似。在此之后,并且响应于感测到局部雷达场中的交互,类似于操作1208,该技术呈现在与所感测的对象的表面的交互位置相对应的对象的视觉近似中的位置处所感测的交互。
[0062] 图13描述使得包括通过用于应用的特定控制的通过穿戴式设备能够实现基于雷达的手势识别的方法1300。
[0063] 在1302,确定能控制应用的控制的集合。手势管理器206或系统管理器224例如能与穿戴式计算设备102或远程计算设备108上的应用交互,以确定用户可以通过其与应用交互的控制。这样做可以涉及确定通过其控制应用的用户接口,诸如通过检查接口(例如视觉控制)、发布的API等等。
[0064] 在1304,指示通过局部雷达场可选择的控制的集合或子集。这可以通过应用或存储应用的设备,例如,在用于Web浏览器的膝上型电脑上,或在穿戴式计算设备102上,诸如示出可用来关闭房间里的灯的手势。
[0065] 在1306,提供局部雷达场。由此,系统管理器224可以使微波无线电元件212呈现在此所述的各种局部雷达场中的一个。
[0066] 在1308,诸如通过天线元件214来感测局部雷达场中的交互。在别处详细地描述。
[0067] 在1310,确定通过局部雷达场中所感测的交互选择的控制的集合或子集的控制。这能通过将手势数据传递到在此所述的各个管理器来执行。
[0068] 在1312,将所确定的控制传递到应用。在远离基于雷达的手势识别系统的设备上执行方法1300,诸如通过远程手势管理器1108。在这种情况下,远程手势管理器1108在1302确定集合,在远程显示器上指示控制,或在穿戴式计算设备102的显示器110或210上产生该指示,并且在1306通过与穿戴式基于雷达的手势识别系统104的收发器218通信来提供局部雷达场。然后,远程手势管理器1108接收用于交互的手势数据(可以由信号处理器216处理),并且在1310基于手势数据来确定在传递到相关应用前选择了哪个控制。
[0069] 诸如通过确定多个其他应用和能控制多个其他应用的其他控制,能重复方法1300的操作。然后,方法1300能指示控制各个应用的各个不同控制。在一些情况下,该技术能将唯一和/或复杂且三维控制确定和/或分配给不同应用,由此允许用户控制多个应用,而不必选择在它们之间切换。
[0070] 在前论述描述了与通过穿戴式设备的基于雷达的手势识别相关的方法。这些方法的方面可以以硬件(例如固定逻辑电路)、固件、软件、手动处理或其任意组合来实现。可以在图1-11和14(下面在图14中描述计算系统1400)中所示的实体中的一个或多个上实现这些技术,其可以进一步被细分、组合等等。由此,这些图图示能采用所述的技术的许多可能系统或装置中的一些。这些图的实体通常表示软件、固件、硬件、整个设备或网络或其组合。
[0071] 示例性计算系统
[0072] 图14图示能实现为任何类型的客户端、服务器和/或参考先前的图1-9所述的计算设备来通过穿戴式设备实现基于雷达的手势识别的示例性计算系统1400的各个组件。在实施例中,计算系统1400能被实现为有线和/或无线穿戴式设备、片上系统(SoC)和/或另一类型的设备或其一部分中的一个或组合。计算系统1400还可以与操作该设备的用户(例如人)和/或实体相关联,使得设备描述包括用户、软件、固件和/或设备的组合的逻辑设备。
[0073] 计算系统1400包括使能设备数据1404(例如接收的数据、正接收的数据、调度广播的数据、数据的数据分组等等)的有线和/或无线通信的通信设备1402。设备数据1404或其他设备内容能包括设备的配置设置、在设备上存储的媒体内容,和/或与设备的用户相关联的信息。在计算系统1400上存储的媒体内容能包括任何类型的音频、视频和/或图像数据。计算系统1400包括一个或多个数据输入1406,经该输入能接收任意类型的数据、媒体内容和/或输入,诸如人类话语、与局部雷达场的交互、用户可选择的输入(明确或隐含)、消息、音乐、电视媒体内容、记录的视频内容和从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
[0074] 计算系统1400还包括通信接口1408,其能实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个,并且能被实现为任何其他类型的通信接口。通信接口1408提供在计算系统1400和其他电子、计算和通信设备通过其与计算系统1400传送数据的通信网络之间的连接和/或通信链路。
[0075] 计算系统1400包括一个或多个处理器1410(例如微处理器、控制器等等中的任何一个),其处理各种计算机可执行指令来控制计算系统1400的操作和实现或在其中能够实现通过穿戴式设备的基于雷达的手势识别的技术。替选地或附加地,能利用结合通常在1412识别的处理和控制电路实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现计算系统1400。尽管未示出,计算系统1400能包括耦接设备内的各个组件的系统总线或数据传输系统。系统总线能包括不同总线结构、诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线体系结构的处理器或局部总线中的任何一个或组合。
[0076] 计算系统1400还包括计算机可读介质1414,诸如实现永久和/或非瞬时数据存储(即与纯信号传输相比)的一个或多个存储器设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪存、EPROM、EEPROM等等中的任何一个或多个)以及盘存储设备。盘存储设备可以被实现为任何类型的磁或光存储设备,诸如硬盘驱动、可记录和/或可写光盘(CD)、任何类型的数字通用盘(DVD)等等。计算系统1400还能包括大容量存储介质设备1416。
[0077] 计算机可读介质1414提供数据存储机制来存储设备数据1404、以及各种设备应用1418和与计算系统1400的操作方面相关的任何其他类型的信息和/或数据。例如,操作系统
1420能保持为具有计算机可读介质1414并且在处理器1410上执行的计算机应用。设备应用
1418可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备固有的代码、用于特定设备的硬件抽象层等等。
[0078] 设备应用1418还包括通过穿戴式设备实现基于雷达的手势识别的任何系统组件、引擎或管理器。在该示例中,设备应用1418包括手势管理器206和系统管理器224。
[0079] 结论
[0080] 尽管以特定于特征和/或方法的语言描述了使用通过穿戴式设备的基于雷达的手势识别的技术和包括该通过穿戴式设备的基于雷达的手势识别的装置的实施例,但应理解所附权利要求的主题不一定限于所述的特定特征或方法。相反,特定特征和方法公开为通过穿戴式设备的基于雷达的手势识别的示例性实现。