基于接触物的触觉反馈生成

摘要

产生触觉效果的系统感测接触物/物体在界面上的接触。所述系统随后确定接触物的一个或多个性质，并响应于所述接触，生成一种触觉效果。所述触觉效果的类型至少基于所述一个或多个性质。

权利要求

1.一种在设备上产生触觉效果的方法，所述方法包括：感测接触物与设备的第一接触；

对于第一接触，确定接触物的多个部分中接触了设备的第一部分的特性；

确定与第一部分相对应的第一触觉敏感性；

响应于第一接触，至少基于第一触觉敏感性产生第一触觉效果，并且向第一部分应用第一触觉效果；

感测接触物与设备的第二接触；

对于第二接触，确定接触物的多个部分中接触了设备的第二部分的特性；

确定与第二部分相对应的第二触觉敏感性；和响应于第二接触，至少基于第二触觉敏感性产生第二触觉效果，并且向第二部分应用第二触觉效果，其中第二触觉效果相对于第一触觉效果变化以补偿第一触觉敏感性和第二触觉敏感性之间的差异，使得接触物对于所应用的第一触觉效果和所应用的第二触觉效果感觉相同。

2.按照权利要求1所述的方法，进一步包括响应于第一接触产生不同类型的触觉效果，其中所述不同类型的触觉效果通过确定触觉效果的参数而产生。

3.按照权利要求2所述的方法，其中第一触觉效果和第二触觉效果是振动触觉效果，所述参数包含大小、频率或持续时间中的至少一个。

4.按照权利要求2所述的方法，其中通过从用于触觉效果的多个触觉输出设备中选择触觉输出设备，产生该类型的触觉效果。

5.按照权利要求4所述的方法，其中所述多个触觉输出设备包含振动设备、静电摩擦设备或可变形表面中的至少一个。

6.按照权利要求1所述的方法，其中接触物的多个部分包括触针、指垫、指甲或指节之一。

7.按照权利要求1所述的方法，其中不同类型的触觉效果用于确认接触物的正确检测。

8.按照权利要求1所述的方法，其中感测包括确定接触物相对于设备的接近，所述感测是在接触之前进行的。

9.按照权利要求1所述的方法，其中感测包括从设备的触摸表面接收信号。

10.一种存储有指令的计算机可读介质，所述指令当由处理器执行时，使处理器执行按照权利要求1-9之一所述的方法。

11.一种用于产生触觉效果的系统，包括：感测接触物的接触的界面；

耦接到所述界面、生成触觉效果的触觉输出设备；

处理器；和

耦接到所述处理器的按照权利要求10所述的计算机可读介质。

说明书

基于接触物的触觉反馈生成

技术领域

[0001] 一个实施例涉及触觉反馈系统，尤其涉及基于接触物性质的触觉反馈系统。

背景技术

[0002] 电子设备制造商致力于为用户产生丰富的界面。常规设备利用视觉和听觉提示向用户提供反馈。在一些界面设备中，还向用户提供动觉反馈(比如主动力反馈和阻力反馈)和/或触觉反馈(比如振动、纹理和热量)，共同称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强和简化用户界面的提示。具体地，振动效果或振动触觉效果可用于向电子设备的用户提供提示，以提醒用户注意特定事件，或者提供现实反馈，以在模拟或虚拟环境中产生更强的感官沉浸(sensory immersion)。

[0003] 触觉反馈也已被越来越多地并入在便携式电子设备，比如移动电话机、个人数字助手(“PDA”)、智能电话机、便携式游戏机以及多种其它便携式电子设备中。例如，一些便携式游戏应用能够以类似于和配置成提供触觉反馈的较大型游戏系统一起使用的控制设备(例如操纵杆等)的方式振动。另外，诸如蜂窝电话机和PDA之类的设备能够借助振动，向用户提供各种提醒。例如，蜂窝电话机可以通过振动，向用户提醒注意来电。类似地，PDA或智能电话机可以提醒用户注意排定的日历项目，或者向用户提供“待做事项”清单项目或日历约会的提醒。

[0004] 越来越多地，便携式装置正在远离物理按钮，而支持只有触摸屏的界面。这种转变允许增大灵活性、减少部件数量，以及减小对容易失灵的机械按钮的依赖，并且符合产品设计的新趋势。当利用触摸屏输入设备时，可以利用触觉，模拟诸如按下按钮或者其它用户界面动作之类的机械确认。

[0005] 为了产生振动效果，许多设备利用某种致动器或者触觉输出设备。用于这种目的的致动器包括电磁致动器，比如其中利用电动机移动偏心质量的偏心旋转质量(“ERM”)，其中附在弹簧上的质量被来回驱动的线性谐振致动器(“LRA”)，或者诸如压电的、电活性聚合物或者形状记忆合金之类的“智能材料”。触觉输出设备也可以是诸如静电摩擦（“ESF”）设备或超声表面摩擦(“USF”)设备之类的设备，或者利用超声触觉换能器引起声辐射压的设备。其它设备利用触觉基板和柔性或可变形表面，和利用空气喷射提供诸如空气的喷出之类投射的触觉输出的设备。这些致动器能够产生强烈触觉输出。当用户操作触摸屏设备的触敏输入装置时，这些致动器还用于向用户提供反馈。

发明内容

[0006] 一个实施例是产生触觉效果的系统。所述系统感测接触物/物体在界面上的接触。所述系统随后确定接触物的一个或多个性质，并响应于所述接触产生一种触觉效果。所述触觉效果的类型至少基于所述一个或多个性质。

附图说明

[0007] 图1是按照本发明的实施例的触觉使能系统的方框图。

[0008] 图2a-d是按照本发明的实施例，根据接触物性质产生的例证触觉效果的例示图。

[0009] 图3是按照本发明的实施例的触觉反馈生成系统的方框图。

[0010] 图4是按照实施例，当响应物体接触设备的输入区，产生触觉效果时，图1的系统10的功能的流程图。

具体实施方式

[0011] 一个实施例是具有界面的系统，所述界面被“接触物”(即，与所述界面接触的身体部位或物体)接触。所述系统确定接触物的性质，产生可随所述性质而变化的触觉效果。于是，所述触觉效果可适应于接触所述系统的无论哪种物体/接触物。

[0012] 图1是可实现本发明的实施例的触觉使能移动设备或系统10的方框图。系统10包括触敏表面11或者安装在外壳15内的其它种类的用户界面，并且可包括机械按键/按钮13。在系统10上产生振动的触觉反馈系统在系统10内。在一个实施例中，在触摸面11上或者在系统10的任何其它部分上，产生振动。

[0013] 触觉反馈系统包括处理器或控制器12。耦接到处理器12的是存储器20和致动器驱动电路16，致动器驱动电路16耦接到致动器18。处理器12可以是任何种类的通用处理器，或者可以是专用于提供触觉效果的处理器，比如专用集成电路(“ASIC”)。处理器12可以是运转整个系统10的相同处理器，或者可以是独立的处理器。处理器12可根据高级参数，定义要产生什么触觉效果，和产生所述效果的顺序。通常，定义特定的触觉效果的高级参数包括大小、频率和持续时间。诸如流式(streaming)电动机命令之类的低级参数也可用于确定特定的触觉效果。如果触觉效果包括当产生该触觉效果时的这些参数的某种变化，或者基于用户的交互的这些参数的变化，那么该触觉效果可被认为是“动态的”。

[0014] 处理器12向致动器驱动电路16输出控制信号，致动器驱动电路16包括用于向致动器18供给所需的电流和电压(即，“电动机信号”)，从而导致产生期望的触觉效果的电子组件和电路。系统10可包括不止一个致动器18，每个致动器可包括都耦接到公共处理器12的独立驱动电路16。存储设备20可以是任何种类的存储设备或计算机可读介质，比如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20保存处理器12执行的指令，比如操作系统指令。在所述指令之中，存储器20包括触觉效果产生模块22，它是当由处理器12执行时，产生基于接触物的触觉效果的指令，如下更详细所述。存储器20也可位于处理器20之内，或者可以是内部存储器和外部存储器的任意组合。

[0015] 触摸面11识别触摸，还可识别表面上的触摸的位置和大小。对应于触摸的数据被发送给处理器12，或者系统10内的另一个处理器，处理器12判读所述触摸，并且作为响应，产生触觉效果信号。触摸面11可利用任何感测技术，包括电容感测、电阻感测、表面声波感测、压力感测、光学感测等，感测触摸。触摸面11可感测多触摸接触，并且能够区分同时发生的多个触摸。触摸面11可以是产生并显示图像，供用户与诸如按键、按钮、拨号盘等交互的触摸屏，或者可以是具有最少图像或者没有图像的触摸板。

[0016] 系统10可以是手持设备，比如蜂窝电话机、个人数字助手(“PDA”)、智能电话机、平板计算机、游戏控制台等，或者可以是提供用户界面并且包括包含一个或多个致动器的触觉效果系统的任何其它种类的设备。用户界面可以是触敏表面，或者可以是任何其它种类的用户界面，比如鼠标、触摸板、迷你操纵杆、滚轮、跟踪球、门把手、游戏手柄或游戏控制器等。

[0017] 致动器18可以是任何种类的致动器，包括其中利用电动机移动偏心质量的偏心旋转质量(“ERM”)，其中附在弹簧上的质量被来回驱动的线性谐振致动器(“LRA”)，或者诸如压电的、电活性聚合物或者形状记忆合金之类的“智能材料”。尽管设备10图解说明用于产生振动触觉反馈的致动器18，不过，触觉输出设备也可以是利用静电摩擦（“ESF”），超声表面摩擦(“USF”)的设备，利用超声触觉换能器引起声辐射压的设备，利用触觉基板和柔性或可变形表面的设备，利用空气喷射提供诸如空气的喷出之类投射的触觉输出的设备，等等，或者任何种类的非机械或非振动设备。

[0018] 系统10还包括一个或多个传感器28。传感器28把传感器数据和设备传感器信号提供给处理器12，比如整个设备加速度、回转信息、环境信息或者接近信息(例如，物体对界面11的接近)。设备传感器信号可以是设备允许的任何种类的传感器输入，比如来自加速计或陀螺仪的传感器信号，或者任何种类的环境传感器信号，比如来自麦克风、光度计、温度计或高度计的传感器信号，或者任意种类的生物监测信号，比如皮肤温度或体温、血压(“BP”)、心率监测信号(“HRM”)、脑电图(“EEG”)、或者皮肤电反应(“GSR”)，或者从远程耦接的设备接收的信息或信号。

[0019] 如上所述，在一个实施例中，系统10检测接触界面11的接触物或物体的一些性质。该过程涉及利用传感器28感测物理量，和利用处理器12判读感测的数据。检测所述性质的一个目的是识别接触物，或者接触物的某个方面。

[0020] 在一个实施例中，通过对物体对输入区的冲击的声音分类，确定接触设备的输入区的接触物/物体的性质。这种方法能够识别被动工具，比如笔或铁笔，并且还能够识别手指的不同部位，比如指尖、指垫、指节和指甲。不同的材料产生不同的声特征，并且具有不同的谐振频率。实施例的一个组件利用光学触摸屏、电阻触摸屏和电容触摸屏中的一个或多个，检测和跟踪物体的位置。实施例的另一个组件利用声特征，对物体在输入区上的冲击进行监听、分割和分类。在已进行输入的分类之后，使所述输入与输入区的最后事件配对。一个实施例利用表面声传输来识别物体。

[0021] 另一个实施例利用电容性触摸感测来识别物体。电磁信号扫频被用于从物体捕捉一系列的频率。结果，实施例能够确定握住设备的手指的构形，比如一根手指、多根手指或者整个手掌。漫射红外光照射能够捕捉触摸维度，比如手指取向和手形。

[0022] 这些和其它实施例被用于识别接触设备的输入区的物体，随后向用户提供触觉反馈。可根据接触设备的输入区的物体的感测性质，更改触觉反馈。这会提供不变的触觉刺激，或者产生相同的预期效果，比如某个事件的通知。以下例子证明其中产生的触觉效果的种类至少部分基于接触物性质的本发明实施例的一些概念和特征。

[0023] 可以用指垫或指节接触设备的输入区，这两者都会产生振动触觉反馈。然而，指节不如指垫敏感，从而对于指节，可以增大振动的强度，以补偿其较低的触觉敏感性，如图2a中图解所示。指节的波形也可被更改，以产生更平滑的波形，以致在指节不会负面地感知反馈，因为已知与多肉的身体部位相反，当被应用于瘦骨嶙峋的身体部位时，一些效果会令人不舒适。

[0024] 代替手指部位，可以用铅笔或铁笔接触设备的输入区。例如，平板电脑可利用它对触觉敏感性的了解来相应地适应反馈。铅笔或铁笔会阻抑振动，于是需要更强的反馈。另一方面，其它振动模式会使铁笔在输入区上不舒适地弹回。

[0025] 此外，接触物的性质可便于戴手套的手或手指的检测，戴手套的手或手指不能感觉到ESF式触觉效果，但会感觉到衰减的振动。在一个实施例中，有可能从接触的声音中，或者在无电容触摸屏上的触摸输入的情况下从利用声音或振动的接触的检测中，检测手套。在这个实施例中，接触物的性质包括手套特征，并可根据该性质选择触摸效果(例如，只选择基于振动的触觉效果，并增大强度，从而通过手套感觉到振动)。

[0026] 呈门把手形式的实施例(即，门把手是“界面”)可产生触觉反馈，以便指示门及在它之后的房间的状态，从而例如提示只有在紧急情况下才应打开该门。门把手可感测用户的抓握，并适应在门把手上产生的反馈(例如，振动)。与用整只手的紧握相比，用两根手指的轻握可能需要较小的触觉效果。要不然，当利用两根手指时，反馈令人吃惊，或者当利用整只手时，反馈几乎感觉不到。

[0027] 本发明的实施例可以使触觉反馈归一化，以致用户会获得相同的感知反馈，与使用的接触物无关。结果，触觉反馈将产生相同的预期效果，比如事件的通知或者特定的结果。

[0028] 相反，接触设备的输入区的物体的感测性质或测量参数也可和应用的用户界面一起用于产生适当并且截然不同的触觉效果。例如，智能电话机上的视频游戏能够区分利用指甲的轻敲或者利用指节的轻敲。每个物体可对用户产生截然不同的触觉反馈，如图2b中图解所示，其中响应指尖触摸，产生振动性的“按钮按压”模拟触觉效果，而响应指节轻敲，产生基于可变形表面的触觉效果。在一个更具体的例子中，用指甲切显示在触摸屏显示器上的“香蕉”会与用指节压挤显示在触摸屏显示器上的“椰子”感觉不同，因为会产生两种不同的触觉效果。于是，对于利用用户界面产生的每种预定动作，给予用户的预期感觉会不同。

[0029] 触觉效果也可用于确认物体的正确检测。例如，指节轻敲可产生声音大的触觉效果，而指甲轻敲会产生一系列的明显振动。于是，对用户来说，输入的误判读会非常明显，如图2c中图解所示，其中触觉效果指示检测到的触摸的种类，使得当指垫轻敲被错误地检测为指节轻敲时，可以容易地注意到。再例如，通过利用ESF，滑动手势可产生截然不同的纹理效果。这会立即被用户察觉为正确或不正确判读的输入。

[0030] 可以测量和判读接触设备的输入区的接触物/物体的参数，以确定反馈的适当反馈模态。例如，反馈产生系统可根据输入区是被指垫还是被铁笔接触，在ESF和振动触觉反馈之间切换，如图2d中图解所示。如果输入区被一般的铁笔接触，那么不可使用ESF，因为它只能用手指或者某些种类的专用铁笔或无生命的物体感觉到。相反，当它确定铁笔不能感觉到振动触觉反馈时，反馈生成系统可利用视觉反馈或音频反馈。

[0031] 图3是按照本发明的实施例的触觉反馈生成系统300的方框图。在一个实施例中，系统300的功能用图1的系统10实现。触觉反馈生成系统300包含接触物感测组件310、判读和反馈组件320和触觉输出组件330。接触物感测组件310能够检测接触设备的输入区或者任何其它区域的接触物/物体的某些性质。处理器接收并根据接触物参数的物理量来判读感测数据。实施例可包括图3中所示的一些或者全部组件。

[0032] 接触物感测组件310包括扫频电容感测组件311。电容感测通过在单一频率应用信号并测量由物体的电容耦合引起的返回信号中的任何畸变，检测来自物体的接触。扫频电容感测扫描一系列的频率，并测量结果，从而获得电容分布曲线(profile)，分布曲线的形状提供关于物体和输入表面之间的接触的信息，从而识别物体。所述分布曲线的形状可提供关于手和仪表化(instrumented)表面之间的接触的信息。例如，门把手能够检测单指触摸、双指捏合、环握或全握之间的差异。智能电话机能够检测单指触摸、双指捏合或者用所有5根手指捏合之间的差异。

[0033] 接触物感测组件310包括音频感测组件312。由物体和输入区之间的接触发出的声音可用麦克风捕捉，并被分析。可以检测指垫、指尖、指节、指甲和笔的两端之间的差异。

[0034] 接触物感测组件310包括振动感测组件313。利用一个或多个加速计，可以捕捉和分析由物体和输入区之间的接触引起的振动。

[0035] 接触物感测组件310包括电容感测组件314。电容传感器能够确定指垫和表面之间的接触面积。所述面积的大小和形状随着时间的变化可用于估计手指的姿势。例如，从一端缓慢收缩的椭圆形区域可指示手指正在从平直的取向移动到成角度的取向。

[0036] 接触物感测组件310包括指纹感测组件315。指纹传感器可指示与表面接触的指垫的部分，这可用于推断手指势态。例如，在指垫右侧的旋涡可指示指垫的左侧接触表面。

[0037] 触觉反馈生成系统300还包括判读和反馈组件320，判读和反馈组件320判读接触物性质，并判定它们将如何影响触觉输出。判读和反馈组件320包括根据接触物(即，接触设备的输入区的物体)的触觉性质来修改输出的归一化组件321。归一化组件321确保触觉反馈一致。于是，可根据接触物的不同部分的触觉敏感度，更改振动的强度，从而返回一致的触觉反馈。例如，可根据手指的不同部位-指垫、指节、指甲等的触觉敏感度，更改振动的强度。类似地，可以考虑到情感结果，以确保对指甲和指垫的刺激都被感知为正面的刺激，而不管感知方面的差异。在利用ESF的例子中，可考虑指垫的不同部分的传导性和干燥度，以确保一致的响应。

[0038] 判读和反馈组件320包括用户界面组件322。触觉反馈输出被结合到正常的用户界面操作中。触觉反馈需要随着用户界面的取决于接触物的特征而变化。于是，不同的用户界面结果和状态导致相应的不同触觉反馈。

[0039] 判读和反馈组件320包括确认组件323。检测到的接触物被反映到不同的触觉效果和纹理中，这便于对错误的接触物检测的校正。确认组件323降低检测错误的影响，并提供改善的当前输入模式的认识，从而降低认知负担。

[0040] 判读和反馈组件320包括模态选择组件324。输出模态是根据接触物和在不同背景下的优选模态之间的映射选择的。于是，模态选择组件324为所有接触物提供最佳反馈，而不管触觉感知方面的差异。

[0041] 触觉反馈生成系统300还包括触觉输出组件330。触觉输出组件330(例如，图1的致动器18)的触觉反馈包括(但不限于)振动致动器、ESF显示器、电触觉阵列、和力反馈设备。触觉反馈由一个或多个物理致动器、驱动电子设备和相关软件，比如存在于设备的操作系统之内或之外的渲染引擎产生。

[0042] 图4是按照实施例，当响应于物体接触设备的输入区产生触觉效果时，图1的系统10的功能的流程图。在一个实施例中，图4的流程图的功能是用保存在存储器或者其它计算机可读或有形介质中并由处理器执行的软件实现的。在其它实施例中，所述功能可用硬件(例如，通过利用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)，或者硬件和软件的任意组合实现。

[0043] 在402，系统10感测接触物与设备的接触。例如，手指或铁笔可接触触摸屏。

[0044] 在404，系统10确定接触物的一种或多种性质。例如，系统可判定接触物是指垫、指节或指甲，还是诸如铁笔、铅笔擦或笔尖之类的无生命物体。

[0045] 在406，系统响应于接触,产生一种触觉效果，其中触觉效果的种类至少基于一种或多种性质。根据触觉输出设备(即，模态)的选择，比如振动触觉设备、ESF设备或可变形的触觉设备之间的选择，该种触觉效果可不同于其它触觉效果。此外，通过改变触觉效果的参数，比如大小、频率或持续时间参数，触觉效果的种类可不同于其它触觉效果。参数可以变化，以致触觉效果被归一化，因为对用户来说将感觉相同，而与接触物的种类/性质无关。

[0046] 如上所述，当与触摸屏接触时，接触物的性质可被用于产生触觉效果。在其它实施例中，在接触物进行接触之前，可以利用接触物的设想的性质。当产生各种触觉效果时，通常通过使效果的发展与空间运动同步，完成现实的触觉效果的表现。例如，当在机械按钮的行程范围内移动机械按钮时，动觉反馈可以跟随特定的力分布。这一般包括力的逐步增加，和之后当按钮被触发时的突然下降。利用振动触觉致动器，可产生相似的效果。

[0047] 另一方面，在触摸屏上，由于缺乏实际的行程，因此由概念上垂直于屏幕发生的模拟微件（widget）运动产生的触觉效果通常局限于时间分布(temporal profile)。于是，在一个实施例中，图1的传感器28是可用于在接触物接触设备的界面之前，检测该接触物的接近传感器。当例如指垫逼近表面时，接近感测被用于产生空间挠曲形状（deflection profile）。可空间地展示该效果，以致在挠曲形状中某个临界时刻发生与触摸屏的实际碰撞。例如，当手指逼近屏幕时，振动可逐渐增大，并可在按钮被实际触发的时刻发生对触摸屏的冲击。

[0048] 在另一个实施例中，利用接近传感器在接触之前，激活触觉输出设备，以避免处理延迟。例如，在指垫触摸屏幕之前，可以激活ESF纹理，以致一旦发生触摸，就感觉到正确的效果，而没有任何处理延迟。在这个实施例中，计算触摸检测和输出的激活之间的处理延迟，而不是致动延迟（这在ESF的情况下几乎是即时的）。

[0049] 在另一个实施例中，系统利用由接近传感器确定的触摸事件之前的时间，在触摸输入之前进行复杂的计算。例如，所述时间可被用于加载将被触摸的表面的模型，进行物理模拟，和准备诸如波形之类的触觉效果。

[0050] 在另一个实施例中，确定默认接触物，以致在该接触物接触界面之前，确定接触物的性质。如上所述，接近传感器随后可以和接触物性质一起用于确定触觉效果。如果接触物原来是除默认接触物外的某物，那么系统随后可正确地识别该物体，并相应地作出响应。例如，可响应于接触物的预期接触，激活第一致动器。当接触物接触输入区时，如果实际的接触物不同于默认的或者假定的接触物，那么可响应于实际输入，激活第二致动器。

[0051] 如上所述，接触物性质被用于确定将响应于接触物的接触而产生的触觉效果的种类。可以选择所述种类，以致触觉效果感觉相同，而与接触物无关，或者提供取决于接触物性质的信息。

[0052] 这里，具体例示和/或说明了几个实施例。然而，应理解公开的实施例的各种修改和变化被上述教导覆盖，并且在附加权利要求的范围之内，而不脱离本发明的精神和预期范围。