基于指示设备的用户接口系统

摘要

一种基于指示设备的用户接口系统，其中用户交互系统包括其与照相机(102)相连的且可将图像发送到数字信号处理器(120)的便携式指示设备(101)，该便携式指示设备可识别对象(130)以及通过使指示设备(101)按照特定方式移动而由用户给出的命令，并且可根据该识别来控制电子设备(110)。

权利要求

1.一种用户交互系统，包括：

电子设备(110)；

便携式指示设备(101，300)，该指示设备可由用户操作用来指向空间中的一个区域；

照相机(102)，与所述指示设备(101，300)相连，以在操作时对所指向的区域成像从而拍摄图像；

数字信号处理器(120)，该处理器可接收和处理所述图像的数据，并且可将根据该图像数据获得的用户接口信息(I)传送到所述电子设备(110)；以及其中，所述电子设备(110)能够显示作为所述电子设备(110)特征的模式，以及其中，能够利用所述照相机(102)捕获包括所述模式的图像，该图像能够用于标识所述电子设备(110)。

2.供权利要求1所述用户交互系统使用的指示设备(101，300)，其特征在于，该设备包括照相机(102)并且可发送图像给数字信号处理器(120)。

3.如权利要求2所述的指示设备(101，300)，其中该指示设备(101，300)可发送图像给数字信号处理器(120)，该处理器可根据该图像发送用户接口信息(I)给电子设备(110)。

4.如权利要求2所述的指示设备(101，300)，其中数字信号处理器(120)包含在该指示设备(101，300)中。

5.如权利要求2所述的指示设备(101，300)，该指示设备包括运动检测装置(304)，用于检测指示设备(101，300)的运动或者运动轨道(400)。

6.如权利要求2所述的指示设备(101，300)，该指示设备包括特征投影器(320)，用于向所指向的区域光学投影特征图案。

7.如权利要求2所述的指示设备(101，300)，该指示设备包括可编程用户接口代码发生器(309)，以及无线发送器(310)，用于将所述代码传送给电子设备(110)。

8.如权利要求2所述的指示设备(101，300)，该指示设备包括反馈装置(306，312，314，

316)，用于反馈用户接口信息。

9.供权利要求1所述用户交互系统使用的电子设备，其特征在于，其中包括接口装置(190)，该接口装置允许电子设备根据指示设备(101，300)给电子设备的“标识所支持命令”的请求，发送关于所支持命令的信息给如权利要求1所述的指示设备(101，300)。

说明书

基于指示设备的用户接口系统

技术领域

[0001] 本发明涉及一种用户交互系统，该系统包括：

[0002] 一电子设备；

[0003] 一便携式指示设备，该便携式指示设备可由用户操作用来指向空间中的区域；

[0004] 一照相机，该照相机用于拍照；以及

[0005] 一数字信号处理器，该数字信号处理器可接收图像并对其进行处理并且可将来源于该图像的用户接口信息传送到电子设备。

[0006] 本发明还涉及一种供用户交互系统之用的指示设备。

[0007] 本发明还涉及一种供上述用户交互系统之用的电子设备。

背景技术

[0008] 从US-A-2001/0030668中可以得知这种系统。该文献描述了这样一种通用远程控制系统，在该系统中用户利用其显示可识别特征的指示设备来标记显示器上的一位置，所述指示设备例如是其可发射出红斑的激光指示器，并且照相机拍摄该显示器的照片且计算用户所指向的位置。此后诸如计算机或者电视这样的电子设备执行其与用户进行标记相对应的动作。例如如果通过使激光指示器闪光两次来标记显示器上一图标，那么开始相应计算机程序。

[0009] 巳知系统的缺点在于该系统是为特定显示器所定制的。例如该显示器可以是基于LCD的前部投影仪在屏幕上的投影，其中该投影仪与膝上型电脑相连。已知系统中的照相机具有其可使屏幕成像的位置及视角。接下来，对DSP进行训练以对照相机图像中的一区域进行辨别，所述区域与屏幕的位置相对应。在现有技术中这是按照一简单方式来进行的。首先在利用投影仪的图像照明的情况下和不利用投影仪的图像照明的情况下捕获屏幕的图像。通过对这两个图像的不同之处进行比较，可获得通过照相机所观看到的该显示器在空间中的区域。其次获得膝上型电脑帧缓冲器中的透视图转换，该透视图转换可确定在显示器上被指向的位置与投影图像中的位置之间的关系。巳知文献还描述了通过首先手动选择虚拟显示器的转角而指向诸如墙这样的虚拟显示器。然而总是为了一个显示器要对该系统进行校准，并且在用户想要与另一显示器进行交互的情况下，他必须再次建立该系统或者使用第二系统。

发明内容

[0010] 本发明的第一个目的就是提供一种在开始段落中所描述的这类用户交互系统，在该系统中可相对容易地与多个可用电子设备进行交互，尤其是可与显示器进行交互。

[0011] 本发明的第二个目的就是提供一种在开始段落中所描述的这类指示设备，该指示设备使得与多个可用电子设备进行交互相对容易。

[0012] 本发明的第三个目的就是提供一种供上述用户交互系统之用的电子设备。

[0013] 第一个目的是可以实现的，因为照相机与指示设备相连以便在操作过程中其可使所指向的区域成像。固定照相机仅使空间的某个区域成像。在已知的用户交互系统中用户的指示设备或者所指向的对象甚至可以不在固定照相机的视野之内。具有附装照相机的指示设备的主要优点在于照相机基本上总是使所指向的区域最佳地成像，所述照相机例如可以位于最靠近所指向区域的指示设备的前端。所指向的对象一般是要将诸如设备控制数据这样的用户接口信息发送到其上的电子设备，但是可以是用户所驻房间中的任何对象，只要它可以被DSP识别。此后例如通过预先指向所要控制的设备来对其进行标识。

[0014] 在根据权利要求2的实施例中，用户接口信息包括用于对电子设备的操作进行控制的设备控制数据。起居室中可存在例如可产生声音的多个设备。这些设备的每一个均具有用于增加或者降低音量的控制。通过将指示设备的照相机指向特定设备并且例如通过按下指示设备上的按钮或者使指示设备进行特定移动来执行“音量增加”命令，所指向设备的音量将增加。使用巳知通用远程控制具有这样的缺点，例如不是用户预期的设备应答，因为它使用相同远程控制代码。

[0015] 有利的是，如权利要求3所述，数字信号处理器包括一对象表征装置，该对象表征装置通过将第一对象表征特性提供给所包含的用于对该对象进行标识的对象标识装置来对存在于照相机所成像区域的图像之中的对象或者对象的一部分进行表征，所述对象标识装置可输出根据其可构造出用户接口信息的对象标识数据。

[0016] 在要对不同电子设备进行控制的情况下，它们全部都必须被自动识别。DSP例如可以是运行用于表征设备的算法的一般处理器，或者它可以是专用集成电路。典型地，对象表征装置对设备的图像执行成像处理算法。例如可计算设备的相对尺寸并且可对该设备上的按钮数目及位置进行分析。对象标识装置将特定设备与这些最终第一对象表征特性关联起来，例如根据设备表格中的信息。与设备所知晓的设备控制数据一样，可存在与该设备有关的诸如“公司X所生产的其序列号为Y的第一电视”这样的其它信息。

[0017] 此外有利的是如权利要求4所述，数字信号处理器包括：

[0018] 运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一运动表征标记，该标记是运动轨道的数学抽象；以及

[0019] 标记标识装置，用于对第一运动表征标记进行标识并且输出与第一运动表征标记相对应的表示用户交互命令的命令标识数据，用户接口信息是根据所述命令标识数据构造而成的。

[0020] 为了避免对于可以发送到所有不同设备的所有不同命令而言需要指示设备上的大量按钮，并且为了使用户交互系统更用户友好，因此有利是至少一些设备控制数据是根据用户使通常在其手中的指示设备所进行的移动而产生的。向上移动的标记可以是指“音量增加”，但是与标准远程控制完全不同，音量变化量根据本发明可以取决于运动的粗率性。如果用户使他的手臂慢慢向上移动，那么音量应当例如仅略微改变，并且相反如果他使他的手臂快速向上移动，那么音量将增长很多。可以根据诸如海量变形检测器(mass on a deformation sensor)、陀螺仪、差转GPS定位系统等等这样的运动检测装置来确定指示设备的运动。然而因为已存在照相机，因此还可通过使连续的图像成像并且应用运动估计算法来确定该运动。因为全程运动估计比多对象的精确运动估计更简单，因此照相机可以是简单的基于CMOS的照相机或者甚至可以是少量光敏元件的二维阵列。

[0021] 此外有利的是如权利要求5所述，数字信号处理器包括标识改进装置，该装置可进一步提高根据预定规则来对被表示为对象标识数据的对象以及被表示为命令标识数据的用户交互命令进行更可靠标识的概率，这可产生更可靠的用户接口信息。因为对象以及运动标记的标识不必总是很理想的，因此给定房间中的状态可变性，采用这样的标识改进装置，该装置例如对所标识的对象标识数据以及命令标识数据运用人工智能规则组，可能还考虑到表征特性第一对象表征特性以及第一运动表征标记。例如，用于确定所指向设备的规则可考虑到指示设备所在的房间或者日时。例如如果用户回家了并且捡起指示设备，那么用户典型的会做的第一件事情是打开灯。通过DSP根据这些灯的图像来验证他的意图。

[0022] 进一步有利的是如权利要求6所述，预定规则包括考虑到下述先验巳知信息单元{指示设备所驻房间，用户所发布的先前命令，用户发布特定命令的统计频率以及日时}的至少一个，对{对象标识数据，命令标识数据}对的似然性的概率计算。例如根据用户通常使用命令的统计曲线并且根据预先所发布的命令来计算命令的似然性。此外，根据其内存在有指示设备的房间来更新该设备的似然性。用户在星期五8点钟也许想要观看他喜爱的电视节目。

[0023] 此外有利的是如要求7所述，数字信号处理器包括对象关联装置，该装置为对象标识装置提供了包括有至少一个数据实体的对象关联数据，所述数据实体是：关联对象表征特性以及对象相关数据，

[0024] 对象关联数据可从对象存储器中的得自于至少一个方法的对象模板数据得来的；

[0025] 对象模板数据是从下述对象训练装置中获得的，所述对象训练装置对对象表征装置所输出的第二对象表征特性执行预定计算；并且

[0026] 对象模板数据是从所输入的对象数据得来的。

[0027] 如果代替由厂家预先构造以用于对固定数目的设备进行控制，用户可使它适用于他的变化环境，那么该用户交互系统更加通用。例如如果他购买了新的设备，那么他想能够借助于相同系统来控制该设备。此外如果他购买了日程表，将它挂在墙上，并且利用他的指示设备而指向它，那么他想发生动作，例如在他的PC上起动日程表工具。为此需要对象关联装置。用户例如在几个不同角度之下使新设备成像。在对象表征装置上所运行的许多图像处理算法提取该对象的被存储为对象模板的特性，可能在首先计算恒定设备特定特性之后。此后他利用选择用户接口来选择与该对象模板相对应的设备。这就是所谓的系统的训练阶段。当后来系统用于所谓的命令阶段以将设备控制数据发送到标识的设备时，借助于存储在对象关联装置中的数据来帮助对象标识装置的对象标识。例如根据对象模板数据，可将下述多个关联对象表征特性发送到对象标识装置，所述多个对象表征特性与其作为第一对象表征特性的对象表征装置的输出相对应，此后对象标识装置执行比较以选择正确的标识的设备。还可以将这些特性预加载在对象标识装置中。对象关联装置还可以将下述对象相关数据发送到对象标识装置，所述对象相关数据至少包括设备的标识符并且可能进一步包括诸如所支持命令这样的数据。在可替换实现中，对象关联装置还可以执行对象标识本身，在这种情况下仅仅将对象相关数据发送给对象标识装置。为了避免用户必须通过选择用户接口来输入大量信息，还可通过对象数据输入而输入对象相关数据。例如直接从要被标识和控制的设备输入。通过该输入，还可以输入特征对象模板数据，例如设备的厂家可以提供在很好受控成像条件下所拍摄的图像。

[0028] 此外有利的是如权利要求8所述的，数字信号处理器包括用于将包括有至少一个数据实体的标记关联数据提供给标记标识装置的标记关联装置，所述数据实体是：关联的标记特性以及命令相关数据，

[0029] 标记关联数据是可从标记存储器中的得自于至少一个方法的标记模板数据而得来的；

[0030] 标记模板数据是从下述标记训练装置中获得的，所述标记训练装置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并且

[0031] 命令模板数据是从所输入的命令数据而得来的。

[0032] 根据类似基本原理，可以包括标记关联装置以使得能够对用户应用到指示设备上并被表征为标记的新运动轨道进行训练。在这些实现中，例如通过下述设备来输入命令数据，所述设备提供其支持命令的一菜单。

[0033] 此外有利的是如权利要求9所述的，第一运动表征标记是根据照相机在各个时间情况所成像的连续图像而得到的。因为照相机附连在指示设备上以使其每个移动成像，并且通过简单运动估计算法来估计全程运动，因此使用连续成像的图像以得到想要的用户接口命令。

[0034] 第二个目的是可以实现的，因为根据权利要求10的指示设备包括一照相机并且可将一图像发送到DSP。如上所述，由于这种指示设备而使用户交互系统变得更通用。

[0035] 权利要求11中的指示设备的实施例的特征在于其可将一图像发送到数字信号处理器，该数字信号处理器可根据该图像而将用户接口信息发送到电子设备。

[0036] 在根据权利要求12的实施例中，DSP包含在指示设备之内。此后指示设备还可以与用户交互系统相分离的操作。例如指示设备能够被带到超级市场、对所成像的图像进行处理、并且存储相应第一对象表征特性。然后在稍后时间执行家用设备的控制动作。

[0037] 有利的是权利要求13所述，指示设备包括用于对指示设备的运动轨道进行检测的运动检测装置。不管该设备是否用于识别对象，它也可用于对与通过用户进行的特定移动相对应的设备控制数据进行发送。指示设备这种应用中的预期的设备例如可以是固定的或者由按钮来表示。

[0038] 有利的是如权利要求14所述的，指示设备包括一特征投影仪，该投影仪用于朝所指向区域对特征模式进行光学投影。有利的是用户可得到他指向哪个设备或者设备的哪个部分的反馈。否则，如果他未正确的对准，那么他例如实际上按下该设备的错误按钮。反馈的一个形式可以是指示设备显示器上的很小图像，该图像示出了照相机所成像区域的中心。位于显示器中间的设备或者设备上的按钮是所希望的那一个。反馈的另一形式包括诸如白十字或者激光点这样的照亮所想要的设备部分的特征模式的投影。诸如行的二维网格这样的更复杂的模式有助于DSP对所成像设备的几何图形进行标识。

[0039] 有利的是如权利要求15所述，指示设备包括一可编程用户接口代码发生器以及用于将该代码传送到电子设备的无线发射机。代替DSP将设备控制数据发送到该设备，例如借助于基于蓝牙的无线本地网络，指示设备本身例如可以借助于红外线辐射直接发送适当远程控制命令。与典型的通用远程控制相比的优点在于DSP可自动的根据照相机图像来对该设备进行标识并且产生正确的代码。

[0040] 有利的是如权利要求16所述，存在反馈装置以用于对用户接口信息的反馈。例如显示器是很有用的。另一反馈例如借助于移动的物质可提供某类力反馈。这例如可以模拟相对于TV屏幕的倾翻。

[0041] 第三目的是可实现的，因为包括这样的接口装置，该接口装置根据送至该设备的指示设备的“标识所支持命令”请求而允许设备将与所支持命令有关的信息发送到如权利要求1所述的指示设备上。DSP或者部分DSP功能也可包含在该设备之内。该设备还传送对象表征特性等等。

附图说明

[0042] 参考下面的描述以及附图而显而易见的得知并阐明了本发明，所述附图示意性的给出了根据发明的用户交互系统以及指示设备的部件示例。在这些附图中：

[0043] 图1示意性的给出了根据本发明的用户交互系统所在的房间；

[0044] 图2示意性的给出了根据本发明的数字信号处理器；

[0045] 图3示意性的给出了根据本发明的指示设备；以及

[0046] 图4给出了运动轨道以及相应标记的两个示例。

具体实施方式

[0047] 在图1中示出了房间不但包括有诸如其即就是等离子显示器的电子设备110这样的可接收用户接口信息I的各种电子设备，并且还具有用户100可与其相交互的个人录像机、或者电话、或者洗衣机。该房间还包括有可以借助于指示设备101指向的其即就是电子设备的各种对象或者类似于例如窗户、音频设备这样的对象130、花瓶170、以及电子设备110这样的仅是任何物理对象。

[0048] 根据本发明，该指示设备101包括照相机102，并且可将房间区域的图像或者那些区域中对象的图像发送到数字信号处理器(DSP)120，该数字信号处理器120可根据照相机102所成像的一个或多个图像来标识该区域或者对象。照相机按照下述方式而与指示设备
101相连，该方式即就是照相机可很好使所指向的区域成像。例如它典型的位于指示设备
101的远端，但是也可以一角度而装配在外侧上。用户100具有可指向他所希望的任何对象这样的自由度，并且按照这种方式可实现非常友好且强大的用户交互系统。

[0049] DSP 120例如可以是本地网络中的家用计算机控制设备，或者可以被并入在指示设备101之中。照相机102可以是CCD照相机或者CMOS照相机。如果照相机102与DSP120是独立的，那么它们之间的连接可以是无线的。指示设备101已经可执行由DSP 120执行用于对对象进行标识的部分算法，以便例如仅需将一小组特性发送给外部DSP 120以用于进一步处理。事实上可以将DSP 200中所示的功能分配在指示设备101的多个部件、房间、不同设备等等中。

[0050] 将DSP 120设计成将诸如设备控制数据ac这样的用户接口信息I发送到所标识的设备。例如用户100可以将指示设备101指向灯160并且按下指示设备101上的接通按钮，这可导致DSP 120将一接通命令发送到所标识的灯160。所标识的对象不必是其本身要被控制的设备。例如指向花瓶170可启动下述p.c.上的特定程序，显示设备100示出了所述p.c.的输出。根据诸如按下按钮或者使指示设备101移动这样的附加动作，可指向对象的一部分，例如指向对象130的音量按钮134可使该音频设备的音量增加或者减小。指向通道选择显示132并且进行横向移动可改变通道。DSP 120还可对对象一部分的状态进行识别，例如使盒式磁带装入器136脱离打开状态，并且发布“闭合”命令。还可以对其他特定情况进行检测或者监控。用户100还可指向一件家具140或者其一部分142。如果这个家具140是一厨柜。那么指向不同抽屉可产生不同动作。如果这个家具140是智能电冰箱，那么指向它可导致用户通过互联网来订购啤酒这样的已定义动作。除了设备控制数据ac之外，可以发送诸如图像数据pd这样的其他用户接口信息I。例如第一电子画150以及第二电子画152显示一可变图像。它们可以利用电泳电子墨汁显示器来实现。用户100可捕获在第一电子画上所显示的图像，或者甚至可捕获其挂在墙上的日程表上的图像，并且将其作为图像数据pd而传送到第二电子画152，可能在诸如透视图校正这样的一些图像处理之后。

[0051] 图2示意性的给出了数字信号处理器200(即，图1中120的实施例)中的功能部件。并不是这里所描述的所有部件必须存在于用户交互系统的特定实施例中。DSP 200可以是以一般处理器、专用集成电路、或者电路板上的独立部件实现的。DSP 200例如可从运动检测装置304接收照相机输入c以及传感器输入s。DSP 200可以包括一对象表征单元202，该对象表征单元202用于对照相机102所成像的对象130或者对象130的一部分的图像进行表征。对象表征单元202可将第一对象表征特性f1提供给对象标识单元204。根据对象标识单元204中所包含的图像处理算法，第一对象表征特性f1可以是不同类型。典型地，首先使对象与所成像图像的剩余部分相分离。这例如是根据对该图像进行边缘及曲线检测来进行的。另一可选方案是例如利用所投影的网格或者第二照相机来对所成像的区域进行3D分析。根据相关技术来对对象的一部分进行检测，并且此后可以对对象的剩余部分进行检验。

[0052] 其次计算第一对象表征特性f1。例如可以借助于曲率与角度特性的比来表征对象的轮廓以及其组成部分。或者可以计算宽度/高度比值。此外，典型地在首先执行透视校正之后，可以使用所分离的对象区域本身或者其转换。

[0053] 此后对象标识单元204根据从对象表征单元202所接收到的第一对象表征特性f1来对该对象进行标识。例如可使用多维特性空间中的任何已知分类技术。对象标识单元204的输出是对象标识数据oi，该数据可以是单值或者其包括有与所标识对象有关的附加信息的数据结构。例如通过包括有DSP200的指示设备的厂家可以将多个设备的表征特性以及进一步数据先验的存储在对象特征存储器230中，或者如果DSP 200是计算机，那么可以从互联网对其进行预加载。代替对对象进行标识，DSP还可对房间的一区域进行标识。例如将指示设备101指向天花板可发布命令“开灯”，然而指向地板这可关灯。或者指向一个转角这可调用相关命令。可以根据所存在的对象，例如根据左侧是一植物并且右边是一橱柜来对该转角进行标识。

[0054] 然而如果用户自己可对诸如花瓶170这样的新对象进行训练，那么该用户交互系统更加有用。因此可以包括一对象关联单元212，该对象关联单元可向对象标识单元204提供对象关联数据oad。与第一对象表征特性f1相类似，根据对象模板，对象关联数据oad可包括对象的表征特性fa。通过应用训练阶段可获得对象模板。照相机102可在诸如不同角度、灯光等等这样的多个条件下使新对象成像。对象表征单元202产生了所有图像的第二对象表征特性f2。对象关联单元212中的对象训练单元221产生了与存储在对象存储器220中的对象相对应的一对象模板。该模板例如可以是所有图像的第二对象表征特性f2的群集，或者平均特性、或者根据可变第二对象表征特性f2所计算的某些恒定特性。此外对象训练单元221还可根据从外部所进入的作为对象数据od的表征特性来获得对象模板。该对象数据可来自于下述设备，该设备输入例如厂商从不同角度所拍摄的它的图像。对象数据od以及对象关联数据oad还可包括对象相关数据id，也就是说包括与例如所支持命令相类似的与设备有关的各类信息。

[0055] 为了便于对象识别，与例如设备110相类似的某些对象可显示特征模式116，例如它们可以利用不同开/关间隔来使红十字闪动预定次数以响应指示设备的“对象标识”请求。设备110还可包括一接口单元190，该接口单元190可使其在根据本发明的用户交互系统中更有用。例如与互联网收音机相类似的设备具有“服务发现”功能，该功能可将其所支持的命令发送到指示设备101。其甚至可以传送与这些命令相对应的红外远程控制序列等等。这便于用户100对DSP 120，200进行训练。例如响应于该传送，该命令可以表现为指示设备101的显示器316上的预定图标的菜单。还可以单独地实现接口单元190。例如洗衣机可能不具有复杂的远程控制功能。可提供插头盒，该插头盒可按照例如启动它这样的简单方式而利用该设备接收来自DSP 200以及接口的标准命令。

[0056] DSP 200可能还包括用于对用户100利用指示设备101所做出的姿势进行分析的部件。为此，使用指示设备101的图4中的运动轨道400，该运动轨道400例如是根据来自照相机102的图像所计算的。图4a给出了三维坐标系404中的向上运动轨道400。通过向上运动轨道的数学表达式这样的标记402来对其进行总结。例如在用户100可保留“容量增加”命令的情况下，例如借助于具有命令标识数据ci的命令表格来链接该标记402。圆形运动轨道410以及圆形标记412可能是指一个用户“倒带(rewind)”，反之另一用户对DSP200进行训练以使该圆形标记412与“接通设备”命令相关。用户例如可使他的指示设备
101大致的面向灯160并且进行“接通设备”运动，DSP 200根据该运动可接通灯160。可替换地，用户100还可以在空中某处进行“接通设备”运动并且此后指向灯160、或者电视、或者他想要接通的任何对象。可按照任何方式来使该标记402，412参数化并通过任何巳知曲线拟合技术而使其相匹配。例如将标记402编码成具有特定长度及线段间角度的多个连接线段。

[0057] 运动轨道估计单元206根据运动检测装置304或者来自照相机102的连续图像来计算运动轨道400。例如可将基于光流或块的运动估算技术应用到两个连续的图像上以获得运动轨道400的一部份401。运动矢量场的扩散用于对朝向接通物体的运动进行估计，即对典型的沿着指示设备101轴的运动进行估计。根据运动轨道400，标记产生单元209输出第一运动表征标记s1。标记标识单元208对第一运动表征标记s1进行标识并且将其与下述命令标识数据ci相链接，所述命令标识数据例如也就是用户100所企图的用户交互命令的数值表示。将第一运动表征标记与标记特征存储器232中所存储的不同标记的标记特征进行比较。例如如果仅大致圆形或者甚至任何返回运动，那么与线性标记模板相比，所存储的圆形标记模板产生了更好的匹配。在相似性计算中可应用几何及结构曲线匹配技术。

[0058] 正如具有能够学习以对新对象进行标识的DSP 200是有利的一样，如果DSP 200可对用户100所优选的新移动进行标识也是有利的。因此可以包括用于将标记关联数据SAD提供给标记标识单元208的标记关联单元214。标记关联数据SAD可以包括诸如圆形标记412和/或命令相关数据cid的数学表达式这样的关联标记特性sa，所述圆形标记412和/或命令相关数据cid例如是从用于将其支持的命令作为命令数据cd而发送到DSP 200的设备所接收到的。根据来自于运动轨道估计单元206或者命令数据cd的第一运动表征标记s2可从标记训练单元223中获得标记存储器222中的标记模板。

[0059] 因为用户的环境是非常易变的，例如灯光在白天变化，因此对对象130或者命令的标识，即标记402有时是错误的。因此DSP 200可包括标识改进单元210。所想要的命令例如取决于所指向的对象130，或者可以取决于先前所发出的命令等等。如果对象不存在于指示设备所在的房间中，那么将会不正确的标识对象。因此可以存在诸如闪烁LED这样的房间识别装置185。当用户进入房间时，他可利用指示设备101来扫描房间识别装置185。除了照相机102之外，指示设备101中还可能包含有光电二极管以对房间识别装置185进行检测。还存在房间定位信标180，181，182，以便DSP 200可识别出指示设备101指向了房间的哪一部分。在照相机102对信标进行识别的情况下，该信标可进行光发射，但是它们例如还可以发射出电磁辐射。存在于房间之中的对象还可以帮助对对象的识别。例如如果花瓶170紧接于对象130，那么其识别有助于对对象130的识别。甚至可以使用对指示设备的过去轨道的分析。如果指示设备先前指向对象130并且其已移动到右边，那么它应该指向设备110。考虑所有这些信息，标识改进单元210例如可计算贝叶斯概率或者使用模糊逻辑以取得对象130更确定的标识以及所想要命令。

[0060] DSP 200所输出的用户交互信息I典型的包括控制设备数据ac，该控制设备数据例如是包括有对象标识数据oi以及命令标识数据ci或者基于这些的新标识符的结构，以对特定设备110的想要命令进行标识。用户交互信息I还可包括图像数据pd。

[0061] 图3示意性的给出了根据本发明的指示设备300(图1中101的实施例)。并不是需要存在有这里所示出的所有特性：简单的指示设备可仅包括照相机302以及例如用于反馈的显示器316。可以存在有例如按钮308这样的多个按钮。这允许仅仅通过按下按钮来给出某些命令。此外指示设备300的类似移动可用于两个不同命令，一次是要同时按下按钮308并且另一次不同时按下按钮308。可存在例如用于将激光光点投影到所指向位置的特征投影器320。指示设备的照相机可将图像发送到外部DSP 120，但是其本身也可包括DSP 200。按照这种方法，还可在户外使用该指示设备。用户100所未携带的指示设备103还可用于对设备110或者房间进行监控。除了借助于照相机来检测运动之外，还可包括诸如陀螺仪或者差转GPS定位系统这样的其他运动检测装置304。还存在可编程代码发生器309以及用于将命令直接发送到设备110的无线发送器310。可能存在用于向用户提供附加信息的反馈装置。可包括例如灯312、发声设备314、力反馈装置306、以及尤其是显示器
316。力反馈装置可包括很小的可移动物质，该物质可模拟设备的振动或者触摸。该显示器可显示例如所指向区域的中心，可能将所产生的图解十字叠加在所成像图像的中心。还可将其显示在电视上。类似地，灯160用于提供反馈以代替灯312。显示器316上的反馈示出了例如运动轨道400以及其与运动轨道训练阶段过程中的先前运动轨道的类似程度，这有助于用户100学习DSP 200以识别稳定的姿势。显示器316还可通过在多个图像处理步骤之后显示图像(例如包括有所检测边缘并且包括对所标识设备进行命名的文本的图像)来指示DSP 200了解了什么。

[0062] 还可存在诸如指纹传感器或者用于口令或个人智能卡的输入这样的用户标识装置330。按照这种方法，DSP 200可将其本身设置为用户100所特有的操作模式。用户甚至可以根据他所处的房间而给出不同命令。还可包括语音识别装置340以添加通过指示设备300的移动所给出的命令。通过将指示设备101用作某种到现实世界的接口设备，还可以玩游戏。

[0063] 以下实施例给出了本发明所包含的技术的举例性的组合：

[0064] 1.用户交互系统，包括：

[0065] 一电子设备；

[0066] 一便携式指示设备，该便携式指示设备可由用户操作用来指向空间中的一区域；

[0067] 一照相机，该照相机用于拍照；以及

[0068] 一数字信号处理器，该数字信号处理器可接收图像并对其进行处理，并且可将来源于该图像的用户接口信息传送到电子设备，

[0069] 其特征在于，

[0070] 照相机与指示设备相连以便在操作过程中它使所指向的区域成像。

[0071] 2.如上述第1项中所述的用户交互系统，其中用户接口信息包括用于对电子设备的操作进行控制的设备控制数据。

[0072] 3.如上述第1项中所述的用户交互系统，其中数字信号处理器包括一对象表征装置，该对象表征装置通过将第一对象表征特性提供给所包含的用于对该对象进行标识的对象标识装置来对存在于照相机所成像区域的图像之中的对象或者对象的一部分进行表征，所述对象标识装置可输出根据其可构造出用户接口信息的对象标识数据。

[0073] 4.如上述第1项中所述的用户交互系统，其中数字信号处理器包括：

[0074] 运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一运动表征标记，该标记是运动轨道的数学抽象；以及

[0075] 标记标识装置，用于对第一运动表征标记进行标识并且输出与第一运动表征标记相对应的表示用户交互命令的命令标识数据，用户接口信息是根据所述命令标识数据构造而成的。

[0076] 5.如上述第3和4项中所述的用户交互系统，其中数字信号处理器包括标识改进装置，该装置可进一步提高根据预定规则来对被表示为对象标识数据的对象以及被表示为命令标识数据的用户交互命令进行更可靠标识的概率，这可产生更可靠的用户接口信息。

[0077] 6.如上述第5项中所述的用户交互系统，其中预定规则包括考虑下述先验巳知信息单元{指示设备所驻房间，用户所发布的先前命令，用户发布特定命令的统计频率以及日时}中的至少一个，对{对象标识数据，命令标识数据}对的似然性的概率计算。

[0078] 7.如上述第3项中所述的用户交互系统，其中数字信号处理器包括对象关联装置，该装置为对象标识装置提供了包括有至少一个数据实体的对象关联数据，所述数据实体是：关联的对象表征特性以及对象相关数据，

[0079] 对象关联数据是可从对象存储器中得自于至少一个方法的对象模板数据得来的；

[0080] 对象模板数据是从下述对象训练装置中获得的，所述对象训练装置对对象表征装置所输出的第二对象表征特性执行预定计算；并且

[0081] 对象模板数据是从所输入的对象数据而来的。

[0082] 8.如上述第4项中所述的用户交互系统，其中数字信号处理器包括用于将包括有至少一个数据实体的标记关联数据提供给标记标识装置的标记关联装置，所述数据实体是：关联的标记特性以及命令相关数据，

[0083] 标记关联数据是可从标记存储器中得自于至少一个方法的标记模板数据得来的；

[0084] 标记模板数据是从下述标记训练装置中获得的，所述标记训练装置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并且

[0085] 命令模板数据是从所输入的命令数据而来的。

[0086] 9.如上述第4项中所述的用户交互系统，其中第一运动表征标记是根据照相机在各个时间情况所成像的连续图像而得到的。

[0087] 10.供上述第1项中所述的用户交互系统之用的指示设备，其特征在于该指示设备包括照相机并且可将图像发送到数字信号处理器。

[0088] 11.如上述第10项中所述的指示设备，其中该指示设备可将一图像发送到数字信号处理器，该数字信号处理器可根据该图像而将用户接口信息发送到电子设备。

[0089] 12.如上述第10项中所述的指示设备，其中数字信号处理器包含在指示设备之中。

[0090] 13.如上述第10项中所述的指示设备，包括用于对指示设备的运动轨道进行检测的运动检测装置。

[0091] 14.如上述第10项中所述的指示设备，包括特征投影仪，该投影仪用于朝着所指向区域光学投影特征模式。

[0092] 15.如上述第10项中所述的指示设备，其中包括可编程用户接口代码发生器以及用于将该代码传送到电子设备的无线电发射器。

[0093] 16.如上述第10项中所述的指示设备，包括反馈装置以用于对用户接口信息的反馈。

[0094] 17.供上述第1项中所述的用户交互系统之用的电子设备，其特征在于包括这样的接口装置，该接口装置根据送至该电子设备的指示设备的“标识支持命令”请求而允许电子设备将与所支持命令有关的信息发送到如上述第1项中所述的指示设备上。