采用扫描传感器的输入设备转让专利
申请号 : CN99811860.5
文献号 : CN1322329B
文献日 : 2010-06-02
发明人 : R·敦顿 , T·查勒斯沃斯 , J·里查逊 , K·斯尔维斯特 , M·施默达
申请人 : 英特尔公司
摘要 :
一种电子设备(10)，用输入设备(34a)的图像和检测用户与这些图像的交互的扫描传感器(14、16、22)来接收输入。例如，可以投影鼠标的图像(34b)并可以用数字视频相机(14、16、22)扫描用户与该图像的交互。然后可以分析这些用户移动图像，以便确定例如用户的移动的方向、范围和速度，由此提供指针位置命令信号。类似地，可以分析用户相对于虚拟键盘图像(34b)的移动，将其转换成用于响应所启动的虚拟键的键启动信号。
权利要求 :
1.一种用于向电子设备(12)输入数据的方法，包含：在表面上投影计算机输入设备的图像(34)；
检测用户相对于所投影的图像的移动，所述方法的特征在于，
在所述表面上投影鼠标的图像；和确定所述鼠标图像的移动的方向与速度。
2.如权利要求1的方法，还包含捕获用户与投影图像相联系的数字视频图像，并将所述图像的表示输入到电子设备。
3.如权利要求2的方法，还包含包括用模式识别软件分析所述数字视频图像。
4.如权利要求3的方法，还包含确定在所述数字视频图像中显示的对象的移动方向。
5.如权利要求1的方法，其中，投影图像包括在表面上投影鼠标的图像和检测用户相对于所述鼠标图像的移动。
6.如权利要求1的方法，其中，投影图像包括投影键盘的图像和检测用户相对于所述键盘图像的移动。
7.如权利要求1的方法，其中，投影图像包括投影输入设备的图像。
8.一种系统(35)，包含：
处理器(36)；
传感器(14)，耦合到所述处理器(36)；
投影仪(20)，耦合到所述处理器(36)；和与所述处理器(36)相关联的存储器(62)，所述存储器(62)存储计算机程序(64)，该计算机程序(64)使所述处理器(36)：利用所述投影仪(20)投影输入设备的图像(34)；和利用所述传感器(14)检测用户相对于输入设备的所述图像(34)的移动；
其特征在于，
所述投影仪(20)投影鼠标的图像；和所述传感器(14)确定用户相对于所述图像的移动的方向与速度，使所述程序(64)控制指针的位置以响应所述用户移动。
9.如权利要求8的系统，包括多个数字视频相机。
10.如权利要求8的系统，其中所述程序响应于用户的移动来控制指针的位置。
11.如权利要求8的系统，其中所述系统是计算机系统。
12.如权利要求8的系统，其中所述存储器中包含模式识别软件。
13.如权利要求8的系统，其中所述投影仪投影指示设备的图像。
14.如权利要求8的系统，其中所述投影仪投影键盘的图像。
说明书 :
技术领域
本发明一般涉及用于包括计算机系统在内的电子设备的输入设备，特别是涉及采用视频控制输入的这类设备。
背景技术
已经有各种指示设备在计算机系统中被用于控制指针或光标在显示器上的位置。指针或光标是一个图形，能在屏幕上移动，以选择在用户界面上提供的物理形象形式的特定选项。用户可以以这种方式与视频显示器交互，以便把目标集中到通过用户界面提供的特定任务和活动上。
已知的指示设备包括鼠标、跟踪球(track ball)和指示条(pointingstick)。所有这些设备一般都包含易于出故障的机电接口。当接口发生故障时，会产生不正确信号，这会使该指示设备的移动被错误地反映在显示器的指针位置上。
另一种公知的指示设备，即触摸板(touch pad)指示设备，允许用户触摸接触表面。用户手指在接触表面上的移动被跟踪，作为计算机显示器上指针的对应移动。触摸板一般有电容性传感器，该电容性传感器检测手指位置和移动，并将该移动转换成位置控制信号。
触摸板指示设备易因灰尘或湿气而结污，由此产生如上所述的不正确信号。此外，该触摸板设备提供的移动程度有限，使得难以学会用这种指示设备得到的有限移动来控制指针。
许多计算机系统用键盘向计算机输入正文信息。键盘一般由电缆连接到计算机。像指示设备一样，键盘包含易于出故障的机电接口。这些故障会导致特定键不能启动特定输入。无论如何，向键盘提供的输入可能会不准确地反映在显示屏上出现的正文中。
所以，需要一种改进的输入设备，使用户能以较不易于出故障的方式输入信息。
包括计算机系统在内的许多电子设备包含诸如键盘等体积较大的输入设备。例如，在诸如膝上型或笔记本电脑等许多便携式计算机中，采用一种折叠式机罩，其中，显示器基本上是整个机罩的一部分，键盘是另一部分。这样，整个设备主体的相当一部分被键盘占用。类似地，在有些个人数字助理(PDA)或掌上电脑中，键盘或小键盘输入设备占据着整个设备主体的相当一部分。
市场对更小型计算设备有需求。诸如膝上型或笔记本电脑等便携式电脑正在逐渐地减少尺寸。类似地，对掌上型或PDA型计算机系统的兴趣也越来越大。
所以不断需要有新的方式来减少包括计算机系统在内的电子设备的尺寸。
已知的指示设备包括鼠标、跟踪球(track ball)和指示条(pointingstick)。所有这些设备一般都包含易于出故障的机电接口。当接口发生故障时，会产生不正确信号，这会使该指示设备的移动被错误地反映在显示器的指针位置上。
另一种公知的指示设备，即触摸板(touch pad)指示设备，允许用户触摸接触表面。用户手指在接触表面上的移动被跟踪，作为计算机显示器上指针的对应移动。触摸板一般有电容性传感器，该电容性传感器检测手指位置和移动，并将该移动转换成位置控制信号。
触摸板指示设备易因灰尘或湿气而结污，由此产生如上所述的不正确信号。此外，该触摸板设备提供的移动程度有限，使得难以学会用这种指示设备得到的有限移动来控制指针。
许多计算机系统用键盘向计算机输入正文信息。键盘一般由电缆连接到计算机。像指示设备一样，键盘包含易于出故障的机电接口。这些故障会导致特定键不能启动特定输入。无论如何，向键盘提供的输入可能会不准确地反映在显示屏上出现的正文中。
所以，需要一种改进的输入设备，使用户能以较不易于出故障的方式输入信息。
包括计算机系统在内的许多电子设备包含诸如键盘等体积较大的输入设备。例如，在诸如膝上型或笔记本电脑等许多便携式计算机中，采用一种折叠式机罩，其中，显示器基本上是整个机罩的一部分，键盘是另一部分。这样，整个设备主体的相当一部分被键盘占用。类似地，在有些个人数字助理(PDA)或掌上电脑中，键盘或小键盘输入设备占据着整个设备主体的相当一部分。
市场对更小型计算设备有需求。诸如膝上型或笔记本电脑等便携式电脑正在逐渐地减少尺寸。类似地，对掌上型或PDA型计算机系统的兴趣也越来越大。
所以不断需要有新的方式来减少包括计算机系统在内的电子设备的尺寸。
发明内容
按照一个实施例，一种向电子设备输入数据的方法包括向表面投射图像。检测用户相对于投影图像的移动。
附图说明
图1是按照本发明的一个实施例的侧视图；
图2是图1中所示实施例的正视图；
图3是能被图1中所示的设备投射的图像俯视图；
图4是按照本发明的一个实施例实现图1中所示设备的框图；
图5是按照本发明的一个实施例构成设备的过程的流程图，该设备能提供图1中所示设备的特征；
图6是图1中所示实施例的一种软件实现的流程图；
图7和8是按照本发明的一个实施例中的校准软件的流程图。
图2是图1中所示实施例的正视图；
图3是能被图1中所示的设备投射的图像俯视图；
图4是按照本发明的一个实施例实现图1中所示设备的框图；
图5是按照本发明的一个实施例构成设备的过程的流程图，该设备能提供图1中所示设备的特征；
图6是图1中所示实施例的一种软件实现的流程图；
图7和8是按照本发明的一个实施例中的校准软件的流程图。
具体实施方式
一种可以按图1中所示的计算机系统10的形式实现的电子设备可包含机罩12，机罩12包含显示器18。与一般计算机系统不同的是，系统10可以没有键盘或指示设备。可以在延伸臂26和30上设置扫描传感器14和16，以便能扫描机罩12前面的区域。扫描传感器14和16例如可以是数码相机，数码相机产生的流型视频(streaming video)通过臂26和30中含有的电缆传导到机罩12。可以在机罩12正面上显示器18的下方设置另外一个扫描传感器22，如图2所示。
在机罩12上还有一个投影仪20，它将图像投射到位于机罩12前面的表面(诸如桌面)上。投影仪20例如可以是液晶显示器(LCD)投影仪、激光投影仪或者光引擎(light engine)投影仪，如德克萨斯仪器公司(Texas Instruments，Inc)的数字光处理(DLP)光引擎。图像被投射到的区域可以是扫描传感器14、16和22所扫描的相同区域。每个扫描仪能相对其它每个扫描仪横向调准，以获得更佳的三维图像。机罩12可以由支架24支撑成有一定角度的方向。
在按照本发明的一个实施例中，可以将图3所示的一个或多个输入设备(如虚拟键盘34a和鼠标34b)投射到机罩12前面的表面上。然而，本发明并不限定于所示的这个实施例。当用户象使用物理输入设备时那样把他或她的手在图像上定位时，扫描传感器能捕获用户手的移动，并把这种移动转换成输入命令信号。例如，可以将用户的手在投射有鼠标图像34b的表面上的移动，转换成用于移动显示器18上指针的位置的指针位置信号。类似地，用户的手在投射有键盘图像34a的表面上的打字移动，可以导致输入相应的文字输入，并在显示器18上显示。这样，就可以去除机电式输入设备。
或者，扫描传感器可以感应从用户的手反射的投影光。扫描传感器也可以检测所反射的投影光与用户手的组合。投影的图像也可以移动，以“跟踪”所检测到的用户手的移动。
现在转至图4，用于实现按照本发明的一个实施例的计算机系统35的例子包括耦合到主总线38的处理器36。所示的计算机系统35包括带有因特尔公司的II处理器的400BX芯片组。主总线38与主桥接器40相耦合，后者进而耦合主存储器42。主桥接器40还耦合加速图形端口(AGP)总线48(参看加速图形端口接口规范(Accelerated Graphics PortInterface Specification)修订版1.0-由美国加州Santa Clara的因特尔公司1996年7月31日公布)，后者耦合图形设备50。图形设备50可接收来自扫描传感器14、16和22的输入，并可将该结果输入显示在也与图形设备50相耦合的显示器18上。图形设备50也可有一个视频基本输入/输出系统(BIOS)54和图形本地存储器56。
主桥接器40也耦合到总线44，后者可以包含多个用于接受外围设备的插件槽46。总线44耦合到总线至总线桥接器58，后者进而耦合到另外一个总线70。总线70包含多个插件槽47，用于接受另外的外围设备和系统BIOS 74。桥接器58也可以耦合到多个端口60和66。端口60例如可以耦合到存储所示的一个或多个程序64、106和122的硬盘驱动器62。端口66可以耦合到投影仪20。
尽管图4中表示了计算机系统的一个例子，本领域的熟练人员将知道，可以用许多其它系统来实现本文所述的目的。因此应当明白所示系统只是一个例子。
现在转至图5，图中表示一种按照本发明的用于提供具有前文所述功能的设备的方法。一开始，让系统具有视频功能，如方框76所示。例如，可以让计算机系统具备处理多个流型视频输入的能力。该系统也可以配备多个数码相机。启动投影仪，以便将输入设备的图像投射到表面上，如方框78所示。例如，如方框80中所示的那样，也可以提供对生成的用户手的移动进行视频分析的能力。按照一个实施例，视频分析可以是一个识别用户的手形及其相应移动的常规模式识别软件。下一步，如方框82中所示的那样，可以提供将用户的与投影图像相关联的移动转换成指针位置控制信号的能力。最后，如方框84中所示的那样，可以提供将用户的移动转换成文本输入的能力。此外，可以在识别到击键时，产生有声的确认-如键击声。
现在转至图6，在按照本发明的一个实施例中，可以在硬盘驱动器62上存储软件64。该软件一开始使一个或多个输入设备的图像被投射到表面上。例如可以如方框86中所示的那样，投射键盘或鼠标的图像。然后，可以接收流型视频(方框87)，选择特定视频帧，如方框88中所示的那样。例如可以用选择技术随机地或按规律间隔选择该帧。
此外，可以用景象变化探测器来确定何时景象中有重大变化。如果出现重大景象变化，就可以捕获帧，以供随后进行分析。景象变化探测器是本领域中已知的，可能涉及到对由一个或多个相机中构成成像阵列的像素所确定的强度信号的模式的分析。例如，各种像素传感器可以提供输出信号。如果输出信号超过一定强度水平，就可以视其为白色，如果它低于某强度水平，就可以视其为黑色。白色输出信号对黑色输出信号的数量的重大变化，可以被识别为启动从流型视频选择一个帧的景象变化。
尽管关于使用单一帧以供进行这种分析来对本发明是进行了说明，可以通过持续或连续地分析各连续帧而进行连续的分析。可以用过采样(oversampling)来保证移动得到检测。
在图6所示的实施例中，一旦如方框88所示的那样选择帧后，就可以用常规的模式识别软件来确定是否数字视频数据流代表特定图像模式，如方框92中所示的那样。该软件可以识别特定的预先编程的图像，诸如用户手指在虚拟键盘上的位置或用户手在虚拟鼠标顶上的位置。该软件可以通过把图像与以前记录的图形进行比较来识别图像，或者可以通过计算机所有者或用户的合作，用学习软件训练该软件学习特定的图像。
在菱形框94，该软件检查并确定是否所选择的帧含有与预定模式匹配的模式，该预定模式对应特定输入命令。如果不是，过程流就返回去选择另一个帧。
如果检测到模式匹配，就如方框96中所示的那样将第一个帧与后继的帧比较。然后，进行检查，确定是否该比较指出位置有变化(菱形框98)。如果是，就可以确定图像的移动的速度和方向(方框100)。移动的速度和/或方向可被用来提供相应的命令输入。例如，就用户手与鼠标图像相关联的移动而言，移动的方向和速度能在显示器18上指针的相应移动中反映出来。例如，可以用关联因数来计算“屏幕上”指针的三维位置(方框102)。用户输入可以由一个信号表示给图形设备50，以便按用户的手的移动方向和速度移动显示器18上的指针(方框104)。过程流循环回去，选择新的帧(方框88)，以再次开始比较。
或者，可以将一个独特的物体与用户相关联，以便能容易地识别该物体。例如，可以使用一个易于检测的颜色独特的环。可以检测环的移动，作为指针位置命令。
图7表示用于使系统能为指针位置命令校准焦点的软件106。软件106可以在校准期间用来为识别所需输入而设置系统的程序。参看图7，一开始，如方框108中所示的那样接收流型视频。如方框110中所示的那样，捕获该流型视频的一个帧。
下一步，如方框112中所示的那样，提示系统按定义的方向移动。例如，屏幕上的显示可以引导用户经历学习过程。例如，屏幕上的显示可以先指示用户显示左光标位置命令。该序列然后循环经过每个光标命令方向。一旦系统知道正在被编程的是什么光标命令，它就可以如方框114中所示的那样捕获新的视频帧。将新的帧与上一个帧比较，确定达到给定光标命令的差别(方框116)。在菱形框118的检查，确定是否已经识别焦点。换言之，系统必须能充分地区分两个帧，以便以后能把那些差别识别成特定指针位置命令。如果不是，重试该过程。否则，如方框120中所示的那样，系统保存所识别的焦点的焦点数据。
参看图8，软件122能校准指针位置命令的速度和方向。在方框123，载入由软件106确定的焦点数据。如方框124所示的那样，接收流型视频，然后如方框126所示的那样，捕获帧。如方框128所示的那样，识别诸如用户手指的焦点，并提供移动提示(方框130)。该提示可以是屏幕上的消息框，提请用户进行用户想要用作所希望移动的移动。在方框132，捕获新的(后继的)帧，然后如方框134所示的那样，将新帧与在方框126中捕获的帧作比较。
识别焦点移动(方框136)，然后如方框138所示的那样，计算移动的方向和速度。用对应x、y和z方向的关联因数来计算屏幕指针的移动的相应速度和方向(方框140)。然后如方框142所示的那样，移动屏幕指针。用户然后可以例如通过由提示屏幕提供的输入，调节对应用户手指的给定移动的指针移动的量，如方框144所示的那样。此外，用户还可以提供替代性的输入，这些输入可以被接收作为特定指针位置命令。然后在菱形框146提示用户表明用户是否已经完成。如果不是，过程流循环，然后可以如上所述地学习新的命令。否则，过程流就结束，信息被保存起来(方框148)。
可以使用的相机的数量，变数可能很大。用更多的相机能产生更好的三维成像。这可以使三维中的移动能被识别为输入命令信号。此外，可以用多余的相机来消除错误。
尽管本发明是就计算机上安装的分离的相机而说明的，但可以把相机集成在计算机系统本身的机罩中。此外，尽管本发明是就对可见光谱内的光敏感的相机而说明的，但也可以使用红外探测相机。
通过用流型视频来控制输入信息，在有些实施例中可以去除机电连接(机电连接易于出错或发生故障)。此外，在有些实施例中，例如与触摸板指示设备相比，可以提高输入的准确度，这是因为可以消除因灰尘或湿气而可能产生的错误动作。
可以以相同方式处置其它输入设备。例如，可以用电话的投影图像来替代电话。当扫描传感器系统识别到电话听筒被抓起时，计算机麦克风就可以启动。拨号可以按前文结合键盘投影图像的动作所述的相同方式来处理。
可以将投影图像改变得与在用户将其手放在普通输入设备上时用户所看到的那部分输入设备相对应。当检测到用户的手处于接收到投影图像的表面上的位置时，可以产生这种改变的图像。此外，可以将输入设备图像本身改变得反映出用户与该图像的交互。例如，当手指移动对应于按键的按压时，可以将投影图像改变得能看出该虚拟键已经移动过。
尽管对本发明是就有限数量的实施例作说明的，本领域的熟练人员将知道据此有许许多多的修改和变化。后附的权利要求旨在包括所有这类符合本发明的真正原理和范围的修改和变化。
在机罩12上还有一个投影仪20，它将图像投射到位于机罩12前面的表面(诸如桌面)上。投影仪20例如可以是液晶显示器(LCD)投影仪、激光投影仪或者光引擎(light engine)投影仪，如德克萨斯仪器公司(Texas Instruments，Inc)的数字光处理(DLP)光引擎。图像被投射到的区域可以是扫描传感器14、16和22所扫描的相同区域。每个扫描仪能相对其它每个扫描仪横向调准，以获得更佳的三维图像。机罩12可以由支架24支撑成有一定角度的方向。
在按照本发明的一个实施例中，可以将图3所示的一个或多个输入设备(如虚拟键盘34a和鼠标34b)投射到机罩12前面的表面上。然而，本发明并不限定于所示的这个实施例。当用户象使用物理输入设备时那样把他或她的手在图像上定位时，扫描传感器能捕获用户手的移动，并把这种移动转换成输入命令信号。例如，可以将用户的手在投射有鼠标图像34b的表面上的移动，转换成用于移动显示器18上指针的位置的指针位置信号。类似地，用户的手在投射有键盘图像34a的表面上的打字移动，可以导致输入相应的文字输入，并在显示器18上显示。这样，就可以去除机电式输入设备。
或者，扫描传感器可以感应从用户的手反射的投影光。扫描传感器也可以检测所反射的投影光与用户手的组合。投影的图像也可以移动，以“跟踪”所检测到的用户手的移动。
现在转至图4，用于实现按照本发明的一个实施例的计算机系统35的例子包括耦合到主总线38的处理器36。所示的计算机系统35包括带有因特尔公司的II处理器的400BX芯片组。主总线38与主桥接器40相耦合，后者进而耦合主存储器42。主桥接器40还耦合加速图形端口(AGP)总线48(参看加速图形端口接口规范(Accelerated Graphics PortInterface Specification)修订版1.0-由美国加州Santa Clara的因特尔公司1996年7月31日公布)，后者耦合图形设备50。图形设备50可接收来自扫描传感器14、16和22的输入，并可将该结果输入显示在也与图形设备50相耦合的显示器18上。图形设备50也可有一个视频基本输入/输出系统(BIOS)54和图形本地存储器56。
主桥接器40也耦合到总线44，后者可以包含多个用于接受外围设备的插件槽46。总线44耦合到总线至总线桥接器58，后者进而耦合到另外一个总线70。总线70包含多个插件槽47，用于接受另外的外围设备和系统BIOS 74。桥接器58也可以耦合到多个端口60和66。端口60例如可以耦合到存储所示的一个或多个程序64、106和122的硬盘驱动器62。端口66可以耦合到投影仪20。
尽管图4中表示了计算机系统的一个例子，本领域的熟练人员将知道，可以用许多其它系统来实现本文所述的目的。因此应当明白所示系统只是一个例子。
现在转至图5，图中表示一种按照本发明的用于提供具有前文所述功能的设备的方法。一开始，让系统具有视频功能，如方框76所示。例如，可以让计算机系统具备处理多个流型视频输入的能力。该系统也可以配备多个数码相机。启动投影仪，以便将输入设备的图像投射到表面上，如方框78所示。例如，如方框80中所示的那样，也可以提供对生成的用户手的移动进行视频分析的能力。按照一个实施例，视频分析可以是一个识别用户的手形及其相应移动的常规模式识别软件。下一步，如方框82中所示的那样，可以提供将用户的与投影图像相关联的移动转换成指针位置控制信号的能力。最后，如方框84中所示的那样，可以提供将用户的移动转换成文本输入的能力。此外，可以在识别到击键时，产生有声的确认-如键击声。
现在转至图6，在按照本发明的一个实施例中，可以在硬盘驱动器62上存储软件64。该软件一开始使一个或多个输入设备的图像被投射到表面上。例如可以如方框86中所示的那样，投射键盘或鼠标的图像。然后，可以接收流型视频(方框87)，选择特定视频帧，如方框88中所示的那样。例如可以用选择技术随机地或按规律间隔选择该帧。
此外，可以用景象变化探测器来确定何时景象中有重大变化。如果出现重大景象变化，就可以捕获帧，以供随后进行分析。景象变化探测器是本领域中已知的，可能涉及到对由一个或多个相机中构成成像阵列的像素所确定的强度信号的模式的分析。例如，各种像素传感器可以提供输出信号。如果输出信号超过一定强度水平，就可以视其为白色，如果它低于某强度水平，就可以视其为黑色。白色输出信号对黑色输出信号的数量的重大变化，可以被识别为启动从流型视频选择一个帧的景象变化。
尽管关于使用单一帧以供进行这种分析来对本发明是进行了说明，可以通过持续或连续地分析各连续帧而进行连续的分析。可以用过采样(oversampling)来保证移动得到检测。
在图6所示的实施例中，一旦如方框88所示的那样选择帧后，就可以用常规的模式识别软件来确定是否数字视频数据流代表特定图像模式，如方框92中所示的那样。该软件可以识别特定的预先编程的图像，诸如用户手指在虚拟键盘上的位置或用户手在虚拟鼠标顶上的位置。该软件可以通过把图像与以前记录的图形进行比较来识别图像，或者可以通过计算机所有者或用户的合作，用学习软件训练该软件学习特定的图像。
在菱形框94，该软件检查并确定是否所选择的帧含有与预定模式匹配的模式，该预定模式对应特定输入命令。如果不是，过程流就返回去选择另一个帧。
如果检测到模式匹配，就如方框96中所示的那样将第一个帧与后继的帧比较。然后，进行检查，确定是否该比较指出位置有变化(菱形框98)。如果是，就可以确定图像的移动的速度和方向(方框100)。移动的速度和/或方向可被用来提供相应的命令输入。例如，就用户手与鼠标图像相关联的移动而言，移动的方向和速度能在显示器18上指针的相应移动中反映出来。例如，可以用关联因数来计算“屏幕上”指针的三维位置(方框102)。用户输入可以由一个信号表示给图形设备50，以便按用户的手的移动方向和速度移动显示器18上的指针(方框104)。过程流循环回去，选择新的帧(方框88)，以再次开始比较。
或者，可以将一个独特的物体与用户相关联，以便能容易地识别该物体。例如，可以使用一个易于检测的颜色独特的环。可以检测环的移动，作为指针位置命令。
图7表示用于使系统能为指针位置命令校准焦点的软件106。软件106可以在校准期间用来为识别所需输入而设置系统的程序。参看图7，一开始，如方框108中所示的那样接收流型视频。如方框110中所示的那样，捕获该流型视频的一个帧。
下一步，如方框112中所示的那样，提示系统按定义的方向移动。例如，屏幕上的显示可以引导用户经历学习过程。例如，屏幕上的显示可以先指示用户显示左光标位置命令。该序列然后循环经过每个光标命令方向。一旦系统知道正在被编程的是什么光标命令，它就可以如方框114中所示的那样捕获新的视频帧。将新的帧与上一个帧比较，确定达到给定光标命令的差别(方框116)。在菱形框118的检查，确定是否已经识别焦点。换言之，系统必须能充分地区分两个帧，以便以后能把那些差别识别成特定指针位置命令。如果不是，重试该过程。否则，如方框120中所示的那样，系统保存所识别的焦点的焦点数据。
参看图8，软件122能校准指针位置命令的速度和方向。在方框123，载入由软件106确定的焦点数据。如方框124所示的那样，接收流型视频，然后如方框126所示的那样，捕获帧。如方框128所示的那样，识别诸如用户手指的焦点，并提供移动提示(方框130)。该提示可以是屏幕上的消息框，提请用户进行用户想要用作所希望移动的移动。在方框132，捕获新的(后继的)帧，然后如方框134所示的那样，将新帧与在方框126中捕获的帧作比较。
识别焦点移动(方框136)，然后如方框138所示的那样，计算移动的方向和速度。用对应x、y和z方向的关联因数来计算屏幕指针的移动的相应速度和方向(方框140)。然后如方框142所示的那样，移动屏幕指针。用户然后可以例如通过由提示屏幕提供的输入，调节对应用户手指的给定移动的指针移动的量，如方框144所示的那样。此外，用户还可以提供替代性的输入，这些输入可以被接收作为特定指针位置命令。然后在菱形框146提示用户表明用户是否已经完成。如果不是，过程流循环，然后可以如上所述地学习新的命令。否则，过程流就结束，信息被保存起来(方框148)。
可以使用的相机的数量，变数可能很大。用更多的相机能产生更好的三维成像。这可以使三维中的移动能被识别为输入命令信号。此外，可以用多余的相机来消除错误。
尽管本发明是就计算机上安装的分离的相机而说明的，但可以把相机集成在计算机系统本身的机罩中。此外，尽管本发明是就对可见光谱内的光敏感的相机而说明的，但也可以使用红外探测相机。
通过用流型视频来控制输入信息，在有些实施例中可以去除机电连接(机电连接易于出错或发生故障)。此外，在有些实施例中，例如与触摸板指示设备相比，可以提高输入的准确度，这是因为可以消除因灰尘或湿气而可能产生的错误动作。
可以以相同方式处置其它输入设备。例如，可以用电话的投影图像来替代电话。当扫描传感器系统识别到电话听筒被抓起时，计算机麦克风就可以启动。拨号可以按前文结合键盘投影图像的动作所述的相同方式来处理。
可以将投影图像改变得与在用户将其手放在普通输入设备上时用户所看到的那部分输入设备相对应。当检测到用户的手处于接收到投影图像的表面上的位置时，可以产生这种改变的图像。此外，可以将输入设备图像本身改变得反映出用户与该图像的交互。例如，当手指移动对应于按键的按压时，可以将投影图像改变得能看出该虚拟键已经移动过。
尽管对本发明是就有限数量的实施例作说明的，本领域的熟练人员将知道据此有许许多多的修改和变化。后附的权利要求旨在包括所有这类符合本发明的真正原理和范围的修改和变化。