遥控系统、遥控方法和记录介质

摘要

本发明涉及一种遥控装置、遥控方法、遥控系统和程序，通过本发明，能够仅用手和眼睛的直观动作来实现遥控。多个成像单元拍摄使用者的眼睛和手以及被操作的设备所在的空间的图像。基于拍摄的图像来识别使用者的眼睛和手以及被操作的设备的位置，并且根据使用者的眼睛和被操作的设备之间的位置关系来识别使用者的视线。当手被保持在包含视线的直线上的位置时由使用者执行的动作被认为是用于被操作的设备的操作指令，并且操作指令被发送到被操作的设备，从而使该设备进行操作。本发明可应用于遥控装置。

权利要求

1.一种遥控系统，其包括：

多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，

所述主装置包括：

位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；

使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；

操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；

主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及

从驱动指令单元，所述从驱动指令单元基于从所述主装置发送的所述操作指令来驱动所述从装置，其中，

当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且待被操作；

所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；

当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作装置识别为用于显示控制所述第二操作装置的UI的目标装置；

所述操作指令指定单元根据所述使用者的所述第一预定动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；

所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；

当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；

所述操作指令指定单元根据所述使用者的所述第二预定动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。

2.根据权利要求1所述的遥控系统，其中，所述从装置为幕帘开闭设备。

3.根据权利要求1所述的遥控系统，其中，所述从装置为用于车辆的后座的倾倒装置。

4.根据权利要求3所述的遥控系统，其中，当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作。

5.根据权利要求1所述的遥控系统，其中，所述从装置包括用旋转翼或固定翼飞行的飞行器、各种扫地机器人、无线电控制装置、行李分拣装置和虚拟物体。

6.一种遥控系统的遥控方法，所述遥控系统包括：多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，

所述主装置包括：

位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；

使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；

操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；

主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及

从驱动指令单元，所述从驱动指令单元基于从所述主装置发送的所述操作指令来驱动所述从装置，其中，

当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且待被操作；

所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；

当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作装置识别为用于显示控制所述第二操作装置的UI的目标装置；

所述操作指令指定单元根据所述使用者的所述第一预定动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；

所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；

当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；

所述操作指令指定单元根据所述使用者的所述第二预定动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。

7.根据权利要求6所述的遥控方法，其中，所述从装置为幕帘开闭设备。

8.根据权利要求6所述的遥控方法，其中，所述从装置为用于车辆的后座的倾倒装置。

9.根据权利要求8所述的遥控方法，其中，当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作。

10.根据权利要求6所述的遥控方法，其中，所述从装置包括用旋转翼或固定翼飞行的飞行器、各种扫地机器人、无线电控制装置、行李分拣装置和虚拟物体。

11.一种记录介质，其安装有使计算机起到操作遥控方法的程序，所述遥控方法是根据权利要求6‑10中任一项所述的遥控方法。

说明书

遥控系统、遥控方法和记录介质

技术领域

[0001] 本发明涉及遥控装置、遥控方法、遥控系统和程序，特别地，涉及一种能够通过感觉容易地实现遥控的遥控装置、遥控方法、遥控系统和程序。

背景技术

[0002] 本发明提供一种在室内装置或车内装置中实现遥控的技术。

[0003] 例如，提出一种不使用遥控器来实现遥控的技术(参见专利文献1)。

[0004] 另外，提出一种通过移动手来做出决策(诸如触摸被投影到头戴式显示器(HMD：Head Mount Display)上的图像等)，并由此来实现遥控的技术(参见专利文献2)。

[0005] 引用列表

[0006] 专利文献

[0007] 专利文献1：日本专利申请特开第2006‑301654号

[0008] 专利文献2：日本专利第5791131号

发明内容

[0009] 技术问题

[0010] 然而，例如，因为使用者必须使用遥控器，或者使用者必须学习不自然的动作，所以很难容易且直观地使用各种遥控技术。

[0011] 换句话说，在专利文献1的情况下，将使用者的意图发送到设备需要花费时间，并且需要不自然的动作。

[0012] 另外，在专利文献2的情况下，假设通过HMD来实现触摸投影图像的操作，其中视角和手的动作的感觉均不同于日常，因此需要对显示器上的视野以及手的操作速度等的差距
进行修正。这也需要不自然的动作。

[0013] 鉴于上述情况作出本发明，并且特别地，本发明仅通过使用手和眼睛的直观动作来实现遥控。

[0014] 技术方案

[0015] 根据本发明的第一方面的遥控装置包括：位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；使用者动作识别单元，当所述眼
睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元
识别所述使用者的动作；操作指令指定单元，所述操作指令指定单元指定用于所述待操作
的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及驱动指令单元，所述
驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装
置。

[0016] 使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直线上的
位置关系时，识别所述使用者的动作。

[0017] 使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所述视线
的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述使用者
的动作。

[0018] 所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作，并且所述使用者动作识别单元可被构造成基于所述眼睛、所述
手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单
元上的预定UI图像的视线，并且将保持所述手位于作为所述视线的直线上的位置关系时所
述使用者作出的动作识别为所述使用者对所述UI图像的动作。

[0019] 显示单元可以被构造成使用者佩戴的透明型头戴式显示器(HMD：Head Mount Display)，并且使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指
定从眼睛到在用作装置的显示单元的HMD上的预定UI图像的使用者的视线，并且将当在所
述手位于作为所述视线的直线上的位置关系被保持时在从所述使用者观看到的相对于所
述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述UI图像的动作。

[0020] 所述位置检测单元可以被构造成：当该位置检测单元未能检测到眼睛和手中的至少一者的位置时，基于被检测使用者的其它身体部位来估计眼睛和手的位置，并且所述使
用者动作识别单元可以被构造成：当眼睛、手和装置之间的估计的位置关系保持为预定位
置关系时，识别使用者的动作。

[0021] 位置检测单元可以被构造成包括在多个成像方向上拍摄图像的多个成像单元，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者的所述
眼睛和所述手的位置。

[0022] 使用者动作识别单元可以被构造成：当所述眼睛中的右眼、手和装置之间的第一位置关系、所述眼睛中的左眼、手和装置之间的第二位置关系以及左眼和右眼之间的中间
位置、手和装置之间的第三位置关系中的任一者保持为预定位置关系时，识别使用者的动
作。

[0023] 根据本发明的第一个方面的遥控方法包括以下步骤：检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别所述
使用者的动作；指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；并且
基于指定的操作指令来驱动待操作的装置。

[0024] 根据本发明的第一方面的程序为使计算机起以下作用的程序：位置检测单元，该位置检测单元用于检测待操作的装置以及使用者的眼睛和手的位置；使用者动作识别单
元，当眼睛、手和装置之间的位置关系保持为预定位置关系时，该使用者动作识别单元识别
使用者的动作；操作指令指定单元，该操作指令指定单元指定用于待操作的装置的操作指
令，该操作指令对应于使用者的动作；以及驱动指令单元，该驱动指令单元基于由操作指令
指定单元指定的操作指令来驱动待操作的装置。

[0025] 在本发明的第一个方面中，检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别使用者的动作；指定用于待操
作的装置的操作指令，该操作指令对应于使用者的动作；并且基于指定的操作指令来驱动
待操作的装置。

[0026] 根据本发明的第二个方面的遥控系统包括：多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，所述主装置包括：位置检测单元，该
位置检测单元用于检测主装置、从装置以及使用者的眼睛和手的位置；使用者动作识别单
元，当眼睛、手和主装置之间的位置关系或眼睛、手和从装置之间的位置关系保持为预定位
置关系时，该使用者动作识别单元识别使用者的动作；操作指令指定单元，该操作指令指定
单元指定用于主装置或从装置的操作指令，该操作指令对应于使用者的动作；主驱动指令
单元，该主驱动指令单元基于操作指令来驱动主装置；以及主通信单元，该主通信单元向从
装置发送操作指令；所述从装置包括：从通信单元，该从通信装置接收从主装置发送的用于
从装置的操作指令；以及从驱动指令单元，该从驱动指令单元基于操作指令来驱动从装置。

[0027] 当遥控系统包括第一操作装置和第二操作装置时，第一操作装置为主装置或从装置并具有显示功能，第二操作装置为主装置或从装置并且待被操作；位置检测单元可以被
构造成检测第一操作装置、第二操作装置以及使用者的手和眼睛的位置；使用者动作识别
单元可被构造成当眼睛、手和第一操作装置之间的位置关系保持为预定的第一位置关系
时，识别使用者的第一预定动作，并且将第一操作装置识别为用于显示控制第二操作装置
的UI的目标装置；操作指令指定单元可被构造成根据使用者的第一动作来指定使第一操作
装置显示用于控制第二操作装置的UI的操作指令；主驱动指示单元可以被构造成基于显示
用于控制第二操作装置的UI的操作指令来驱动第一操作装置；使用者动作识别单元可以被
构造成当眼睛、手和第二操作装置之间的位置关系保持为预定的第二位置关系时，识别使
用者的第二预定动作，并且将第二操作装置识别为用于进行与由第一操作装置显示的UI的
操作相对应的操作的目标装置；操作指示指定单元可以被构造成根据使用者的第二动作来
指定使第二操作装置进行与由第一操作装置显示的UI的操作相对应的操作的操作指令；并
且主驱动指令单元可以被构造成基于与由第一操作装置显示的UI的操作相对应的操作指
令来驱动第二操作装置。

[0028] 所述从装置可以被构造成幕帘开闭设备。

[0029] 所述从装置可以被构造成用于车辆的后座的倾倒装置。

[0030] 使用者动作识别单元可被构造成当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作
为所述视线的直线上的位置关系时，基于所述眼睛、所述手和所述从装置之间的位置关系
来识别所述使用者的动作。

[0031] 在本发明的第二方面中，提供了一种包括多个待操作的装置的遥控系统，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置。借助于主装置，当使用者
的眼睛、手和主装置之间的位置关系或眼睛、手和从装置之间的位置关系保持为预定位置
关系时，可检测主装置、从装置、眼睛和手之间的位置，并识别使用者的动作；指定用于主装
置或从装置的操作指令，该操作指令对应于使用者的动作；基于指定的操作指令来驱动主
装置；并且向从装置发送操作指令。借助于从装置，可接收从主装置发送的用于从装置的操
作指令，并且基于操作指令来驱动从装置。

[0032] 本发明的有益效果

[0033] 根据本发明的一个方面，能够通过仅使用手和眼睛的直观动作来实现遥控。

附图说明

[0034] 图1是应用了本发明的操作装置的第一实施例的外观图。

[0035] 图2是说明用于实现图1的操作装置的功能的图。

[0036] 图3是说明图1的操作装置的遥控处理的流程图。

[0037] 图4是说明图1的操作装置的第一变形例的图。

[0038] 图5是说明图1的操作装置的第二变形例的图。

[0039] 图6是包括本发明适用的操作装置的操作装置系统的第二实施例的外观图。

[0040] 图7是说明用于实现图6的操作装置系统的功能的图。

[0041] 图8是说明图7的操作装置系统的遥控处理的流程图。

[0042] 图9是说明图6的操作装置系统的第一变形例的图。

[0043] 图10是说明图6的操作装置系统的第二变形例的图。

[0044] 图11是说明视线的修正的图。

[0045] 图12是说明通用个人计算机的构造示例的图。

具体实施方式

[0046] 下面将参照附图来详细说明本发明的适用实施例。请注意，在本说明书和附图中，具有基本相同功能构造的部件由相同附图标记表示，并且将省略这些部件的重复说明。

[0047] 另外，将按下列顺序进行说明。

[0048] 1.第一实施例

[0049] 2.第一实施例的第一变形例

[0050] 3.第一实施例的第二变形例

[0051] 4.第二实施例

[0052] 5.第二实施例的第一变形例

[0053] 6.第二实施例的第二变形例

[0054] 7.视线的修正

[0055] 8.应用例

[0056] 《1.第一实施例》

[0057] 图1和图2分别示出了应用了本发明的遥控装置的操作装置的第一实施例的构造例。请注意，图1是操作装置的外观图，图2是说明用于实现图1的操作装置的功能的框图。

[0058] 例如，图1中的操作装置11是可被使用者遥控的家用电器。操作装置11的示例包括可被遥控的空调、灯、内部通话系统，以及个人计算机(PC：personal computer)。

[0059] 操作装置11的外观包括成像单元31和显示单元32.

[0060] 成像单元31包括，例如多个互补金属氧化物半导体(CMOS：Complementary Metal Oxide Semiconductor)图像传感器。成像单元31拍摄操作装置11的使用者所在空间的图像
以及用于识别使用者的眼睛以及指尖在该空间内的位置和使用者的视线的位置的图像。

[0061] 更具体地，成像单元31包括从多个方向拍摄空间的图像的图像传感器。成像单元31可以拍摄空间内的图像并且也可以例如像深度摄像机那样测量各个图像中的距离。换句
话说，成像单元31测量在图像中使用者的位置以及使用者的眼睛、手和指尖的位置，并由此
识别它们在空间内的位置。另外，当成像单元31由单目摄像机构成时，成像单元31至少需要
从至少三个方向拍摄图像。因此，需要至少三个以上的成像单元31。

[0062] 显示单元32由液晶显示器(LCD：Liquid Crystal Display)或有机电致发光器件(EL：Electro‑Luminescence)等构成，并且显示用于控制操作装置11的操作的UI(User 
Interfaces)。

[0063] 另外，操作装置11包括作为功能的控制单元51和驱动单元52。

[0064] 控制单元51控制操作装置11的全部操作。控制单元51基于由成像单元31提供的图像来识别在空间内的使用者的眼睛和指尖的位置，并由此识别针对操作装置11的使用者的
操作指令，并对驱动单元52进行控制和驱动，以完成相应的操作。

[0065] 更具体地，控制单元51包括眼睛/指尖/目标装置位置检测单元71、使用者动作识别单元72、操作指令判定单元73以及驱动指令单元74。

[0066] 眼睛/指尖/目标装置位置检测单元71基于从成像单元31提供的图像来识别使用者，并且识别使用者的眼睛和指尖的位置。另外，眼睛/指尖/目标装置位置检测单元71检测
眼睛、指尖和目标装置之间的位置关系。

[0067] 更具体地，眼睛/指尖/目标装置位置检测单元71具有检测诸如手、腿、头部或者移动身体等人体姿态以及检测人脸图像的功能，并且还可以提取包括在人脸图像中的诸如眼
睛、鼻子、嘴以及耳朵等的不同器官。眼睛/指尖/目标装置位置检测单元71通过这些功能来
指定眼睛和指尖的位置。另外，当图像未示出眼睛、指尖等时，眼睛/指尖/目标装置位置检
测单元71基于姿势或者除眼睛之外的鼻子、嘴、耳朵等的位置来估计指尖和眼睛的位置。

[0068] 当眼睛、指尖、目标装置各自的位置有特定位置关系时，眼睛/指尖/目标装置位置检测单元71将各个位置的信息提供给使用者动作识别单元72。请注意，目标装置是指图1的
实施例中的操作装置11本身。

[0069] 此处，特定位置关系是指例如以下位置关系：如图1所示，使用者的眼睛12、使用者的手13的指尖13a以及作为目标装置的操作装置11在直线上对齐的位置关系，其中，该直线
是从使用者的眼睛12开始至作为目标装置的操作装置11结束的视线。当建立这种位置关系
时，作为进行向用作目标装置的眼睛/指尖/目标装置位置检测单元71自身给出特定指令的
操作的状态，眼睛/指尖/目标装置位置检测单元71假设各位置的信息的变化。在保持该位
置关系期间，眼睛/指尖/目标装置位置检测单元71向使用者动作识别单元72提供各个位置
的信息。

[0070] 使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置各自的位置的信息的时间序列变化来识别使用者的动作，该动作是通过移
动指尖和手掌而对用作目标装置的操作装置11作出的，并且使用者动作识别单元72向操作
指令判定单元73提供该动作的信息。

[0071] 换句话说，更具体地，如图1所示，当在显示单元32上显示作为UI的操作按钮32a～32d时，使用者动作识别单元72例如识别以下信息作为动作的信息，该信息指示眼睛12、指
尖13a和在作为目标装置的操作装置11的显示单元32上显示的操作装置32c的位置位于视
线所在的直线上，并且按时间顺序指示出：指尖13a移动至操作装置11侧或者至眼睛12侧，
重复这些动作，并且在相同的位置处停留预定的时间。使用者动作识别单元72随后将识别
的动作的信息供给至操作指令判定单元73。

[0072] 操作指令判定单元73获取从使用者动作识别单元72供给的动作的信息，基于所述动作的信息来确定作为使用者意图的操作指令，并且向驱动指令单元74提供操作指令的信
息作为判定结果。

[0073] 更具体地，操作指令判定单元73存储控制规则，其中，动作和与其对应的操作指令(驱动单元52的具体驱动器内容、UI图像等)为内置存储器(未示出)中规定的信息。操作指
令判定单元73确定与从使用者动作识别单元72提供的动作相对应的操作指令，从而向驱动
指令单元74提供确定的操作指令。

[0074] 换句话说，例如，如图1所示，当提供指示眼睛12、指尖13a和操作按钮32c位于视线所在的直线上并指示在以上状态下指尖13移动至操作装置11侧的信息时，操作指令判定单
元73从控制规则中寻找相应的操作指令以进行判定。例如，当操作按钮32c被按压并且显示
其已被选择时，操作指令判定单元73向驱动指令单元74提供对应的操作指令的信息。

[0075] 基于由操作指令判定单元73提供的操作指令的信息，驱动指令单元74给出用于操作驱动单元52的指令，使得驱动单元52执行相应的操作。

[0076] 更具体地，驱动指令单元74生成例如用于控制操作的UI，并且在作为驱动单元52的一部分的显示单元32上显示UI。另外，驱动指令单元74切换UI的显示并且使显示单元32
基于来自操作指令判定单元73的操作指令的信息而显示UI。换句话说，例如，当指尖13a在
空间内指向位置Pc，且由此眼睛12、指尖13a和操作按钮32c配置在视线L所在的直线上时，
为了指示操作按钮32c被选定，驱动指令单元74控制作为驱动单元52的一部分的显示单元
32以将操作按钮32c的框显示为与其它框不同的颜色。

[0077] 请注意，在图1中，当眼睛12和操作按钮32a～32d在固定的位置时，并且当指尖13a指向空间内的位置Pa时，眼睛12，指尖13a和操作按钮32a在视线L所在的直线上对齐。在该
状态下，当指尖13a沿视线L移动至操作装置11侧时，假设按压并且选定操作按钮32a。同样
地，当用指尖13a选定空间内的位置Pb和Pd时，假设选定操作按钮32b和32d。

[0078] 另外，当显示与操作指令的信息对应的UI时，向使用者反馈表示操作装置11如何识别操作指令的信息(在下文中，也被简称为识别信息)。识别信息的反馈不仅可以通过在
显示单元32上显示UI来进行，也可以通过其它技术进行提示，只要可以将识别信息提示给
使用者即可。

[0079] 更具体地，向使用者提示识别信息的技术可以使例如诸如光发射二极管(LED：Light Emission Diode)等的发光单元发射对应于操作指令的光(光包括具有与操作指令
相对应的颜色、闪烁图案等的光)，使诸如扬声器等的声音输出单元输出对应于操作指令的
声音(声音包括对应于操作指令的旋律等)，或者使用于预定气味以发出对应于操作指令的
气味的气味生成单元(气味包括类型对应于操作指令的花的香味)。额外地，操作装置11本
身可以进行对应于操作指令的反应和操作。

[0080] 驱动单元52包括用于操作操作装置11的驱动机构并且根据操作指令进行操作，例如，对于空调来说，设置风量、温度等；对于灯来说，开启/关闭该灯以及调节亮度等；对于内
部通话系统来说，为开启/关闭通话；并且对于PC等，进行各种类型的算法处理和显示处理
等。另外，驱动单元52包括显示单元32，并且基于操作指令来切换UI的显示以进行显示。另
外，UI不限于操作按钮，并且可以是可直观操作的其它对象。例如，UI可以为操作标签、操作
杆等。此外，在使用诸如操作标签或者操作杆等的UI时，对应于操作指令的动作可包括诸如
拿起并转动标签的手的动作和诸如抓住和操纵操作杆的手的动作。

[0081] <遥控处理>

[0082] 下面，将参照图3的流程图说明操作装置11的遥控处理。

[0083] 在步骤S11中，成像单元31拍摄在操控操作装置11的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元51。

[0084] 在步骤S12中，眼睛/指尖/目标装置位置检测单元71基于由成像单元31提供的图像来检测使用者的眼睛和指尖以及作为目标装置的操作装置11在空间内的位置。

[0085] 在步骤S13中，眼睛/指尖/目标装置位置检测单元71确定使用者的眼睛和指尖以及目标装置之间的位置关系是否处于视线L所在的直线上。在步骤S13中，例如，如图1所示，
当使用者将视线L给到操作按钮32c(该操作按钮为操作装置11的显示单元32上的UI)时并
且当使用者移动他/她的指尖13a至视线L上，使得使用者的眼睛12和指尖13以及作为在显
示单元上32上的显示的UI的操作按钮32c在该直线上对齐时，处理进行到步骤S14。

[0086] 在步骤S14中，使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置的各自位置的信息的时间序列变化来识别使用者的动作，
该动作是通过移动指尖而对用作目标装置的操作装置11作出的。然后，使用者动作识别单
元72向操作指令判定单元73提供所识别动作的信息。

[0087] 在步骤S15中，当获取从使用者动作识别单元72提供的动作的信息时，操作指令判定单元73基于在内置存储器中储存的控制规则来确定用于操作装置11的操作指令，该操作
指令是与使用者的动作相对应的使用者的意图。操作指令判定单元73还将作为判定结果的
操作指令的信息提供给驱动指令单元74。

[0088] 在步骤S16中，驱动指令单元74判断操作指令的信息是否给出了某些操作的指令。在步骤S16中，如果给出某些操作的指令，则处理进行到步骤S17。

[0089] 在步骤S17中，驱动指令单元74控制驱动单元52来执行对应于操作指令的操作。

[0090] 换句话说，在目标操作装置11特定的初始处理中，驱动指令单元74在显示单元32上显示用于控制操作装置11的操作的UI。例如，在图1的情况下，在显示单元32上显示有作
为UI的操作按钮32a～32d。

[0091] 另外，在显示操作按钮32a～32d的状态下，例如，在动作的信息为按下操作按钮32c的动作的信息的情况下，为了提供指示操作按钮32c被按下的信息，驱动指令单元74将
作为UI的操作按钮32c的框的显示切换为使所显示的操作按钮32c的框发出具有预定颜色
的光的显示。

[0092] 另外，基于控制规则，例如，在按下操作按钮32c使得作为目标装置的操作装置11的驱动单元52控制空调的风量或者温度的情况下，即，在为了针对操作指令而改变风量或
温度的设定，而需要增加风扇电机的转速从而增大压缩机的转速或风扇的风量的情况下，
驱动指令单元74控制作为驱动单元52的压缩机或者风扇，以提高转数或风量。

[0093] 在步骤S18中，驱动单元74确定控制指令是否指示终止操作。如果控制指令未指示终止操作，则处理返回步骤S12并且重复后续处理。

[0094] 另外，在步骤S13中，在眼睛、指尖和目标装置没有在直线上对齐的情况下，跳过步骤S14～S17的处理。

[0095] 另外，在步骤S16中，如果未给出用于某些操作的指令，即，例如，未识别出给出了操作指令，或者如果实际上没有给出操作指令，则跳过步骤S17的处理。

[0096] 换句话说，在这种情况下，重复步骤S11到S16以及步骤S18的处理直到操作的内容被确定。当操作的内容被确定并且基于操作指令还需要进行操作的情况下，执行步骤S17的
处理，并且控制驱动单元52以进行操作。

[0097] 通过上述的处理，使用者将视线L朝向任一操作按钮32a～32d，每个操作按钮均为显示在如图1所示的待被操作的操作装置11的显示单元32上的UI，接着，使用者以使指尖保
持在视线L所在的直线上的方式来放置指尖13a，使得能够指定待被操作的操作装置11。另
外，当在包括任一操作按钮32a～32d的直线上进行预定动作时，会识别按钮的选择，使得能
够指示操作装置11来进行预定操作。

[0098] 结果，不需要诸如遥控器等的附属装置，并且不需要学习控制所特别需要的操作，可以仅用眼睛和指尖的直观动作来遥控目标装置。

[0099] 请注意，为了指定眼睛和指尖的位置，以上说明了使用拍摄立体图像的成像单元31来拍摄的图像的示例。然而，当眼睛和指尖的空间位置是特定时，可以使用其它方法。例
如，可以拍摄红外图像，并且可以从检测到体温的区域中轮廓指定眼睛和指尖的位置。

[0100] 另外，例如，在眼睛未被摄像的图像中，例如，在该图像中只出现了头的后部，可以基于头的后部来估计头的形状。另外，可以基于头的形状来指定脸的位置，并且基于脸的构
造来指定眼睛的位置。

[0101] 另外，对于指尖来说，例如，在食指立起的手的形状下，只识别食指的指尖，而在五个手指张开的情况下，则不检测食指的指尖的位置。这样，可以减少使用者动作的错误检
测，以便高精度地识别动作。

[0102] 此外，以上已经说明了用使用者的手或者指尖给出操作指令的示例，但是也可使用其它对象。例如，可以使用眨眼的次数。另外，除直观动作外，使用者可以使用需要学习的
动作。这样，能够实现更高水平的遥控。另外，对于用于基于使用者的眼睛来指定操作装置
11的视线，在操作装置11较小的情况下，可以容易地指定视线的方向。然而，在操作装置较
大的情况下，所有宽广范围的方向的视线均可能是目标。在这方面，为了指定视线的方向，
具有一定尺寸的操作装置11可以设置有例如具有能够指定视线的方向的尺寸的标记等，并
且当检测到朝向所述标记的视线时，可以识别出视线朝向设有该标记的操作装置。

[0103] 《2.第一实施例的第一变形例》

[0104] 以上说明了将显示单元32设置于操作装置11以在显示单元32上显示UI的示例。然而，可以在头戴式显示器(HMD：Head Mount Display)上显示UI。

[0105] 图4示出了被构造成在HMD 91上显示UI的操作装置11的外观的构造示例。在这种情况下，在眼睛12和指尖13a之间的HMD 91上显示UI的控制按钮91a～91d。因此，在这种情
况下，如图4所示，当眼睛12、操作按钮91c以及指尖13a在视线L所在的直线上对齐时，假设
选定操作装置91c。

[0106] 对于使用者操作来说，不同之处在于，UI被显示在HMD 91上。使用者只需将视线朝向作为UI的操作按钮91a～91d中的任一者并且将指尖13a放置在视线的末端。这也使得操
作装置11能够通过直观的操作而被遥控。

[0107] 请注意，在图4的情况下，操作装置11以及HMD 91通过通信设备(在附图中未示出)以有线或无线的方式彼此连接，并且驱动指令单元74被构造成控制HMD 91上的UI的显示。

[0108] 另外，图4的操作装置11的遥控处理基本上与参照图3的流程图说明的处理相同，因此省略其说明。

[0109] 《3.第一实施例的第二变形例》

[0110] 另外，已经说明了图4的操作装置11由操作装置11的主体和HMD 91构成的示例。然而，用于指定眼睛12和指尖13a的位置的成像单元31可以设置在操作装置11的主体之外的
位置处，只要能够指定眼睛12和指尖13a的位置即可。例如，成像单元31可以设置在HMD 91
处或者其附近。

[0111] 图5示出了被构造成在HMD 91或者其附近处设置成像单元31的操作装置11的外观的构造示例。

[0112] 换句话说，在这种情况下，成像单元31以有线或无线的方式连接到操作装置11，并且向操作装置11的主体的控制单元51提供拍摄的图像。

[0113] 另外，图4的操作装置11的遥控处理基本上与参照图3的流程图说明的处理相同，因此省略其说明

[0114] 《4.第二实施例》

[0115] 以上说明了操作装置11为单个操作装置的示例。然而，例如，可以提供多个操作装置并利用多个成像单元来测量使用者的眼睛和指尖以及目标操作装置的位置，从而能够切
换多个操作装置，以根据测量结果进行遥控。

[0116] 图6示出了操作装置系统的构造示例，其中，利用多个操作装置和多个成像单元来测量使用者的眼睛和指尖以及目标操作装置的位置，因此可以切换多个操作装置以根据测
量结果进行遥控。

[0117] 图6中的操作装置系统包括操作装置11‑1～11‑6以及成像单元31‑1～31‑3。请注意，在图6中，假设成像单元31‑1～31‑3分别被提供给操作装置11‑1～11‑3，并且假设不为
操作装置11‑4～11‑6提供成像单元。另外，例如，操作装置11‑1～11‑6分别为空调，灯、内部
通话系统、PC、种植机以及显示器。

[0118] 另外，在操作装置11‑1～11‑6中，作为空调的操作装置11‑1是主装置并且控制作为从装置的操作装置11‑2～11‑6的操作。换句话说，如果操作装置11‑1～11‑6中的任一者
被设定为目标装置，则作为空调的操作装置11‑1识别使用者的眼睛和指尖以及目标装置之
间的位置关系以及使用者操作，确定操作指令，指定操作指令，并且向目标装置提供操作指
令。

[0119] 因此，在图6的操作装置系统中，需要至少一个主装置。换句话说，在图1中，可以假设单个操作装置11本身为主装置。另外，可以在操作装置系统中设置每者均可以起主装置
的作用的多个操作装置11。在这种情况下，作为主装置的任一操作装置11会控制作为目标
装置的操作装置11的操作。

[0120] 下面，将说明具体的遥控方法的示例。例如，如图6所示，当眼睛12、手13以及操作装置11‑1在作为视线L1的直线上对齐时，作为主装置的操作装置11‑1基于由成像单元31‑1
～31‑3拍摄的图像来识别出目标装置为操作装置11‑1。

[0121] 随后，使用者从手13的打开状态移动手13a以进行诸如捏等的动作，并且将眼睛的视线从视线L1移动到视线L2，并且将手移动到手13a’，并且然后移动到打开的手13’。因此，
眼睛12、手13’以及作为显示器的操作装置11‑6在作为视线L2的直线上对齐。

[0122] 这里，基于控制规则，通过一系列的动作，由显示器组成的操作装置11‑6显示操作装置11‑1的UI，并且使用者将视线L2朝向显示在该操作装置11‑6上的UI，并且使用者移动
在作为视线L2的直线上的手13’以执行对应于UI的动作。因此，实现了操作装置11‑1的遥
控。

[0123] 结果，使用者将视线L2朝向显示在显示器11‑6上的UI，并且使用者移动在作为视线L2的直线上的手13’。因此，操作装置11‑1可以通过图3的遥控处理而被遥控，这与图1的
操作装置11的方法相同。

[0124] <用于实现图6的操作装置系统的功能性构造示例>

[0125] 下面，参考图7，将对用于实现作为主装置的操作装置11‑1的以及作为从装置的操作装置11‑2～11‑6的功能性构造示例进行说明，其中，操作装置11‑1～11‑6用于实现图6的
操作装置系统。请注意，假设成像单元31‑1～31‑3分别被提供给操作装置11‑1～11‑3，并且
假设不为操作装置11‑4～11‑6提供成像单元。然而，如图1的操作装置11的情况，由成像单
元31‑1～31‑3拍摄的图像是用于识别眼睛、手(指尖)、目标操作装置、UI以及动作的图像，
并且向作为主装置的操作装置11提供任意图像，并且作为主装置的操作装置11执行对应的
处理。

[0126] 另外，操作装置11‑1至11‑6可以通过包括因特网、局域网(LAN：Local Area Network)等的网络101互相地接收并发送信息和数据。通过各个成像单元31‑1～31‑3拍摄
的图像被提供给作为主装置的操作装置11‑1。操作装置11‑1基于从时间序列图像中获得的
使用者手的位置的变化来识别使用者的动作，并基于控制规则来指定对应于使用者的动作
的操作指令，以向目标装置提供操作指令，该目标装置为用作从装置的操作装置11‑2～11‑
6的中任一者。

[0127] 虽然作为主装置的操作装置11‑1的基本功能与图1中的操作装置的基本功能相同，但是操作装置11‑1还包括通信单元201。

[0128] 通信单元201经由网络101接收由成像单元31‑2和31‑3提供的图像并且还向由操作指令判定单元73确定的作为目标装置的操作装置11‑2～11‑6发送操作指令。

[0129] 作为从装置的操作装置11‑2～11‑6的各者包括通信单元231、控制单元232以及驱动单元233。另外，在这些操作装置中，操作装置11‑2和11‑3分别包括成像单元31‑2和31‑3。

[0130] 通信单元231与通信单元201基本相同。通信单元231向作为主装置的操作装置11‑1提供由成像单元31拍摄且经由网络101从控制单元232提供的图像，获取从作为主装置的
操作装置11‑1提供的操作指令，并且将操作指令提供给控制单元232。

[0131] 控制单元232控制作为从装置的操作装置11‑2至11‑6的全部操作并且包括驱动控制单元251。

[0132] 驱动控制单元251与驱动控制单元74基本相同。然而，由于主装置未设置有对应于显示单元32的功能，因此在这种情况下，向作为主装置的操作装置11‑1提供必要的控制信
息，这种控制信息包括UI显示图像、显示控制所需的UI所必需的UI图像以及控制规则的信
息。

[0133] 操作装置11‑1获取作为从装置的操作装置11‑2至11‑6的控制信息，从装置具有在显示器上显示UI的未知的功能，该功能未设置于作为主装置的操作装置11‑1。因此操作装
置11‑1可以识别和控制由从装置的驱动单元233实现的各种操作。

[0134] 驱动单元233基本上与驱动单元52相同，并且对应于各从装置的功能。例如，驱动单元233是在作为灯的操作装置11‑2中的发光单元、作为内部通话系统的操作装置11‑3中
的电话功能和对讲功能、作为PC的操作装置11‑4中的算法处理功能、作为种植机的操作装
置11‑5中的植物的肥料供应功能或供水功能等以及作为显示器的操作装置11‑6中的显示
功能。

[0135] <图6的操作装置系统的遥控处理>

[0136] 下面，将参照图8的流程图来说明图6的操作装置系统的遥控处理。请注意，在本处理的说明中，图6的操作装置11‑1是主装置，用于控制作为主装置的操作装置11‑1的操作的
UI由具有显示功能的操作装置11‑6显示，并且对所显示的UI进行与以上参照图3的流程图
所述的遥控处理相同的处理，从而进行遥控。

[0137] 在步骤S31中，成像单元31‑1拍摄在操控操作装置11‑1至11‑6的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元51。

[0138] 这里，在步骤S51中，成像单元31‑2拍摄在操控操作装置11‑1至11‑6的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元232。

[0139] 在步骤S52中，控制单元232控制通信单元231，以将拍摄的图像经由网络101传输至操作装置11‑1。

[0140] 在步骤S32中，控制单元51获取从成像单元31‑1传输的图像和从操作装置11‑2发送并经由通信单元201接收的图像，然后将这些图像提供至眼睛/指尖/目标装置检测单元
71。此时，同样地，将拍摄的图像从包括成像单元31‑3的操作装置11‑3提供给作为主装置的
操作装置11‑1。另外，在未包括成像单元31的操作装置11‑4至11‑6中，跳过步骤S51和步骤
S52的处理。

[0141] 在步骤S33中，基于从成像单元31‑1提供的图像以及从操作装置11‑2至11‑3传输的图像，眼睛/指尖/目标装置位置检测单元71检测空间内的使用者的眼睛和手以及可能是
目标装置的每个操作装置11‑1到11‑6的位置。

[0142] 在步骤S34中，眼睛/指尖/目标装置位置检测单元71判断使用者的眼睛和手以及目标装置之间的位置关系是否是在直线上。在步骤S34中，例如，如图6所示，当使用者将视
线朝向操作装置11‑1且使用者移动他/她的手并将手放在视线L上使得使用者的眼睛12和
手13(指尖13a)和操作装置11‑1在直线上对齐时，处理进行到步骤S35。

[0143] 在步骤S35中，眼睛/指尖/目标装置位置检测单元71指定作为目标装置的操作装置11。在图6的示例中，操作装置11‑1被指定为目标装置。

[0144] 在步骤S36中，操作指令判定单元73判定包括作为目标装置的操作装置11的UI图像和控制规则等的控制信息是否储存在内置储存器中(在附图中未示出)。在步骤S36中，例
如，如果确定没有控制操作装置11‑1的操作的经历并且未存储控制信息，则处理进行到步
骤S37。

[0145] 在步骤S37中，操作指令判定单元73控制通信单元201，以向待控制的操作装置11请求控制信息。

[0146] 在步骤S53中，作为从装置的操作装置11的驱动控制单元251控制通信单元231以确定控制信息是否被请求。在步骤S53中，当控制信息被步骤S37的处理请求时，处理前进到
步骤S54。

[0147] 在步骤S54中，驱动控制单元251读出存储在存储器(在附图中未示出)中的包括用于控制操作装置11的UI图像以及控制规则的控制信息，并且控制通信单元231以向作为主
装置的操作装置11‑1发送所述控制信息。

[0148] 在步骤S38中，操作指令判定单元73获取待控制的操作装置11的控制信息并且将控制信息储存在储存器中(在附图中未示出)。请注意，在本示例中，操作对象是作为主装置
的操作装置11‑1，并且操作装置11‑1当然将控制信息保持在操作装置11‑1自身中。因此，在
步骤S36中，假设存在控制信息，则跳过步骤S37和S38的处理。另外，同样地，在步骤S53中，
由于未请求控制信息，因此跳过步骤S54的处理。

[0149] 在步骤S39中，使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置的位置的信息的时间序列变化来识别使用者的动作，该动
作是对用作目标装置的操作装置11作出的。使用者动作识别单元72随后将识别的动作的信
息提供至操作指令判定单元73。

[0150] 例如，使食指和拇指从手13的打开的状态变成在食指和拇指的指尖处彼此接触，以作出由手13a表示的抓取的动作，并且当将视线从视线L1移动到视线L2时，会识别出将手
移动到手13a’，并接着移动到手13’的动作。然后，将识别的动作的信息提供至操作指令判
定单元73。

[0151] 在步骤S40中，当获取由使用者动作识别单元72提供的动作的信息时，操作指令判定单元73在注册在储存于内置存储器的控制信息中的动作中寻找相应的动作，判定(指定)
与寻找到的动作相关联的操作指令，并且将作为判定结果的操作指令的信息提供至驱动控
制单元74。

[0152] 换句话说，如图6所示，在使食指和拇指从手13的打开的状态变为在食指和拇指的指尖处彼此接触，从而使手13a的形状类似抓取之后，将手移动到手13a’，然后打开手并移
动到手13’，同时将视线从朝向操作装置11‑1的视线L1移动到朝向操作装置11‑6的视线L2。
识别出这种动作目的在于在操作装置11‑6上显示用于控制作为目标装置的操作装置11‑1
的UI。

[0153] 换句话说，在这种情况下，目标装置为2个装置：作为空调并作为主装置的操作装置11‑1；以及作为用于显示控制操作装置11‑1用的UI的显示器并作为从装置的操作装置
11‑6。

[0154] 在步骤S41中，操作指令判定单元73判断操作指令的信息是否给出针对某些操作的指令。在步骤S41中，如果给出针对某些操作的指令，处理进行到步骤S42。

[0155] 在步骤S42中，驱动控制单元74基于操作指令的信息来控制通信单元201，以向对应于目标装置的操作装置11发送操作指令。

[0156] 在步骤S55中，驱动控制单元251控制通信单元231以判断是否接收到操作指令。在步骤S55中，例如，当通过步骤S42的处理发送了操作指令时，处理进行到步骤S56。

[0157] 在步骤S56中，驱动控制单元51控制驱动单元233以驱动对应于操作指令的操作。

[0158] 换句话说，例如，用于控制操作装置11‑1的操作的UI的显示图像的信息作为操作指令经由通信单元201被发送至作为从装置的操作装置11‑6。

[0159] 例如，在使食指和拇指从手13的打开的状态变为在食指和拇指的指尖处彼此接触，从而使手13a的形状类似抓取之后，将手移动到手13a’，然后打开手并移动到手13'，同
时将视线从朝向操作装置11‑1的视线L1移动到朝向操作装置11‑6的视线L2。为了与这种动
作相对应，发送用于使操作装置11‑6显示用于控制作为目标装置的操作装置11‑1用的UI的
操作指令。通过该处理，作为显示器和从装置的操作装置11‑6使作为驱动单元233的显示器
显示用于控制作为目标装置和空调的操作装置11‑1，如图6所示。

[0160] 另外，在操作指令给出针对作为空调和目标装置的操作装置11‑1的指令以执行如图6所示在操作装置11‑6上显示的UI菜单所指定的操作的情况下，作为主装置和目标装置
的操作装置11‑1的驱动控制单元74控制驱动单元52。

[0161] 通过上述的处理，例如，为了增加压缩机的转数或者风扇的风量，从而改变风量或者温度的设定，驱动指令单元74控制作为目标装置的操作装置11‑1的驱动单元52以增加风
扇电机的转数。

[0162] 请注意，在步骤S43中，驱动指令单元74判断操作指令是否给出终止操作的指令。如果操作指令没有指示终止操作的指令，处理返回步骤S31并且重复后续处理。

[0163] 另外，在步骤S34中，在眼睛、指尖以及目标装置未在直线上对齐时，跳过步骤S35～S42。另外，在步骤S43中，如果操作指令的操作被判定为指示终止，则处理被终止。此时，
在步骤S57中，在驱动指令单元251中，操作也被判定为终止。请注意，如果在步骤S57中判定
未给出终止的指令，则处理返回步骤S51并且重复后续处理。

[0164] 另外，在步骤S41中，如果未给出针对某些操作的指令，即，如果未确定操作的内容并且不知晓给出了何种操作指令，由于使用者的动作涉及时间序列动作，并且除非观察所
述时间序列动作预定的时间，否则不能确定操作，因此跳过步骤S42的处理。

[0165] 通过上述的处理，在如图6所示待操作的操作装置不具有显示功能的情况下，使用者可以使用作为从装置的具有显示功能的操作装置来显示UI并且可以控制其它的操作装
置。

[0166] 结果，不需要诸如遥控器等的附属装置，可以仅用眼睛和指尖的直观动作来遥控目标装置。请注意，期望的是作为主装置的操作装置11可以随时进行操作。因此，例如，期望
的是，操作装置11总是连接到电源。另外，以上说明如下示例：将主装置设定为操作对象，使
从装置显示用于控制主装置的UI，并且通过操作UI来驱动主装置。然而，当然，可以将第一
从装置设定为操作对象，可以使具有显示功能的第二从装置显示UI，并且可以操作所显示
的UI使得可以控制第一从装置的驱动。在这种情况下，显示UI的第二从装置由于实现了显
示UI的功能而也成为待操作的装置。相反地，具有显示功能的主装置可以显示用于控制从
装置的操作的UI，并且可以操作所显示的UI使得可以控制作为待操作的装置的从装置的驱
动。

[0167] 《5.第二实施例的第一变形例》

[0168] 以上说明了如下示例，当待遥控的第一操作装置没有显示UI的功能时，可以经由网络单独地遥控具有显示功能的第二操作装置以显示UI，使得可以遥控第一操作装置。然
而，在待遥控的操作装置不需要UI时，操作装置可以直接被遥控而不需要UI。

[0169] 换句话说，例如，如图9所示，可以提供由幕帘构成的操作装置11‑11来代替操作装置11‑6，并且在基于成像单元31‑1至31‑3而使眼睛12和手13处于朝向幕帘的使用者的视线
上的状态下，例如，当手13移动至手13’或向在相反的方向移动以给出打开关闭的帘幕或关
闭打开的窗帘的指示时，帘幕可被驱动以打开或关闭。

[0170] 请注意，如图9中所示的示例中的遥控处理与参照图8的流程图说明的处理相同，因此省略其说明。

[0171] 《6.第二实施例的第二变形例》

[0172] 另外，如图10所示，在车辆的情景下，车辆内的后座281可以被构造成图7中的驱动单元233。当将视线L11朝向后座281的预定标记并且眼睛12A和指尖13A处于视线L11上的状
态下，指尖13A可以在箭头方向上移动以使后座281倾倒。同样地，当指尖13A在箭头的相反
方向上移动时，倾倒的后座可以恢复到初始位置。

[0173] 在这种情况下，后座281可以被构造成单个操作装置11，如图1的示例中的遥控装置。可选地，如图6所示的示例，其中车辆的发动机控制单元(ECU：Engine Control Unit)被
构造成主装置并且后座281被构造成从装置的遥控系统可以被构造成起作用。

[0174] 另外，在图10的情况下，作为操作装置11的车辆包括后视镜271等。在这种情况下，在眼睛12B和指尖13B通过后视镜271而出现在朝向后座281的预定标记的使用者的视线L12
上的状态下，指尖13B可以在箭头方向上移动以便倾倒后座。同样地，当指尖13B在箭头的相
反方向上移动时，倾倒的后座可以恢复到初始位置。

[0175] 请注意，期望容易地识别用于控制倾倒的预定标记。另外，虽然以上说明了车辆的后座为操作装置11的示例，但是，本发明不限于此，只要操作装置与使用者距离近即可。例
如，操作装置只需要存在于诸如火车、船只、飞机或会场等不可到达的位置，并且涉及遥控。

[0176] 另外，图10中的遥控处理可以通过与参照图3的流程图说明的遥控处理相同的遥控处理来实现，因此省略其说明。

[0177] 另外，以上说明了如下示例：将通过成像单元31拍摄的图像用于识别眼睛、手、目标装置以及诸如显示单元等将被使用者遥控的操作装置的位置。然而，也可以使用其它的
构造，只要该构造可以测量位置即可。例如，红外像机等可以用于从温度接近人体体温的热
源的轮廓中指定眼睛和手的位置。

[0178] 另外，在不能从由成像单元31拍摄的图像中直接检测诸如使用者的眼睛、手或手指等指示行为的部位的位置的位置关系的情况下，可以提供基于人体形状(头发、耳朵、头、
肩、颈、面部方向、呼吸、音、声、人体特征、形状、骨骼结构的估计、肌肉、手臂、肘部、肩部、朝
向或可识别的辅助部分或者它们的评估信息)来估计位置并修正位置的功能。

[0179] 请注意，以上作为变形例说明控制幕帘的打开/关闭以及后座的倾倒的示例。然而，也可以使用其它的构造，只要其可以通过遥控来控制操作即可。例如，可以使用诸如所
谓的无人机等的用旋转翼、固定翼等飞行的飞行器、各种机器人真空吸尘器、无线电控制装
置、行李分拣装置或虚拟物体(其在虚拟空间中被设定为操作装置)。

[0180] 《7.视线的修正》

[0181] 如图11的左部、中间部和右部所示的，视线起自右眼12R、左眼12L或者两者之间的中间位置12C，并终止于目标操作装置或者UI显示位置。

[0182] 因此，如果提供任何一种设定，能够实现更高精度的遥控。

[0183] 在这点上，可以通过校准而预先设定以上那些视线中的视线的定义。因此，可以实现更高精度的遥控。

[0184] 另外，可以基于眼睛的位置以及当动作能够被识别时存在或者不存在误差来进行学习，并可以根据使用者进行修正。

[0185] 《8.应用例》

[0186] <由软件执行的示例>

[0187] 顺便提及地，可以通过硬件来执行上述一系列处理，并且也可以通过软件来执行这些处理。当通过软件来执行一系列处理时，构成软件的程序从记录介质安装至结合在专
用硬件中的计算机中，或安装至例如通过安装各种程序来执行各种功能的通用个人计算机
中。

[0188] 图12示出了通用个人计算机的构造示例。该个人计算机包括中央处理单元(CPU：Central Processing Unit)1001。输入/输出接口1005经由总线1004连接至CPU 1001。只读
存储器(ROM：Read Only Memory)1002和随机存储器(RAM：Random Access Memory)1003连
接至总线1004。

[0189] 输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接至输入/输出接口1005，该输入单元包括诸如使用者输入操作命令用的键盘和鼠标等的输入设备，该输
出单元将处理操作屏幕或处理结果的图像输出到显示装置，该存储单元包括储存程序或者
各种类型信息的硬盘驱动器等，并且该通信单元包括局域网(LAN：Local Area Network)适
配器并且经由以互联网为代表的网络进行通信处理。另外，驱动器1010连接至输入/输出接
口1005。驱动器1010对诸如磁盘(包括软磁盘)、光盘(包括只读存储器光盘(CD‑ROM：
Compact Disc‑Read Only Memory)和数字多功能光盘(DVD：Digital Versatile Disc))、
磁光盘(包括小型磁盘(MD：Mini‑Disc))或半导体存储器等的可移动媒介1011读取并写入
数据。

[0190] CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或者半导体存储器等的可移动媒介1011中读取、安装在存储单元1008中并接着从存储单元1008加载
至RAM 1003的程序来执行各种类型的处理。另外，当CPU 1001执行各种类型的处理时，RAM 
1003适当地存储必要的数据等。

[0191] 在如上所述构造的计算机中，CPU 1001经由输入/输出接口1005以及总线1004将例如储存在储存单元1008中的程序加载至RAM 1003，并且执行该程序以进行上述一系列处
理。

[0192] 可以通过例如记录在作为封装媒介等的可移动媒介1011上的方式来提供由计算机(CPU 1001)执行的程序。另外，可以通过诸如局域网、因特网以及数字卫星广播系统等的
有线或无线的传输媒介来提供程序。

[0193] 在计算机中，当可移动媒介1011被装载到驱动器1010时，可以经由输入/输出接口1005将程序安装到储存单元1008。另外，程序可以经由有线或者无线传输媒介被通信单元
1009接收并且安装在储存单元1008中。另外，程序可以预先安装在ROM 1002或者储存单元
1008中。

[0194] 请注意，由计算机执行的程序可以是按照在本说明书中所说明的顺序按时间顺序处理的程序，或者可以是被并行处理或在必要的时刻处(诸如在执行调用时)被处理的程
序。

[0195] 另外，在本说明书中，系统是指多个构成元件(设备、模块(部件)等)的集合，而不论是否所有构成元件均包含在同一外壳中。因此，容纳在独立的外壳中并且经由网络相互
连接的多个设备是系统，而包括在一个外壳中的多个模块的装置也是系统。

[0196] 请注意，本发明的实施例不限于上述实施例，并且在不脱离本发明的要点的情况下可以对上述实施例进行各种修改。

[0197] 例如，本发明可以具有云计算的构造，在该构造中，多个设备分担一个功能，并且通过网络协同执行处理。

[0198] 另外，上述流程图中说明的步骤可以由一个设备执行，或者由多个设备分担并执行。

[0199] 此外，在一个步骤包括多个处理步骤的情况下，单个步骤的多个处理步骤可以由一个设备执行，或者由多个设备分担并执行。

[0200] 请注意，本发明还可以具有以下构造。

[0201] <1>一种遥控装置，其包括：

[0202] 位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；

[0203] 使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；

[0204] 操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及

[0205] 驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。

[0206] <2>根据<1>所述的遥控装置，其中，

[0207] 所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直
线上的位置关系时，识别所述使用者的动作。

[0208] <3>根据<2>所述的遥控装置，其中，

[0209] 所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所
述视线的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述
使用者的动作。

[0210] <4>根据<1>至<3>中任一项所述的遥控装置，其中，

[0211] 所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作；并且

[0212] 所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单元上的预定UI图像的视线，并且将保
持所述手位于作为所述视线的直线上的位置关系时所述使用者作出的动作识别为所述使
用者对所述UI图像的动作。

[0213] <5>根据<4>所述的遥控装置，其中，

[0214] 所述显示单元为所述使用者佩戴的透明型HMD(头戴显示器)；并且

[0215] 所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到在用作所述装置的所述显示单元的所述HMD上的预定UI图像
的视线，并且将当在所述手位于作为所述视线的直线上的位置关系被保持时在从所述使用
者观看到的相对于所述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述
UI图像的动作。

[0216] <6>根据<1>至<5>中任一项所述的遥控装置，其中，

[0217] 当所述位置检测单元未能检测到所述眼睛和所述手中的至少一者的位置时，所述位置检测单元基于被检测的所述使用者的其它身体部位来估计所述眼睛和所述手的位置，
并且

[0218] 当所述眼睛、所述手和所述装置之间的估计的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作。

[0219] <7>根据<1>至<6>中任一项所述的遥控装置，其中，

[0220] 所述位置检测单元包括多个成像单元，所述多个成像单元在多个成像方向上拍摄图像，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者
的所述眼睛和所述手的位置。

[0221] <8>根据<1>至<7>中任一项所述的遥控装置，其中，

[0222] 当所述眼睛中的右眼、所述手与所述装置之间的第一位置关系、所述眼睛中的左眼、所述手与所述装置之间的第二位置关系以及所述左眼和所述右眼之间的中间位置、所
述手与所述装置之间的第三位置关系中的任一者保持为预定位置关系时，所述使用者动作
识别单元识别所述使用者的动作。

[0223] <9>根据<1>所述的遥控装置，进一步包括：

[0224] 提示单元，所述提示单元向所述使用者提示用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作。

[0225] <10>根据<9>所述的遥控装置，其中，

[0226] 所述提示单元包括：显示对应于所述操作指令的UI的显示单元；发出对应于所述操作指令的光的发光单元；输出对应于所述操作指令的声音的声音输出单元；生成对应于
所述操作指令的气味的气味生成单元；或者所述待操作的装置的反应或动作，所述反应或
所述动作对应于所述操作指令。

[0227] <11>一种遥控方法，其包括以下步骤：

[0228] 检测待操作的装置以及使用者的眼睛和手的位置；

[0229] 当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，识别所述使用者的动作；

[0230] 指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作；并且

[0231] 基于指定的所述操作指令来驱动所述待操作的装置。

[0232] <12>一种使计算机起以下功能的程序：

[0233] 位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；

[0234] 使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；

[0235] 操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作；以及

[0236] 驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。

[0237] <13>一种遥控系统，其包括：

[0238] 多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，

[0239] 所述主装置包括：

[0240] 位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；

[0241] 使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别
单元识别所述使用者的动作；

[0242] 操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；

[0243] 主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及

[0244] 主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：

[0245] 从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及

[0246] 从驱动指令单元，所述从驱动指令单元基于所述操作指令来驱动所述从装置。

[0247] <14>根据<13>所述的遥控系统，其中，

[0248] 当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且
待被操作；

[0249] 所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；

[0250] 当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作
装置识别为用于显示控制所述第二操作装置的UI的目标装置；

[0251] 所述操作指令指定单元根据所述使用者的所述第一动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；

[0252] 所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；

[0253] 当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作
装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；

[0254] 所述操作指令指定单元根据所述使用者的所述第二动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且

[0255] 所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。

[0256] <15>根据<13>所述的遥控系统，其中，

[0257] 所述从装置为幕帘开闭设备。

[0258] <16>根据<13>所述的遥控系统，其中，

[0259] 所述从装置为用于车辆的后座的倾倒装置。

[0260] <17>根据<16>所述的遥控系统，其中，

[0261] 当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系
时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别
所述使用者的动作，所述倾斜装置为所述从装置。

[0262] <18>根据<13>所述的遥控系统，其中，

[0263] 所述从装置包括用旋转翼或固定翼飞行的飞行器、各种机器人真空吸尘器、无线电控制装置、行李分拣装置和虚拟物体。

[0264] 附图标记列表

[0265] 11、11‑1～11‑6、11‑11 操作装置

[0266] 12、12A、12B、12’ 眼睛

[0267] 13、13A、13B、13’ 手

[0268] 13a、13a’ 指尖

[0269] 31 成像单元

[0270] 32 显示单元

[0271] 51 控制单元

[0272] 52 驱动单元

[0273] 71 眼睛/指尖/目标装置位置检测单元

[0274] 72 使用者动作识别单元

[0275] 73 操作指令判定单元

[0276] 74 驱动指令单元

[0277] 91 显示单元

[0278] 111 成像单元

[0279] 121 网络

[0280] 201 通信单元

[0281] 231 通信单元

[0282] 232 控制单元

[0283] 233 驱动单元

[0284] 251 驱动控制单元

[0285] 281 后座