图像识别装置、操作判断方法及程序

摘要

提供一种图像识别装置、操作判断方法以及程序，能够准确地进行操作的判断。提取操作员(102)的图像(S403)，操作判断部(304)使用从摄像机(201)观察是站在操作输入系统的标记(101)的后侧的操作员(102)与标记(101)的相对关系(S404)，在从摄像机(201)观察操作员(102)的一部分来到操作面前时，判断为开始进行操作(S405)，根据各部的形状(打开手或者竖起两个手指等)、动作来判断其形状、动作是否为预先假定的哪一个操作(S406)。

权利要求

1.一种图像识别装置，其特征在于，具备：

三维摄像单元，其读取操作员的至少一部分的图像来生成立体图像数据；

操作面形成基准，其能够被上述操作员感知且被设置成使该操作员能够把握规定空间上的虚拟操作面；

操作判断单元，其根据上述操作面形成基准来形成上述虚拟操作面，由上述三维摄像单元读取操作员对所形成的该虚拟操作面的动作，根据上述操作员的一部分和上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出单元，当判断为上述动作是操作时，该信号输出单元输出规定的信号，其中，上述操作面形成基准是预先固定于所述三维摄像单元的摄像范围内的线段，所述三维摄像单元读取该线段并且将该线段的垂直上方的固定的几何形状的区域设为所述虚拟操作面。

2.根据权利要求1所述的图像识别装置，其特征在于，上述虚拟操作面是向上述操作面形成基准的上方投射的面。

3.根据权利要求2所述的图像识别装置，其特征在于，还具备动作限制单元，该动作限制单元在上述操作面形成基准的操作员侧限制操作员的动作。

4.根据权利要求1所述的图像识别装置，其特征在于，上述虚拟操作面是向处于与上述操作面形成基准的操作员侧相反一侧的规定位置的上方投射的面。

5.根据权利要求1所述的图像识别装置，其特征在于，在上述操作员的一部分比上述虚拟操作面更靠近上述三维摄像单元侧时，上述操作判断单元判断为上述动作是操作。

6.根据权利要求1所述的图像识别装置，其特征在于，上述操作判断单元根据上述操作员的一部分的、比上述虚拟操作面更靠近上述三维摄像单元侧的部分的形状或者动作来判断是否进行着某种操作。

7.根据权利要求6所述的图像识别装置，其特征在于，上述操作判断单元检索预先保存有与操作员的一部分的形状或者动作对应的操作内容的存储单元，将与匹配的形状或者动作对应的操作判断为所输入的操作。

8.根据权利要求1所述的图像识别装置，其特征在于，在操作员所处的地面上示出上述操作面形成基准。

9.根据权利要求1所述的图像识别装置，其特征在于，还具备立体物，该立体物被配置在操作员与上述三维摄像单元之间，上述操作面形成基准为上述立体物的规定的外缘。

10.根据权利要求9所述的图像识别装置，其特征在于，上述立体物为桌子。

11.根据权利要求1所述的图像识别装置，其特征在于，在被上述三维摄像单元拍摄的规定的面上具有标记，使得易于从所读取的图像中提取上述操作面形成基准。

12.根据权利要求1所述的图像识别装置，其特征在于，还具备图像显示单元，该图像显示单元与操作员相面对地配置，上述操作判断单元使上述图像显示单元显示当前时刻的操作判断结果以使操作员能够识别操作的判断结果。

13.根据权利要求1所述的图像识别装置，其特征在于，还具备操作内容确定单元，当在根据与上述虚拟操作面之间的位置关系而决定的两个以上的虚拟操作层中的某一个区域内上述操作员进行动作时，该操作内容确定单元根据预先分配给该虚拟操作层的操作种类以及上述虚拟操作层内的操作员的动作来确定上述操作的内容。

14.一种操作判断方法，通过图像识别装置来识别操作员的图像并判断操作内容，该操作判断方法的特征在于，具备以下步骤：三维摄像步骤，读取操作面形成基准以及规定的摄像单元的摄像范围内的操作员的至少一部分的图像来生成立体图像，其中，该操作面形成基准能够被该操作员感知且被设置成使上述操作员能够把握规定空间上的虚拟操作面；

操作判断步骤，根据上述操作面形成基准来形成上述虚拟操作面，根据上述操作员的一部分与上述虚拟操作面之间的位置关系来判断在上述三维摄像步骤读取的操作员对所形成的该虚拟操作面的动作是否为操作；以及信号输出步骤，当判断为上述动作是操作时，输出规定的信号，其中，所述操作面形成基准是预先固定于所述摄像单元的摄像范围内的线段，所述摄像单元读取该线段并且将该线段的垂直上方的固定的几何形状的区域设为所述虚拟操作面。

15.一种图像识别装置，其特征在于，具备：

三维摄像单元，其读取操作员的至少一部分的图像来生成立体图像；

操作判断单元，其在上述三维摄像单元的摄像范围内的预先决定的位置处以预先决定的大小来形成作为操作员的操作基准的虚拟操作面，由上述三维摄像单元读取操作员对所形成的该虚拟操作面的动作，根据上述操作员的部位相对于上述虚拟操作面的位置关系来判断该动作是否为操作；

图像显示单元，其能够被上述操作员视觉识别，根据由上述操作判断单元识别的上述操作员的一部分与上述虚拟操作面之间的位置关系来算出上述操作员的一部分与上述虚拟操作面之间的距离，显示与该距离相应地发生变化的标识来示出要进行判断的操作，其中，相对于上述虚拟操作面，上述操作员处于上述三维摄像单元的相反侧；以及信号输出单元，当判断为上述动作是操作时，该信号输出单元输出规定的信号，其中，所述虚拟操作面是不能预先被操作员感知的，通过与距离相应地发生变化的标识来使操作员识别所述虚拟操作面的位置。

16.根据权利要求15所述的图像识别装置，其特征在于，在每次上述操作员的部位与上述虚拟操作面之间的距离接近时上述标识变小。

17.根据权利要求15所述的图像识别装置，其特征在于，在每次上述操作员的部位与上述虚拟操作面之间的距离接近时上述标识的色调发生变化。

18.根据权利要求15所述的图像识别装置，其特征在于，在每次上述操作员的部位与上述虚拟操作面之间的距离接近时上述标识的透明度降低。

19.根据权利要求15所述的图像识别装置，其特征在于，在每次上述操作员的部位与上述虚拟操作面之间的距离接近时，上述标识与显示在上述图像显示单元中的操作对象图像之间的对比度变大。

20.根据权利要求15所述的图像识别装置，其特征在于，在每次上述操作员的部位与上述虚拟操作面之间的距离接近时上述标识的形状发生变化。

21.根据权利要求15所述的图像识别装置，其特征在于，上述操作员的部位为多个，与上述操作员的多个部位分别对应地显示多个上述标识。

22.根据权利要求15所述的图像识别装置，其特征在于，还具备操作内容确定单元，当在根据与上述虚拟操作面之间的位置关系而决定的两个以上的虚拟操作层中的某一个区域内上述操作员进行动作时，该操作内容确定单元根据预先分配给该虚拟操作层的操作种类以及上述虚拟操作层内的操作员的动作来确定上述操作的内容。

说明书

图像识别装置、操作判断方法及程序

技术领域

[0001] 本发明涉及一种图像识别装置以及操作判断方法，更详细地说，涉及一种根据利用摄像机等拍摄得到的图像来判断测量对象的动作的图像识别装置以及操作判断方法。

背景技术

[0002] 近年来，作为计算机、电子设备与人之间的接口、即人-机接口而提出了各种设备、方法，特别提出了一种技术，该技术在游戏机、操作导向设备等中使用照相机来拍摄操作员整体或者一部分，根据其图像来判断操作员的意向而进行动作。例如，在日本特开2004-78977号公报中提出了一种技术，在该技术中具备主计算机和显示器，该主计算机对使用CCD照相机拍摄得到的图像中的物体的形状、动作进行识别，该显示器对由主计算机识别出的物体的形状、动作进行显示，当用户对着CCD照相机通过手势等给予指示时，所给予的手势显示在显示器的显示画面上，能够通过手势，利用箭头光标的图标来选择显示在显示画面上的虚拟开关等，不需要鼠标等输入装置，因而能够非常简单地操作设备。

[0003] 最近还提出了一种输入系统，该输入系统根据拍摄手指的动作、形状而得到的图像而识别为某种姿势来进行输入操作。例如，参照图14，示出一种输入装置，该输入装置能够使用于通过姿势进行画面操作的演示、不需要触摸面板的非接触KIOSK终端。在面向大画面的操作员朝向一般设置于(A)位置的照相机进行各种操作时，其内容映现在大画面上。通过本技术领域中已知的方法从这样拍摄得到的图像中提取操作员的形状、动作，例如与预先决定的保存在数据库中的图案进行比较，由此判断操作员的形状、动作的意思并使用于设备的控制。

[0004] 另一方面，如图15所示，作为读取操作员的图像的技术，还能够使用支持三维或者立体的照相机来拍摄操作员，再现立体图像，其在安全检查等用途中使用。通过再现立体图像，能够立体地把握操作员的动作，例如图16所示，也能够在前后方向识别操作员的特别是手的动作，因此姿势的变化增加。另外，即使作为图像而提取出多个操作员，也由于人数越多越成为立体图像而可知前后关系，从而能够仅提取最前面的操作员的动作，将其使用于操作的输入。

[0005] 然而，在以往的姿势操作中没有建立业界标准这种任何标准姿势，除了利用食指指示XY坐标的操作以外，无法直观地识别用户能够通过什么动作进行什么操作。存在如下设备：通过在数秒钟的等待时间期间固定于坐标来指示“点击”、“双击”、“拖拽”等…点击操作，但是由于所设定的等待时间过长等而妨碍舒适操作的情况也不少。因而，存在如下问题：不存在可实现易知且舒适地进行点击、确定(双击等)等操作的方法。

[0006] 另外，以往的姿势检测装置与触摸面板这种操作员能够直接触摸的输入装置不同，难以体察操作员的明确的意向。即，存在如下问题：即使操作员进行一些动作，也难以判断该动作是打算进行输入的动作还是仅仅是习惯性的动作。其结果是例如存在如下问题：如果不以不自然的显眼的姿态进行简单的姿势则无法识别，并且需要预先规定姿势或者无法使用复杂的姿势。

[0007] 本发明是鉴于上述问题而完成的，目的在于提供如下的图像识别装置以及操作判断方法：在使操作员识别与某些输入相关联的操作的状态之后使装置进行动作，由此能够准确地判断操作。其结果是在操作时不用记住不熟悉的特殊的姿势而通过使身体整体或者一部分进行动作，就能够判断为准确地表示操作员的意向的操作。

[0008] 专利文献1：日本特开2004-78977号公报

发明内容

[0009] 为了达到这种目的，本发明的第1方面所述的发明是一种图像识别装置，其特征在于，具备：三维摄像单元，其读取操作员的至少一部分的图像来生成立体图像数据；操作面形成基准，其能够被操作员感知且被预先配置在摄像单元的摄像范围内，以使该操作员能够把握规定空间上的虚拟操作面；操作判断单元，其根据由三维摄像单元读取的操作面形成基准来形成虚拟操作面，由三维摄像单元读取操作员对所形成的该虚拟操作面的动作，根据操作员的一部分和虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出单元，当判断为动作是操作时，该信号输出单元输出规定的信号。

[0010] 本发明的第2方面所述的发明的特征在于，在本发明的第1方面所述的图像识别装置中，虚拟操作面是从操作面形成基准向上方投射的面。

[0011] 本发明的第3方面所述的发明的特征在于，在本发明的第2方面所述的图像识别装置中，还具备动作限制单元，该动作限制单元在操作面形成基准的操作员侧限制操作员的动作。

[0012] 本发明的第4方面所述的发明的特征在于，在本发明的第1方面所述的图像识别装置中，虚拟操作面是从上述操作面形成基准的操作员相反侧的规定的位置向上方投射的面。

[0013] 本发明的第5方面所述的发明的特征在于，在本发明的第方面1至4中的任一项所述的图像识别装置中，在操作员的一部分比虚拟操作面更靠近三维摄像单元侧时，操作判断单元判断为动作是操作。

[0014] 本发明的第6方面所述的发明的特征在于，在本发明的第1方面至4中的任一项所述的图像识别装置中，操作判断单元根据操作员的一部分的、比虚拟操作面更靠近三维摄像单元侧的部分的形状或者动作来判断是否进行着某种操作。

[0015] 本发明的第7方面所述的发明的特征在于，在本发明的第6方面所述的图像识别装置中，操作判断单元检索预先保存有与操作员的一部分的形状或者动作对应的操作内容的存储单元，将与匹配的形状或者动作对应的操作判断为所输入的操作。

[0016] 本发明的第8方面所述的发明的特征在于，在本发明的第1至7方面中的任一项所述的图像识别装置中，在操作员所处的地面上示出操作面形成基准。

[0017] 本发明的第9方面所述的发明的特征在于，在本发明的第1至7方面中的任一项所述的图像识别装置中，还具备立体物，该立体物被配置在操作员与三维摄像单元之间，操作面形成基准为立体物的规定的外缘。

[0018] 本发明的第10方面所述的发明的特征在于，在本发明的第9方面所述的图像识别装置中，立体物为桌子。

[0019] 本发明的第11方面所述的发明的特征在于，在本发明的第1至10方面中的任一项所述的图像识别装置中，在被三维摄像单元拍摄的规定的面上具有标记，使得易于从所读取的图像中提取操作面形成基准。

[0020] 本发明的第12方面所述的发明的特征在于，在本发明的第1至11方面中的任一项所述的图像识别装置中，还具备图像显示单元，该图像显示单元与操作员相面对地配置，操作判断单元使图像显示单元显示当前时刻的操作判断结果以使操作员能够识别操作的判断结果。

[0021] 本发明的第13方面所述的发明的特征在于，在本发明的第1至12方面中的任一项所述的图像识别装置中，还具备操作内容确定单元，当在根据与虚拟操作面之间的位置关系而决定的两个以上的虚拟操作层中的某一个区域内操作员进行动作时，该操作内容确定单元根据预先分配给该虚拟操作层的操作种类以及虚拟操作层内的操作员的动作来确定操作的内容。

[0022] 本发明的第14方面所述的发明是一种操作判断方法，一种操作判断方法，通过图像识别装置来识别操作员的图像并判断操作内容，该操作判断方法的特征在于，具备以下步骤：三维摄像步骤，读取操作面形成基准以及规定的摄像单元的摄像范围内的操作员的至少一部分的图像来生成立体图像，其中，该操作面形成基准能够被该操作员感知且被预先配置在规定的摄像单元的摄像范围内，以使操作员能够把握规定空间上的虚拟操作面；操作判断步骤，根据在三维摄像步骤中读取的操作面形成基准来形成虚拟操作面，根据操作员的一部分与虚拟操作面之间的位置关系来判断在三维摄像步骤读取的操作员对所形成的该虚拟操作面的动作是否为操作；以及信号输出步骤，当判断为动作是操作时，输出规定的信号。

[0023] 本发明的第15方面所述的发明是一种程序，使图像识别装置执行识别操作员的图像并判断操作内容的操作判断方法，该程序的特征在于，该操作判断方法具备如下步骤：三维摄像步骤，读取操作面形成基准以及规定的摄像单元的摄像范围内的操作员的至少一部分的图像来生成立体图像，其中，该操作面形成基准能够被该操作员感知且被预先配置在规定的摄像单元的摄像范围内，以使操作员能够把握规定空间上的虚拟操作面；操作判断步骤，根据在三维摄像步骤中读取的操作面形成基准来形成虚拟操作面，根据操作员的一部分与虚拟操作面之间的位置关系来判断在三维摄像步骤读取的操作员对所形成的该虚拟操作面的动作是否为操作；以及信号输出步骤，当判断为动作是操作时，输出规定的信号。

[0024] 本发明的第16方面所述的发明是一种图像识别装置，其特征在于，具备：三维摄像单元，其读取操作员的至少一部分的图像来生成立体图像；操作判断单元，其在三维摄像单元的摄像范围内的预先决定的位置处以预先决定的大小来形成作为操作员的操作基准的虚拟操作面，由三维摄像单元读取操作员对所形成的该虚拟操作面的动作，根据操作员的部位相对于虚拟操作面的位置关系来判断该动作是否为操作；图像显示单元，其能够被操作员视觉识别，根据由操作判断单元识别的操作员的一部分与虚拟操作面之间的位置关系来算出操作员的一部分与虚拟操作面之间的距离，显示与该距离相应地发生变化的标识来示出要进行判断的操作，其中，相对于虚拟操作面，操作员处于三维摄像单元的相反侧；以及信号输出单元，当判断为动作是操作时，该信号输出单元输出规定的信号。

[0025] 本发明的第17方面所述的发明的特征在于，在本发明的第16方面所述的图像识别装置中，在每次操作员的部位与虚拟操作面之间的距离接近时标识变小。

[0026] 本发明的第18方面所述的发明的特征在于，在本发明的第16方面所述的图像识别装置中，在每次操作员的部位与虚拟操作面之间的距离接近时标识的色调发生变化。

[0027] 本发明的第19方面所述的发明的特征在于，在本发明的第16方面所述的图像识别装置中，在每次操作员的部位与虚拟操作面之间的距离接近时标识的透明度降低。

[0028] 本发明的第20方面所述的发明的特征在于，在每次操作员的部位与虚拟操作面之间的距离接近时，标识与显示在图像显示单元中的操作对象图像之间的对比度变大。

[0029] 本发明的第21方面所述的发明的特征在于，在本发明的第16方面所述的图像识别装置中，在每次操作员的部位与虚拟操作面之间的距离接近时标识的形状发生变化。

[0030] 本发明的第22方面所述的发明的特征在于，在本发明的第16至21方面中的任一项所述的图像识别装置中，操作员的部位为多个，与操作员的多个部位分别对应地显示多个标识。

[0031] 本发明的第23方面所述的发明的特征在于，在本发明的第16至22方面中的任一项所述的图像识别装置中，还具备操作内容确定单元，当在根据与虚拟操作面之间的位置关系而决定的两个以上的虚拟操作层中的某一个区域内操作员进行动作时，该操作内容确定单元根据预先分配给该虚拟操作层的操作种类以及虚拟操作层内的操作员的动作来确定操作的内容。

附图说明

[0032] 图1是表示在地面上示出作为本实施方式的操作面形成基准的标记的操作输入系统的一例的图。

[0033] 图2是示意性地表示本实施方式的操作输入系统与计算机之间的关系的框图。

[0034] 图3是表示在本实施方式的计算机的CPU内进行处理的程序的功能模块的一例的框图。

[0035] 图4是本实施方式的处理的流程图。

[0036] 图5是用于具体说明本实施方式的标记的作用的图。

[0037] 图6是表示根据本发明的一个实施方式所涉及的操作面形成基准形成的虚拟操作面的情形的图。

[0038] 图7是表示根据本发明的一个实施方式所涉及的操作面形成基准形成的虚拟操作面的情形的图。

[0039] 图8是表示根据本发明的一个实施方式所涉及的操作面形成基准形成的虚拟操作面的情形的图。

[0040] 图9是表示本发明的一个实施方式所涉及的辅助操作输入的具体显示的一例的图。

[0041] 图10是表示根据本发明的另一个实施方式所涉及的操作面形成基准形成的虚拟操作面的情形的图。

[0042] 图11是表示根据本发明的另一个实施方式所涉及的操作面形成基准形成的虚拟操作面的情形的图。

[0043] 图12是表示本发明的另一个实施方式所涉及的操作输入方法的具体操作的一例的图。

[0044] 图13是表示本发明的另一个实施方式所涉及的操作输入方法的具体操作的一例的图。

[0045] 图14是说明以往的使用大画面的利用姿势进行输入的输入系统的图。

[0046] 图15是表示以往的使用3D照相机取入操作员的图像的方法的图。

[0047] 图16是表示以往的使用3D照相机取入了多个操作员的图像的情况下的图像的一例的图。

[0048] 图17是表示本发明的另一个实施方式所涉及的具体操作装置的一例的图。

[0049] 图18是示意性地表示本发明的另一个实施方式所涉及的操作输入系统与计算机之间的关系的框图。

[0050] 图19是表示本发明的另一个实施方式所涉及的其它具体操作装置的一例的图。

[0051] 图20是表示本发明的另一个实施方式所涉及的具体操作装置的操作指示区域的图案投影法的一例的图。

[0052] 图21是表示本发明的另一个实施方式所涉及的操作输入方法的具体操作的一例的图。

[0053] 图22是表示使用了本发明的一个实施方式的虚拟操作面的操作输入系统的一例的图。

[0054] 图23是表示本发明的一个实施方式所涉及的虚拟操作面以及操作区域的情形的图。

[0055] 图24是表示本发明的一个实施方式所涉及的操作员的动作与显示于画面的图标之间的关系的图。

[0056] 图25是表示本发明的一个实施方式所涉及的操作输入画面的具体显示的一例的图。

[0057] 图26是表示本发明的一个实施方式所涉及的在操作输入画面中能够使用的各种图标的例子的图。

[0058] 图27是表示本发明的一个实施方式所涉及的操作员的动作与显示于画面的图标之间的关系的图。

[0059] 图28是表示本发明的一个实施方式所涉及的操作输入画面的菜单按钮的颜色发生变化的情形的图。

[0060] 图29是表示本发明的一个实施方式所涉及的操作输入画面的菜单按钮的浓淡发生变化的情形的图。

[0061] 图30是表示本发明的一个实施方式的变形例所涉及的虚拟操作面以及操作员的操作的情形的图。

[0062] 图31是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及操作员的操作的情形的图。

[0063] 图32是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及投影图像影像的侧视图。

[0064] 图33是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及投影图像影像的主视图。

[0065] 图34是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及投影图像影像的主视图。

[0066] 图35是表示通过本发明的一个实施方式所涉及的多触摸操作而显示在画面上的图像发生变化的情形的图。

[0067] 图36是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及投影图像影像的侧视图。

[0068] 图37是表示本发明的一个实施方式的多触摸所涉及的虚拟操作面以及投影图像影像的主视图。

[0069] 图38是表示本发明的一个实施方式的虚拟操作面与防止侵入保护装置之间的关系的图。

[0070] 图39是表示本发明的另一个实施方式所涉及的具体操作装置的操作指示区域的图案投影法的一例的图。

[0071] 图40是表示本发明的一个实施方式所涉及的根据多个操作面形成基准形成的多个虚拟操作面的情形的图。

[0072] 图41是表示本发明的一个实施方式所涉及的根据多个操作面形成基准形成的多个虚拟操作面的情形的图。

[0073] 图42是表示通过本实施方式输入使显示在画面上的图形移动的指示的一例的显示画面的图。

[0074] 图43是表示本发明的一个实施方式所涉及的操作员的动作与显示于画面的菜单之间的关系的图。

[0075] 图44是表示本发明没有的防止侵入保护装置的情况下的一个实施方式的虚拟操作面与标记之间的关系的图。

[0076] 图45是表示本发明的另一个实施方式所涉及的操作员的动作与显示于画面的菜单之间的关系的图。

[0077] 图46是表示本发明的另一个实施方式所涉及的操作员的动作与显示于画面的菜单之间的关系的图。

具体实施方式

[0078] 下面，参照附图来详细说明本发明的实施方式。

[0079] (第一实施方式)

[0080] 图1是表示在地面上示出作为本实施方式的操作面形成基准的标记101的操作输入系统的一例的图。将本实施方式的标记101配置在操作员与监视器111之间，操作员102能够意识到从该标记101向显示画面侧伸出的部分的动作、形状是否成为操作判断的对象，来对操作输入系统进行操作。本系统在监视器111中显示作为目的的各种应用程序用的各种影像，但是除此以外，如后述那样辅助操作输入、即例如在画面的角落显示成为对象的操作员102的部位等，从而能够使操作员102识别在当前时刻能够被判断为操作的动作。由摄像机201拍摄操作员102的动作，由计算机110对拍摄得到的影像进行处理，判断操作员102的从标记101伸出的部分的姿势意味着什么操作。计算机110根据从摄像机
201得到的数据来制作操作员102的立体图像，并且利用标记101算出要形成的虚拟操作面的位置，以虚拟操作面为基准来确定操作员102的手指等是否向摄像机201侧伸出，将该部分作为操作的对象来判断操作内容。

[0081] 在本实施方式中，为了获取图像而将摄像机201安装于监视器111的上部来进行拍摄，但是如果能够得到所需的图像则并不限于此，也能够使用红外线照相机等本技术领域中已知的任一种摄像单元，设置位置也能够选择监视器附近的任何位置。在此，在本实施方式中使用三维(或者3D)照相机作为摄像机201，由此能够制作包括操作员以及操作面基准在内的立体图像。另外，还能够将红外线照相机和摄像机融合来进行使用。即，例如在使用后述的回射材料作为标记的情况下，能够以将红外线照相机专门使用于操作面形成基准的校准、利用一般的摄像机捕捉操作员的动作这种方法来使用两种照相机。

[0082] 并且，在本实施方式的系统中安装有未图示的扬声器等声音输出装置，还能够通过声音将与显示内容、操作有关的信息传达给操作员。通过设置这种功能，不仅在显示器中以图像显示操作内容，也同时通过声音来播放指示事项、结果来通知操作面基准，因此即使是视觉障碍的操作员也能够进行操作。

[0083] 图5是用于具体地说明标记101的作用的图。标记101是用于操作员102识别虚拟操作面的操作面形成基准，如图6所示，当用户102假想在地面上示出的标记101的上方存在操作面而想要捕捉该虚拟操作面来进行各种操作、例如操作的情况下，能够进行以标记101为基准向前伸出手601并示出姿势之类的动作。标记101的宽度还成为操作面的宽度。另外，辅助标记501为区分标记101的前后的标记，还能够使用辅助标记501来确定操作区域或者设置三维路径计算要素，辅助标记501的形状、方向也是自由的，也可以示出适合于测量的区域。在这种具备了标记101的操作输入系统中，在图7示出的标记101的上部虚拟地形成操作面701，操作员102从标记101起假设虚拟的操作面701来伸出手601，或者与监视器111连动地将画面上的一部分与操作面701视作触摸面板来以触摸的方式移动手601，由此能够容易地进行输入操作。另外，在虚拟操作画面区域(位于线段的垂直上方向)的用户能够在采取任意的姿势之后，利用向线段的前方推出(决定)的动作来决定操作或者在决定操作之后进行推出这种成为判断基准的动作，因此用户容易识别，操作性接近以往的触摸面板的操作。另一方面，与以往的触摸面板相比，操作变化压倒性地增加(双手操作、动作、多个手指等)。

[0084] 在本实施方式中，在图5至8等那样示出虚拟操作面形成于标记的正上方，但是标记的上方也可以不是正上方。即，作为操作面形成基准的标记是可视觉识别的标记，操作员视觉识别标记并将该标记作为基准，大致估计虚拟操作面所存在的位置来进行操作。因而，虚拟操作面需要形成在标记的上方，但是从操作员来看，前后的位置关系有可能根据操作员、系统整体的状况而变化。如图44所示，一般情况下，例如在地面等上配置标记4401的情况等，从操作员102的眼睛的位置来看，认为站在接近标记4401的正上方的位置的情况较多，因此认为也存在如下情况：在标记4401的与操作员102相反一侧稍微错开的位置4402上形成虚拟操作面701能够使手臂的动作自如而能够自然地进行操作。另一方面，在如后述的第二实施方式的图21示出那样在桌子的边缘粘贴标记1902的情况下，利用粘贴了标记的相反侧的边缘限制操作员的动作、即无法使身体接近位于该边缘前面的操作面，因此能够适当地选择桌子的宽度以容易进行操作。一般认为在这种情况下，在标记的正上方形成虚拟操作面能够使操作员更容易识别虚拟操作面。

[0085] 本实施方式的操作面基准能够在所捕获的画面上大范围、适当且同时地分散配置测量标记，因此能够进行可靠性非常高的测量。并且，在起到这种效果的同时能够与始终保持标记在照相机的摄像范围内的校准系统一起使用，能够实现省空间、多功能的装置，基本上在初始设置进行校准之后不需要每次重新进行测量。

[0086] 这样，标记101被摄像机201拍摄而成为操作面形成基准，标记材料能够使用在本技术领域中已知的各种材料，但是为了使其容易，一般根据所使用的照相机来选择适当的材料。例如，在一般照相机的情况下，需要使用使标记比背景颜色突出的着色法，在使用红外线照相机时，能够使用回射材料等。另一方面，对于激光，在黑色部分等反射较少的颜色、材料的情况下，难以测量反射光，因此在利用激光的情况下，不使用标记、回射材料等而使用黑色的条等，由于激光照射的部分不反射而在画面上产生缺损，因此即使这样也能够检测该条的位置。

[0087] 能够这样通过在地面上粘贴适当的材料来使用标记，但是并不限于此，能够直接涂覆在地面上或者使用本技术领域中已知的任意的附着方法。另外，在上述说明中，使用标记101作为操作面形成基准，但是并不限于此，能够使用任意的部件、结构作为立体测量基准。例如，标记不是图1示出的形状，而是能够设为各种形状的图形，也可以在几个点上设置多个具有固定面积的标记。

[0088] 图2是示意性地表示本实施方式的图像识别装置的计算机110的结构的框图。计算机110与摄像机201连接，该摄像机201被安装于监视器701的上部等而对操作员102和标记101等进行拍摄，所拍摄得到的图像被取入到计算机110。在CPU 210中对拍摄得到的图像进行作为本实施方式的特征的图像的提取、位置的计算等，根据所算出的位置来确定身体的一部分是否从操作面向摄像机侧伸出。计算机110一般具备CPU 210，在RAM212上执行存储在ROM 211等中的程序，将基于从图像识别装置输入的图像的处理结果输出到监视器111等。在本实施方式中，监视器111主要输出各种影像，也如后述那样显示辅助操作输入的信息，其中，上述各种影像是操作员要体验的由各种应用程序提供的影像。

[0089] 图3是表示在本实施方式的计算机110的CPU 201内进行处理的程序的功能模块的一例的框图。如图3所示，由图像读取部301、图像提取部302、图像位置算出部303以及操作判断部304执行本系统中的处理。此外，在本实施方式中，通过四个模块执行从接收来自摄像机201的图像起到输出数据为止的处理，但是并不限于此，还能够使用其它模块或者以更少的模块进行处理。

[0090] (本实施方式的处理)

[0091] 如图8所示，在本实施方式中，以由摄像机201拍摄到的标记101为基准，确定同样拍摄到的操作员102的位置，并且假设为在标记101的上方形成有操作面701，进行虚拟操作面701与操作员102的位置关系的计算处理。在本实施方式中，在将本技术领域中已知的初始设定、例如新设置本实施方式的图像识别装置的情况假设为进行这种处理的前提时，作为预先准备，需要事先将所利用的摄像机201的利用透镜的倾斜度、标记102与透镜之间的距离等信息输入到装置。并且，预先调整阈值设定等。当系统的初始设置结束时，进行本实施方式的处理，下面参照图4来说明该处理。

[0092] 图4是本实施方式的处理的流程图。首先，在图像读取部301中读取由摄像机201拍摄得到的数据(S401)，由图像提取部302从该数据中仅提取标记101的图像，例如在是标记101的彩色图像的情况下，选出预先决定为标记的颜色区域来仅提取标记101的图像(S402)。具体地说，在本实施方式中，分别对彩色-NTSC信号的亮度信号Y和色差信号U、V设定上下限阈值来提取满足所有阈值的像素，但是并不限于此，还能够使用本技术领域中已知的任一种方法。这样，当能够三维地把握标记101的位置时，事先算出虚拟操作面会成为什么样的操作面并存储到数据库。

[0093] 在此，当参照图8等时，操作面的形状呈从地面垂直竖立的长方形，但是并不限于此，根据标记101的形状、配置方法能够形成各种形状、大小的操作面。例如，图8示出的标记101是与监视器111的面平行的固定长度的直线，因此虚拟操作面成为操作面701那样的操作面，但是还可以将标记设为倾斜的具有固定角度的直线，在这种情况下，形状与图8示出的操作面701相同，但是朝向与监视器111具有固定角度而被倾斜放置。在这种情况下，在利用标记而虚拟地形成倾斜配置的操作面时，操作员102也能够捕捉，因此只要能够意识到该操作面并能够进行操作即可。另外，还能够立体地配置辅助标记，设为相对于地面也具有固定角度的斜面操作面或者曲面操作面。此外，在本实施方式中说明了以利用标记等形成的虚拟操作面为基准进行处理，只要是本领域技术人员就能够理解，在实际的计算处理中，也可以不根据操作面计算操作员的位置。这是由于虚拟操作面最终只是用于使操作员能够意识而进行操作输入。

[0094] 当色彩提取结束时，还对辅助标记501进行相同的处理来提取辅助标记501之后，通过图像位置算出部303来对所提取的标记部分进行黑白二值化，计算构成标记的纵横边像素数，该标记是从摄像机201所拍摄得到的图像中提取出的。将获取到的图像的纵横边的长度、倾斜与成为基准的图像进行比较来得出摄像空间的倾斜度、比例。在本实施方式中，在计算倾斜度、比例的情况下，还能够在除此之外的至少四点以上的位置处设置标记来设置基准。例如，如果存在四点以上的基准点，则通过连结它们而将它们设为线段，能够进行校准。

[0095] 这样准备的结果是，实际提取操作员102的图像(S403)，操作判断部304使用从摄像机201观察是站在操作输入系统的标记101后侧的操作员102与标记101之间的相对关系(S404)，当操作员102的一部分从摄像机201观察是来到操作面的跟前侧时，判断为开始进行操作(S405)，根据各部的形状(打开手或者立起两只手指等)、动作来判断其形状、动作是预先设想的哪个操作(S406)。在此，能够由系统单独确定何种形状、动作对应于何种操作，还能够取入本技术领域中已知的任一方法来决定。判断的结果是，判断为存在这种操作的输入而通过计算机110执行操作(S407)，在手根本没有从虚拟操作面向跟前侧伸出的情况下，判断为没有进行操作而结束(S408)。操作内容的判断并不限于在此所说明的方法，还能够使用在本实施方式中已知的任一方法。另外，还省略了具体的判断方法，但是通常将所预先决定的姿势等操作员的身体的形状、动作与该身体的形状、动作所意味的操作内容预先存储在数据库等中，在提取图像之后，访问该数据库来判断操作内容。此时，当然还能够通过本技术领域中已知的方法、利用图像识别技术、人工智能等来提高判断精确度。

[0096] 在此，将操作员的像与操作面形成基准的图像进行对比，根据预先算出的作为倾斜度对应信息的图像的倾斜度、比例来判断操作员的各部位的位置、姿势。在此，没有详细进行说明，但是同样地操作员的像也是通过本技术领域中已知的任一种方法来提取的。例如考虑预先将操作员的后面设为具有特征部分而使得容易提取操作员的像等。

[0097] 另外，在本实施方式中，在识别操作员的动作时进行虚拟操作面的形成，但是其对于例如系统整体的规模较小且操作面形成基准与照相机的位置比较频繁地发生变化的情况较有效，但是在博物馆展出等一次设定后位置关系不太频繁地变更的情况下，也能够预先提取虚拟操作面、通过任一种方法进行数值化并存储，在操作员进行输入时不需要从开头提取就能够判断操作。通过采取这种处理，省略形成虚拟操作面的处理而能够进行整体效率较高的处理。

[0098] (操作输入的辅助)

[0099] 如上所述，仅设置三维摄像机和标记101那样的操作面形成基准，操作员能够在空间上感觉、设想如触摸面板那样的操作面，通过对该操作面进行各种操作，能够使用身体的全部或者一部分来进行操作输入，并且还能够通过将操作员相对于虚拟的操作面的影像显示在监视器111中等辅助操作输入来更容易地有效利用本实施方式的系统。

[0100] 图9是表示将这种辅助操作输入的向导显示在监视器111中的一例的图。例如，在利用指针来指示显示在监视器111的中心部的图像的某一处的情况下，操作员能够使虚拟操作面与所显示的图像重叠并通过伸出手指来指示期望的位置，通过如图9示出的指针901那样显示这种指示的情形，能够使操作员一边识别并确认当前进行的操作一边执行下一个操作。以本例来说，例如，当从操作面伸出手指时指针901显示在画面上，当缩回时指针901消失或者附加浓淡色调来显示指针901，操作员能够根据手的动作和显示在监视器
111中的指针的情形以自然的方式执行本实施方式的输入法。同样地，将以图6至图8示出的方式表示操作员自身的情形而得到的操作画面902以较小画面显示在监视器111的右上角，能够显示当前进行何种动作、在系统中判断为何种操作，并且能够示出使手的动作曲线化的折线图903，通过使操作员本身意识到手的前后动作情况等以期望进行更准确的操作。
另外，虽然未图示，但是还能够在导向中显示能够在系统中使用的姿势，促使操作员模仿该姿势进行操作输入来进行辅助。

[0101] 当使用上述本实施方式时，除了操作员不需要预先记住或者预先规定姿势就能够根据操作员的动作来对系统进行操作以外，由于知道操作员的姿势、各部例如手的动作，因此能够用于使用了身体整体的游戏，实现所谓复合现实感(MR)。

[0102] (第二实施方式)

[0103] 本实施方式基本上与上述第一实施方式的系统结构相同，但是基于更具体的使用状况。即，在本实施方式中，根据第一实施方式的系统以及处理，在固定的立体物、例如图21示出的桌子状的立体物1901上附加标记1902、1903来设为操作面形成基准，由此形成虚拟操作面701，与此相对，例如设为能够通过利用手指601等进行操作来进行输入操作。在本实施方式中，作为立体物的例子，下面假设使用生活用桌子、坐在家用等沙发等上进行操作的情况来进行了说明，但是并不限于此，能够使用讲桌、放置台或者图17示出的杆1702那样的保护装置等各种用途的立体物。在此，将监视器111假设为放置在家用的生活用桌子等上的大画面电视机等。

[0104] 另外，在使用图21示出的带标记的放置台的情况下，如后面的图23所示，例如使用标记1903来仅将操作员102的上半身设为对象区域2301，还能够仅将从虚拟操作面701向前面伸出的部分的动作判断为操作。由此，在操作员使用图21示出的放置台支承身体来进行输入操作的情况下，即使下半身、特别是脚部从虚拟操作面向前伸出也能够始终仅将上半身的动作识别为操作。

[0105] 在此，参照图38以及图39来说明本实施方式中的标记与虚拟操作面之间的关系。在本实施方式中，基本上在桌子、台子等的边缘上附加标记，操作员与形成在标记上方的虚拟操作面接触或者使手相对于形成在标记上方的虚拟操作面移动来使系统识别进行输入操作的情况。此时，桌子、台子的没有附加标记的边缘限制操作员的动作，适当地辅助举起的手自然地触摸虚拟操作面。参照图38来说明该概念，在作为操作面形成单元的标记3801的上方形成虚拟操作面701，另一方面，操作员102通过某些动作限制单元3802而与虚拟操作面保持固定的距离，能够利用自然地向前伸出的手601来对虚拟操作面进行操作。在本实施方式中，虚拟操作面701形成在标记3801的正上方，但是也能够如在第一实施方式中所说明的那样以标记3801为基准而向前后移动。例如，动作限制单元3802基本上是固定的，因此，当虚拟操作面形成于标记3801的正上方时，由于操作员102的体形不同而有可能变得过于靠前或者过于靠后从而使用感变差。在这种情况下，还能够按照每个操作员的不同而将形成虚拟操作面的位置从标记3801起向前后移动。

[0106] 图39是表示使用导向杆作为这种动作限制单元的情况的一例的图。为了防止在这种操作板上进行动作时的不稳定，一般将导向杆3902设为栏杆或者能够支承身体，但是在进行本实施方式的操作输入时，作为动作限制单元而发挥作用，对使用虚拟操作面的良好的操作感有所帮助。

[0107] 参照图10，在本实施方式中，操作员102在坐着的状态下操作大画面电视机，操作面形成基准变为设定于桌子1001上的标记1002以及辅助标记1003、1004，操作员102根据这些标记来假设操作面701大致形成于标记1002的上方，通过对该操作面进行各种访问能够进行期望的操作。如上所述，例如使大画面电视机111的画面与操作面701重叠，在画面上显示频道的排列，通过以手指601在操作面701上指示能够切换为期望的频道。

[0108] 在此，辅助标记1003决定操作面的倾斜，当参照图10时，由于被设置于桌子脚部，因此与桌子1001的上表面大致垂直，虚拟操作面也与桌子1001的上表面垂直地形成。因而，在按照不同于垂直的角度设置辅助标记1003的情况下，操作面不是垂直地形成而是倾斜地形成。另外，辅助标记1004用于进行前后的判断以及路径计算。通过使用这种本实施方式，在家中舒适地看电视时，即使在想要操作电视而找不到遥控器的情况下，无需到处找遥控器也能够进行远程操作。

[0109] (第三实施方式)

[0110] 本实施方式基本上与上述第一实施方式的系统结构相同，但是以与第二实施方式不同的、基于更具体的使用状况的系统为对象。即，本实施方式与第二实施方式不同，例如假设图11所示那样躺在医院内等的病床等上来进行操作的情况。在此，将监视器111假设为放置在病房内的电视机等。

[0111] 在本实施方式中，操作员102在从病床上稍微坐起的状态下操作电视机，操作面形成基准为设定在病床用桌子1102上的标记1101以及辅助标记1103，操作员102能够根据这些标记来假设操作面701大致形成于标记1101的上方，对该操作面进行各种访问来进行期望的操作。具体地说，如图21所示，从标记1101向电视机111侧伸出手指，使系统识别为正在操作中，在本实施方式中通过手指601的形状来示出操作内容。即，如图13所示，通过朝向电视机以右手的手指1301来示出“1”、以左手的手指1302示出“2”，在本实施方式的操作输入系统中判断为变更到“21”频道的指示。这样，通过以手指601在操作面701上进行指示，能够切换到期望的频道，通过保护装置(ガ一ド)能够容易地识别虚拟操作区域。根据用户是否从判断线(长边)向前面伸出能够确认用户是否进行操作，在判断线的内侧进行特定姿势与姿势之间的中间动作部分，在确定手势之后从判断线向照相机侧伸出，由此能够避免作为以往的问题的不明确、错误。

[0112] (第四实施方式)

[0113] 在本实施方式中，除了上述第一实施方式以外，提供一种通过组合辅助的输入方法而更加易于直观地识别操作的装置。即，在上述第一实施方式的图像识别装置上连接地垫式传感器，一边利用地垫指示动作模式一边利用使用了三维摄像装置的图像识别装置来更可靠地识别姿势等操作员的操作。具体地说，例如图17所示那样当脚踏地垫1701上的L或者R时进入到操作模式，将操作员的动作作为姿势而执行识别处理，除此以外，将操作员的动作作为对象外的动作而不进行处理。在这种情况下，虚拟操作面以杆1702、1703为基准来形成。

[0114] 图18是示意性地表示本实施方式的图像识别装置的计算机110的结构的框图。在计算机110上连接有摄像机，该摄像机被安装于监视器的上部等而对操作员以及附加在杆1702、1703上的标记等进行拍摄，拍摄得到的图像被取入到计算机110。在CPU 210中对拍摄得到的图像进行作为本实施方式的特征的图像的提取、位置的算出等，根据所算出的位置来确定身体的一部分是否从操作面向摄像机侧伸出。计算机110一般具备CPU210，在RAM
212上执行存储在ROM 211等中的程序，将基于从图像识别装置输入的图像的处理结果输出到监视器等。在本实施方式中，监视器主要输出各种影像，但是也如后述那样显示辅助操作输入的信息，其中，上述各种影像是操作员要体验的由各种应用程序提供的影像。参照图
18，进一步地，在本实施方式的操作输入装置的表面上设置有地垫式传感器1701，例如当脚踏显示为“L”或者“R”的区域来施加压力时，输出与其位置相应的信号。这样，在通过脚部进行操作的情况下，由于操作员的原因而有可能变得不稳定，因此在这种情况下，还能够用手抓住杆1702来使姿势稳定的，因此较有效。

[0115] 本实施方式的地垫式传感器还能够使用本技术领域中已知的任一技术。例如，即使使用压力传感器或者利用了静电的传感器等其它技术，只要能够输出表示脚放置的位置的信号，则能够使用任一技术。所输出的信号在CPU 1802中通过信息处理而被处理、即被变换为“R”或者“L”等数据，变换后的数据通过接口1803被发送到计算机110。计算机110执行处理如下处理：将来自地垫式传感器的数据与对上述虚拟操作面进行的动作进行融合来确定操作员想要进行的操作。即，例如当将脚踏“R”时进行的动作设定为操作时，操作员仅在要使用某种操作时脚踏“R”即可，在要使计算机110识别为操作的情况下，一边脚踏“R”一边示出预定的姿势，由此计算机110能够从操作员的动作中适当地确定对系统的操作来进行处理。

[0116] 在图17中示出了杆1702、1703，但是例如还能够将标记附加到图19示出的桌子状的立体物上来作为操作面形成基准。在这种情况下，与图17示出的情况同样地，配置有主要通过脚踏进行指示的示出了“R”、“L”的区域1710。这种示出了“R”等的区域1710除了能够写入到地垫、地面或者印刷到地垫、地面、或者粘贴片材以外，能够如图20所示，将作为用于投影图案的投影单元的LED聚光灯、液晶投影机等安装到杆支承部1703等，当投影到地垫式传感器上时，投影灯2002能够在地垫上形成输入文字等图案。即，当将投影用组件设置到杆支承部1703来倾斜投影时，不会被操作员的腿部2001妨碍，因此能够避免由于影子而不能很好地投影地垫式传感器图案的情况。这样，如果投影图案，则能够根据所输入的数据动态地形成操作员易于理解的图案。此外，在图19示出的例子中，能够脚踏显示在地面上的图案1710来通知操作开始，因此即使不使用本实施方式的虚拟操作面也能够通过姿势来进行各种输入。

[0117] (第五实施方式)

[0118] 在本实施方式中，基本概念与上述第一实施方式一致，但是使用通过不同的方法来得到相同的效果的发明。即，本实施方式也为是操作员以在空间上虚拟形成的虚拟操作面为基准，如同在此存在触摸面板的输入设备等那样进行操作，由此来对该操作内容进行可靠地判断，但是与第一实施方式不同，不需要使用操作员能够感觉到的操作面形成基准、例如图1的标记101等就进行操作的判断。因此在本实施方式中，提供一种如下装置：通过组合在上述第四实施方式中使用的辅助性输入方法，来使操作员直观且容易地识别系统如何识别自己的操作。

[0119] 本实施方式的原理基本上如下：与操作员的部位、例如手或者手指的位置相对于虚拟操作面的动作一致地，在监视器111上视觉(visual)显示操作员要进行何种操作，由此能够引导操作员来准确地进行操作输入。具体地说，如图22所示，不存在第一实施方式所具有的标记101，因此操作员102基本上无法识别在何处形成有虚拟操作面。因此，通过不使用标记等基准面而利用操作员的直觉使操作员在固定的范围内能够识别虚拟操作面的存在，以该虚拟操作面为基准来进行操作，由此能够在系统侧判断该操作。

[0120] 参照图23～24来说明这一点，在本实施方式中，预先在操作员站在固定的站立位置处能够进行操作的情况下，在处于该站立位置而适合于向虚拟操作面进行操作的位置处或者配合操作员的站立位置而在适当的位置处形成事先设定的虚拟操作面701。同样地，如图23所示，事先设定操作员102的适当的操作范围2301。如上所述，在监视器111中以各种方式示出当前要进行何种操作，由此操作员能够识别自己的操作。

[0121] 参照图24来说明这种方式之一，在操作员要对系统进行某些操作的情况下，在本例中，通过使手臂2401相对于监视器111向前后移动来使手或者手指601的位置发生变化，因此如果在将该情形显示在显示器111中，当伸出的手指601到达固定位置时，系统执行此时在监视器111的画面上被指示的项目等进行固定的处理。在图24的例子中，根据手指601相对于虚拟操作面701的位置(深度)不同而图标的大小发生变化，越接近虚拟操作面图标越小，从而能够使操作员识别通过自身的操作是否聚焦在固定的位置处。并且，在图标变得最小的位置确定操作并执行与该操作相应的处理。

[0122] 进行上述操作的结果是，在图25中示出图标在监视器111的画面2501上如何变化。当参照图25时，在监视器111的画面2501上例如显示电视节目表，并想要进行与某个节目有关的操作。在这种状态下，例如在操作员想要选择“设定变更”的菜单按钮的情况下，如上所述操作员要朝向监视器111伸出手指601来进行选择，在本实施方式中，操作员无法正确地识别虚拟操作面在何处，但是当手指601接近虚拟操作面达到固定距离时，在画面2501上显示图标2503。由于手指的位置还较远，因此该图标显示图24示出的图标中的位于右侧的比较大的图标。当操作员进一步伸长手臂2401时，该图标一边接近作为目标的选择项目“设定变更”一边变小，在成为固定大小的图标2502时，判断为选择了图标所指的位置的项目。

[0123] 这样，在图25的例子中，根据手指601的位置来使在画面2501上显示的图标的大小变化，由此操作员能够把握系统如何识别了自己的动作，能够识别虚拟操作面的大致的位置而凭直觉进行菜单选择等操作。在此，与第一实施方式同样地，能够使用三维照相机来提取包括手指601、手臂2401的操作员整体以及各部位的位置、大小。由此能够包括深度在内地把握画面内的物体，因此能够根据这些信息来算出与虚拟操作面之间的距离、位置关系。其中，在本实施方式中使用的三维照相机、位置的提取、距离的算出等能够使用本技术领域中已知的任一方法，因此在此省略其说明。

[0124] 在本例中，在画面上显示的图标呈圆形，该图标的大小与操作员的动作一致地发生变化，但是并不限于此，如图26所示，能够使用各种图案的图标，使其发生各种变化。即，参照图26，(1)是手指图案的图标，与上述图25的例子同样地，越接近虚拟操作面越变小。(2)是圆形图标，逐渐变小，但是当输入或者选择确定时变化为特殊的形状而示出已确定。
在该图标或其它图标的情况下，也能够代替形状、大小的变化或者与形状、大小的变化一起使图标的颜色发生变化。例如，从蓝、绿、黄、红等冷色系变化为暖色系，由此操作员能够识别凭直觉的操作被聚焦并确定。(3)是X型形状，在处于远处的情况下，不仅大而且模糊，随着接近而图标的大小变小并且模糊消失而形成锐利的形状。(4)是图标整体的大小不变化而描绘在内部的图形发生形状变化以使能够识别聚焦的情形。在这种情况下，图形的颜色也能够发生变化。图26示出的(5)也是使形状发生变化的图标。在图26中，图标的形状、颜色等根据手指的动作而发生变化，当超过虚拟操作面时，瞬时变化为栏2601所示那样的各种形状、颜色，或者闪烁，从而能够使操作员识别动作被判断为操作。另外，虽然未图示，但是作为图标的其它变化，最初透明而随着手指接近虚拟操作面变得不透明这种变化也有效。

[0125] 在此，在图标的变化中特别是不使形状发生较大变化而使颜色、浓度发生变化的情况下，如图27所示，在使图标不怎么移动而使手指601接近时，颜色变为暖色系或者变浓，从而能够确定输入。

[0126] 另外，在上述例子中，为了确认操作的判断状况而显示图标并根据操作员的动作使图标的颜色、形状发生变化，但是例如图28、图29所示，在初始菜单那样预先指示的位置被固定的情况下，即使不特意显示图标，也根据手指601所指示的位置距离菜单的哪一个项目按钮最近来决定，根据手指601的动作、特别是距虚拟操作面的距离来改变对所指示的项目按钮涂抹的颜色或者涂抹浓度，由此能够使操作员识别虚拟操作面的位置从而容易地进行操作输入。图28是表示随着手指601的接近而所选择的该按钮的颜色从冷色系变化为暖色系的例子的图。作为本例的颜色的选择，当设为例如(2)蓝、(3)绿、(4)黄、(5)红时，操作员能够凭直觉识别在变为红时被确定。同样地，图29是表示使按钮的涂抹浓度发生变化的例子的图。

[0127] 作为同样的按钮选择例，还存在图43示出的一例，因此在进行说明时，示出如下情形：例如当图24的手指601伸长到超过虚拟操作面701的位置时，在画面上显示菜单4301，根据该手指601在X-Y方向的位置来选择项目4302。之后，当通过使手指601在左右上下方向上移动来使菜单的选择项目移动、在期望的项目静止固定时间时，进行与所选择的项目相应的处理。另外，在执行选择之前，当手指601移动到虚拟操作面701的后方时，还能够消除菜单。

[0128] 并且，参照图42来说明其它输入操作的例子。图42是表示通过本实施方式输入使画面所显示的图形移动的指示的一例的显示画面的图。通过使操作员的手或者手指触摸虚拟操作面而移动来进行指示。首先，当手指等接近画面时，使图标从画面4211的图标4201缩小为画面4212的图标4202来示出正在接近虚拟操作面。之后，当触摸到虚拟操作面时，如画面4213的图标4203那样例如使颜色发生变化而放置，当在这种状态下向上移动手指等时，显示画面4214的橡皮圈(ラバ一バンド)4204等来示出移动方向，由此操作员能够确认自己的操作。另外，当向右方向移动手指时，能够显示画面4215的橡皮圈4205。
这样，根据手指等到达虚拟操作面后的上下左右的拖拽距离来使伸缩的橡皮圈(在上图中为箭头)出现(图标4203的位置在从虚拟操作面拔出为止是固定的)，能够根据伸缩距离使移动速度发生变化，根据伸展角度使在3D空间内的移动方向发生变化(箭头前端追随手臂前部、手指尖的动作)。

[0129] 以上，针对图22、图23示出的操作员和监视器位于大致相同高度、即在操作员的水平方向前面大致垂直地形成虚拟操作面的情况，说明了本实施方式的原理，本原理不受这种操作员与监视器的位置关系、形状的影响而能够设为各种配置、结构。例如，在第2～4实施方式中说明的那样还能够应用于来自沙发、床的操作中，当然也能够使用放置台。

[0130] 并且，如图30所示，在将监视器111安装在操作员102的斜上方的情况下，通过倾斜地形成虚拟操作面，配合该倾斜形成的虚拟操作面使操作区域2301也倾斜，由此与上述情况同样地，操作员102通过如图30所示那样仰视监视器111并向前后移动手指能够进行操作。在这种情况下，三维照相机201也与监视器111一起倾斜，因此基本上与配置在水平位置的上述情况没有太大差异，但是，即使将照相机设置在其它位置处，也能够通过本技术领域中已知的任一方法进行位置校正等来算出操作员的部位与虚拟操作面的位置关系，从而判断操作。

[0131] 另外，如第四实施方式那样，在本实施方式的图像识别装置上连接地垫式传感器，通过在地垫上指示动作模式的同时利用使用了三维摄像装置的图像识别装置来更可靠地识别姿势等操作员的操作。具体地说，例如当脚踏图17示出的地垫1701上的L或者R时，进入操作模式并将操作员的动作作为姿势而执行识别处理，除此以外，将操作员的动作作为对象外的动作而不进行处理。在这种情况下，以杆1702、1703为基准来形成虚拟操作面。

[0132] (第六实施方式)

[0133] 本实施方式还能够将上述第一至第五实施方式中的任一个作为基础来使用，但是在第四以及第五实施方式中实施特别有效。本实施方式基本上能够使用与上述实施方式的结构、配置相同的系统。操作员的部位的检测、与虚拟操作面之间的位置关系的算出也同样地进行。即，如果将第四实施方式作为基础，操作员例如以标记为基准来识别虚拟操作面的位置并对该虚拟操作面进行各种动作，由此判断为固定的操作。另外，在将第五实施方式作为基础的情况下，操作员不使用标记等基准而通过监视画面的图标等的动作来识别自己的动作被判断为何种操作而进行动作，由此判断操作，虽然在任一实施方式中都未进行限定，但是仅针对利用操作员的一个部位访问系统的例子进行了说明。在本实施方式中，如图31所示，操作员并不是使用一个部位而是使用多个部位、例如两只手、多个手指等来同时访问系统。

[0134] 以往，难以将本实施方式要进行处理的所谓多触摸作为输入系统来使用。例如，不管使用哪一种方法，以往的触摸面板是在面板上的各点检测接触，但是当同时具有多个接触时，无法检测在哪一点上检测到接触。在本实施方式中，如上所述使用三维照相机能够分别立体地识别操作员的各部位，因此例如能够以虚拟操作面为基准，同时且正确地检测与虚拟操作面接触的多个部位的位置。因而，在本实施方式中，通过如图31所示使用两只手臂或者多个手指来在虚拟操作面上同时进行操作，作为系统，能够指示多个位置或者同时按下多个按钮。

[0135] 另外，作为这种使用了多个部位的操作，能够进行如下动作之类的动作：使用多个手指，通过直观的姿势、例如摘取图像的一部分并拉长的动作来进行放大动作。由此，不需要学习按每个系统预先决定的特殊的姿势而能够进行复杂的操作输入。例如，参照图32至图35来说明通过多触摸来执行扩展监视器111所显示的图像的操作。

[0136] 参照图32，操作员102以虚拟操作面701为基准将左手3101和右手3102向监视器侧伸出。操作员102利用从虚拟操作面701伸出的手指3201和3202来指示要操作的图像投射到虚拟操作面上所形成的图像影像3203，由此在监视器111中显示对象图像的边缘被两只手指捕捉到的情形，通过展开手指3201和3202，例如使手臂从图33示出的状态展开为图34示出的状态来扩展对象图像。此外，图32示出的虚拟影像3203被描绘成相对于虚拟操作面701稍微倾斜，但是这也表示例如操作员102通过使手指3202向监视器111侧伸出能够将对象图像向深度方向扩展、移动。

[0137] 即，在图33以及图34中示出从正面观察从侧面观察图32的操作的情形，通过该操作，初始显示的图像在虚拟操作面上的虚拟影像3203的边缘从图33的手指3201和3202的位置移动到图34示出的手指3401和3402的位置，被扩展为图像影像3403。图35示出基于上述操作的监视器111上的图像的情形。如图35所示，在监视器111上显示以手指3201和3202指示初始状态(1)下的图像3503的边缘3501和3502的情形，之后，当操作员展开手臂时，经由状态(2)而逐渐扩展至最终状态(3)的图像3503。这样，通过使用本实施方式的多触摸，不仅简单地按下菜单按钮、图标，还能够抓住或者扩展监视器上显示的图像。

[0138] 另外，在图36以及图37中示出使用多触摸的其它例。参照图36，通过将多个手指3601超过虚拟操作面701向前面伸出，来判断为是抓住显示在显示器上的、例如杯子等图像影像3602那样的操作，由此能够执行之后的通过手臂的动作使杯子移动等处理。图37是从正面观察该情形的图。此外，虚拟操作面701可以完全投影在监视器111上，也可以一部分投影在监视器111上。

[0139] 以上，当使用本实施方式时，能够在上述第一至第五实施方式中同时使用多个部位，因此能够进行复杂的操作、多个同时操作等，从而能够提供更有效的输入环境。

[0140] (第七实施方式)

[0141] 在本实施方式中使用与上述第一实施方式至第四实施方式相同的结构，但是不同点在于具有用于多个操作员各自的操作面形成基准。在多个操作员同时进行操作输入的情况下，例如对战游戏那样各个操作员的操作相互起作用时，进行计算机处理、画面显示。另一方面，还存在以下方式：例如与操作员的数量相应地对画面进行划分，由描绘不同处理的操作员进行处理。任一种情况都需要明确地辨别哪个操作员进行了哪种操作。在本实施方式中，通过对操作面形成基准附加ID识别功能、例如用色彩区分、使之具有不同形状、附加条形码等标记来辨别操作面形成基准，或者在能够简单地以左右、上下、前后等位置关系来进行识别时，通过该位置关系等来辨别操作面形成基准，将使用该基准输入的操作与基于其它操作面形成基准的操作分开来进行处理。

[0142] 对操作面形成基准实施的ID识别功能可以是上述的为了本实施方式的操作分析而使用的三维照相机能够进行识别的标记，也能够利用其它方法例如无线标签那样的标记来辨别位置关系，通过与三维照相机的影像对照这种方法来实现，但是并不限于此。

[0143] 图40是表示使用了这种多个操作面形成基准的系统的一例的图。在本例中，在附加于桌子4005上表面的标记4001和4002上形成虚拟操作面，各操作员4003和4004相对于所形成的该虚拟操作面移动手等，由此使该动作被识别为操作，在辨别操作员4003和4004的操作后进行之后的处理。此外，在本例中能够根据标记4001和4002的颜色来识别标记4001和4002。同样地，图41是表示使用了这种多个操作面形成基准的系统的另一例的图。能够通过标记4101和4102分开各操作员4103和4104的操作并进行处理。在本例中设为能够根据颜色或者形状来进行标记的识别。

[0144] 如上所述，在本实施方式中以能够识别多个操作面形成基准中的各操作面形成基准的方式来使用多个操作面形成基准，由此能够进行多个操作员的分别的操作输入，但是除了使用标记或者操作员的识别以外还使用第一实施方式至第四实施方式的装置或者方法。此外，在图40、图41中都是两名操作员，但是本实施方式还能够应用于更多操作员的情况。

[0145] (第八实施方式)

[0146] 本实施方式使用上述第一至第七实施方式中的任一个，并且进一步使要被判断的操作具有多样性。即，本实施方式也是操作员以在空间上虚拟地形成的虚拟操作面为基准，通过如同在此存在触摸面板那样的输入设备而进行操作，来可靠地判断其操作内容，但是，这样判断得到的操作的内容由虚拟操作面与操作员的手等身体的一部分或者身上所带的物体的位置关系来确定，其中，虚拟操作面远离操作员方向，该操作员位于虚拟操作面后侧方向。例如在作为远离操作员的方向的z轴方向上设定两层或者三层操作区域作为虚拟操作层，根据操作员的手进入到哪一层来确定操作的种类，根据手在该层内的动作来确定操作内容。此时，如果在操作员进行视觉识别的显示画面上显示手的位置、操作的种类等，则操作员能够更容易识别操作。此外，能够通过在第一实施方式等中说明的方法来获取操作员的一部分与分割各层的面之间的z方向距离。

[0147] 参照附图来更具体地说明本实施方式，与第一至第七实施方式同样地，图45示出的触发面701为本申请的发明的虚拟操作面，使用上述实施方式中的任一个，当手指601从触发面701向z轴方向进入时，判断为进行了操作。在本实施方式中，还将从触发面701起通过面4501和4502将作为目的地的操作区域分割为层A至C这三层，分配分别不同的操作种类。在图45的例子中，对层A分配对象的旋转操作，对层B分配放大缩小的操作，对层C分配对象的移动操作。在各层中通过移动手指601来执行所确定的操作。例如，在层A中，在手指601通过触发面701时，使所指定的对象以表示手指601的图标、例如以旋转图标4503所示的位置为中心与手指601的动作相应地旋转。在层B中，例如能够在监视器111中显示放大缩小图标4504，当向z方向移动手指601时对象使放大，当向相反方向移动手指601时使对象缩小。

[0148] 同样地，在层C中，在显示于监视器111中的所指定的对象上的手指601的位置处显示移动图标4505，能够使所指定的对象与手指601的动作相应地移动。在此，能够将分割层间的面4501和4502配置成使各层的厚度相同，还能够配置成根据分配给层的操作种类而使各层形成不同的厚度。例如在图45的例子中，对层B分配放大缩小的操作，但是由于必须以前后的动作表现放大缩小，与层A、层C相比较，一般在z方向上的动作变大，因此还能够将层B设得更厚来使操作容易进行。

[0149] 图46是表示本实施方式的其它图标的例子的图。在图46示出的例子中，对层A分配在监视器111上确定操作位置的操作，对层B分配“抓住”所确定的位置的对象的操作，对层C分配放弃所抓住的对象或者使所抓住的对象移动的操作。

[0150] 如上所述，在本实施方式中，在利用虚拟操作面而判断为是操作之后判断操作内容时，不仅根据手指、手的动作，还能够根据其在z方向的位置、即虚拟操作层来确定操作的种类，因此与仅利用手指、手的动作时需要准备很多各种姿势图案并且需要用户记住这些姿势图案相比，仅通过简单的动作就能够分开使用复杂的操作。

[0151] 此外，在上述特别是图45的例子中，配置了在各层间能够连续地进行手、手指等的一系列动作的操作，但是在配置成无法连续地进行操作的情况下(图46示出的例子)，如下两点成为问题。即，(1)在到达作为目的的虚拟操作层之前通过其它层，导致发出操作员不想要的指示，(2)在结束目的操作而从操作区域抽出手的情况下，通过其它虚拟操作层而导致发出操作员不希望的指示。为了避免上述问题，例如考虑如下方法等。即，将与进行操作的手相反的手插入到操作区域内的多传感的状态(例如在利用右手进行操作的情况下，将左手放入到操作区域内的状态)设定为无操作(或者相反设定为进行操作)的状态，根据与进行操作的手相反的手的抽出和放入来判断是否进行各层的操作(在本例中利用两只手进行操作，但是可以考虑在XY平面上设置手挤过用区域等各种方法)。