数据输入装置

摘要

在本发明的一个方式的数据输入装置中，位置检测部检测基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置的第一位置和基于与上述身体的一部分不同的另一部分的位置的第二位置。描画输入检测部基于上述位置检测部检测到的上述第一位置确定检测描画输入的输入检测区域，基于上述第二位置是否包含于上述输入检测区域中来检测上述描画输入。注视位置检测部检测与上述位置检测部检测到的上述第二位置对应的图像显示面上的注视位置。图像形成部在上述描画输入检测部检测到描画输入时，形成表示上述注视位置检测部检测到的注视位置的图像。

权利要求

1.一种数据输入装置，其特征在于，包括：

位置检测部，其检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与所述身体的一部分不同的另一部分的位置；

描画输入检测部，其基于所述位置检测部检测到的所述第一位置确定检测描画输入的作为三维空间的输入检测空间，基于所述第二位置是否包含于所述输入检测空间中来检测所述描画输入；

注视位置检测部，其检测与所述位置检测部检测到的所述第二位置对应的图像显示面上的注视位置；和图像形成部，其在所述描画输入检测部检测到描画输入时，形成表示所述注视位置检测部检测到的注视位置的图像，所述位置检测部还检测第三位置，该第三位置基于所述摄像装置拍摄到的影像中显示的用户的身体的又一部分的位置，所述描画输入检测部以所述位置检测部检测到的第三位置为基准，决定所述输入检测空间的一个边界。

2.如权利要求1所述的数据输入装置，其特征在于：所述图像形成部根据所述第二位置的进深方向上的坐标值决定关于所述图像的处理的信息。

3.如权利要求1或2所述的数据输入装置，其特征在于：包括检测所述身体的另一部分的形状的第一形状检测部，所述图像形成部基于所述第一形状检测部检测到的形状决定关于所述图像的处理的信息。

4.如权利要求1或2所述的数据输入装置，其特征在于：包括检测所述身体的又一部分的形状的第二形状检测部，所述图像形成部基于所述第二形状检测部检测到的形状决定关于所述图像的处理的信息。

5.如权利要求1或2所述的数据输入装置，其特征在于：所述用户的身体的一部分为面部，所述身体的另一部分为左右手中的任一只手。

6.如权利要求1或2所述的数据输入装置，其特征在于：所述用户的身体的一部分为面部，所述身体的另一部分为左右手中的任一只手，所述用户的身体的又一部分为与所述一只手不同的另一只手。

7.一种数据输入装置的数据输入方法，其特征在于，包括：位置检测步骤，检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与所述身体的一部分不同的另一部分的位置；

描画输入检测步骤，基于在所述位置检测步骤中检测到的所述第一位置确定检测描画输入的作为三维空间的输入检测空间，基于所述第二位置是否包含于所述输入检测空间中来检测所述描画输入；

注视位置检测步骤，检测与在所述位置检测步骤中检测到的所述第二位置对应的图像显示面上的注视位置；和图像形成步骤，在所述描画输入检测步骤中检测到描画输入时，形成表示在所述注视位置检测步骤中检测到的注视位置的图像，在所述位置检测步骤中，还检测第三位置，该第三位置基于所述摄像装置拍摄到的影像中显示的用户的身体的又一部分的位置，在所述描画输入检测步骤中，以所述位置检测步骤中检测到的第三位置为基准，决定所述输入检测空间的一个边界。

说明书

数据输入装置

技术领域

[0001] 本发明涉及数据输入装置。

[0002] 本申请基于2012年11月22日在日本提出申请的日本特愿2012-256552号主张优先权，此处引用其内容。

背景技术

[0003] 作为用于操作计算机、游戏机、视频电话会议系统等设备的用户界面提案有各种设备和方法。

[0004] 例如，专利文献1中记载的信息输入装置从指示棒的红外线发送部发送红外线，同时从超声波发送部发送超声波，根据接收到红外线的时间与接收到超声波的时间之差，输入指示棒在显示器上的指示位置。

[0005] 此外，专利文献2中记载的信息处理装置对被照射光的信息输入面的图像进行拍摄，根据基于拍摄图像的信息输入面中的亮度分布检测到的输入装置的信息输入面上的位置，进行信息的处理。

[0006] 现有技术文献

[0007] 专利文献

[0008] 专利文献1：日本特开平9-212299号公报

[0009] 专利文献2：日本特开2011-113191号公报

发明内容

[0010] 发明所要解决的问题

[0011] 但是，在专利文献1中记载的信息输入装置，作为在位置信息的输入中使用的输入器件，使用指示棒等专用的输入器件，因此在用途上存在制约。例如，在应用于多人参加的视频电话会议的情况下，需要与参加人数相应的数量的输入器件。此外，在电子广告装置(数字标牌)等对一般公众公开的情况下，容易发生输入器件的破损和遗失等。进一步，在输入器件与装置本体之间，由于使用传输特性受气候影响的红外线进行信息的传送，在屋外进行利用时存在不适合的情况。

[0012] 此外，在专利文献2中记载的信息处理装置，作为用于进行手写字符等的输入的信息输入面，需要如书桌和桌子等那样具有物理的平面的配合部件。即，在不能设置该配合部件的状况下，存在应用受到制约的情况。例如，在应用于设置在街头的电子广告装置的情况下，存在不能确保设置该配合部件的空间的情况。即使能够确保，也存在用户不能接近显示图像的显示装置的情况、或对用户而言不能够将信息输入面与显示装置的显示面配置在同一方向上等的障碍。因此，存在能够应用的场合被限定，不能够有效地进行使用的情况。

[0013] 本发明是鉴于上述的问题而完成的，因此其目的在于提供不使用专用的器件就能够流畅地进行描画输入的数据输入装置。

[0014] 用于解决问题的技术方案

[0015] (1)本发明用于解决上述问题，本发明的一个技术方案的数据输入装置包括：位置检测部，其检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测部，其基于上述第一位置和上述第二位置来检测上述描画输入；注视位置检测部，其检测与上述位置检测部检测到的上述第二位置对应的图像显示面上的注视位置；
和图像形成部，其在上述描画输入检测部检测到描画输入时，形成表示上述注视位置检测部检测到的注视位置的图像。

[0016] (2)根据本发明的其它技术方案，在上述数据输入装置，上述图像形成部根据上述第二位置的进深方向上的坐标值决定关于上述图像的处理的信息。

[0017] (3)根据本发明的其它技术方案，上述的数据输入装置还包括检测上述身体的另一部分的形状的第一形状检测部。此外，上述图像形成部基于上述第一形状检测部检测到的形状决定关于上述图像的处理的信息。

[0018] (4)根据本发明的其它技术方案，在上述数据输入装置，上述位置检测部检测第三位置，该第三位置基于上述摄像装置拍摄到的影像中显示的用户的身体的又一部分的位置。此外，上述描画输入检测部以上述位置检测部检测到的第三位置为基准，决定上述输入检测区域的一个边界。

[0019] (5)根据本发明的其它技术方案，上述的数据输入装置还可以包括检测上述身体的又一部分的形状的第二形状检测部。此外，上述图像形成部还可以基于上述第二形状检测部检测到的形状决定关于上述图像的处理的信息。

[0020] (6)根据本发明的其它技术方案，在上述数据输入装置，上述用户的身体的一部分也可以为面部，上述身体的另一部分也可以为左右手中的任一只手。

[0021] (7)根据本发明的其它技术方案，在上述数据输入装置，上述用户的身体的一部分也可以为面部，上述身体的另一部分也可以为左右手中的任一只手，上述用户的身体的又一部分也可以为与上述一只手不同的另一只手。

[0022] (8)根据本发明的其它技术方案，在上述数据输入装置，上述用户的身体的一部分也可以为眼睛，上述身体的另一部分也可以为左右手中的任一只手。

[0023] (9)根据本发明的其它技术方案，在上述数据输入装置，上述用户的身体的一部分也可以为眼睛，上述身体的另一部分也可以为左右手中的任一只手，上述用户的身体的又一部分也可以为与上述一只手不同的另一只手。

[0024] (10)本发明其它技术方案的数据输入装置的数据输入方法包括：位置检测步骤，检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测步骤，基于在上述位置检测步骤中检测到的上述第一位置和上述第二位置，检测描画输入；注视位置检测步骤，检测与在上述位置检测步骤中检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成步骤，在上述描画输入检测步骤中检测到描画输入时，形成表示在上述注视位置检测步骤中检测到的注视位置的图像。

[0025] (11)本发明其它技术方案的数据输入程序使数据输入装置的计算机执行以下步骤：位置检测步骤，检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测步骤，基于在上述位置检测步骤中检测到的上述第一位置和上述第二位置，检测描画输入；注视位置检测步骤，检测与在上述位置检测步骤中检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成步骤，在上述描画输入检测步骤中检测到描画输入时，形成表示在上述注视位置检测步骤中检测到的注视位置的图像。

[0026] 发明的效果

[0027] 根据本发明的技术方案，不使用专用的器件就能够流畅地进行数据输入。

附图说明

[0028] 图1是表示本发明的第一实施方式的显示装置的外观结构的示意图。

[0029] 图2是表示本实施方式的显示装置与用户的位置关系的平面图。

[0030] 图3是表示本实施方式的显示装置的结构的框图。

[0031] 图4是表示左图像和右图像的一个例子的示意图。

[0032] 图5是表示图像块的例子的示意图。

[0033] 图6是表示拍摄面的位置关系的示意图。

[0034] 图7是表示本实施方式的用户信息解析部的结构的示意图。

[0035] 图8是表示本实施方式的输入检测区域的一个例子的示意图。

[0036] 图9是表示本实施方式的操作检测区域的例子的示意图。

[0037] 图10是表示本实施方式的输入检测区域的另一个例子的示意图。

[0038] 图11是表示注视位置的例子的示意图。

[0039] 图12是表示本实施方式的控制部22的结构的概略图。

[0040] 图13是表示本实施方式的显示装置的一个动作例的示意图。

[0041] 图14是表示本实施方式的图像的一个显示例的示意图。

[0042] 图15是表示本实施方式的图像的另一个显示例的示意图。

[0043] 图16是表示本实施方式的图像的另一个显示例的示意图。

[0044] 图17是表示本实施方式的输入检测图像的一个显示例的示意图。

[0045] 图18是表示本实施方式的数据输入处理的流程图。

[0046] 图19是表示本发明的第二实施方式的输入检测区域的一个例子的示意图。

[0047] 图20是表示本实施方式的数据输入处理的流程图。

[0048] 图21是表示本发明的第三实施方式的线的粗细与指定位置的关联的示意图。

[0049] 图22是表示本实施方式的线的粗细的设定例的图。

[0050] 图23是表示本实施方式的图像的一个显示例的示意图。

[0051] 图24是表示本实施方式的图像的另一个显示例的示意图。

[0052] 图25是表示本实施方式的线的种类的选择例的示意图。

[0053] 图26是表示本实施方式的引导图像的例子的图。

[0054] 图27是表示本实施方式的数据输入处理的流程图。

[0055] 图28是表示本发明的第四实施方式的线的种类的选择例的示意图。

[0056] 图29是表示本实施方式的引导图像的例子的图。

[0057] 图30是表示本实施方式的数据输入处理的流程图。

具体实施方式

[0058] (第一实施方式)

[0059] 以下，参照附图对本发明的实施方式进行详细说明。

[0060] 图1是表示本实施方式的显示装置10的外观结构的示意图。

[0061] 在图1，显示装置10是显示影像的装置，例如电视接收机、数字标牌(电子看板)装置、视频会议装置。显示装置10在正面下边的中央部设置有摄像装置11，以覆盖正面的大部分的方式设置有显示部12。

[0062] 摄像装置11是对面前方向的影像进行拍摄的、例如立体摄像机。摄像装置11例如包括相互分离地设置在左右方向上且对前方进行拍摄的摄像部110a、110b。摄像部110a、110b分别是摄像机单元。

[0063] 显示部12是基于从内置的控制部22(图3)输入的图像信号显示图像的显示器。另外，显示装置10还可以包括输出声音的扬声器(未图示)。

[0064] 操作者13是操作显示装置10的用户。操作者13面对显示装置10的正面，以规定的姿势、例如身体的手势、姿势(gesture)传达用户信息(意思)。内置于显示装置10的用户信息解析部201(图3)取得表示由摄像装置11拍摄到的图像表现的操作者13的身体的一部分的姿势的用户信息。在用户信息中例如包含手指示等手的形状或握拳、表示其动作方式的信息。显示装置10执行与通过摄像装置11取得的用户信息对应的处理。由此，操作者13能够通过手指示等手的形状或握拳、及其动作方式来操作显示装置10的处理。

[0065] 在显示装置10，预先设定有受理操作者13的操作的可操作区域，该区域是以自己的位置为基准的预先设定的区域。在显示装置10，作为可操作区域例如设定有从显示装置10的中心部至操作者13的手的位置为止的面前方向的距離即可操作距離的上限(例如3m)。
其中，可操作区域的左右方向例如能够在摄像装置11的视野角的范围内设定。在这种情况下，不需要进行左右方向的设定。在显示装置10，不受理比可操作距离的上限离得更远的用户、即不可操作者14的操作。关于对受理操作的用户进行判别的处理，在之后进行详细说明。

[0066] 在图1所示的例子中，摄像装置11设置在显示装置10的正面下边，但是并不限定于此。例如，摄像装置11也可以设置在显示装置10的正面上边，还可以设置在离开显示装置10的位置。

[0067] 摄像装置11还可以设置在比操作者13的脸部的高度、特别是眼睛的高度高的位置。因此，预先考虑操作者13所在的地面的高度与人的平均身高来决定摄像装置11的高度。此外，在显示装置10设置在例如地面等比较低的位置的情况下，摄像装置11也可以设置在比显示部12高的位置。

[0068] 由此，摄像装置11能够从比操作者13的脸部高的位置对表现操作者13的身体的影像进行拍摄，能够防止由于手指示等手的形状或握拳、及其动作方式而遮挡操作者13的脸部。因此，控制部22能够稳定地执行使用操作者13的面部的图像进行的操作者的识别、脸部的位置的检测、操作的检测等处理。关于这些处理，在之后进行说明。

[0069] 图2是表示本实施方式的显示装置10与用户的位置关系的平面图。

[0070] 在图2，上下分别表示显示装置10的里侧、面前的方向。图2所示的操作者13、不可操作者14和显示装置10的位置关系相同。此处，在图2，操作者13位于显示装置10的正面，处于距显示装置10的距离比可操作距离的上限短的(近的)位置。与此相对，不可操作者14位于显示装置10的正面，处于距显示装置10的距离比可操作距离的上限长的(远的)位置。

[0071] 通过如上述那样设定可操作距离的上限，控制部22(图3)限制多个用户同时进行操作的机会、输入表示被误认作操作的动作(例如从数字标牌装置的附近通过的行人的手势)的图像的机会。即使在例如如设置在公共场所的数字标牌装置那样、显示装置10同时被多个用户使用的情况下，也能够避免收看收听影像的用户进行无意的处理。

[0072] [显示装置的结构]

[0073] 接着，对本实施方式的显示装置10的结构进行说明。

[0074] 图3是表示本实施方式的显示装置10的结构的框图。

[0075] 显示装置10包括摄像装置11、图像处理装置20、信息DB(Database，数据库)21、控制部22和显示部12。另外，显示装置10中，作为数据输入装置，如果包括图像处理装置20、信息DB21和控制部22，也可以与摄像装置11和显示部12分别地设置。

[0076] 摄像装置11生成表示所拍摄到的影像的影像信号，将所生成的影像信号输出至图像处理装置20。图像处理装置20取得表示基于从摄像装置11的影像信号判别的操作者的操作者信息、表示操作者的身体的一部分所处的位置的第一空间信息、表示操作者的身体的一部分的形状的用户信息。图像处理装置20将所取得的操作者信息、第一空间信息和用户信息作为检测信息输出至控制部22。

[0077] 在信息DB21存储有根据基于表示操作者13的影像的影像信号的操作输入进行显示的显示信息。显示信息例如是表示影像内容等的影像信号、表示新闻等的文本信息、从网络接收到的内容的内容信息、表示引导图像(操作指南)的引导图像信号。关于引导图像的详细情况在之后进行说明。

[0078] 控制部22从由图像处理装置20输入的检测信息提取第一空间信息和用户信息。控制部22在所提取的第一空间信息表示的操作者13的位置为被预定的可操作区域的范围内的情况下，进行与所提取的用户信息对应的处理。此处，控制部22例如判断第一空间信息表示的操作者13的距离是否比预先设定的可操作距离的上限小。所谓的与用户信息对应的处理，例如是关于引导图像的显示、影像内容的显示、来自网络的信息探索、与探索到的信息相关的影像内容等和新闻等保存、所保存的信息的显示等各种影像显示的处理。

[0079] 控制部22将被指示保存的信息作为显示信息存储在信息DB21。控制部22将被指示显示的显示信息从信息DB21读出，将表示所读出的显示信息的影像信号输出至显示部12。控制部22将被指示停止显示信息的输出停止。

[0080] 显示部12将从控制部22输入的影像信号作为影像进行显示。由此显示通过操作者13进行的操作而被选择的影像内容和新闻的影像、以及引导图像。

[0081] 由此，信息DB21和控制部22构成显示控制装置(未图示)，执行对从图像处理装置20输入的检测信息中包含的用户信息所表示的内容进行选择的处理、以及显示所选择的内容的处理。

[0082] 摄像装置11包括摄像部110a、110b。摄像部110a、110b生成表示所拍摄到的影像的影像信号，将所生成的影像信号输出至图像处理装置20。摄像部110a将所生成的影像信号输出至用户信息解析部201。摄像部110a、110b例如是包括光学系统和摄像元件的摄像机，其中，该光学系统包括将从被摄体入射的光聚光的透镜，该摄像元件将被聚光后的光转换为电信号。摄像部110a、110b所具备的拍摄素子例如是CCD(Charge Coupled Device：电荷耦合器件)元件、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)元件。

[0083] 图像处理装置20包括距离计算部200、用户信息解析部201。

[0084] 距离计算部200从摄像部110a、110b输入各影像信号。距离计算部200基于被分别输入的影像信号，使用例如立体匹配方式计算表示从摄像装置11至被摄体(例如操作者13)为止的距离的距离信息。

[0085] [距离信息的计算]

[0086] 此处，对使用作为立体匹配方式的一种的块匹配(block matching)方式的距离信息的计算方法进行说明。在立体匹配方式中，作为距离值，对摄像部110a、110b拍摄到的影像的视差值进行计算。在以下的说明中，将摄像部110a拍摄到的影像中包含的图像中的某个时刻的图像称为左图像。将摄像部110b拍摄到的影像中包含的图像中的该时刻的图像称为右图像。

[0087] 在立体匹配方式中，对作为左图像的一部分区域的左图像块和作为对应的区域的右图像块进行探索。此处，以左图像和同时拍摄的右图像为例进行说明。

[0088] 图4是表示左图像和右图像的一个例子的示意图。

[0089] 图4在左侧表示左图像400，在右侧表示右图像410。

[0090] 距离计算部200在左图像400设定以注视像素为中心的左图像块(窗口)401。左图像块401中所含的左右方向3个、上下方向3个、共计9个四边形分别表示像素。从图4中的左图像400的右端至左图像块401的右端为止的水平方向的距离为L像素(L个像素的距离)。L是1或比1大的整数。

[0091] 距离计算部200在右图像410将上下方向的坐标与左图像块401相同、且在距右图像410的右端的距离为L+d2处具有右端的右图像块411设定为初始值。d2是预先设定的整数值，表示视差值的最大值。右图像块411的大小和形状与左图像块401相同。

[0092] 距离计算部200计算左图像块401与右图像块411之间的指标值。距离计算部200将右图像块411的位置从初始值的位置偏移至右图像块411的右端距右图像410的右端的距离成为L像素为止，在各个偏移后的位置计算指标值。距离计算部200基于计算出的指标值决定左图像块401和处于对应的位置的右图像块411。作为指标值，例如在使用SAD(Sum of Absolute Difference：绝对差值和)值的情况下，决定处于SAD值最小的位置的右图像块411。该位置是与左图像400的注视像素对应的注视点。相对于注视点与注视像素之间的水平方向的坐标的差的绝对值是为视差。距离计算部200对左图像400中所包含的各像素执行，作为距离信息生成表示摄像部110a拍摄到的影像中所包含的每个像素的视差值的视差信息(也称为“视差图”、Disparity map)。视差存在从摄像装置11至被摄体为止的距离越短就越大、距离越差就越小的关系。距离计算部200将所生成的距离信息输出至用户信息解析部201。

[0093] 视差图是按每像素具有以由预定的位数表示的整数值(例如在8位的情况下为最小值0-最大值255)表示的视差值的、灰阶化后的位图图像。另外，距离计算部200也可以根据作为摄像部110a与摄像部110b的间隔的基线长度等摄像机参数，将视差转换为从摄像装置11至被摄体为止的被摄空间的距离，生成表示转换后的距离的距离信息。因此，距离计算部200也可以代替表示每像素的视差值的距离信息、作为距离信息进行生成将转换后的距离灰阶化而得到的位图图像(深度图)。

[0094] 另外，摄像部110a、110b也可以在上下方向上配置在不同的坐标值，各自使用表示拍摄到的图像的拍摄图像计算视差。在这种情况下，距离计算部200以摄像部110a、110b中的任一摄像部拍摄到的图像的图像块为基准，将另一个摄像部拍摄到的图像的图像块在上下方向上进行偏移而探索对应的图像块即可。

[0095] 距离计算部200在计算SAD值时，例如使用式(1)。

[0096] [数1]

[0097]

[0098] 在式(1)中，xi是包含于左图像块401的、例如绿色(G：Green)的每个像素的像素值。8是1个的图像块中所包含的像素数的一个例子。与像素值x0～x8分别对应的像素的配置如图5的左侧所示那样为按各行中的每一行从左端向右端去、在行间从最上行向最下行去的顺序。xai是右图像块411中所包含的每个像素的像素值。与像素值xa0～xa8分别对应的像素的配置如在图5的右侧所示那样为在各行中的每一行从左端向右端去、在行间从最上行向最下行去的顺序。

[0099] 指标值并不限定于SAD值。只要是表示左图像块401中所包含的像素值与右图像块411中所包含的像素值的相关关系的值，也可以为其它指标值，例如SSD(Sum of Squared Differences：差的平方和)值，DP(Dynamic Programming：动态规划)值。

[0100] 作为左图像块401、右图像块411的大小的窗口尺寸并不限定于上述那样水平方向3像素×上下方向3像素。例如也可以如水平方向5像素×上下方向5像素、水平方向9像素×上下方向9像素那样比上述大，还可以如水平方向4像素×上下方向4像素那样中心坐标成为从注视点偏移的位置。此外，将右图像块411偏移的方向并不限定于上述那样从左侧至右侧，也可以从右侧至左侧。左图像块401、右图像块411中所包含的像素并不限定于绿色(G)的像素的信号值，也可以为其它色、例如红色(R：Red)的像素的信号值，还可以为基于其它表色系统的像素的信号值和它们的任意的组合。

[0101] 在上述的块匹配方式中，假定左图像400的一个坐标与右图像410的对应的坐标在左右方向上偏移，在上下方向上不偏移，左图像400与右图像410的极线一致。如上述那样以使得摄像部110a、110b的光轴平行的方式进行配置使为了使极线(epipolar：核线)(也称为辅助线)一致。为了使极线一致，也可以根据距离计算部200预先取得的摄像部110a、110b的摄像机参数对拍摄到的图像信号进行坐标转换的处理，以使得左图像400与右图像410的光轴平行。该进行坐标转换的处理被称为矫正(rectification)或偏移修正。距离计算部200在进行该处理之后生成距离信息。

[0102] 极线是如图6所示那样外极平面453与两个摄像部110a、110b各自具备的拍摄面454、455分别交叉的线456、457。外极平面453是从两个摄像部110a、110b各自具备的透镜的焦点450、451和被摄空间的特征点452的三个点通过的平面。

[0103] 在摄像部110a、110b以各自的光轴平行的方式配置的情况下，极线456、457在左图像400、右图像410上下方向的坐标分别成为同一水平线。

[0104] [用户信息的解析]

[0105] 接着，对用户信息解析部201的结构进行说明。

[0106] 图7是表示本实施方式的用户信息解析部201的结构的示意图。

[0107] 用户信息解析部201包括面部检测部30、眼睛位置检测部31、手位置检测部32、手形状和指尖位置检测部33、注视位置检测部35、操作者判别部39、描画输入检测部40和检测信息输出部41。

[0108] [用户的脸部的检测]

[0109] 面部检测部30对表示从摄像部110a输入的影像信号所表示的操作者的脸部的图像的区域进行检测。面部检测部30生成所检测到的脸部的区域的代表点(例如重心点)的二维坐标、以及表示该区域的上端、下端、左端、右端的二维坐标的二维面部区域信息。面部检测部30从由距离计算部200输入的距离信息提取与二维脸部区域信息所表示的二维坐标的像素相关的距离值。面部检测部30将与前述的二维坐标对应的距离值转换为被摄空间的三维坐标，生成三维脸部位置信息。

[0110] 为了对面部的区域进行检测，面部检测部30例如从被输入的图像信号提取存在于表示预先设定的面部的色彩(例如肤色)的颜色信号值的范围的像素。

[0111] 另外，面部检测部30也可以预先设置存储有表示人的面部的浓淡(单色)图像信号的存储部。因此，面部检测部30按每个包括有多个像素的图像块计算从存储部读出的浓淡图像信号与所输入的图像信号的相关值，将计算出的相关值比预定的阈值大的图像块检测为面部的区域。

[0112] 此外，面部检测部30也可以根据所输入的图像信号计算特征量(例如Haar-Like特征量)，根据计算出的特征量进行预定的处理(例如Adaboost算法)，检测面部的区域。面部检测部30检测面部的区域的方法并不限定于上述的方法，只要是从所输入的图像信号检测面部的区域的方法，使用任何方法均可。

[0113] 面部检测部30将表示检测到的面部的图像的面部图像信号输出至眼睛位置检测部31。面部检测部30将所生成的三维脸部位置信息和二维面部区域信息输出至操作者判别部39。面部检测部30将所生成的三维脸部位置信息作为检测信息的一部分输出至检测信息输出部41。

[0114] [眼睛的位置的检测]

[0115] 眼睛位置检测部31从由面部检测部30输入的面部图像信号所表示的面部的图像检测眼睛的区域。眼睛位置检测部31计算作为所检测到的眼睛的区域的代表点(例如重心点)的二维的眼睛位置坐标。眼睛位置检测部31从由距离计算部200输入的距离信息提取处于所检测到的眼睛位置坐标的像素的距离值。眼睛位置检测部31将计算出的二维的眼睛位置坐标和所提取的距离值的组转换为被摄空间的三维的眼睛位置坐标，生成三维眼睛位置信息。眼睛位置检测部31将表示计算出的三维的眼睛位置坐标的三维眼睛位置信息输出至注视位置检测部35和操作者判别部39。眼睛位置检测部31将表示检测到的眼睛的区域的图像的目区域信号、表示计算出的二维的眼睛位置坐标的二维眼睛位置信息输出至操作者判别部39。

[0116] 眼睛位置检测部31为了检测眼睛的区域而例如设置有存储预先拍摄的眼睛的模板图像的存储部。眼睛位置检测部31也可以使用从存储部读出眼睛的模板图像、将所读出的模板图像与被输入的面部图像信号进行对照的模板匹配方法。此外，眼睛位置检测部31也可以使用被输入的面部图像信号所表示的面部的区域中、表示预先设定的面部的眼睛的位置关系(例如预先测量的面部的区域与两眼的位置)的眼睛位置信息来检测眼睛的区域。此外，眼睛位置检测部31还可以根据被输入的面部图像信号计算特征量(例如Haar-Like特征量)、根据计算出的特征量进行预定的判别处理(例如Adaboost算法)，检测眼睛的区域。

[0117] 眼睛位置检测部31检测眼睛的区域的方法并不限定于上述的方法，只要是从面部图像信号检测眼睛的区域的方法，使用任何方法均可。

[0118] 眼睛位置检测部31也可以无论是否为两眼的重心点均作为检测的眼睛的区域输出左眼和右眼的位置、以及表示它们的全部的眼睛区域信号。

[0119] [手的位置的检测]

[0120] 手位置检测部32对表示由摄像部110a输入的影像信号所表示的操作者的手的图像的区域进行检测，并计算所检测到的手的位置。

[0121] 为了检测表示手的图像的区域，手位置检测部32例如从被输入的影像信号提取处于预先设定的表示手的表面的色彩(例如肤色)的颜色信号值的范围的像素。手位置检测部32作为手的位置计算表示所检测到的手的图像的区域的代表点(例如重心点)的二维坐标值。手位置检测部32从由距离计算部200输入的距离信息提取与计算出的坐标值对应的距离值，并将与计算出的二维坐标值对应的距离值的组转换为被摄空间的三维坐标，生成三维手位置信息。手位置检测部32将表示所检测到的手的区域的图像的手图像信号和表示计算出的代表点的二维坐标值的手位置信息输出至手形状和指尖位置检测部33。手位置检测部32将三维手位置信息输出至操作者判别部39。

[0122] 另外，手位置检测部32既可以不区别左手或右手地生成手图像信号、手位置信息并进行输出，也可以区别左手或右手地生成手图像信号、手位置信息并进行输出。

[0123] 此外，为了检测表示手的图像的区域，手位置检测部32也可以根据由距离计算部200输入的距离信息，从由摄像部110a输入的影像信号提取处于以由面部检测部30输入的三维脸部位置信息所表示的三维脸部位置为基准的预定的进深方向的、以开始点和结束点表示的距离范围内的图像，作为表示手的图像的区域，其中，该进深方向的开始点和结束点。预定距离范围例如是与三维脸部位置相比位于前方(显示部12侧)的范围。由此，能够防止将位于操作者的前方或后方的其它人的手识别为操作者的手。

[0124] [手的形状和指尖位置的检测]

[0125] 手形状和指尖位置检测部33根据由手位置检测部32输入的手图像信号和手位置信息检测手的形状。

[0126] 为了检测手的形状，手形状和指尖位置检测部33从手图像信号进行例如边缘提取处理，检测手的轮廓部分。手形状和指尖位置检测部33将所检测到的轮廓部分中具有预定的范围的曲率半径(例如6-12mm)的突起部分作为手指的区域的图像进行探索。手形状和指尖位置检测部33在探索中在自位置信息所表示的代表点起的规定的半径的探索区域判断上述突起部分的有无，通过依次变更半径而呈同心圆状更新探索区域。手形状和指尖位置检测部33根据所检测到的手指的区域对手指的个数进行计数。手形状和指尖位置检测部33将所检测到的突起部分的顶点作为表示各手指的指尖位置的二维坐标进行检测。手形状和指尖位置检测部33从由距离计算部200输入的距离信息提取处于所定的指尖的二维坐标的像素的距离值。手形状和指尖位置检测部33将所提取的距离值和指尖的二维坐标的组生成表示被摄空间的三维坐标的三维指尖位置信息。手形状和指尖位置检测部33将所生成的三维指尖位置信息输出至注视位置检测部35。手形状和指尖位置检测部33将表示所检测到的手指的区域的手指图像信号、表示手指的个数的个数信息、表示指尖的二维坐标的二维指尖位置信息作为检测信息的一部分输出至检测信息输出部41。手指图像信号、个数信息和二维指尖位置信息中的任一信息或它们的组合由于是表示手的形状的信息所以总称为手形状信息。

[0127] 此外，手形状和指尖位置检测部33检测手形状信息的方法并不限定于上述的方法，只要是从手图像信号检测手指图像信号和指尖位置信息等手形状信息的方法，使用任何方法均可。

[0128] [注视位置的检测]

[0129] 接着，对检测注视位置的处理进行说明。注视位置是操作者注视的位置或被推定为注视的位置。

[0130] 注视位置检测部35根据由眼睛位置检测部31输入的三维眼睛位置信息和由手形状和指尖位置检测部33输入的三维指尖位置信息检测注视位置。

[0131] 注视位置检测部35例如根据三维眼睛位置信息所表示的眼睛的位置决定基准位置。注视位置检测部35既可以将任一只眼睛的位置决定为基准位置，也可以将两眼的位置的重心点决定为基准位置。此外，作为任一只眼睛，也可以对预先设定的操作者的优势眼进行预先设定。在以下的说明中，以将两眼的位置的重心点决定为基准位置的情况为例进行说明，但是本实施方式并不限定于此。

[0132] 之后，注视位置检测部35作为注视位置计算从基准位置延伸至三维指尖位置信息所表示的位置的直线与显示部12的显示面的交点。即，注视位置检测部35作为注视位置检测与指尖的位置对应的显示面上的位置。该注视位置是操作者的指尖指示显示部12的显示面上的位置。另外，将三维指尖位置信息所表示的位置称为指定位置。

[0133] 注视位置检测部35将计算出的注视位置转换为显示部12的显示面上的二维图像坐标系，生成表示转换后的注视位置的注视位置信息。注视位置检测部35将所生成的注视位置信息作为检测信息的一部分输出至检测信息输出部41。

[0134] 由此，操作者能够以操作者的眼睛的位置(注视位置检测的基准位置)为中心，指示在操作者的手(注视位置检测的指定位置)的延长线上的注视位置，容易地进行该位置的描画。

[0135] 此外，操作者表示注视位置的手的形状为将手张开的形状、以及将食指伸直的形状、将手握起的形状等，只要是三维指尖位置信息能够取得的形状，为任何手的形状均可。

[0136] [操作者的判别]

[0137] 接着，对操作者的判别处理进行说明。

[0138] 操作者判别部39根据由面部检测部30输入的三维脸部位置信息，作为操作者判别检测到面部的区域的用户中处于预定的可操作距离的区域的用户(参照图1、2)。操作者判别部39例如将面部处于三维脸部位置信息所表示的距离与预定的可操作距离的上限相比距摄像装置11的距离更短的位置的用户判别为操作者。由此，从面部检测部30检测到面部的用户中判别操作者。另一方面，操作者判别部39将处于预定的可操作区域外的用户判别为不可操作者。

[0139] 操作者判别部39对处于可操作区域的用户的身体的另一部分(例如手)是否处于操作检测区域进行判断。此处，操作者判别部39判断由手位置检测部32输入的三维手位置信息所表示的位置是否包含于操作检测区域中。操作检测区域是包含于可操作区域中的区域，是从基于用户的身体的一部分(例如眼睛)的位置的基准位置(例如一只眼睛的位置、两眼睛的中点等)起预定的范围中的一个区域。操作者判别部39例如基于由面部检测部30输入的三维脸部位置信息和/或由眼睛位置检测部31输入的三维眼睛位置信息决定基准位置，基于所决定的基准位置决定操作检测区域。在以下的说明中，有时将该三维手位置信息所表示的位置称为指定位置。操作者判别部39从由手位置检测部32输入的三维手位置信息选择表示判断为包含于可操作区域的位置的三维手位置信息。

[0140] 此外，操作者判别部39也可以将可操作区域中所包含的区域的个数限制为一个(排他控制)。此处，操作者判别部39在判断为指定位置处于操作检测区域的范围内的情况下，将使身体的另一部分(例如手)处于指定位置的用户判断为操作者13。在这种情况下，操作者判别部39根据与该操作者相关的检测信息将表示操作已经开始的操作开始信号输出至检测信息输出部41。例如，操作者判别部39通过这样决定操作检测区域，将使身体的另一部分移动至该区域(例如面部的前面)的用户判断为操作者。

[0141] 操作者判别部39在由手位置检测部32输入的三维手位置信息所表示的指定位置处于操作检测区域的范围外的情况下，判断为操作者已经结束了操作。在这种情况下，操作者判别部39根据与该操作者相关的检测信息将表示操作已经结束的操作结束信号输出至检测信息输出部41。即，在操作者判别部39从关于某个操作者将操作开始信号输出至检测信息输出部41起至输出操作结束信号为止的期间，显示装置10受理基于被判断为操作者的用户的手的形状的操作输入。即使关于其他用户手位置信息所表示的代表点处于操作开始检测区域的范围内，在此期间，显示装置10也不受理来自其他用户的操作。

[0142] 操作者判别部39在身体的一部分处于可操作区域的其他用户为多位的情况下，操作者判别部39也可以将手位置信息所表示的指定位置最接近操作检测区域的中心的一位用户决定为操作者13。由此，显示装置10能够受理仅来自一位新的操作者13的操作输入，不同时受理来自两位用户的操作输入。由此避免同时受理来自多人的操作，仅受理一位操作者的操作。

[0143] 操作者判别部39将表示与被判断为操作者的用户相关的操作检测区域的操作检测区域信息和所选择的三维手位置信息输出至描画输入检测部(手输入检测部)40。

[0144] [描画输入的检测]

[0145] 接着，对检测操作者的描画输入的处理进行说明。

[0146] 描画输入检测部40根据从操作者判别部39输入的操作检测区域信息决定输入检测区域。输入检测区域是包含于操作检测区域信息所示的操作检测区域中的区域，是检测进行描画输入的位置的区域。描画输入检测部40例如将操作检测区域中与操作者的身体的另一部分(例如眼睛)相比预定的进深值更深的区域决定为输入检测区域。

[0147] 描画输入检测部40检测是否基于所决定的输入检测区域和从操作者判别部39输入的三维手位置信息所表示的指定位置进行描画输入。描画输入检测部40在三维手位置信息所表示的指定位置包含于输入检测区域中的情况下检测为进行了描画输入。描画输入检测部40在指定位置未包含于所决定的输入检测区域的情况下判断为未进行描画输入。由此检测操作者的描画输入。描画输入检测部40生成表示是否检测到描画输入的描画检测信号，将所生成的描画检测信号输出至检测信息输出部41。

[0148] 在检测信息输出部41，从面部检测部30、操作者判别部39、描画输入检测部40、注视位置检测部35以及手形状和指尖位置检测部33分别输入检测信息。此处，检测信息输出部41将从注视位置检测部35输入的注视位置信息、将从描画输入检测部40输入的描画检测信号向控制部22输出。

[0149] 在从操作者判别部39输入操作开始信号的情况下，检测信息输出部41将与被输入的操作开始信号相关的操作者的检测信息输出至控制部22。在由操作者判别部39输入操作结束信号的情况下，检测信息输出部41、检测信息输出部41结束与被输入的操作结束信号相关的操作者的检测信息的输出。另外，用户信息解析部201并不限定于上述的方法和特征量，也可以根据被输入的影像信号检测与用户的特征和用户所指示的操作相关的信息。

[0150] [输入检测区域的例子]

[0151] 接着，对输入检测区域的例子进行说明。接下来所示的例子是根据操作者13的两眼的位置和面部的位置决定的输入检测区域的例子。

[0152] 图8是表示本实施方式的输入检测区域的一个例子的示意图。

[0153] 图8(a)表示操作者13的正面。

[0154] 输入检测区域r11例如是包括表示将操作者13的左眼131-1和右眼131-2连结的两眼的高度的线段134的区域。输入检测区域r11的上下方向的范围h例如是与线段134平行、且与面部132的上端连接的线段135，和与线段134平行、且与面部132的下端连接的线段136夹着的范围。在该例子中，输入检测区域r1的上下方向的范围也等于操作检测区域r1的上下方向的范围。

[0155] 图8(b)表示操作者13的左侧面。

[0156] 操作检测区域r1的进深方向的范围是，以面部132的最前表面为基准位置P10、从该位置的预定距离d1前方至预定距离d11+d12的更前方的范围。此处，将从面部132的最前面起预定距离d1前方的位置称为操作检测开始位置q1。输入检测区域r11的进深方向的范围是从自面部132的最前面的预定距离d1+d12前方至预定距离d11的更前方的范围。即，从面部132的最前表面的预定距离d1前方至进一步预定距离d12前方的范围的区域为输入非检测区域r12。即，输入非检测区域虽然属于操作检测区域r1，但不检测进行描画输入的位置的区域。边界面b1是对输入检测区域r11与输入非检测区域r12之间进行区分的边界面。

[0157] [操作者躺着的情况下的操作检测]

[0158] 在图8所示的例子中，将作为操作者的身体的一部分的两眼连结的线以取相对于底面水平的姿势(例如起立)为前提。但是，操作者并不限定于去这样的姿势，例如存在操作者躺在底面上的情况。在这样的情况下，操作者判别部39也如上述那样决定操作检测区域、判断操作者13，由此能够不依赖于操作者的姿势地进行稳定的判断，能够避免误判。接下来对此进行说明。

[0159] 图9是表示本实施方式的操作检测区域的例子的示意图。

[0160] 图9表示操作者13躺在底面137上的例子。此时，连结左眼131-1和右眼131-2的线段134与底面137所成的角度θ为与0°相比更接近90°的角度(例如70°)。

[0161] 在这种情况下，操作者判别部39根据由眼睛位置检测部31输入的三维眼睛位置信息决定连结左眼131-1和右眼131-2的线段134。操作者判别部39根据由面部检测部30输入的三维面部区域信息决定与面部的上端连接、与线段134平行的线段135和与面部的下端连接、与线段134平行的线段136。操作者判别部39对被线段135和线段136夹着的区域决定操作检测区域r1的宽度h。该操作检测区域r1仅与图8所示相比方向不同。此外，操作者判别部39的操作检测区域r1的进深方向的范围也能够与上述同样地、以与面部132垂直的方向为进深方向来决定。

[0162] 这样，操作者判别部39能够根据作为操作者13的身体的一部分的面部的位置决定操作检测区域r1。由此，基于与描画输入相关的身体的其它部位即手的位置关系，判别受理操作的操作者，进而决定输入检测区域。

[0163] 接着，对输入检测区域的另一个例子进行说明。接下来所示的例子是根据操作者13的两眼的位置和显示部12的显示区域决定的输入检测区域的例子。

[0164] 图10是表示本实施方式的输入检测区域另一个例子的示意图。

[0165] 图10(a)表示操作者13的左侧面。相对于图10(a)的纸面的上下方向、左右方向分别表示相对于操作者13的上下方向、左右方向。

[0166] 在图10(a)，输入检测区域r11以涂满点的部分表示。输入检测区域r11是距基准位置P10的距离与预定的进深方向的距离d1+d12相等或比d1+d12远、与距离d1+d11+d12相等或比其近的区域(进深方向操作范围)。此外，输入检测区域r11的仰角的范围rθ是以基准位置P10为顶点、从该顶点向显示部12的上端去的线段和从该顶点向显示部12的下端去的线段形成的范围(上下方向操作范围rθ)。

[0167] 另外，操作检测区域r1从基准位置P10向进深方向看是将预定的输入检测区域r11和输入非检测区域r12合并得到的区域。输入非检测区域r12以涂满斜线的部分表示。输入非检测区域r12是距基准位置P10的距离与预定的进深方向的距离d1相等或比d1远、与距离d1+d12相等或比其近的区域。

[0168] 图10(b)表示操作者13的上表面。相对于图10(b)的纸面的上下方向、左右方向分别表示相对于操作者13的前后方向、左右方向。

[0169] 在图10(b)，输入检测区域r11的方位角方向的范围 是以基准位置P10为顶点从该顶点向显示部12的左端去的线段和从该顶点向显示部12的右端去的线段形成的角度(左右方向操作范围rφ)。输入非检测区域r12的方位角方向的范围 与输入检测区域r11的方位角方向的范围 相同。

[0170] 由此，与和从操作者视认显示部12的显示区域一致的视野角(视场角)一致地决定输入检测区域。决定的输入检测区域不是立方体，而成为与显示部12的显示面平行的平面随着从操作者13接近显示部12(在进深方向上从操作者远离)而逐渐变大的形状。通过与操作者的视野相应地指示注视位置，操作者能够直观地在该注视位置进行描画。

[0171] [注视位置的例子]

[0172] 接着，对注视位置的例子进行说明。接下来所示的例子是根据操作者13的两眼的位置和面部的位置决定的注视位置的例子。

[0173] 图11是表示注视位置的例子的示意图。

[0174] 图11(a)表示操作者13的左侧面的。

[0175] 在图11(a)，相对于纸面左方、下方分别表示三维空间坐标系的Z方向(前方)、Y方向(下)，右斜上方向表示X方向(右方)。在显示部12的显示面上，右斜上方向、下方分别表示二维图像坐标系的x方向(右)、y方向(下)。注视位置P12作为连结基准位置P10和指定位置P11的直线被投射在显示部12的表面的交点来计算。基准位置P10、指定位置P11和注视位置P12以三维空间坐标系的坐标值表示。注视位置检测部35将以三维空间坐标系的坐标值表示的注视位置P12转换为显示部12的显示面上的二维图像坐标系的坐标值。

[0176] 图11(b)表示在左眼131-1的位置与右眼131-2的位置的中点的前方存在基准位置P10，该中点和基准位置P10位于操作者13的正中面138内。左眼131-1的位置和右眼131-2的位置均按三维空间图像坐标系赋予。

[0177] [动作的控制]

[0178] 接着，对控制部22的结构进行说明。

[0179] 控制部22从由检测信息输出部41输入的检测信息提取三维脸部位置信息、手形状信息(手指图像信号、个数信息、二维指尖位置信息)、特征信息、注视位置信息和描画检测信号。控制部22进行基于所提取的信息的处理。所提取的信息中、表示手的形状的手形状信息包括手指图像信号、个数信息、二维指尖位置。手形状信息既可以为表示临时的或静止的手的形状、即姿势的信息，也可以为表示由于时间经过而变化的手的形状、即动作的信息。

[0180] 图12是表示本实施方式的控制部22的结构的概略图。

[0181] 控制部22包括显示控制部(图像形成部)221和引导图像显示部222。

[0182] [描画显示控制]

[0183] 显示控制部221在所提取的描画检测信号表示检测到描画输入的情况下，随着注视位置信息所表示的注视位置移动而形成轨迹的图像，生成表示所形成的图像的图像信号。轨迹的图像通过与注视位置随着时间经过进行移动相应地补记每个时刻的点和画而形成。

[0184] 此处，显示控制部221根据提取的手形状信息检测开始信息或停止信息。开始信息是指示图像的形成的开始的信息。停止信息是指示停止图像的形成的停止信息。在信息DB21，预先与形成开始信息和形成停止信息对应地分别存储有表示不同的手的形状的手形状信息。例如，形成开始信息与表示将食指伸直、将其它手指握起的形状的手形状信息对应。形成结束信息与表示使彼此相邻的手指接触并且将五个手指伸出的形状的手形状信息对应。此处，显示控制部221在成功地读出与由信息DB21输入的手形状信息对应的开始信息的情况下，判断为检测到形成开始信息，在成功地读出形成停止信息的情况下，判断为检测到形成停止信息。显示控制部221形成表示在检测到形成开始信息后至检测到形成停止信息为止的期间的注视位置的轨迹的图像，生成表示所形成的图像的图像信号。形成开始信息和形成停止信息是对一个(帧)图像进行区分的信息，表示是否检测到上述的描画输入的描画检测信号和表示某个操作者的操作的开始的操作开始信号或表示操作的结束的操作结束信号是不同的信息。显示控制部221将所生成的图像信号输出至显示部12。

[0185] 显示控制部221形成的图像例如是以像素单位显示注视位置的图像。只要是表示注视位置的位置的图像，就不限定于此。此外，显示控制部221也可以生成表示在注视位置的轨迹重叠有输入检测图像(光标)的图像的图像信号。重叠输入检测图像的位置也可以为现在(最新)的注视位置。输入检测图像的形状并不限定于四边形、圆等几何学形状，也可以为手的形状、面部图像(也可以为操作者自身的面部图像)、虚拟使用者(Avatar)图像。因此，在信息DB21预先存储有表示输入检测图像的输入检测图像信号，显示控制部221从信息DB21读出输入检测图像信号。

[0186] 此外，显示控制部221在所提取的描画检测信号表示未输入描画输入的情况下不补记注视位置的轨迹，因此保持最后补记的时刻的图像不变。在这样的情况下，显示控制部221也可以在已经形成的注视位置的图像将输入检测图像重叠在注视位置。被重叠的位置并不限定于注视位置，也可以为预定的位置。

[0187] 显示控制部221在描画检测信号表示检测到描画输入的情况下和未检测到描画输入的情况下可以使用不同方式的输入检测图像。在被输入注视位置信息时使用的输入检测图像为比在未被输入注视位置信息时使用的输入检测图像更引起注意的方式(主动显示)。引起注意方式例如具有亮度更明亮、进行闪烁(亮度以一定时间间隔进行变化)、以不同于其它图像的颜色表示等。在使用面部图像作为输入检测图像的情况下，也可以为不进行描画或记录的状況下的图像。

[0188] 由此，关于注视位置的输入是否被检测出，操作者能够视认当前作为图像被输入的注视位置。

[0189] [引导图像的显示]

[0190] 在信息DB21，预先存储有引导图像信号。引导图像信号是用于显示引导图像的信号，该引导图像显示有对操作者进行用于输入注视位置的操作方法的引导的图和字符。引导图像显示部222从信息DB21读出引导图像信号，并将读出的引导图像信号输出至显示部12。

[0191] 另外，控制部22也可以包括预先按成为操作对象的处理的各个类别对应地存储有手形状信息的存储部。控制部22从存储部读出手形状信息，并将读出的手形状信息与的手形状信息进行匹配。控制部22执行与匹配成功的手形状信息对应的处理。

[0192] 手的形状能够作为对于显示装置10的处理的种类的指示确定即可。例如也可以为伸出的手指的个数、手的方向、使拇指的前端与食指的前端接触的形状。此外，在本实施方式中，作为操作者的身体的另一部分，并不限定于手的形状，也可以使用身体的手以外的其它部分、例如脚的形状。

[0193] [注视位置信息的输入]

[0194] 接着，对输入注视位置信息时的显示装置10的动作例进行说明。

[0195] 图13是表示本实施方式的显示装置10的一个动作例的示意图。

[0196] 在图13，相对于纸面右方、下方分别表示三维空间坐标系的X方向(右)、Y方向(下)，右斜上方向表示Z方向(前方)。在显示部12的显示面上，右方、下方分别表示二维图像坐标系的x方向(右)、y方向(下)。

[0197] 在该例子中，基准位置P10处于操作者13的两眼各自的位置的重心点的前方的最近处。指定位置P11是操作者的右手的前端的位置。以虚线表示的三角锥台表示输入检测区域r11。指定位置P11被包含于输入检测区域r11，因此作为描画输入被检测。注视位置P12作为从基准位置P10向指定位置P11去的直线与显示部12的显示面的交点来计算。计算出的注视位置P12进行坐标转换，从三维空间坐标系转换为该显示面上的二维图像坐标系。在该瞬间，显示部12在进行坐标转换后的注视位置P12追加显示点和画。因此，显示部12只要指定位置P11包含于输入检测区域r11就随着时间经过而显示注视位置P11的轨迹的图像。

[0198] [图像的显示例]

[0199] 接着，对在显示部12显示的图像的显示例进行说明。该图像是也可以称为操作者的描画输入(手写输入)的笔迹的图像。

[0200] 图14是表示本实施方式的图像的一个显示例的示意图。

[0201] 在图14(a)，操作者13与输入检测区域r11的位置关系和图8(b)相同。在该例子中表示指定位置P11包含于输入检测区域r11的情况。在图14(b)，通过边界面b1区分的输入检测区域r11与显示部12的位置关系和图13相同。在该例子中，指定位置P11比边界面b1位于前方。表示随着指定位置P11在输入检测区域r11内从左向右移动，在显示部12显示笔划s1。笔划相当于空间连续的线的一个部分，即“笔画”。即，笔划s1是表示注视位置P12从左向右的轨迹。

[0202] 图15是表示本实施方式的图像的另一显示例的示意图。

[0203] 在图15(a)，操作者13与输入检测区域r11的位置关系和图14(a)相同。在该例子中，表示指定位置P11未包含于输入检测区域r11、而包含于输入非检测区域r11的情况。在图15(b)，通过边界面b1区分的输入检测区域r11与显示部12的位置关系和图14(b)相同。在该例子中，指定位置P11与边界面b1相比位于跟前。指定位置P11在输入非检测区域r12内从右上向左下移动，因此在显示部12除了显示笔划s1以外不显示新的笔划。即，操作者13在完成上次的笔划的显示之后至进行下一笔划的期间，在指定位置P11成为输入检测区域r11的范围外的区域内移动自己的手指即可。

[0204] 图16是表示本实施方式的图像的又一显示例的示意图。

[0205] 在图16(a)，操作者13与输入检测区域r11的位置关系和图15(a)相同。在该例子中表示指定位置P11包含于输入检测区域r11。在图16(b)，通过边界面b1区分的输入检测区域r11与显示部12的位置关系和图15(b)相同。在该例子中，指定位置P11与边界面b1相比位于前方。由于指定位置P11在输入检测区域r11内从左向右移动，所以在显示部12显示新的笔划s2。即，操作者13在输入下一笔划时，再次在指定位置P11成为输入检测区域r11的范围内的区域内移动自己的手指即可。

[0206] 即，操作者13能够通过使指定位置P11在输入检测区域r11内移动、或者在该区域外移动来对各笔划进行区分地输入。该区域的使用方法能够通过改变作为身体的另一部分的手的位置来实现。由此，操作者13能够通过简单的动作输入具有多个笔划的字符、以及其它具有复杂的形状的图像。另外，图14-16表示输入汉字“二”的字符的例子，在本实施方式中，能够容易地输入其它构成字符、图形、记号等的线和画。

[0207] [输入检测图像的显示例]

[0208] 接着，对输入检测图像的显示例进行说明。

[0209] 图17是表示本实施方式的输入检测图像的一个显示例的示意图。

[0210] 在图17，显示部12与操作者13的位置关系和图13中的该位置关系相同。不过，输入检测区域r11以实线表示，输入非检测区域r12以虚线表示。

[0211] 指定位置P11-1是作为操作者13的身体的另一部分的指尖的位置，处于包含于输入检测区域r11的位置。注视位置R11-1是从基准位置P10通过指定位置P11-1的直线与显示部12的显示面的交点。在显示部12显示到达注视位置R11-1的笔划s3。以其前端位于注视位置R11-1的方式显示输入检测图像C-1。输入检测图像C-1是作为一个例子具有与作为记录用具的铅笔相同的轮廓的图像，其代表点是作为铅笔的前端的图像。输入检测图像C-1以比后述的输入检测图像C-2更明亮而醒目的方式显示。由此，操作者能够视认显示装置10为当前正在检测描画输入的状态、根据所受理的描画输入显示(描画)在与指定位置P11-1对应的注视位置R11-1终止的轨迹。

[0212] 另一方面，指定位置P11-2是作为操作者13的身体的另一部分的指尖的位置，处于包含于作为操作检测区域的一部分的输入非检测区域r12内的位置。注视位置R11-2是从基准位置P10通过指定位置P11-2的直线与显示部12的显示面的交点。在显示部12显示到达注视位置R11-1的笔划s3。以其重心点位于注视位置R11-2的方式显示输入检测图像C-2。输入检测图像C-2是作为一个例子具有正方形的轮廓的图像，以与输入检测图像C-1相比暗而不醒目的方式显示。此处，具有举出显示具有正方形的轮廓的图像的例子，但是并不限定于此，也可以不显示输入检测图像C-1(在指定位置P11-2包含于输入非检测区域r12的情况下，不显示输入检测图像)。由此，当操作者13开始输入时，能够显示输入检测图像，通知输入已经开始。此外，在注视位置R11-2，笔划s3不终止。

[0213] 由此，操作者能够视认到：显示装置10虽然处于受理操作输入的状态，但是处于所受理的操作输入中的与指定位置P11-2对应的注视位置R11-2的轨迹未被显示(描画)的状态。

[0214] [处理流程]

[0215] 接着，对本实施方式的数据输入处理进行说明。

[0216] 图18是表示本实施方式的数据输入处理的流程图。

[0217] (步骤S101)摄像部110a、110b分别对前方的影像进行拍摄，并将拍摄到的影像信号输出至距离计算部200。摄像部110a将影像信号输出至用户信息解析部201中的面部检测部30、手位置检测部32。之后，前进至步骤S102。

[0218] (步骤S102)距离计算部200根据从摄像部110a、110b分别输入的影像信号、例如使用立体匹配方式计算从摄像装置11至操作者的距离，生成计算出的距离信息。距离计算部200检测所生成的距离信息输出至用户信息解析部201中的面部检测部30、眼睛位置检测部
31、手位置检测部32、手形状和指尖位置检测部33。之后，输出至步骤S103。

[0219] (步骤S103)面部检测部30对从摄像部110a输入的影像信号所表示的操作者的面部的图像所表现的区域进行检测。面部检测部30基于所检测到的面部的区域生成二维面部区域信息。面部检测部30根据从距离计算部200输入的距离信息，提取与二维脸部区域信息所表示的二维坐标的像素相关的距离值。面部检测部30将与上述二维坐标对应的距离值转换为被摄空间的三维坐标，生成三维脸部位置信息。面部检测部30将表示所检测到的面部的图像的面部图像信号输出至眼睛位置检测部31。面部检测部30将所生成的三维脸部位置信息输出至操作者判别部39。面部检测部30将所生成的三维脸部位置信息作为检测信息的一部分输出至检测信息输出部41。

[0220] 眼睛位置检测部31根据从面部检测部30输入的面部图像信号所表示的面部的图像，检测眼睛的区域。眼睛位置检测部31根据所检测到的眼睛的区域计算眼睛位置坐标。眼睛位置检测部31从由距离计算部200输入的距离信息提取处于所检测到的眼睛位置坐标的像素的距离值。眼睛位置检测部31将计算出的二维的眼睛位置坐标与所提取的距离值的组转换为被摄空间的三维的眼睛位置坐标，生成三维眼睛位置信息。眼睛位置检测部31将表示计算出的三维的眼睛位置坐标的三维眼睛位置信息输出至注视位置检测部35和操作者判别部39。眼睛位置检测部31将表示所检测到的眼睛的区域的图像的眼睛区域信号输出至操作者判别部39。之后，前进至步骤S104。

[0221] (步骤S104)手位置检测部32对从摄像部110a输入的影像信号所表示的操作者的手的图像所表现的区域进行检测，计算表示所检测到的手的位置的二维坐标值。手位置检测部32从由距离计算部200输入的距离信息提取与计算出的坐标值对应的距离值，将计算出的二维坐标值与对应的距离值的组转换为被摄空间的三维坐标，生成三维手位置信息。手位置检测部32将表示所检测到的手的区域的图像的手图像信号和表示计算出的代表点的二维坐标值的手位置信息输出至手形状和指尖位置检测部33。手位置检测部32将三维手位置信息输出至操作者判别部39。

[0222] 手形状和指尖位置检测部33根据从手位置检测部32输入的手图像信号和手位置信息检测手的形状。手形状和指尖位置检测部33根据所检测到的手的形状探索手指的区域的图像，对手指的个数进行计数。手形状和指尖位置检测部33作为二维坐标检测表示各手指的指尖位置，从由距离计算部200输入的距离信息提取表示处于所检测到的二维坐标的像素的距离值。手形状和指尖位置检测部33将所提取的距离值与指尖的二维坐标的组生成表示被摄空间的三维坐标的三维指尖位置信息。手形状和指尖位置检测部33将所生成的三维指尖位置信息输出至注视位置检测部35。手形状和指尖位置检测部33将表示所检测到的手指的区域的手指图像信号、表示手指的个数的个数信息和表示指尖的二维坐标的二维指尖位置信息作为检测信息的一部分输出至检测信息输出部41。之后，前进至步骤S105。

[0223] (步骤S105)操作者判别部39根据由面部检测部30输入的三维脸部位置信息，将检测过面部的区域的用户中处于预定的可操作区域的用户作为操作者进行判别。操作者判别部39根据由面部检测部30输入的三维脸部区域信息和/或由眼睛位置检测部31输入的三维眼睛位置信息决定操作检测区域。操作者判别部39对处于可操作区域的操作者的手是否处于操作检测区域进行判断。由此检测来自操作者的操作已开始。在判断为操作已经开始的情况下(步骤S105，是)，前进至步骤S106。在判断为操作未开始的情况下(步骤S105，否)，前进至步骤S101。

[0224] (步骤S106)操作者判别部39追踪操作者的脸部的位置和可操作区域的手的位置，同时将受理操作输入的操作者确定。之后，前进至步骤S107。

[0225] (步骤S107)注视位置检测部35根据由眼睛位置检测部31输入的三维眼睛位置信息决定基准位置。注视位置检测部35将连结所决定的基准位置和由手形状和指尖位置检测部33输入的三维指尖位置信息所表示的指定位置的直线与显示部12的显示面的交点作为注视位置进行检测。注视位置检测部35将所生成的注视位置信息作为检测信息的一部分输出至检测信息输出部41。之后，前进至步骤S108。

[0226] (步骤S108)操作者判别部39对处于可操作区域的操作者的手是否处于操作检测区域进行判断，检测操作者是否在继续进行操作(操作中)。在操作者判别部39判断为操作者的手的位置包含于操作检测区域的情况下(步骤S108，是)，前进至步骤S109。操作者判别部39在判断为操作者的手未包含于操作检测区域的情况下(步骤S108，否)，输出至步骤S111。

[0227] (步骤S109)描画输入检测部40根据由操作者判别部39输入的操作检测区域信息决定输入检测区域。描画输入检测部40判断在所决定的输入检测区域是否包含由操作者判别部39输入的三维手位置信息所表示的指定位置，检测操作者是否在进行描画输入。描画输入检测部40生成表示是否检测到描画输入的描画检测信号，将所生成的描画检测信号输出至检测信息输出部41。

[0228] 在描画输入检测部40判断为指定位置包含于输入检测区域的情况下(步骤S109，是)，输出至步骤S110。在描画输入检测部40判断为指定位置未包含于输入检测区域的情况下(步骤S109，否)，输出至步骤S107。

[0229] (步骤S110)在显示控制部221，从检测信息输出部41输入描画检测信号和注视位置信息。显示控制部221在描画检测信号表示检测到描画输入的情况下，生成表示注视位置信息所表示的注视位置移动的轨迹的图像的图像信号。显示控制部221将所生成的图像信号输出至显示部12。显示部12显示由显示控制部221输入的图像信号所表示的输入图像(笔划)。之后，前进至步骤S107。

[0230] (步骤S111)控制部22对操作者的操作是否已经结束进行判断。控制部22例如在输入表示断开电源的操作输入的情况下判断为操作已经结束。在判断为操作未结束的情况下(步骤S111，否)，前进至步骤S101。在判断为操作已经结束的情况下(步骤S111，是)，结束数据输入处理。

[0231] 这样，根据本实施方式，对摄像装置拍摄到的影像所显示的用户的身体的一部分的位置即第一位置和与身体的一部分不同的另一部分的位置即第二位置进行检测，根据第一位置和第二位置检测描画输入。此外，在本实施方式中，检测与第二位置对应的图像显示面上的注视位置。由此，用户能够不使用专用的器件而是通过使身体的另一部分动作来流畅地进行作为注视位置的轨迹的图像数据输入。

[0232] (第二实施方式)

[0233] 以下，参照附图对本发明的第二实施方式进行说明。

[0234] 本实施方式的显示装置10a(未图示)在显示装置10(图3)的用户信息解析部201中，代替描画输入检测部40(图7)设置有描画输入检测部40a(未图示)。

[0235] 描画输入检测部40a进行与描画输入检测部40(图7)相同的处理。不过，描画输入检测部40a除了从操作者判别部39输入的操作检测区域信息以外，还根据从操作者判别部39输入的三维手位置信息确定输入检测区域。为了确定输入检测区域而使用的三维手位置信息是关于与描画输入相关的一只手(例如右手)相反侧的手(例如左手)的三维手位置信息。

[0236] 描画输入检测部40a例如将输入检测区域与输入非检测区域的边界面b1的进深方向的坐标值决定为与其相反侧的手相关的三维手位置信息所表示的进深方向的坐标值。之后，描画输入检测部40a判断与“一只手”相关的三维手位置信息所表示的指定位置是否包含于上述的输入检测区域中。

[0237] 此外，在本实施方式中，手位置检测部32区别左手和右手地生成并输出手图像信号、三维手位置信息。因此，在描画输入检测部40a，从操作者判别部39输入关于左右各手的三维手位置信息。

[0238] 作为上述的“一只手”，例如，操作者判别部39将表示操作者的面部的图像的面部图像信号与描画输入部位信息对应地预先存储在自身具备的存储部。描画输入部位信息是识别与描画输入相关的身体的另一部分、例如“一只手”是右手或左手的信息。该“一只手”例如是优势手。此处，操作者判别部39从存储部读出和能够与由面部检测部30输入的面部图像信号进行匹配的面部图像信号对应的描画输入部位信息，并对描画输入部位信息所表示的“一只手”进行判断。

[0239] 此外，操作者判别部39也可以将先导入操作检测区域的手决定为“一只手”，将后导入的手决定为作为身体的又一部分的相反侧的手、即“另一只手”。此处，将从手位置检测部32输入的三维手位置信息中，该信息所表示的位置初次包含于操作检测区域中的那只手判断为“一只手”。

[0240] 另外，所谓的“一只手”并不限定于右手，也可以为左手。在“一只手”为左手的情况下，所谓的“另一只手”为右手。

[0241] 接着，对本实施方式的输入检测区域的例子进行说明。

[0242] 图19是表示本实施方式的输入检测区域的一个例子的示意图。

[0243] 在图19，操作者13与操作检测区域r1的位置关系和图8所示的位置关系相同。

[0244] 图19(a)表示操作者13的正面。

[0245] 图19(b)表示操作者13的左侧面。

[0246] 在图19(b)，边界面b1的进深方向的坐标值由作为操作者13的相反侧的手的左手hl的进深方向的坐标值决定。由此，操作者13能够与其意思相应地灵活(flexible)变更边界面b1的进深方向的位置。

[0247] 因此，操作者能够通过与从另一只手的进深的位置通过的边界面b1相比、一只手是处于前方还是处于跟前而立即知道描画输入是否被检测，因此能够减少误输入，容易地进行描画输入。该操作类似于另一只手与笔记本和黑板等记录面接触，由一只手使用铅笔和粉笔等记录用具等进行记录的动作。因此，在本实施方式中，即使是初次使用的用户、不熟悉电子设备的用户等对操作不熟练的用户，也能够实现描画输入和基于该描画输入的图像的显示(描画)。

[0248] 另外，描画输入检测部40a也可以根据是否检测到利用一只手进行的描画输入，将上述的边界面b1的进深方向的坐标值决定为与另一只手的进深方向的坐标值相比偏移预定值后的值。例如，描画输入检测部40a也可以从检测到描画输入之后即刻起至检测不到下一描画输入为止，将边界面b1的进深方向的坐标值决定为减小预定值后的值(跟前)。此外，描画输入检测部40a也可以从检测不到描画输入之后即刻起至检测到下一描画输入为止，将边界面b1的进深方向的坐标值决定为增大预定值后的值(前方)。由此，也可以在描画输入中使得一只手总比另一只手位于更前方、或在不进行描画输入时使得一只手总比另一只手位于跟前。因此，操作者能够不维持描画输入时的不自然的姿势，进行自然的输入操作。

[0249] 此外，描画输入检测部40a也可以根据与另一只手相关的三维手位置信息所表示的指定位置检测是否进行了删除输入。删除输入是对删除由描画输入形成的图像中的从注视位置起预定的范围内的图像进行指示的操作输入。描画输入检测部40a判断与另一只手相关的三维手位置信息所表示的指定位置的时间变化是否与预定的时间变化模式一致。该时间变化模式表示作为另一只手的手势(动作)、例如在左右或上下以一定周期摆动的动作等动作模式。在描画输入检测部40a预先存储有时间变化模式，根据表示三维手位置信息所表示的指定位置的时间变化与所存储的时间变化模式的类似性的指标值来判断是否一致。描画输入检测部40a在判断为一致的情况下，停止基于与另一只手相关的三维手位置信息决定边界面b1的进深方向的坐标值的处理。

[0250] 描画输入检测部40a在判断为一致、且与另一只手相关的三维手位置信息所表示的指定位置包含于输入检测区域的情况下，检测为进行了删除输入。描画输入检测部40a在指定位置未包含于所决定的输入检测区域的情况下，判断为未进行删除输入。描画输入检测部40a生成表示是否检测到删除输入的删除检测信号，并将所生成的删除检测信号输出至检测信息输出部41。

[0251] 描画输入检测部40a将从基准位置连结指定位置的直线与显示部12的显示面的交点作为与另一只手相关的注视位置进行计算，将计算出的表示与另一只手相关的注视位置的注视位置信息输出至检测信息输出部41。

[0252] 显示控制部221在由检测信息输出部41输入的删除检测信号表示检测到删除输入的情况下，从所形成的轨迹的图像删除以与另一只手相关的注视位置信息所表示的注视位置为基准的预定范围内的部分。被删除图像的区域由于注视位置随着时间经过而发生变化因而发生移动。显示控制部221根据删除检测信号生成表示其一部分或全部被删除的轨迹的图像的图像信号，将所生成的图像信号输出至显示部12。显示部12显示由显示控制部221输入的图像信号所表示的、其一部分或全部被删除的轨迹的图像。

[0253] 由此，关于通过由一只手进行的操作输入而形成的图像，通过使另一只手进行预定的模式的动作(例如在上下或左右摆动等)，在与其指定位置对应的注视位置的附近形成的图像被删除。该动作模式类似于使橡皮等编辑工具与纸等记录面接触并移动时的动作模式。因此，即使是对操作不熟练的用户，也能够容易地将通过描画输入形成的图像的一部分或全部删除。

[0254] [处理流程]

[0255] 接着，对本实施方式的数据输入处理进行说明。

[0256] 图20是表示本实施方式的数据输入处理的流程图。

[0257] 图20所示的步骤S101～S108、S110和步骤S111与图18所示分别相同。在步骤S108，操作者判别部39在判断为操作者的手的位置包含于操作检测区域的情况下(步骤S108是)，前进至步骤S208。

[0258] (步骤S208)手位置检测部32除了操作者的一只手以外关于另一只手、例如左手，也根据由摄像部110a输入的影像信号对表示其图像区域生成手图像信号。手位置检测部32根据所输入的影像信号和由距离计算部200输入的距离信息生成二维手位置信息和三维手位置信息。手位置检测部32将所生成的手图像信号和二维手位置信息输出至手形状和指尖位置检测部33。手位置检测部32将三维手位置信息输出至操作者判别部39。

[0259] 手形状和指尖位置检测部33根据由手位置检测部32输入的手图像信号和手位置信息检测另一只手的形状。手形状和指尖位置检测部33根据所检测到的手的形状探索手指的区域的图像，将表示手指的个数的个数信息、表示指尖的二维坐标的二维指尖位置信息作为检测信息的一部分输出至检测信息输出部41。此外，手形状和指尖位置检测部33根据各手指的指尖的二维坐标和由距离计算部200输入的距离信息生成三维指尖位置信息。手形状和指尖位置检测部33将所生成的三维指尖位置信息输出至注视位置检测部35。之后，前进至步骤S209。

[0260] (步骤S209)描画输入检测部40a基于从操作者判别部39输入的操作检测区域信息和由操作者判别部39输入的与另一只手相关的三维手位置信息决定输入检测区域。描画输入检测部40a对在所决定的输入检测区域是否包含与由操作者判别部39输入的一只手相关的三维手位置信息所表示的指定位置进行判断，检测操作者是否在进行描画输入(正在输入中)。描画输入检测部40a生成表示是否检测到描画输入的描画检测信号，并将所生成的描画检测信号输出至检测信息输出部41。

[0261] 在描画输入检测部40a判断为指定位置包含于输入检测区域中的情况下(步骤S209是)，前进至步骤S110。在描画输入检测部40a判断为指定位置未包含于输入检测区域的情况下(步骤S209否)，前进至步骤S107。

[0262] 这样，根据本实施方式，基于作为用户的身体的一部分的位置的第一位置来确定检测描画输入的输入检测区域，基于作为该身体的另一部分的位置的第二位置是否包含于输入检测区域内来检测描画输入。此外，在本实施方式中，对表示由上述摄像装置拍摄到的影像所显示的用户的身体的又一部分的位置的第三位置进行检测，以通过所检测到的第三位置的方式确定一个输入检测区域的边界。由此，用户能够与身体的又一部分的位置相应地灵活变更输入检测区域，根据该位置识别检测描画输入的区域。因此能够容易地进行基于身体的另一部分的位置的操作输入。

[0263] (第三实施方式)

[0264] 以下，参照附图对本发明的第三实施方式进行说明。

[0265] 本实施方式的显示装置10b(未图示)在显示装置10(图3)的控制部22中，代替显示控制部221(图12)设置有显示控制部221b(未图示)。

[0266] 显示控制部221b进行与显示控制部221(图1)相同的处理。不过，显示控制部221b作为由检测信息输出部41输入的检测信息的一部分被输入三维手位置信息，根据被输入的三维手位置信息、作为与图像的处理相关的信息决定例如描画风格信息。所谓的描画风格信息，是表示通过描画输入形成的轨迹的图像(线和画)的风格(描画风格)的信息。在描画风格中，例如由线的粗细(宽度)。

[0267] [线的粗细的选择]

[0268] 图21是表示本实施方式的线的粗细与指定位置P11的关联的示意图。

[0269] 在图21，操作者13与输入检测区域r11的位置关系和图8(b)所示相同。

[0270] 作为横穿过输入检测区域r11的左右的线段且相对于操作者13越位于前方就越粗、越位于跟前就越细的图形表示线的粗细w1。显示控制部221b以使得三维手位置信息所表示的指定位置P11的进深坐标越位于前方就越粗、该进深坐标越位于跟前就越细的方式决定线的粗细。在进深坐标的值为d1+d12的情况下，即在输入检测区域r11中最跟前的位置(最近点)，线的粗细w1成为最小值wmin。在进深坐标的值为d1+d12+d11的情况下，即在输入检测区域r11中最深的位置(最远点)，线的粗细w1成为最大值wmax。

[0271] 图22是表示本实施方式的线的粗细的设定例的图。

[0272] 图22(a)、(b)的横轴均表示进深坐标、纵轴均表示线的粗细。此外，在最近点(进深坐标d1+d12)线的粗细为最小值wmin，在最远点(进深坐标d1+d12+d11)线的粗细为最大值wmax。

[0273] 在图22(a)所示的例子中，线的粗细相对于进深坐标呈线形地被决定。在图22(b)所示的例子中，线的粗细从最近点至预定的位置d1+d12+d11-δ为止相对于进深坐标为线形，在进深坐标超过d1+d12+d11-δ时为最大值wmax。进深坐标的值d1+d12+d11-δ为与最近点相比更接近最远点的进深坐标值的值。即使使指定坐标P11与进深坐标d1+d12+d11-δ相比向更前方移动，线的粗细也保持为最大值wmax的状态饱和而不变化，因此当使指定坐标P11向更前方移动时，超过输入操作区域的范围而描画输入中断。因此，操作者能够通过视认线的粗细不变化的情况，能够注意到如果使指定坐标P11向更前方移动则描画输入会中断。即，能够避免由于描画输入无意识地中断而导致笔划断开。

[0274] [图像的显示例]

[0275] 接着，对图像的显示例进行说明。

[0276] 图23是表示本实施方式的图像的一个显示例的示意图。

[0277] 在图23(a)，操作者13与输入检测区域r11的位置关系与图14(a)相同。在该例子中表示指定位置P11包含于输入检测区域r11、但是与最远点相比更靠近最近点。在图23(b)，通过边界面b1区分的输入检测区域r11与显示部12的位置关系与图14(b)相同。在该例子中，通过使指定位置P11从左向右移动而显示在显示部12的笔划s4的粗细由来自指定位置P11的边界面b1的进深坐标z1赋予，是与最大值wmax相比更接近最小值wmin的粗细。

[0278] 图24是表示本实施方式的图像的其它显示例的示意图。

[0279] 在图24(a)，操作者13与输入检测区域r11的位置关系与图23(a)相同。在该例子中表示指定位置P11包含于输入检测区域r11、与更近点相比更靠近最近点。

[0280] 在图24(b)，通过边界面b1区分的输入检测区域r11与显示部12的位置关系与图23(b)相同。在该例子中，通过使指定位置P11从左向右移动而显示在显示部12的笔划s5的粗细为与最小值wmin相比更接近最大值wmax的粗细。即，笔划s5的粗细由来自指定位置P11的边界面b1的进深坐标z2赋予，比笔划s4(图23)粗。

[0281] 由此，操作者不需要进行用于选择线的粗细的操作输入。例如是显示用于选择描画风格的选择菜单、从显示的选择菜单选择线的粗细等操作输入。因此，描画输入的便利性得到提高。此外，在使用毛笔等记录用具在纸等记录面描画字符等情况下的动作中，具有当使手向进深方向移动而使笔压变强从而线的粗细变粗、当将手伸到跟前而使笔压变弱从而使线的粗细变细的动作。该动作类似于本实施方式那样根据指定位置的进深坐标选择线的粗细的动作。因此，操作者能够通过进行类似于平时习惯动作的动作，直观地变更线的粗细。

[0282] 在上述说明中，以显示控制部221b根据三维手位置信息所表示的指定位置的进深坐标决定线的粗细的情况为例进行了说明，但是并不限定于此。显示控制部221b也可以根据指定位置的进深坐标、根据表示预定的进深坐标与颜色的对应关系的色空间信息决定线的颜色。在色空间信息中，例如关于进深坐标最远点对应红色、关于最近点对应蓝色，关于最远点与最近点之间的各个进深坐标，分别依次对应红色与蓝色之间的中间色。显示控制部221b从该色空间信息选择与三维手位置信息所表示的指定位置的进深坐标对应的颜色。而且，显示控制部221b基于由检测信息输出部41输入的检测信息确定所选择颜色，利用所确定的颜色、根据在其后输入的注视位置信息形成图像。显示控制部221b例如在作为检测信息的一部分判断为三维手位置坐标所表示的指定位置从其当初的位置处于预定的范围内预定的时间(例如1秒)的情况下，确定所选择的颜色。即，在操作者使手静止预定的时间时确定所选择的颜色。此外，显示控制部221b在作为检测信息的一部分判断为手形状信息表示预定的形状(例如拳头)的情况下确定所选择的颜色。即，在操作者使手变形为预定的形状时确定所选择的颜色。

[0283] 另外，在本实施方式中，并不限定于线的粗细和颜色，还可以使进深坐标与浓淡或放大率对应。

[0284] 此外，在上述说明中对操作者13与输入检测区域r11的位置关系和图8(b)相同的情况进行了说明，本实施方式并不限定于此，例如也可以为与图19(b)相同的位置关系的情况。即使在通过利用“另一只手”指定边界面b1而决定输入检测区域r11的情况下，也可以通过“一只手”的进深位置改变线的粗细和颜色等。

[0285] [线的种类的选择]

[0286] 显示控制部221b也可以作为由检测信息输出部41输入的检测信息的一部分输入手形状信息，根据所输入的手形状信息决定描画风格信息。在接下来说明的例子中，以描画风格为线的种类的情况为例进行说明。线的种类主要具有：线的形状，例如实线、虚线、点划线等的区别；构成一系列的线的线段的顶点是有棱角还是带圆形的区别；是单纯的一条线还是双线的区别等。

[0287] 在显示控制部221b预先对应地存储有手形状信息与描画风格信息，选择与所输入的手形状信息对应的描画风格信息所表示的线的种类。作为与描画风格信息对应的手形状信息所表示的手的形状，例如具有伸出食指而将其它手指握起的形状(形状1)、将五根手指全部握起的形状(形状2)、伸出食指和中指而将其它手指握起的形状(形状3)。

[0288] [线的种类的选择例]

[0289] 接着，对线的种类的选择例进行说明。

[0290] 图25是表示本实施方式的线的种类的选择例的示意图。

[0291] 在图25(a)-(c)，边界面b1与显示部12的位置关系均和图24(b)所示相同。

[0292] 图25(a)表示通过使操作者13变形为形状1的右手hr1从左向右移动而使指定位置P11从左向右移动。此时，向显示部12显示笔划s5。笔划s5的线的种类为与形状1对应的线的种类、即一条端部有棱角的线。

[0293] 图25(b)表示通过使操作者13变形为形状2的右手hr2从左向右移动而使指定位置P11从左向右移动。此时，在显示部12显示笔划s6。笔划s6的线的种类为与形状2对应的线的种类、即一条端部为圆弧的线。

[0294] 图25(c)表示通过使操作者13变形为形状3的右手hr3从左向右移动而使指定位置P11从左向右移动。此时，在显示部12显示笔划s7。笔划s7的线的种类为与形状3对应的线的种类、即双线。

[0295] 如上所述，在图25所示的例子中，如顶点带圆形的线与形状2(将五个手指全部握起的形状)对应、双线与形状3(将两个手指立起的形状)对应那样使得手的形状与线的种类的形状上的特征对应。因此，操作者能够使用手的形状直观地指定线的种类。

[0296] 另外，在本实施方式中，也可以使得手形状信息所表示的手的形状与描画风格信息所表示的线的粗细对应。例如，也可以各手指握起的程度越高的形状就使线的粗细越细，各手指打开的程度越高的形状就使线的粗细越粗。此外，也可以伸直的手指的个数越多就使线的粗细越粗。此外，在该手的形状和线的粗细以外，还可以与颜色、浓淡、放大率、线的删除中任一方对应，根据手形状信息所表示的手的形状选择描画风格。

[0297] 此外，在上述说明中对操作者13与输入检测区域r11的位置关系和图24(b)相同的情况进行了说明，本实施方式并不限定于此，例如也可以为与图19(b)相同的位置关系的情况。即使在通过利用“另一只手”指定边界面b1而决定输入检测区域r11的情况下，也可以通过“一只手”的手形状变更线的粗细和颜色等。进一步，也可以将线的种类变更为“一只手”的手形状，在“一只手”的进深位置改变线的粗细等，将上述多个种类的输入方法组合而进行与描画相关的处理。在一定程度上，对熟悉本实施方式的操作输入的用户而言，与逐一显示引导图像的方法等相比，输入方法变得更加简便。

[0298] 此外，在上述说明中，通过指定位置P11的进深位置判别操作者13是否为输入中，本实施方式并不限定于此，还可以通过手的形状判别是否为输入中。例如在手的位置包含于操作检测区域r1的情况下，也可以在检测到将食指伸直的形状时判别为与指定位置P11包含于输入检测区域r11中的情况相同地为输入中。此外，在检测到将手握起的形状的情况下，与指定位置P11包含于输入非检测区域r12中的情况同样地判别为输入已被中断。进一步，在操作者13与输入检测区域r11的位置关系为和图19(b)相同的位置关系的情况下，为了进行是否为输入中的判别而作为手形状的检测对象的手为“一只手”或“另一只手”中的哪一方均可。此外，与上述说明一样，例如也可以根据“另一只手”进行是否为输入中的判别、以“一只手”的手形状指定线的种类、以“一只手”的进深位置指定线的粗细等，将上述的输入方法进行多种组合而进行与描画相关的处理。

[0299] [引导图像的例子]

[0300] 接着，在本实施方式中，对引导图像显示部222输出至显示部12的引导图像信号所表示的引导图像的例子进行说明。

[0301] 图26是表示本实施方式的引导图像的例子的图。

[0302] 图26(a)是表示能够根据指定位置的进深坐标选择线的粗细的引导图像的例子。该引导图像能够通过将与描画输入相关的手伸向前方而使所显示的线的粗细变粗，以文章和图案表示通过拉至跟前而使线的粗细变细的情况。

[0303] 图26(b)是表示能够根据手的形状选择线的种类(style)的引导图像的例子。在该引导图像，在将与描画输入相关的手的形状变形为形状1、2、3时，分别表示选择端部有棱角的线、端部为圆弧的线、双线。

[0304] [处理流程]

[0305] 接着，对本实施方式的数据输入处理进行说明。

[0306] 图27是表示本实施方式的数据输入处理的流程图。

[0307] 图27所示的步骤S101～S109、S110和步骤S111与图18所示的步骤分别相同。在步骤S109，在描画输入检测部40判断为指定位置包含于输入检测区域的情况下(步骤S109是)，前进至步骤S310。

[0308] (步骤S310)显示控制部221b根据由检测信息输出部41输入的三维手位置信息所表示的指定位置的进深坐标(进深值)决定线的粗细。

[0309] 显示控制部221b选择与由检测信息输出部41输入的手形状信息对应的线的种类(线种类)。之后，前进至步骤S110。

[0310] 另外，在步骤S110，使用在步骤S310决定的线的粗细、所选择的线的种类，生成表示注视位置的轨迹的图像的图像信号。

[0311] 这样，根据本实施方式，在检测到描画输入时，形成表示与用户的身体的另一部分的位置即第二位置对应的图像显示面上的注视位置的图像，基于第二位置的进深方向的坐标值或身体的又一部分的形状决定图像的显示风格。由此，能够通过用户的身体的另一部分的进深坐标和形状这样简单的动作来指定与描画输入相关的图像的显示风格。

[0312] (第四实施方式)

[0313] 以下，参照附图对本发明的第四实施方式进行说明。

[0314] 本实施方式的显示装置10c(未图示)在显示装置10(图3)的用户信息解析部201中，代替描画输入检测部40(图7)设置有上述的描画输入检测部40c(未图示)。

[0315] 即，描画输入检测部40c进行与描画输入检测部40(图7)相同的处理，除了从操作者判别部39输入操作检测区域信息外，还从操作者判别部39输入三维手位置信息，基于该三维手位置信息确定输入检测区域。为了确定输入检测区域而使用的三维手位置信息是与描画输入相关的一只手相反侧(另一只)手的三维手位置信息。

[0316] 此外，显示装置10c在显示装置10(图3)的控制部22中，代替显示控制部221(图12)设置有显示控制部221c(未图示)。

[0317] 显示控制部221c进行显示控制部221b(未图示)相同的处理。不过，显示控制部221c与显示控制部221b不同，根据关于与描画输入相关的一只手(例如右手)相反侧的手(例如左手)的检测信息、例如手形状信息决定描画风格信息。即，在本实施方式中，基于与描画输入相关的一只手相反侧的手的位置来确定输入检测区域，并且与该相反侧的手的形状相应地决定描画风格。

[0318] 例如，在显示控制部221c预先存储有相反侧的手的手形状信息和描画风格信息，读出与相反侧的手的手形状信息对应的描画风格信息。显示控制部221c以所读出的描画风格信息所表示的描画风格生成表示与关于一只手的指定位置对应的注视位置的轨迹的图像的图像信号。

[0319] 由此，描画输入以一只手进行，以另一只手进行输入检测区域的控制和描画风格的选择。该输入检测区域的控制和描画风格的选择相当于对伴随描画输入的信息进行输入或控制。因此，在本实施方式中，操作者能够分别以不同的手同时进行描画输入和伴随它的信息的输入或控制，因此能够高效地进行描画输入。

[0320] [线的种类的选择例]

[0321] 接着，作为描画风格的一个方式对线的种类的选择例进行说明。

[0322] 图28是表示本实施方式的线的种类的选择例的示意图。

[0323] 在图28(a)-(c)，边界面b1和操作者的位置关系均与图19(b)所示相同，边界面b1和显示部12的关系与图25所示相同。不过，省略伴随描画输入显示笔划的显示部12。在该例子中，左手的形状(形状4～6)分别与实线、虚线、点划线对应。形状4是将五只手指均伸出的形状。形状5是伸出食指、闭起其它手指的形状。形状6是伸出食指和中指、闭起其它手指的形状。将取形状4～6的左手分别称为左手hl4～hl6。

[0324] 图28(a)表示使得操作者使右手hr4与左手hl4相比伸向更前方不变地从左向右移动而显示笔划s8。构成笔划s8的线的种类是与左手hr4的形状对应的实线。边界面b1的进深坐标与左手hl4的进深坐标相等。

[0325] 图28(b)表示通过操作者使右手hr4与左手hl4相比伸向更前方不变地从左向右移动而显示笔划s9。构成笔划s9的线的种类是与左手hr5的形状对应的虚线。

[0326] 图28(c)表示通过操作者使右手hr4与左手hl4伸向更前方不变地从左向右移动而显示笔划s10。构成笔划s10的线的种类是与左手hr6的形状对应的点划线。

[0327] 如上所述，在图28所示的例子中，操作者能够保持左手的进深地指示将受理右手的描画输入的区域划定的边界面b1的进深坐标。此外，操作者能够与左手的形状相应地、直观地指定线的种类。

[0328] 此外，根据左手的形状成为变更对象的描画风格并不限定于线的种类，例如还可以为线的粗细和颜色、浓淡和放大率、线的删除等。

[0329] 进一步，在上述说明中，根据左手与右手的进深位置的关系判别操作者13是否为输入中，在本实施方式中并不限定于此，也可以根据手的形状判别操作者13是否为输入中。例如，在检测到将右手的食指伸直的形状时，也可以判别为与指定位置P11包含于输入检测区域r11的情况同样为输入中。此外，在检测到握起手的形状的情况下，也可以与指定位置P11包含于输入非检测区域r12的情况同样地判别为输入已被中断。进一步，在操作者13与输入检测区域r11的位置关系为与图19(b)同样的位置关系的情况下，也可以以“一只手”或“另一只手”指定进行是否为输入中的判别的手形状。例如也可以根据“另一只手(左手)”进行是否为输入中的判别、根据“一只手(右手)”的手形状指定线的种类、根据“一只手(右手)”的进深位置指定线的粗细等，将上述的输入方法组合多个种类而进行与描画相关的处理。

[0330] [引导图像的例子]

[0331] 接着，在本实施方式中，对引导图像显示部222显示输出至显示部12的引导图像信号所表示的引导图像的例子进行说明。

[0332] 图29是表示本实施方式的引导图像的例子的图。

[0333] 图29是表示能够根据手的形状选择线的种类(style)的引导图像的例子。在该引导图像，表示在将与描画输入相关的手的形状变形为形状4、5、6时选择实线、虚线、点划线。

[0334] 在本实施方式中，也可以使得手形状信息所表示的另一只手的形状与描画风格信息所表示的颜色对应。例如，形状4～6也可以与黑色、红色、蓝色各色对应。此外，也可以使得手形状信息所表示的另一只手的形状与描画风格信息所表示的线的粗细对应。例如，也可以越是各手指握起的形状就使线的粗细越细，越是各手指打开的形状就使线的粗细越粗。此外，也可以伸直的手指的个数越多就使线的粗细越粗。此外，除了该手的形状和线的种类、粗细或颜色以外，也可以与浓淡、放大率中的任一方或它们的组合对应，与手形状信息所表示的另一只手的形状相应地选择描画风格。即，在本实施方式中，只要另一只手的形状是能够以手表示的形状，则任何形状均可，也可以使得各形状与任何描画风格对应。

[0335] 另外，显示控制部221c除了根据与相反侧的手相关的手形状信息、作为一个描画风格信息决定与线的形状或颜色相关的信息以外，还可以根据与一只手相关的三维手位置信息、作为其它描画风格信息决定与线的粗细相关的信息。由此，操作者例如能够根据左手的形状指定线的形状和颜色，根据右手的进深坐标指定线的粗细。因此，操作者能够以一只手进行描画输入并且以该一只手通过不妨碍描画输入的单纯的动作方式指定描画风格，以另一只手指定更详细的描画风格。由此能够进行多样的描画风格的描画输入。

[0336] [处理流程]

[0337] 接着，对本实施方式的数据输入处理进行说明。

[0338] 图30是表示本实施方式的数据输入处理的流程图。

[0339] 图30所示的步骤S101～S108、S110和步骤S111与图18所示的步骤分别相同。在步骤S108、操作者判别部39判断为操作者的手的位置包含于操作检测区域的情况下(步骤S108，是)，前进至步骤S408。

[0340] (步骤S408)手位置检测部32除了操作者的一只手以外，关于另一只手例如左手也对表示其图像的区域，基于从摄像部110a输入的影像信号生成手图像信号。手位置检测部32基于所输入的影像信号和由距离计算部200输入的距离信息生成二维手位置信息和三维手位置信息。手位置检测部32将所生成的手图像信号和二维手位置信息输出至手形状和指尖位置检测部33。手位置检测部32将三维手位置信息输出至操作者判别部39。

[0341] 手形状和指尖位置检测部33根据由手位置检测部32输入的手图像信号和手位置信息检测另一只手的形状。手形状和指尖位置检测部33根据所检测到的手的形状探索手指的区域的图像，将表示手指的个数的个数信息、表示指尖的二维坐标的二维指尖位置信息作为检测信息的一部分输出至检测信息输出部41。此外，手形状和指尖位置检测部33根据各手指的指尖的二维坐标和从距离计算部200输入的距离信息生成三维指尖位置信息。手形状和指尖位置检测部33将所生成的三维指尖位置信息输出至注视位置检测部35。之后，前进至步骤S409。

[0342] (步骤S409)描画输入检测部40c基于从操作者判别部39输入的操作检测区域信息和从操作者判别部39输入的与另一只手相关的三维手位置信息决定输入检测区域。描画输入检测部40c判断从操作者判别部39输入的与一只手相关的三维手位置信息所表示的指定位置是否包含在所决定的输入检测区域中，检测操作者是否在进行描画输入。描画输入检测部40c生成表示是否检测到描画输入的描画检测信号，并将所生成的描画检测信号输出至检测信息输出部41。

[0343] 在描画输入检测部40c判断为指定位置包含于输入检测区域中的情况下(步骤S409，是)，前进至步骤S410。在描画输入检测部40c判断为指定位置未包含在输入检测区域的情况下(步骤S409，否)，前进至步骤S107。

[0344] (步骤S410)显示控制部221c选择与从检测信息输出部41输入的与另一只手相关的手形状信息对应的线的种类(线种类)。之后，前进至步骤S411。

[0345] (步骤S411)显示控制部221c基于从检测信息输出部41输入的与一只手相关的三维手位置信息所表示的指定位置的进深坐标(进深值)来决定线的粗细。之后，前进至步骤S110。

[0346] 另外，在步骤S110，使用在步骤S410选择的线的种类、在步骤S411决定的线的粗细、所选择的线的种类，生成表示注视位置的轨迹的图像的图像信号。

[0347] 在显示控制部221c也可以预先存储有相反侧的手的手形状信息和描画风格信息，读出与相反侧的手的手形状信息对应的描画风格信息。显示控制部221c以读出的描画风格信息所表示的描画风格生成表示与一只手的指定位置对应的注视位置的轨迹的图像的图像信号。

[0348] 由此，以一只手进行描画输入，以另一只手进行输入检测区域的控制和描画风格的选择。该输入检测区域的控制和描画风格的选择相当于对伴随描画输入的信息进行输入或控制。因此，在本实施方式中，操作者能够分别以不同的手同时进行描画输入和伴随它的信息的输入或控制，因此能够高效地进行描画输入。

[0349] 这样，根据本实施方式，检测用户的身体的又一部分的形状，根据所检测到的形状决定描画输入的图像的显示风格。由此能够使与进行描画输入的身体的部位不同的部位的形状发生变化而指示显示风格，因此能够避免描画输入的效率的降低。

[0350] (变形例)

[0351] 上述的描画输入检测部40、40a、40c使用操作检测区域信息决定输入检测区域，并对在所决定的输入检测区域是否包含三维手位置信息所表示的指定位置进行判断。之后，描画输入检测部40、40a、40c根据该判断检测操作者是否在进行描画输入，但是并不限定于此。

[0352] 描画输入检测部40、40a、40c也可以基于从手形状和指尖位置检测部33输入的手形状信息检测操作者是否在进行描画输入。此处，在描画输入检测部40、40a、40c，将表示预定的手的形状的描画检测手形状信息与描画检测信号对应地存储在自身具备的存储部。描画检测信号是表示是否如上述那样检测到描画输入的信号。描画输入检测部40、40a、40c将被输入的手形状信息与存储在存储部的描画检测手形状信息进行匹配，读出与匹配成功的描画检测手形状信息对应的描画检测信号。此外，是否检测到描画输入的判定中使用的手形状信息既可以为与一只手相关的手形状信息，也可以为与另一只手相关的手形状信息。

[0353] 例如，描画输入检测部40、40a、40c在与一只手相关的手形状信息表示将五只手指全部闭起的形状(拳)的情况下判定为检测到了描画输入。此外，描画输入检测部40、40a、40c在与该一只手相关的手形状信息表示将食指伸出、将其它手指全部闭起的形状的情况下判定为未检测到描画输入。由此，操作者能够根据与描画输入相关的手的形状来控制是否进行描画输入。

[0354] 此外，描画输入检测部40、40a、40c在与相反侧的手相关的手形状信息表示将五只手指全部闭起的形状(拳)的情况下，判定为检测到了描画输入。此外，描画输入检测部40、40a、40c在与该另一只手相关的手形状信息表示将食指伸出、将其它手指全部闭起的形状的情况下判定为未检测到描画输入。由此，操作者能够不在意输入检测区域，根据自身的意思简便地决定是否进行描画输入。

[0355] 此外，在上述说明中，作为身体的另一部分也可以代替“手”或“一只手”使用“脚”或“一只脚”，作为身体的又一部分也可以代替“另一只手”使用“另一只脚”。由此，即使手不便的人也能够通过脚的动作实现描画输入。

[0356] 此外，在上述说明中，以作为与图像的处理相关的信息决定描画风格信息的情况为例进行了说明，但是并不限定于此。作为与图像的处理相关的信息，例如也可以为表示对与该描画输入相关的操作者进行识别的操作者识别信息的有无的信息、表示是否在显示部12显示所形成的图像的全部或一部分的信息、表示是否将该图像的全部或一部分存储在信息DB21等存储部的信息。

[0357] 另外，本发明能够按以下方式实施。

[0358] (1)一种数据输入装置，其特征在于，包括：位置检测部，其检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测部，其基于上述位置检测部检测到的上述第一位置和上述第二位置来检测上述描画输入；注视位置检测部，其检测与上述位置检测部检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成部，其在上述描画输入检测部检测到描画输入时，形成表示上述注视位置检测部检测到的注视位置的图像。由此，操作者不使用专用的器件就能够流畅地进行描画输入。

[0359] (2)在(1)的数据输入装置中，其特征在于：上述描画输入检测部基于上述第一位置确定检测描画输入的输入检测区域，基于上述第二位置是否包含于上述输入检测区域中来检测上述描画输入。由此，操作者能够在对于由身体的另一部分的位置进行的描画输入而言方便的区域设定描画输入区域。

[0360] (3)在(2)的数据输入装置中，其特征在于：上述位置检测部检测表示上述摄像装置拍摄到的影像中显示的用户的身体的又一部分的位置的第三位置，上述描画输入检测部以通过上述位置检测部检测到的第三位置的方式确定上述输入检测区域的一个边界。由此，操作者能够基于以身体的又一部分的位置为基准的身体的另一部分的位置，容易地把握是否检测到描画输入。

[0361] (4)在(3)所记载的数据输入装置中，其特征在于：上述图像形成部根据上述第二位置的进深方向上的坐标值决定关于上述图像的处理的信息。由此，操作者能够根据身体的另一部分的进深方向的位置决定所描画的图像的处理。

[0362] (5)在(3)所记载的数据输入装置中，其特征在于：包括检测上述身体的另一部分的形状的形状检测部，上述图像形成部基于上述形状检测部所检测到的形状决定与上述图像的显示相关的信息。由此，操作者能够根据身体的另一部分的形状决定所描画的图像的处理。

[0363] (6)在(3)所记载的数据输入装置中，其特征在于：包括检测上述身体的又一部分的形状的形状检测部，上述图像形成部根据上述形状检测部所检测到的形状决定与上述图像的显示相关的信息。由此，操作者能够根据身体的又一部分的形状决定所描画的图像的处理。

[0364] (7)在(1)至(6)中任一项记载的数据输入装置中，其特征在于：上述用户的身体的一部分是眼睛，上述身体的另一部分是左右手中的任一只手。由此一只手能够在目视方向的注视位置进行描画，因此基于该一只手的位置进行所期望的形状的图像的描画变得容易。

[0365] (8)在(7)所记载的数据输入装置中，其特征在于：上述用户的身体的又一部分是与上述一只手不同的另一只手。由此，操作者能够基于另一只手的位置，容易地由一只手的位置来把握描画输入区域，且容易地进行所描画的图像的处理的指示。

[0366] (9)一种数据输入系统，其包括数据输入装置和显示上述数据输入装置输入的输入数据所表示的图像的显示部，该数据输入系统的特征在于，上述数据输入装置包括：位置检测部，其检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测部，其基于上述位置检测部检测到的上述第一位置和上述第二位置来检测上述描画输入；注视位置检测部，其检测与上述位置检测部检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成部，其在上述描画输入检测部检测到描画输入时，形成表示上述注视位置检测部检测到的注视位置的图像。

[0367] (10)一种数据输入装置的数据输入方法，其包括：位置检测步骤，检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测步骤，基于在上述位置检测步骤中检测到的上述第一位置和上述第二位置，检测描画输入；注视位置检测步骤，检测与在上述位置检测步骤中检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成步骤，在上述描画输入检测步骤中检测到描画输入时，形成表示在上述注视位置检测步骤中检测到的注视位置的图像。

[0368] (11)一种数据输入程序，其特征在于，使数据输入装置的计算机执行以下步骤：位置检测步骤，检测第一位置和第二位置，该第一位置基于摄像装置拍摄到的影像中显示的用户的身体的一部分的位置，该第二位置基于与上述身体的一部分不同的另一部分的位置；描画输入检测步骤，基于在上述位置检测步骤中检测到的上述第一位置和上述第二位置，检测描画输入；注视位置检测步骤，检测与在上述位置检测步骤中检测到的上述第二位置对应的图像显示面上的注视位置；和图像形成步骤，在上述描画输入检测步骤中检测到描画输入时，形成表示在上述注视位置检测步骤中检测到的注视位置的图像。通过(9)、(10)和(11)，操作者不使用专用的器件就能够流畅地进行数据输入。

[0369] 另外，也可以利用计算机实现上述的实施方式的显示装置10、10a、10b、10c的一部分、例如距离计算部200、面部检测部30、眼睛位置检测部31、手位置检测部32、手形状和指尖位置检测部33、注视位置检测部35、操作者判别部39、描画输入检测部40、40a、40c、检测信息输出部41和控制部22。在这种情况下，也可以通过将用于实现该控制功能的程序记录在计算机能够读取的记录介质、将记录在该记录介质的程序读入计算机系统而执行来实现。另外，此处所谓的“计算机系统”是内置于显示装置10、10a、10b、10c的计算机系统，包括OS和周边设备等硬件。此外，所谓的“计算机能够读取的记录介质”，是指柔性盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进一步，“计算机能够读取的记录介质”还可以包括如通过国际互联网等网络和电话线路网等通信线路网发送程序的情况下的通信线路那样短时间动态地保持程序的介质、如成为这种情况下的服务器和客户端的计算机系统内部易失性存储器那样保持程序一定时间的介质。此外，上记程序也可以是用于实现上述的功能的一部分的程序，进一步，还可以是能够以与已经存储于计算机系统中的功能的程序的组合实现的程序。

[0370] 此外，还可以作为LSI(Large Scale Integration：大规模集成电路)等集成电路实现上述的实施方式中的显示装置10、10a、10b、10c的一部分或全部。显示装置10、10a、10b、10c的各功能块既可以个别地处理器化，也可以将一部分或全部集成而处理器化。此外，集成电路化的方法并不限定于LSI，还可以利用专用电路或通用处理器实现。此外，在由于半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用利用该技术的集成电路。

[0371] 以上，参照附图对本发明的一个实施方式进行了详细说明，具体的结构并不限定于上述内容，能够在不脱离本发明的主旨的范围内进行各种设计变更等。

[0372] 以上，参照附图对本发明的一个实施方式进行了详细说明，具体的结构并不限定于上述内容，能够在不脱离本发明的主旨的范围内进行各种设计变更等。

[0373] 工业上的可利用性

[0374] 本发明能够在用于操作计算机、游戏机、视频电话会议系统等设备的用户界面使用。

[0375] 附图标记的说明

[0376] 10、10a、10b、10c 显示装置

[0377] 11 摄像装置

[0378] 110(110a、110b) 摄像部

[0379] 12 显示部

[0380] 20 图像处理装置

[0381] 200 距离计算部

[0382] 201 用户信息解析部

[0383] 30 面部检测部

[0384] 31 眼睛位置检测部

[0385] 32 手位置检测部

[0386] 33 手形状和指尖位置检测部

[0387] 35 注视位置检测部

[0388] 39 操作者判别部

[0389] 40、40a、40c 描画输入检测部

[0390] 41 检测信息输出部

[0391] 21 信息DB

[0392] 22 控制部

[0393] 221、221b、221c 显示控制部

[0394] 222 引导图像显示部