输入装置及其方法

摘要

本发明的目的在于提供一种输入装置及其方法，使用户能够边注视前方的画面边容易地用手对触摸板进行操作，提高对手形状的检测和手势的检测的精度。本发明提供一种用于向机器输入命令或信息的输入装置，包括：身体形状输入部，获取用户的身体形状信息；显示信息制作部，制作用户进行命令或信息的输入所必需的显示图像；操作部，具有与显示图像相对应的操作面；身体形状提取部，从身体形状输入部所获取的身体信息中提取出与操作面相对应的部分，并制作身体图像；图像合成部，将显示信息制作部所制作的显示图像与身体形状提取部所制作的身体图像进行合成；以及显示部，显示图像合成部所合成的图像。

权利要求

1.一种输入装置，用于向机器输入命令或信息，其特征在于，包括：身体形状输入部，获取图像数据，其中所述图像数据的范围比接受用户进行输入操作的操作部的操作面的范围广；

身体形状提取部，从所述图像数据中识别包含手的形状在内的身体部分的形状，并从所述图像数据中提取出与所述操作面的操作范围相对应的部分，并制作身体图像；

显示图像制作部，制作用户进行命令或信息的输入所必需的显示图像，其中，所述显示图像的显示范围与所述操作面的操作范围相对应；

图像合成部，将所述显示图像制作部所制作的显示图像与所述身体形状提取部所制作的身体图像进行合成；

显示部，显示所述图像合成部所合成的图像；

运算部，识别用户向所述操作部的操作面进行的输入操作或根据所述图像数据识别用户的手势产生的对机器的输入操作，在用户的手指稍微悬浮于上述接受用户进行输入操作的操作部的操作面的状态下，手图像也能够被显示到显示部。

2.根据权利要求1所述的输入装置，其特征在于，

所述身体形状提取部通过利用了预先储存的身体部分的形状模式的模式匹配，判断根据所述身体形状输入部所输出的图像数据检测出的形状是否是身体部分的形状。

3.根据权利要求2所述的输入装置，其特征在于，

所述身体形状提取部根据所述形状模式，对根据所述身体形状输入部所输出的图像数据检测出的身体部分的形状进行修正处理。

4.根据权利要求1所述的输入装置，其特征在于，

所述身体形状提取部还执行形状修正处理，以使所述身体形状输入部所输出的图像数据中的标记的位置转换到所述显示部的画面上的规定位置处，所述标记被标记在所述操作部的规定位置。

5.根据权利要求1所述的输入装置，其特征在于，

所述显示图像制作部根据所述身体形状提取部所识别的身体部分的形状来变更所制作的显示图像。

6.根据权利要求1所述的输入装置，其特征在于，

所述显示图像制作部只在所述身体形状输入部所识别的身体部分的形状是右手或左手的情况下制作显示图像。

7.根据权利要求1所述的输入装置，其特征在于，

所述显示图像制作部根据所述身体形状提取部所识别的身体部分的形状，对显示图像中的GUI部件进行强调显示、对该GUI部件的位置进行变更或对该GUI部件的有效性进行变更。

8.根据权利要求1所述的输入装置，其特征在于，

所述显示图像制作部制作显示图像，其中，所述显示图像由根据操作对象的不同而被分割的多个显示区域而构成；所述图像合成部检测出所述身体图像中用户的指尖部分，并限定在所述指尖部分所在的显示区域来合成所述显示图像及所述身体图像。

9.根据权利要求1所述的输入装置，其特征在于，

所述显示图像制作部制作显示图像，其中，所述显示图像由根据操作对象的不同而被分割的多个显示区域而构成；所述图像合成部在成为当前的操作对象的区域，将所述身体图像缩小并与所述显示图像进行合成。

10.一种输入方法，用于向机器输入命令或信息，其特征在于，包括以下步骤：身体形状输入步骤，用于获取图像数据，其中所述图像数据的范围比接受用户进行输入操作的操作部的操作面的范围广；

身体形状提取步骤，根据所述图像数据识别包含手的形状在内的身体部分的形状，并从所述图像数据中提取出与所述操作面的操作范围相对应的部分，并制作身体图像；

显示图像制作步骤，制作用户进行命令或信息的输入所必需的显示图像，其中，所述显示图像的显示范围与所述操作面的操作范围相对应；

图像合成步骤，将所述显示图像制作步骤中制作的显示图像与所述身体形状提取步骤中制作的所述身体图像进行合成；

显示步骤，显示所述图像合成步骤中所合成的图像；

运算步骤，识别用户向所述操作部的操作面进行的输入操作或根据所述图像数据识别用户的手势产生的对机器的输入操作，在用户的手指稍微悬浮于上述接受用户进行输入操作的操作部的操作面的状态下，手图像也能够被显示到显示部。

说明书

输入装置及其方法

发明领域

[0001] 本发明涉及一种用于用户向机器输入命令或信息的输入装置及其方法，具体而言，本发明涉及一种使用户能够基于显示器等所显示的信息，使用手等身体的某部分输入命令或信息的输入装置及其方法。

背景技术

[0002] 在现有技术中，作为基于显示器等显示画面所显示的信息、用户用手指等输入命令或信息的输入装置，有例如专利文献1或专利文献2所公开的装置。该装置利用网格矩阵式的扫描装置(Grid matrix type Scanningmeans)或摄像机，对触摸板操作面进行拍摄，根据所获取的数据提取出手形状部分，合成并显示到显示器上显示的图形用户界面(GUI：GraphicalUser Interface)等上。根据这样的构成，使用户不必将在驾驶中的视线一度转移到设置在与显示画面相分离的触摸板上，而通过注视着显示画面上虚拟地显示的操作手指的影像，便能够输入命令或信息。

[0003] 另一方面，可以考虑运用专利文献1或2记载的装置，通过模式匹配(pattern matching)，根据摄像机所拍摄的图像提取用户的手形状，在确认是手形状后，许可用户的操作；或检测出用户的手势，即用户的手形状或手的位置的时间变化模式，来解读用户的输入。

[0004] 然而，上述现有技术的输入界面却存在以下缺点。专利文献1或2公开的装置，为了通过模式匹配来检测出用户的手形状或手势，需要保证用户的手处于拍摄范围的操作面内。例如，用户对跟前的操作面进行操作期间，从指根到手前侧的部分由于没有处于拍摄范围内而不被识别为手。从而，不能够执行通过识别手之后来许可用户的某些操作的处理。 [0005] 此外，即使导入做手势等直观的操作，如通过左右挥手来放弃当前操作，也必须时常注意要在操作面内做手势，因而，不能够构筑容易操作的输入界面。

[0006] [专利文献1]日本特开平9-77622号公报

[0007] [专利文献2]日本特开2000-6687号公报

[0008] 发明内容

[0009] 本发明是鉴于上述问题而进行的。即，本发明的目的在于提供一种输入装置及其方法，即使在用户的手超出操作面的情况下，也能够通过准确地进行手形状的检测或手势检测来进行输入。

[0010] 为达到上述目的，本发明采用以下结构。

[0011] 一种输入装置，用于向机器输入命令或信息，包括：身体形状输入部，获取图像数据，其中该图像数据的范围比接受用户进行输入操作的操作部的操作面的范围广；身体形状提取部，根据所述图像数据识别身体部分的形状，并从所述图像数据中提取出与所述操作面的操作范围相对应的部分，并制作身体图像；显示图像制作部，制作用户进行命令或信息的输入所必需的显示图像，其中，所述显示图像的显示范围与所述操作面的操作范围相对应；图像合成部，将所述显示信息制作部所制作的显示图像与所述身体形状提取部所制作的身体图像进行合成；显示部，显示所述图像合成部所合成的图像；运算部，识别用户向所述操作 部的操作面进行的输入操作或根据所述图像数据识别用户的手势产生的对机器的输入操作。

[0012] 最好是身体形状提取部通过利用了预先保存的身体部分的形状模式的模式匹配，判断根据所述身体形状输入部所输出的图像数据检测出的形状是否是身体部分的形状。 [0013] 最好是所述身体形状提取部根据所述形状模式，对根据所述身体形状输入部所输出的图像数据检测出的身体部分进行修正。

[0014] 最好是所述操作部的规定位置处被标注有所述形状修正处理所使用的标记，并且，所述身体形状提取部能够将所述身体形状输入部所输出的图像数据中的所述标记的位置转换到所述显示部的画面上的规定位置处。

[0015] 最好是所述显示信息制作部根据所述身体形状提取部所识别的身体部分的形状来变更所制作的显示图像。

[0016] 最好是所述显示信息制作部只在所述身体形状输入部所识别的身体部分的形状是右手或左手的情况下制作显示图像。

[0017] 最好是所述显示信息制作部根据所述身体形状提取部所识别的身体部分的形状，对显示图像中的GUI部件进行强调显示、对该GUI部件 的位置进行变更或对该GUI部件的有效性进行变更。

[0018] 最好是所述显示信息制作部制作显示图像，其中，所述显示图像由根据操作对象的不同而被分割的多个显示区域而构成；所述图像合成部检测出所述身体图像中用户的指尖部分，并限定在该指尖部分所在的区域来合成所述显示图像和所述身体图像。 [0019] 最好是所述显示信息制作部制作显示图像，其中，所述显示图像由根据操作对象的不同而被分割的多个显示区域而构成，所述图像合成部在成为当前的操作对象的区域，将所述身体图像缩小并与所述显示图像进行合成。

[0020] 本发明的第2技术方案涉及一种用于向机器输入命令或信息的输入方法，本发明的输入方法包括以下步骤：身体形状输入步骤，用于获取图像数据，其中，该图像数据的范围比接受用户进行输入操作的操作部的操作面的范围广；身体形状提取步骤，根据所述图像数据识别身体部分的形状，并从所述图像数据中提取出与所述操作面的操作范围相对应的部分，并制作身体图像；显示图像制作步骤，制作用户进行命令或信息的输入所必需的显示图像，其中，所述显示图像的显示范围与所述操作面的操作范围相对应；图像合成步骤，将所述显示信息制作步骤中所 制作的显示图像与所述身体形状提取步骤中所制作的身体图像进行合成；显示步骤，显示所述图像合成步骤中所合成的图像；运算步骤，识别用户向所述操作部的操作面进行的输入操作或根据所述图像数据识别用户的手势产生的对机器的输入操作。

[0021] 如上所述，本发明提供的输入装置及其方法，即使在用户的手超出操作面的情况下，也能够通过准确地进行用户的手形状的检测或手势检测来进行输入。 [0022] 附图说明

[0023] 图1是有关本发明的输入装置的一实施方式的概念图。

[0024] 图2是表示输入装置的构成的方框图。

[0025] 图3是设置于车内的输入装置的例图。

[0026] 图4是设置于车内的输入装置的例图。

[0027] 图5是设置于车内的输入装置的例图。

[0028] 图6是设置于车内的输入装置的例图。

[0029] 图7是身体形状输入部100的设置例图。

[0030] 图8是身体形状输入部100的设置例图。

[0031] 图9是身体形状输入部100与操作部300合为一体的结构例图。

[0032] 图10是身体形状输入部100设置于操作部300下方的结构例的侧面图。 [0033] 图11是身体形状输入部100设置于操作部300下方的结构例的俯视图。 [0034] 图12是身体形状提取部600执行处理的流程图。

[0035] 图13是经身体形状提取部600处理后的图像数据的例图。

[0036] 图14是身体形状提取部600所选出的身体部分607的例图。

[0037] 图15是身体形状提取部600所选出的轮廓609的例图。

[0038] 图16是形状修正处理的一示例图。

[0039] 图17是形状修正处理的一示例图。

[0040] 图18是身体形状提取部600所制作的身体图像的例图。

[0041] 图19是操作部300的一例图。

[0042] 图20是用户进行操作的操作方法的一例图。

[0043] 图21是操作部300的一例图。

[0044] 图22是控制部500为显示身体图像而执行的处理的顺序图。

[0045] 图23A是没有检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。

[0046] 图23B是检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。

[0047] 图24A是没有检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。

[0048] 图24B是检测出身体形状的情况下，显示信息制作部700所制作的显示信息的例图。

[0049] 图25A是检测出右手的情况下，显示信息制作部700所制作的显示信息的例图。 [0050] 图25B是检测出左手的情况下，显示信息制作部700所制作的显示信息的例图。 [0051] 图26A是检测出较大的手的情况下，显示信息制作部700所制作的显示信息的例图。

[0052] 图26B是检测出较小的手的情况下，显示信息制作部700所制作的显示信息的例图。

[0053] 图27A是图像合成部800所合成的图像的例图。

[0054] 图27B是图像合成部800所合成的图像的例图。

[0055] 图27C是图像合成部800所合成的图像的例图。

[0056] 图27D是图像合成部800所合成的图像的例图。

[0057] 图27E是图像合成部800所合成的图像的例图。

[0058] 图27F是图像合成部800所合成的图像的例图。

[0059] 图27G是图像合成部800所合成的图像的例图。

[0060] 图27H是图像合成部800所合成的图像的例图。

[0061] 图28是检测出用户进行输入操作的情况下，控制部500执行处理的顺序图。 [0062] 图29A是用户进行输入操作的情况下，显示信息制作部700所制作的显示信息的例图。

[0063] 图29B是用户进行输入操作的情况下，显示信息制作部700所制作的显示信息的例图。

[0064] 图30A是将合成显示身体形状的部分限定在操作对象范围内时的显示例图。 [0065] 图30B是将身体形状在操作对象的范围内缩小并合成显示的显示例图。 [0066] 附图标记说明

[0067] 1摄像机

[0068] 2显示器

[0069] 3GUI部件

[0070] 4触摸板

[0071] 6手

[0072] 7手的图像

[0073] 100身体形状输入部

[0074] 110光源

[0075] 120镜子

[0076] 130机箱

[0077] 140可见光截止滤波器

[0078] 150受光部

[0079] 160发光部

[0080] 171感光范围

[0081] 200显示部

[0082] 300操作部

[0083] 400运算部

[0084] 500控制部

[0085] 600身体形状提取部

[0086] 700显示信息制作部

[0087] 800图像合成部

[0088] 1000输入装置

具体实施方式

[0089] 以下，参照附图详细说明本发明的实施方式。

[0090] 图1是有关本发明的输入装置的一实施例的概念图。图1中，用户的跟前设有操作用的触摸板4，在离开用户的位置设有显示器2。在触摸板4的上方设有摄像机1。显示器2上显示用于输入用户期望的命令或信息的GUI部件3，其中，GUI部件3为1个以上。 [0091] 触摸板4的操作面上的各点分别与显示器2的显示画面中的各点一一对应，当用户用手指摁下触摸板4的操作面上的某点时，表示该接触位置的坐标数据(绝对坐标数据)从触摸板4被输出到控制部，根据该坐标数据，与所述接触位置相对应的GUI部件3被特定，从而，与GUI部件3相关联的命令或信息被输入。

[0092] 若用户在触摸板4上移动手6以选择GUI部件3时，摄像机1以包含背景触摸板4的方式拍摄手6的图像。控制部通过模式匹配的手法，从摄像机1所输出的图像数据中识别手6的形状或手势。然后，控制部仅提取出与触摸板4相对应的部分，并通过重叠，将所选出的手6的图像作为手图像7显示于显示器2。即，在检测手6的形状或手势时，使用所拍摄到的整体图像；而显示器2进行显示时，只使用与触摸板4相对应的部分。 [0093] 用户通过观看显示器2所显示的手图像7来移动手6，使手图像7的指 尖移动到所期望的GUI部件3上后，摁下触摸板4。于是，与所述接触位置相对应的GUI部件3(即，手图像7的指尖所指的GUI部件3)相关联的命令或信息被输入。

[0094] 此外，本发明的输入装置即使在用户的手指稍微悬浮于触摸板4的操作面上的状态下，手图像7也能够被显示到画面上，所以，用户不用把手指实际接触到触摸板4并试着进行滑动，也能够确认当前手指的位置与画面上的哪一位置对应。因此，只摁一下触摸板4这样简单又快捷的输入操作成为可能。

[0095] 另外，本实施方式中是通过触摸板4来输出坐标数据，但如后述那样，触摸板4不一定要具有输出接触位置的坐标数据的功能，只要能检测出用户是否摁了触摸板4便可。在该情况下，控制部根据摄像机1所拍摄下的图像检测出指尖位置，并根据所检测出的指尖位置来判断用户选择了哪个GUI部件3便可。

[0096] 以下，进一步详细说明输入装置。

[0097] 图2是表示输入装置的构成的方框图。图2中，输入装置1000包括身体形状输入部100、显示部200，操作部300以及运算部400。其中，运算部400包括：控制部500，用于控制运算部400整体；身体形状提取部600，对身体形状输入部100的输出进行处理并提取出身体形状；显示信息制作部700，制作用户进行命令或信息的输入所必需的显示信息(即，包含GUI部件3的图像)；以及图像合成部800，将表示对操作部300进行操作的用户的身体部分的图像与显示信息制作部700所制作的显示信息进行合成。以下，详细说明各个部的构成。

[0098] (身体形状输入部100)

[0099] 首先，对身体形状输入部100进行说明。身体形状输入部100是用于将用户进行操作用的手等身体部分的形状及位置向装置输入的装置。以下，使用摄像机作为身体形状输入部100为例，参照图3～图11进行说明。

[0100] 作为身体形状输入部100，可以使用例如可见光摄像机、近红外摄像机、红外摄像机及/或超声波摄像机。身体形状输入部100设置于能够拍摄到操作部300的位置，对操作部300进行拍摄并输出所拍摄的图像数据。用户在用手6对操作部300进行操作时，身体形状输入部100所拍摄的图像 中包含手6。身体形状输入部100最好设置于贯穿操作部300的操作面中央的法线上，并且使镜头的光轴与法线平行。

[0101] 当身体形状输入部100是可见光摄像机时，最好设置照射可见光的光源110，以便在夜间也能够清晰地拍摄到手6的图像，并且，为便于从身体形状输入部100输出的图像数据中提取出手的形状，操作部300的操作面的颜色最好均一，尤其是黑色或蓝色为更好。 [0102] 当身体形状输入部100是近红外摄像机时，最好设置照射近红外光线的光源110，以便在任何情况下都能清晰地拍摄到手6的图像，并且，操作部300的操作面最好是黑色。 [0103] 此外，为便于根据身体形状输入部100所输出的图像数据提取出手的形状，操作部300或正进行操作的手6最好不要受到日光、车前灯及街灯等的直接照射。 [0104] 以下结合图3～图6，对输入装置在车内的设置例进行说明。图3是第1设置例的示意图。该设置例中，操作部300设置于中心控制台的延长部分，且司机在将胳膊肘放在扶手上的状态下能够操作的位置。身体形状输入部100设置于能够拍摄到操作部300的位置。并且，身体形状输入部100最好设置于操作部300的法线上，即B位置处(车顶棚等)，但身体形状输入部100也可以与位于B位置的前方(A位置)的地图灯或后视镜组合设置，或与位于B位置的后方(C位置)的车内灯组合设置。

[0105] 当身体形状输入部100设置于图3所示的A位置或B位置，即对于操作部300的操作面的斜方向(即与垂直方向不同的方向)的情况下，由于身体形状输入部100所拍摄到的手6的形状存在与从对于操作面的垂直方向上拍摄到的手6的形状不同的可能性，所以，在制作手图像7时，需要进行后述的视点变换处理(即，将从对于操作面的斜方向拍摄到的图像变为从对于操作面的垂直方向上拍摄到的图像的图像处理)。

[0106] 图4是第2设置例的示意图。该设置例中，操作部300设置于方向盘的中央部，并朝向斜上方。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚等)。该情况下，虽然身体形状输入部100所拍摄的图像会根据方向盘的舵角而产生转动，但通过对身体形状输入部100所输出的图像数据进行修正，能够消除该转动所带来的影响。作为图像数据的修正 方法的一个例子，可以设置检测方向盘的舵角的设备，根据所检测出的方向盘的舵角，对图像数据进行转动处理。此外，作为其他图像数据的修正方法的例子，也可以在操作部300的操作面上预先设置1个以上作为基准的标记，通过检测出图像数据中所述基准标记的位置来检测方向盘的舵角，从而根据所检测的方向盘的舵角来对图像数据进行转动处理。

[0107] 图5是第3设置例的示意图。该设置例中，操作部300设置于驾驶座位的车门内侧，且使司机在将胳膊放在扶手上的状态下能够操作的位置。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚等)。

[0108] 图6是第4设置例的示意图。该设置例中，操作部300设置于位于车后部座位的中央的扶手上。身体形状输入部100设置于能够拍摄到操作部300的位置(车顶棚或车内顶灯等)。

[0109] 图3～图6的例子中，身体形状输入部100都设置于如车顶棚等远离操作部300的位置，但是也可以考虑身体形状输入部100与操作部300也可以是合为一体的结构。以下，结合图7～图9，对身体形状输入部100与操作部300合为一体的结构例进行说明。 [0110] 图7是在操作部300上方的规定位置处设置身体形状输入部100的示意图。也可根据需要在身体形状输入部100的附近设置光源110，若身体形状输入部100制作彩色图像，则光源110需要是可见光源，若身体形状输入部100制作黑白图像，则光源110也可以是近红外光源。

[0111] 图8是在操作部300上方的规定位置处设置镜子120，身体形状输入部100拍摄映在镜子120中的操作部300及手6的图例。

[0112] 为实现图7或图8的构成，只要使用如图9所示的机箱130将身体形状输入部100对于操作部300的相对位置固定便可。

[0113] 根据身体形状输入部100与操作部300合为一体的构成，具有身体形状输入部100的光轴调整变为简单的优点。此外，用图9所示的机箱130来遮蔽操作部300，有利于防止外部光线(太阳光等)对操作部300的照射。

[0114] 图3～图9的图例中，身体形状输入部100是从上方(即，操作部300的操作面的一侧)来拍摄操作部300及手6的，但是也可以考虑身体形状输入部100从下方(即，与操作部300的操作面的相反面的一侧)来拍摄操作部300及手6。以下，参照图10及图11，对身体形状输入部100从下方拍 摄操作部300的结构例进行说明。

[0115] 图10是采用透明的触摸板作为操作部300，并在其下方设有身体形状输入部100及光源110的示意图。图11是从上方看到的图10中所示的操作部300的图。该例中，在触摸板的下侧的面上重叠配置有可见光截止滤波器(visible light cutting filter)140。此外，光源110照射近红外光线，身体形状输入部100是对近红外光线有灵敏度的摄像装置。

[0116] (身体形状提取部600)

[0117] 接着，说明身体形状提取部600。身体形状提取部600根据身体形状输入部100的输出，提取出身体形状数据。身体形状数据例如是表示用户放置于(悬浮于操作面上也可以)操作部300的操作面上的身体部分(即手或脚等)的形状及其位置的数据。 [0118] 图12是身体形状提取部600进行身体形状提取处理的流程图。

[0119] 身体形状提取部600首先将身体形状输入部100(这里指摄像机)所输出的图像数据保存到帧存储器(frame memory)中(步骤S602)。图13是表示被获取到帧存储器中的图像数据的一例图。图13的图像数据601中，603是操作部300的操作面，605是用户的手6。

[0120] 接着，身体形状提取部600根据经步骤S602获取到帧存储器中的图像数据，如图14所示，将与用户的身体(这里指手6)相对应的区域作为身体区域607提取出(步骤S604)。根据图像数据提取身体区域的方法，例如有如下方法。

[0121] 第1种提取方法是背景差分法。背景差分法中，首先，在身体形状输入部100与操作部300之间不存在任何物体的状态下，身体形状输入部100对操作部300进行拍摄，并将该结果作为背景图像数据预先保存起来。然后，按照每个像素或每个块来对身体形状输入部100输出的图像数据与背景图像数据进行比较，并将两者之间不同的部分作为身体区域提取出。背景差分法的优点在于操作部300的操作面可以不必是单一的颜色。此外，既可以预先将背景图像数据保存在存储器中，也可以在将身体形状输入部100所输出的图像数据在经过规定时间以上也没有产生变化的情况下，将该图像数据作为背景图像数据保存起来。

[0122] 第2种方法是亮度阈值法。亮度阈值法通过将身体形状输入部100所 输出的图像数据的各像素的亮度值与规定的阈值进行比较，从而提取出身体区域。因此，为了增大身体形状输入部100所输出的图像数据中手6部分与操作部300的操作面部分之间的亮度差，最好将操作部300的操作面设置为黑色或接近于黑色，并对操作面进行消光处理以尽可能消除光的反射。其中，所设定的阈值大于比身体形状输入部100所输出的图像数据中，与操作部300相对应的任一像素的亮度值。从而能够通过提取出亮度值大于上述所设定的阈值的区域来获得身体区域。此外，为了在例如夜间等较暗的情况下也能够提取出正常的身体区域，需要向身体形状输入部100的视角范围内照射可见光线或近红外光线等，以使身体区域的亮度大于阈值。

[0123] 但是，放置在操作部300的操作面上的不一定是限于用户的身体部分，也有如物品等放置于操作面上的情况。该情况下，由于物品被误认成身体部分，物品的图像被显示于显示部200，从而妨碍了显示信息的显示。于是，为避免上述问题，只要判断步骤S606所提取的形状是否是身体部分的形状，当判断不是身体部分时，使之不执行之后的处理便可。判断步骤S606所提取的形状是否是身体部分的形状，只要预先保存身体部分的形状模式，通过将步骤S606所提取的形状与所述形状模式进行比较(模式匹配)便可。并且，还可以通过向控制部500通知所述模式匹配的结果，使操作部300的输入操作只在步骤S606所提取的形状被判断为是身体部分的形状的情况下有效。由此，能够防止操作部300的操作面上因放置物品而导致的错误操作。

[0124] 此外，当用户所涂指甲油的颜色与操作部300的操作面为同一颜色等情况下，步骤S606所检测出的手形状会出现缺少指甲部分的情况，此时，只要事先准备上述形状模式，通过参照该形状模式，便可对检测出的身体部分的形状所欠缺的部分进行增补。 [0125] 完成身体区域的提取后，接下来，身体形状提取部600根据步骤S604所提取的身体区域607，如图15所示，提取出其轮廓609(步骤S606)。该轮廓提取处理通过从身体区域607的像素中，提取出与身体区域607以外的区域的像素相邻接的像素来执行。具体而言，从身体区域607中包含的所有像素中，提取出包含在其上、下、左、右4处附近的像素(或再包含注目像素的右上、左上、右下、左下的8处附近的像素)中包含有身体区域607 以外的区域的像素。此外，还可根据需要，对提取出的轮廓609进行平滑处理。通过平滑处理来消除轮廓609所产生的图形失真的情况。

[0126] 接着，身体形状提取部600执行形状修正处理(S608)。形状修正处理从身体形状输入部100输出的、且处于拍摄范围的图像数据及身体形状的轮廓609中，只提取出与操作范围相关的区域。然后对所提取的图像数据执行摄像机镜头的畸变修正处理、视点变换处理或其他修正处理。

[0127] 拍摄范围中所包含的操作范围取决于身体形状输入部100及操作部300的设置方法。作为操作范围的获取方法，例如事先(拍摄范围中没有拍摄下身体部分的状态)在操作部300的四个角等设置标记，通过亮度阈值法对所设置的标记进行辨别，并将其位置保存。在进行实际操作时，根据事先所保存的操作范围，除去操作范围以外的区域，从而完成提取。

[0128] 尤其在身体形状输入部100使用广角镜头的情况下，摄像机镜头的畸变修正处理利用镜头的畸变像差数据来进行修正。因此，身体形状输入部100使用畸变较小的镜头(如标准镜头或望远镜头)的情况时无需进行摄像机镜头的畸变修正。

[0129] 视点变换处理是在由于设置位置的限制等原因，不能在所期望的视点(本实施方式中的视点是操作部300的正上方)设置身体形状输入部100的情况下所执行的处理。视点变换技术是一项众所周知的技术。以下参照图16及图17，举例说明视点变换处理。 [0130] 图16是身体形状输入部100设置于图3的A位置的情况下所执行的视点变换处理的图例。身体形状输入部100所输出的图像数据601中操作部300的四角(a、b、c、d)所围成的图像被扩大，使得操作部300的四角(a、b、c、d)与显示部200的画面的四角的位置对应。此时，若身体形状输入部100与操作部300的相对位置固定，因图像数据601中操作部300的四角(a、b、c、d)的位置也固定，所以即使不用随时检测该四角的位置，也能够执行如图16所示的视点变换处理。但是，当身体形状输入部100与操作部300的相对位置不固定时，则需要根据身体形状输入部100输出的图像数据601检测出操作部300的四角(a、b、c、d)的位置。该情况下，若事先在操作部300的四角标注上标记，则能更准确地检测出四角的位置。此外，还可使操作部300的操作面内的任意区域与显示部200的画面相对 应。同样地，该情况下，只要事先在所述任意区域的四角标注上基准标记，便能扩大该四角所围成的图像，使该四角与显示部200的画面的四角的位置对应。

[0131] 图17是身体形状输入部100设置于图4的位置的情况下所执行的视点变换处理的图例。图4中，操作部300随着方向盘的旋转而转动，因此，随着方向盘的旋转，身体形状输入部100所输出的图像数据601中的操作部300也相应地发生了转动。同样地，在该情况下，身体形状输入部100所输出的图像数据601中的操作部300的四角(a、b、c、d)的位置被检测出，且该四角所围成的图像被扩大，使得该四角与显示部200的画面的四角的位置对应。

[0132] 此外，在必要的情况下，步骤S608还执行摄像机镜头的畸变修正处理、视点变换处理以外的形状修正处理。例如，将身体形状输入部100所输出的图像数据的清晰度及画面比例适当地转换成显示部200的画面的清晰度及画面比例的处理。

[0133] 此外，本实施方式假设：身体形状输入部100使用不需要镜头畸变修正的标准镜头；身体形状输入部100设置于贯穿操作部300的操作面中央的法线上，且该法线与身体形状输入部100的光轴平行；身体形状输入部100的视角正好能够将操作部300的操作面整体收容在图像内。该情况下，不必执行步骤S608的形状修正处理。执行步骤S608的形状修正处理的结果是能够获得如图18那样的手图像611。

[0134] 接着，身体形状提取部600执行身体图像制作处理(步骤S610)。该步骤制作显示部200所要显示的身体图像。显示部200照原样显示步骤S608所制作的身体图像(如图18的手图像611)的情况下，该步骤中不需进行某些特别的处理。在该步骤中执行的处理如：当步骤S608所制作的身体图像的亮度较暗时，调亮身体图像的亮度；或对身体图像进行平滑处理，如使手的细纹等不被看出；修正身体图像色调的处理，使手看起来更加美观；
或在轮廓的内侧部分贴上预先准备的纹理图案等之类的处理。纹理图案例如是动物毛皮、树木、混凝土、金属、人工图案等。

[0135] (显示部200)

[0136] 接着，说明显示部200。显示部200用于显示图像合成部800所合成的 图像，显示部200可以利用如液晶显示器、CRT(Cathode Ray Tube)显示器、EL(Electronic Luminescence)显示器等。

[0137] 此外，显示器200例如也可以是HUD显示器(Head Up Display)、HMD显示器(Head Mounted Display)等能够使图像合成部800所合成的图像通过半反光镜、镜子、镜头等在空中成像的显示器。这样，在如车辆引擎盖的上方等难于设置显示部200的位置处也能够显示图像。

[0138] 此外，显示部200还可以利用投影仪。该情况下，使用投影仪将图像合成部800所合成的图像投影到屏幕上，能够廉价地实现大画面显示。

[0139] 此外，还可根据设置场所、显示目的等适当地选择显示部200的构成。 [0140] (操作部300)

[0141] 接下来，说明操作部300。操作部300检测用户的输入操作并输出与该输入操作相对应的信号。操作部300可以使用例如触感控制板(touchpanel)、触摸板(touch pad)等坐标输入器件或按键开关、滚轮开关等开关(硬件开关)。当然，操作部300也可既包含坐标输入器件又包含开关。以下，分别以坐标输入器件及开关为例，对操作部300进行说明。 [0142] 首先，以坐标输入器件作为操作部300为例，参照图19进行说明。 [0143] 图19中，操作部300是触感控制板、触摸板之类的坐标输入器件，用于在预先规定的时间输出表示用户所触摸(或摁下)的位置的坐标数据。

[0144] 本实施方式中，操作部300所检测的用户的输入操作一般是指用户触摸操作部300的操作面的操作或摁下操作面的操作，但这也因坐标输入器件的种类、设定而异。例如，在静电容式触摸板的情况下，一般是检测用户是否触摸了操作面。而感压式触摸板则不是检测用户是否触摸了操作面，而是检测用户是否使用规定值以上的力量摁下触摸板。如果增大压力的阈值，则只有在用户用力摁下操作面时，才能作为输入操作而检测。此外，用户的输入操作除触摸操作面的操作或摁下操作面的操作以外，还有其他各种输入操作，如：双击(在短时间间隔内两次触摸操作面或两次摁下操作面)、拖拽(手指触摸着操作面的状态下移动手指)、长时间摁(触摸或摁下操作面达到规定时间以上)、靠近操作面、离开操作面等。这些输入操作不一定只由操作部300检测，例如，控制部500也可根据操作部300输出的坐标数据来检测双击、拖拽等输入操作。

[0145] 此外，还可如图19所示那样，在显示部200上用GUI部件模拟显示出调节音量的旋转开关，当检测出用户在操作部300的操作面上进行画圆的拖拽操作时，也可以根据该拖拽操作来调节音量，这样，使用户犹如实际操作旋转开关一般，从而实现了更为直观的输入操作。

[0146] 由此，使用坐标输入器件作为操作部300，便可根据需要随时对显示部200所显示的GUI部件的形状、位置、功能以及数量进行任意的变更。另外，例如，还能容易地指定显示部200上所显示的地图上的任意地点。从而实现了一种非常通用的输入装置。 [0147] 此外，如前面所述，操作部300可以不用具备如普通触摸板或触感控制板所具有的输出坐标数据的功能。也就是说，操作部300只要能将用户是否触摸了操作面或是否摁下了操作面的操作作为信号输出便可。该情况下，由于不能从操作部300的输出检测出用户所触摸(或摁下)的位置，所以需要根据身体形状输入部100所输出的数据来检测其位置。例如，如图1所示，规定用户只能用食指扬起的状态来选择GUI部件，当检测到身体形状提取部600所获得的手图像中食指指尖的位置时，便可知道用户所选择的GUI部件。但是，若没有做出任何如上述那样的规定，那么，根据身体形状输入部100所输出的数据，则难以正确判断出用户所摁的位置。但是，若操作部300具备输出坐标数据的功能，则可进行如下操作：如图20所示，预先将多个手指分别放到多个GUI部件上，用户不用移动手6，便能从这些GUI部件中适当地选择出所期望的GUI部件。

[0148] 接下来，说明使用开关作为操作部300的情况。图21中，操作部300包括基座301和多个开关310。开关310例如可以是按钮开关311、拨动开关、旋转开关312、滚轮开关313及/或操纵杆314。

[0149] 显示部200上显示GUI部件，其中，所述GUI部件的位置与设置在操作部300上的开关310的位置相对应，并且最好这些GUI部件的形状与开关310的形状大致相同。 [0150] 此外，显示部200所显示的GUI部件的功能还可根据需要随时进行任意地变更。例如，在音频模式下利用旋转开关312来调节音量、在导航模式下利用旋转开关312来变更地图的显示倍率。

[0151] 由此，以开关作为操作部300能使用户一边用触觉来感觉开关的动作 一边进行操作，因此，与触摸板那样只靠视觉来进行输入操作的情况相比，开关的输入更为直观可靠。

[0152] 当然，操作部300还可以既包含坐标输入器件又包含开关。例如，也可以在图21所示的基座301的中央处增设坐标输入器件。例如，通过组合坐标输入器件和开关，在操作部300上，设置与用户使用频率高且显示部200固定显示的GUI部件相应的开关，这样，不仅使进行选择的操作简便，还可通过坐标输入器件来选择其他的GUI部件，从而，不仅使GUI部件的配置更灵活，还有效地利用了画面。

[0153] (运算部400)

[0154] 接下来，对运算部400进行说明。前面已对运算部400所包含的身体形状提取部600进行了说明，在此省略其说明。

[0155] 运算部400的处理大致可分为：为使显示部200显示用户的身体部分的图像所执行的处理；及用户进行输入操作时所执行的处理。

[0156] 首先，参照图22的顺序图，说明控制部500为使显示部200显示用户的身体部分的图像所执行的处理的过程。

[0157] 当身体形状提取部600检测出身体形状时(步骤S501)，身体形状提取部600将已检测出身体形状的信息发送到控制部500。此时，身体形状提取部600还可根据需要，检测出有关身体形状的特征(如手的大小、左手还是右手等)，并将这些特征与上述信息一起发送给控制部500。

[0158] 接着，控制部500检查此时的操作模式(步骤S502)。在此，假设准备了两种操作模式，即：许可用户的输入操作的模式；及禁止用户的输入操作的模式。一般地，导航装置中，为防止用户在驾驶过程中因操作导航装置而产生危险，用户在驾驶过程中的输入操作是无效的。

[0159] 经步骤S502的检查，判断为许可用户的输入操作后，控制部500向显示信息制作部700发出变更显示部200所应该显示的显示信息的指示(步骤S503)。显示信息制作部700根据该指示变更显示信息。以下，举例说明显示信息制作部700对显示信息的变更。 [0160] 图23A及图23B分别是显示信息制作部700在身体形状提取部600检测出身体形状的情况(即：用户的身体部分位于操作部300上的情况)和身体形状提取部600没有检测出身体形状的情况(即：用户的身体部分不在操 作部300上的情况)下，变更显示信息的第1个例子。图23A是身体形状提取部600没有检测出身体形状的情况下的显示画面的图例。此时，用户进行选择的GUI部件(这里指按钮)的轮廓用与写有“距离目的地24分”的显示信息栏相同的线条来进行显示。图24B是身体形状提取部600检测出身体形状的情况下，与图23A对应的显示画面的图例。此时，所显示的按钮被立体化，使用户对所选的部分一目了然。通过这样对显示信息进行变更，当用户没有进行输入操作时，简化了显示信息的显示，从而提高了显示信息的可视性；而当用户进行输入操作时，对选择对象进行了强调显示，从而提高了操作性。

[0161] 图24A及图24B分别是显示信息制作部700在身体形状提取部600检测出身体形状的情况(即：用户的身体部分位于操作部300上的情况)和身体形状提取部600没有检测出身体形状的情况(即：用户的身体部分不在操作部300上的情况)下，变更显示信息的第2个例子。图24A是身体形状提取部600没有检测出身体形状的情况时的另一显示画面的图例。此时，所显示的用户进行选择的GUI部件(这里是按钮)的形状相对较小地显示。图24B是身体形状提取部600检测出身体形状的情况时，与图23A对应的显示画面的图例。
此时，所显示的按钮与图24相比相对较大地显示，使用户更容易选择。通过这样对显示信息进行变更，当用户没有进行输入操作时，使用户更容易地看到按钮以外的显示信息；当用户进行输入操作时，对按钮进行放大显示，从而提高了操作性。

[0162] 图25A及图25B分别是身体形状提取部600检测出右手和左手时，显示信息制作部700变更显示信息的图例。该情况下，身体形状提取部600判定所检测出的身体形状是右手还是左手，并将该判定结果作为身体形状的相关特征通知给控制部500。控制部500根据该判定结果指示显示信息制作部700变更显示信息。所检测出的身体形状是右手还是左手，可以利用如图14或图15所示的数据，通过既存的各种算法来判定。图25A是身体形状提取部600检测出右手时的显示画面的图例。图25B是身体形状提取部600检测出左手时的显示画面的图例。此时，假设如下情况：操作部300设置于车内驾驶座位与副驾驶座位之间，两位用户分别位于操作部300的左右两侧对操作部300进行操作，位于操作部300右侧的用户用左手进行 操作，位于操作部300左侧的用户用右手进行操作。也就是说，当身体形状提取部600检测出右手时，则可以认为进行操作的用户位于操作部300的左侧。此时，倘若GUI部件(这里指按钮)显示于画面的右上方，则当用户摁按钮时，用户的手便会将操作部300的中央附近遮挡住，致使显示画面的中央附近也因此被手图像遮盖，从而看不清画面。于是，为避免上述问题，当身体形状提取部600检测出右手时，如图25A所示，将按钮显示于画面的左侧，相反地，当身体形状提取部600检测出左手时，如图25B所示，将按钮显示于画面的右侧。

[0163] 上述例子中说明了身体形状提取部600分别检测出右手和左手时，变更按钮的设置位置的情况，此外，也可以对按钮的功能、形状、大小或数量等进行变更。例如，操作部300设置于车内驾驶座位与副驾座位之间的情况时，车辆在行驶过程中，当检测出右手(即副驾座位的乘客的手)时，既显示如文字输入等比较复杂的输入操作按钮，又显示如滚屏等较为简单的输入操作按钮；而当检测出左手(即驾驶员的手)时，为了安全起见，则只显示较为简单的输入操作按钮。

[0164] 图26A及图26B分别是身体形状提取部600检测出较大的手(即大人的手)和较小的手(即小孩的手)时，显示信息制作部700变更显示信息的图例。该情况下，身体形状提取部600判定所检测出的身体形状是较大的手还是较小的手，并将该判定结果作为身体形状的相关特征通知给控制部500。控制部500根据该判定结果指示显示信息制作部700变更显示信息的。所检测出的身体形状是较大的手还是较小的手，可通过将如图14所示的身体区域607的面积或宽度与规定的阈值进行比较来判定。图26A是身体形状提取部600检测出较大的手时显示画面的图例。当身体形状提取部600检测出较大的手时，可以认为是大人进行操作，因而不对其输入操作进行特别的限制。图25B是身体形状提取部600检测出较小的手时显示画面的图例。身体形状提取部600检测出较大的手时，则认为是小孩进行操作，便通过使一部分或所有的按钮失效来限制其输入操作，并且，还可以通过变化按钮颜色或对按钮做标记来告知用户按钮失效。

[0165] 上述例子中说明了身体形状提取部600检测出较小的手时，变化按钮颜色或对按钮做标记的情况，但本发明并不局限于此，另外还有其他各种 变更显示信息的例子。例如，将显示信息中难懂的词汇变更为简单的词汇或变更画面的构成、配色，使之更具儿童色彩。 [0166] 此外，其他对显示信息的变更，如：设定显示信息制作部700只在身体形状提取部600检测出身体部分的形状的情况下生成显示信息。这样，由于用户在没有进行输入操作时，图像显示的相关处理被中断，因而节省了耗电量。同样地，也可以设定显示信息制作部
700只在身体形状提取部600检测出右手(或左手)的情况下生成显示信息。同样，设定显示信息制作部700只在身体形状提取部检测出大人的手(或小孩的手)的情况下生成显示信息。

[0167] 此外，还存在身体形状提取部600所检测出的形状不一定是身体部分的形状的情况。于是，该情况下，显示信息制作部700可以判定身体形状提取部600所检测出的形状是否是身体部分的形状，然后分别根据身体部分的形状的情况和身体部分以外的形状的情况来变更显示信息。例如，设定显示信息制作部700在身体形状提取部600所检测出的形状不是身体部分的形状的情况下，不生成显示信息。判定身体形状提取部600所检测出的形状是否是身体部分的形状，可以通过前面所述的模式匹配来实现。

[0168] 显示信息被变更后，控制部500向图像合成部800发出将身体形状提取部600所制作的身体图像与显示信息制作部700所制作(变更后)的显示信息进行合成的指示(步骤S504)。图像合成部800根据该指示来合成身体图像和显示信息。以下举例说明图像合成部800所合成的图像。

[0169] 图27A是将身体形状提取部600所制作的身体图像(例如图18)覆盖于显示信息制作部700所制作的显示信息上时的画面例。通过显示出真实的手图像，可以给用户一种仿佛实际触摸到画面一般的感觉，从而实现了直观的输入操作。

[0170] 图27B是将身体形状提取部600所制作的轮廓图像(例如图15)作为身体图像，覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，不仅显示了身体部分的形状及位置，还显示了身体图像内侧的显示信息，使用户即使在操作中也能够容易地确认显示信息。

[0171] 图27C是对身体形状提取部600所制作的身体图像进行加工，使身体 图像的轮廓不透明而其内部呈半透明状，然后将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，不仅更直观地再现了输入操作，而且使用户在操作中能够容易地确认显示信息。

[0172] 图27D是对身体形状提取部600所制作的轮廓图像的指尖部分进行强调显示的加工后，将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，使用户能够迅速地确认自己所摁的位置，并且，因同时也显示了身体图像内侧的显示信息，使用户在操作中也能够容易地确认显示信息。此外，检测指尖部分的方法，如：通过模式匹配，从轮廓的形状中特定指尖部分的方法；或提取出如图13所示的图像数据中指甲部分的方法。此外，强调显示的方法可通过如显示标记、改变颜色、改变透明度的方法来实现，或通过使用越接近指尖轮廓的颜色越深，或越接近指尖轮廓的透明度越小的方法来实现。 [0173] 图27E是对身体形状提取部600所制作的身体图像附加半透明或不透明的阴影后，将之覆盖于显示信息制作部700所制作的显示信息上时的画面例。这样的图像合成，给用户一种仿佛实际触摸到画面一般的感觉。

[0174] 上述图27F～图27H的例子中说明了将身体图像根据需要进行加工后，将之覆盖于显示信息制作部700所制作的显示信息上的情况。此外，在进行图像合成时，也可以对手图像以外的显示信息进行加工。以下对之进行 说明。

[0175] 身体形状提取部600所制作的身体图像覆盖于显示信息制作部700所制作的显示信息上时，GUI部件的一部分或整体被隐藏，对此，如图27F所示，在GUI部件的附近弹出辅助信息(GUI部件的标签、辅助说明等信息)。为实现这样的显示，图像合成部800首先通过已知的算法，判断显示信息制作部700所制作的显示信息所含有的各GUI部件是否与身体图像重叠。若存在与身体图像重叠的GUI部件，则找出不与身体图像重叠且沿规定方向(右方或上方等)距离所述GUI部件位置的区域，并在该区域显示所述GUI部件的辅助信息。这样的图像合成，通过在任意的GUI部件上重叠身体图像，用户便能容易地获得画面中所显示的任意GUI部件的相关信息。此外，用户不用移动手便能识别被身体图像所隐藏的GUI部件，从而提高了操作性。

[0176] 身体形状提取部600所制作的身体图像覆盖于显示信息制作部700所制作的显示信息时，GUI部件的一部分或整体被隐藏，对此，图27G中，将被隐藏的GUI部件的标签覆盖于身体图像上。图27G中虽然只在身体图像上覆盖被隐藏了的GUI部件的标签，同时也可以结合被隐藏的GUI部件的形状一起进行覆盖。这样的图像合成，使用户不用移动手便能识别被身体图像所隐藏的GUI部件，提高了操作性。

[0177] 图27H是身体形状提取部600所制作的身体图像覆盖于显示信息上时，强调显示与身体图像的指尖部分重叠的GUI部件的图例。这样的图像合成，使用户能够容易地确认身体图像的指尖所指的GUI部件。此外，检测指尖部分的方法，如：通过模式匹配，从轮廓的形状中特定指尖部分的方法或如图13所示的从图像数据中提取出指甲部分的方法。另外还有各种强调显示的方法，如：改变颜色、透明度，形状、线条的种类/线条的粗细、文字格式、图标等，或使颜色、透明度呈递进性变化(浓淡法)等。

[0178] 接着，参照图28的顺序图，说明用户进行输入操作时控制部500所执行的处理的过程。

[0179] 首先，操作部300检测出用户的触摸操作或摁下操作后(步骤S511)，向控制部500发送信息。其中，如上所述，操作部300也可向控制部500只输出坐标数据，从而控制部
500根据该坐标数据来检测触摸操作等。

[0180] 然后，控制部500向显示信息制作部700发出变更显示信息的指示(步骤S512)。显示信息制作部700按照控制部500的指示变更显示信息。以下，结合图29A及29B，举例说明对显示信息的变更。

[0181] 图29A是对与用户所触摸(或摁下)操作部300上的点所对应的GUI部件(即：用户所选的GUI部件)进行强调显示的图例。如图29A所示，用户所选的GUI部件(这里指按钮)被变更为被摁下的图像。此外，为方便起见，图29A中图示出了手图像，但显示信息制作部700所制作的显示信息实际不包含手图像。通过这样变更显示图像，使用户能够容易地确认是否正确地选择了所要选择的GUI部件，从而提高了操作性。

[0182] 图29B是强调显示画面上与用户触摸(或摁下)操作部300上的点所对应的点的图例。图29B的图例中，在画面上与用户触摸(或摁下)操作部300上的点所对应的点处，犹如留下了指纹一般，被标上了圆形的标记。该圆 形标记或在规定的时间内显示，或一直显示到用户再次触摸(或摁下)操作部300为止。通过这样变更显示图像，使用户能够容易地确认是否正确地指定出自己所要指定的画面上的点，尤其是在所要指定的点与实际所指定的点相偏离的情况下，能够确认出偏离的方向及距离。

[0183] 显示信息被变更后，控制部500向图像合成部800发出将身体形状提取部600所制作的身体图像与显示信息制作部700所制作的显示信息合成的指示(步骤S513)。图像合成部800根据该指示来合成身体图像和显示信息。

[0184] 图30是不将合成显示的身体形状的部分显示于显示部整体，而将之限定在作为操作对象的范围内显示的图例。此时，将显示部分成两个画面，左侧显示电视，右侧显示导航地图。用户操控电视的情况下，若在导航画面合成显示手图像，会因重叠不必要的显示而造成妨碍，因此，其结构可以是不在导航画面显示手形状的构成。此外，该情况下，通过上述指尖位置的检测方法，当指尖位于电视画面时，能够判断出当前的操作对象是电视，所以，只要根据指尖位置来限定图像合成的范围是电视画面还是导航画面便可。 [0185] 图31是不将身体形状显示于显示部整体，而是将身体形状缩小在作为操作对象的范围内合成显示的图例。这里以DVD画面为例进行说明。当用户触摸操作部或手在操作部上挥动时，画面的上方便会出现用于DVD操作的子画面。若在不是操作对象的子画面以外的地方合成手形状，会影响正在播放的DVD。所以，在显示子画面期间，通过S608所说明的形状修正处理，对该子画面的大小进行视点变换处理，从而能够只在该子画面中对手形状进行合成。

[0186] 如上所述，根据本发明的输入装置及其方法，即使在用户的手超出操作版面的情况下，也能够通过准确地检测出用户的手形状或手势来进行输入。

[0187] 上述对实施方式的说明中，只是通过具体的例子来说明本发明的结构，并没有限制本发明的技术范围。任何能够达到本发明效果的结构，都可以采用。

[0188] 工业实用性

[0189] 本发明的输入装置能够在不直接接触画面的情况下进行如触摸显示器那样直观的输入操作，适用于在远离显示器的位置进行输入操作的情况或使用远距离显示屏的情况。此外，用户在进行操作时不用看手边的操作，因而，作为车载导航装置的输入装置也很适用。