投影型图像显示设备、图像投影方法以及计算机程序

摘要

本公开涉及投影型图像显示设备、在该设备中使用的图像投影方法、以及在该设备中使用的计算机程序。这里，公开了一种投影型图像显示设备，其包括：投影部，该投影部将输入图像投影到被投影体上；照相机部，该照相机部对被投影体进行拍摄；显示控制块，该显示控制块控制由投影部投影的投影图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作。

权利要求

1.一种投影型图像显示设备，包括：

投影部，该投影部将输入图像投影到被投影体上；

照相机部，该照相机部对被投影体进行拍摄；

显示控制块，该显示控制块控制由投影部投影的投影输入图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作；

其中，照相机部每隔预定的时间间隔对投影部的投影表面进行拍摄；

其中，基于通过对于每一个所述预定的时间间隔的拍摄图像之间的帧间差而获得的差分图像，姿势识别单元识别出在投影表面上的手形状；

其中，显示控制块响应于姿势识别单元检测到拍摄图像的帧内的变化而设置姿势操作区域，所述显示控制块针对所述姿势操作区域进行增益校正，或者使得所述姿势操作区域近似为白色图像；并且其中，姿势识别单元在所述姿势操作区域内搜寻所述手形状，计算所述手形状的移动距离，并基于所述移动距离来识别出对应的姿势操作。

2.根据权利要求1所述的投影型图像显示设备，其中，显示控制块把姿势操作区域设置在照相机部的拍摄区域内。

3.根据权利要求2所述的投影型图像显示设备，其中，显示控制块使得姿势操作区域在设置姿势操作区域后在预定的时间段内没有检测到手形状时或者在没有检测到姿势时消失。

4.根据权利要求1所述的投影型图像显示设备，其中，显示控制块使得表示姿势识别单元识别出手形状的视觉信息被显示在投影输入图像内。

5.根据权利要求1所述的投影型图像显示设备，其中，显示控制块使得表示姿势识别单元结束用于识别姿势操作的处理的视觉信息被显示在投影输入图像内。

6.根据权利要求2所述的投影型图像显示设备，其中，显示控制块在姿势操作区域内进行表示姿势操作方法的引导显示。

7.根据权利要求2所述的投影型图像显示设备，其中，当通过投影部投影运动图像时，显示控制块总是把姿势操作区域设置在照相机部的拍摄区域内。

8.根据权利要求7所述的投影型图像显示设备，其中，显示控制块以把由静止图像构成的姿势操作区域重叠在运动图像上的方式来显示该姿势操作区域。

9.根据权利要求2所述的投影型图像显示设备，其中，当进行姿势操作区域的显示时，显示控制块缩小输入图像的投影大小，以防止输入图像与姿势操作区域重合。

10.根据权利要求2所述的投影型图像显示设备，其中，通过利用能够通过投影部被投影到被投影体上的区域中的在从投影部投影输入图像之后的额外的区域，显示控制块进行姿势操作区域的显示。

11.根据权利要求2所述的投影型图像显示设备，还包括：图像校正量计算单元，该图像校正量计算单元基于由照相机体拍摄的图像来计算图像校正量，在输入图像从投影部被投影到被投影体上时的畸变通过该图像校正量来得以校正，其中，显示控制块基于图像校正量来校正输入图像；并且姿势识别单元使用校正后的输入图像没有被投影到其上的部分作为姿势操作区域。

12.一种投影型图像显示方法，包括：

把输入图像投影到被投影体上；

对被投影体进行拍摄；以及

识别出在拍摄中获得的拍摄图像中包含的用户的姿势操作；

其中，被投影体的投影表面每隔预定的时间间隔被拍摄；

其中，基于通过对于每一个所述预定的时间间隔的拍摄图像之间的帧间差而获得的差分图像，识别出在投影表面上的手形状；

其中，响应于检测到拍摄图像的帧内的变化而设置姿势操作区域，针对所述姿势操作区域进行增益校正，或者使得所述姿势操作区域近似为白色图像；并且其中，在所述姿势操作区域内搜寻所述手形状，计算所述手形状的移动距离，并基于所述移动距离来识别出对应的姿势操作。

13.一种非暂态计算机可读存储介质，该存储介质上存储有程序，该程序使得计算机实现如下操作：将输入图像投影到被投影体上；

对被投影体进行拍摄；

控制投影输入图像的显示；以及

识别出在拍摄中获得的拍摄图像中包含的用户的姿势操作；

其中，被投影体的投影表面每隔预定的时间间隔被拍摄；

其中，基于通过对于每一个所述预定的时间间隔的拍摄图像之间的帧间差而获得的差分图像，识别出在投影表面上的手形状；

其中，响应于检测到拍摄图像的帧内的变化而设置姿势操作区域，针对所述姿势操作区域进行增益校正，或者使得所述姿势操作区域近似为白色图像；并且其中，在所述姿势操作区域内搜寻所述手形状，计算所述手形状的移动距离，并基于所述移动距离识别出对应的姿势操作。

说明书

投影型图像显示设备、图像投影方法以及计算机程序

技术领域

[0001] 本公开涉及投影型图像显示设备、在该设备中使用的图像投影方法、以及在该设备中使用的计算机程序，使用该投影型图像显示设备通过投影在屏幕上显示计算机等的图片。更具体地，本公开涉及装载有照相机或者与照相机结合使用的投影型图像显示设备、在该设备中使用的图像投影方法、以及在该设备中使用的计算机程序。

背景技术

[0002] 作为用户控制的对象的诸如家用电器和信息设备的各种产品存在于人类居住的环境中。由用户远程控制这种类型的设备的方法之一包括姿势操作(gesture manipulation)。

[0003] 例如，日本专利特开No.2010-79332(作为专利文献1)提出了遥控操纵设备。在这种情况中，使用遥控操纵设备，对操作按钮或者用于在其上显示菜单的操作显示部分进行操作的操作者的图像被捕获，并且基于从捕获的图像检测到的手的形状和运动以及操作显示部分的显示来检测由操作者进行的操作。根据本相关技术，通过使用手指(多根手指)或手(多个手)的轮廓，可以识别出用户的姿势。

[0004] 另外，例如，日本专利特开No.2010-15553(作为专利文献2)提出了图像识别设备。在这种情况中，使用图像识别设备，由操作者对虚拟操作表面进行的操作被三维地读取，并且确定该操作是否是基于操作者的一部分与虚拟操作表面之间的位置关系的操作。然后，当操作者的操作在基于操作者的一部分与虚拟操作表面之间的位置关系决定的两个或更多虚拟操作层次中的任意一个的区域内被进行时，基于之前分别分配到虚拟操作层次的操作的种类以及在虚拟操作层次内的操作者的操作来确定操作的内容。

[0005] 姿势操作是基于用户已经被拍摄并且用户的图像被识别，从而理解该姿势。因此，期待姿势操作可以在每一个均装载有照相机的各种类型的家用电器或信息设备中被采用。

[0006] 另一方面，每一个均装载有照相机的投影型显示装置也已经被开发。但是，大部分投影型图像显示设备致力于校正例如当使用照相机捕获的图像被倾斜地投影到被投影体(image projected body)(诸如屏幕墙表面)时在投影的图像中产生的梯形畸变。也就是说，通常，使用这一类投影型图像显示设备，测试图案被投影到屏幕上，测试图案的图像被内置的照相机所捕获，这样，基于结果得到的屏幕的四个角的位置以及测试图案的四个角的位置来校正梯形畸变。例如，这一类投影型图像显示设备在日本专利特开No.2007-13810(作为专利文献3)中进行了描述。

[0007] 如上所述，尽管存在每一个都载有照相机的投影型图像显示设备，但是相关的照相机被用于调节投影阶段中的畸变，并且，这样的要被用于姿势操作的照相机还没有商业化地得到生产。

发明内容

[0008] 为了解决上述问题已经作出了本公开，并且，因此希望提供一种优质的投影型图像显示设备、在该投影型图像显示设备中使用的图像投影方法、以及在该投影型图像显示设备中使用的计算机程序，该投影型图像显示设备载有照相机或者与照相机结合使用，这样，其可以识别使用照相机拍摄的用户的图像，从而进行姿势操作。

[0009] 为了实现上述的希望，首先，根据本公开的实施例，提供一种投影型图像显示设备，该投影型图像显示设备包括：投影部，该投影部将输入图像投影到被投影体上；照相机部，该照相机部对被投影体进行拍摄；显示控制块，该显示控制块控制由投影部投影的投影图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作。

[0010] 第二，在根据本公开实施例的投影型图像显示设备中，优选地，照相机部可以每隔预定的时间间隔对投影部的投影表面进行拍摄；并且，基于通过对于每一个所述预定的时间间隔的拍摄图像之间的帧间差而获得的差分图像，姿势识别单元可以识别出在投影表面上进行的姿势操作。

[0011] 第三，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以在照相机部的拍摄区域内提供姿势操作区域。

[0012] 第四，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以在拍摄图像内形成姿势操作区域，针对该姿势操作区域进行增益校正，或者，使得该姿势操作区域近似为白色图像；并且姿势识别单元可以在姿势操作区域内搜寻手形状并识别出姿势。

[0013] 第五，在根据根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以响应于姿势识别单元检测到拍摄图像的帧内的变化而设置姿势操作区域。

[0014] 第六，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以使得姿势操作区域在设置姿势操作区域后在预定的时间段内没有检测到手形状时或者在没有检测到姿势时消失。

[0015] 第七，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以使得表示姿势识别单元识别出手形状的视觉信息被显示在投影图像内。

[0016] 第八，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以使得表示姿势识别单元结束用于识别姿势操作的处理的视觉信息被显示在投影图像内。

[0017] 第九，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以在姿势操作区域内进行表示姿势操作方法的引导显示。

[0018] 第十，在根据本公开实施例的投影型图像显示设备中，优选地，当通过投影部投影运动图像时，显示控制块可以总是把姿势操作区域设置在照相机部的拍摄区域内。

[0019] 第十一，在根据本公开实施例的投影型图像显示设备中，优选地，显示控制块可以以把由静止图像构成的姿势操作区域重叠在运动图像上的方式显示该姿势操作区域。

[0020] 第十二，在根据本公开实施例的投影型图像显示设备中，优选地，当进行姿势操作区域的显示时，显示控制块可以缩小输入图像的投影大小，以防止输入图像与姿势操作区域重合。

[0021] 第十三，在根据本公开实施例的投影型图像显示设备中，优选地，通过利用能够通过投影部被投影到被投影体上的区域中的在从投影部投影输入图像之后的额外的区域，显示控制块可以进行姿势操作区域的显示。

[0022] 第四十，优选地，根据本公开实施例的投影型图像显示设备还可以包括：图像校正量计算单元，该图像校正量计算单元基于由照相机体拍摄的图像来计算图像校正量，在输入图像从投影部被投影到被投影体上时的畸变通过该图像校正量来得以校正，其中，显示控制块可以基于图像校正量来校正输入图像；并且姿势识别单元可以使用校正后的输入图像没有被投影到其上的部分作为姿势操作区域。

[0023] 第十五，根据本公开的另一个实施例，提供一种投影型图像显示方法，该投影型图像显示方法包括：把输入图像投影到被投影体上；对被投影体进行拍摄；以及识别出在拍摄中获得的拍摄图像中包含的用户的姿势操作。

[0024] 第十六，根据本公开的另一个实施例，提供一种以计算机可读形式被描述为使得计算机充当如下部件的计算机程序：投影部，该投影部将输入图像投影到被投影体上；照相机部，该照相机部对被投影体进行拍摄；显示控制块，该显示控制块控制由投影部投影的投影图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作。

[0025] 根据本公开的上述的另一个实施例的计算机程序作为以计算机可读形式被描述为在计算机上实现预定的处理的计算机程序来定义。换句话说，根据本公开的上述的另一个实施例的计算机程序被安装在计算机中，从而可以在计算机上产生协作操作，这样，可以获得与根据本公开实施例的投影型图像显示设备中的操作和效果相同的操作和效果。

[0026] 如之前所阐述的，根据本公开，可以提供优质的投影型图像显示设备、在其中使用的图像投影方法、以及在其中使用的计算机程序，该投影型图像显示设备载有照相机或者与照相机结合使用，这样，其可以识别使用照相机拍摄的用户的图像，从而进行姿势操作。

[0027] 另外，根据本公开，基于在图像被投影到其上的投影表面上的帧间差，手形状的识别精度可以被增强，这样，姿势操作成为可能。此外，手形状的识别精度的增强还会导致姿势的操作性的改进。

[0028] 另外，根据本公开，被识别的姿势操作使得可以进行与任意其它的适合的设备的协作操作。

[0029] 此外，根据本公开，由于确保了手形状识别率，因此多个用户的手可以与另一个用户分开被识别。结果，由多个用户进行的姿势操作可以在变成大屏幕的投影表面上进行。

[0030] 结合将在稍后描述的实施例以及附图，上述的和其它的目的、特征和优点将变得很明显，在附图中，相同的部分或元件分别以相同的附图标记或符号来表示。

附图说明

[0031] 图1是示意性地示出根据本公开第一实施例的投影型图像显示设备的配置的框图；

[0032] 图2包括图2A到图2C，图2A到图2C分别是解释进行姿势识别的方法的示图，该方法基于针对通过拍摄投影表面所获得的图像的帧之间的差的检测；

[0033] 图3是解释用于识别在根据本公开第一实施例的投影型图像显示设备上的手形状的示意性处理过程的流程图；

[0034] 图4A到图4F分别是示出各种情形的示图，在每种情形中，姿势操作区域被设置(放置)在投影表面内；

[0035] 图5是示出这样的情形的示图，其中，除了投影表面以外的姿势操作区域是通过放大由照相机部提供的拍摄区域来提供的；

[0036] 图6是示出投影图像的例子的示图，通过该投影图像，在视觉上反馈手形状已经被成功地识别；

[0037] 图7是示出投影图像的例子的示图，通过该投影图像，在视觉上反馈用于识别姿势操作的处理已经被完成；

[0038] 图8是示出其中在姿势操作区域内进行引导显示的例子的示图；

[0039] 图9是示出其中在姿势操作区域内进行引导显示的另一个例子的示图；

[0040] 图10是解释用于通过根据本公开的第一实施例的投影型图像显示设备来检测投影表面上的手形状，并通过引导显示来识别姿势操作的处理过程(直到手形状被检测到)的流程图；

[0041] 图11是解释用于通过根据本公开的第一实施例的投影型图像显示设备来检测投影表面上的手形状，并通过引导显示来识别姿势操作的处理过程(直到基于检测到的手形状的姿势操作被识别)的流程图；

[0042] 图12是示出投影图像的图片转变的例子的示图，其是通过分别执行在图10和图11中示出的处理过程来实现的；

[0043] 图13是解释简化的姿势操作识别方法的示图；

[0044] 图14是示出在显示运动图像的阶段中的投影图像的结构的例子的示图；

[0045] 图15是示出响应于使得姿势操作区域出现而内容区域被缩小的情形的示图；

[0046] 图16A到图16C分别是解释利用一个区域来作为姿势操作区域的方法的示图，在该区域上，图像的梯形畸变已经被校正；

[0047] 图17A到图17C分别是示出多个用户同时在投影图像上进行姿势操作的情形的示图；以及

[0048] 图18A到图18C分别是示出多个用户在投影图像上进行协作工作的情形的示图。

具体实施方式

[0049] 在下文中，将参考附图对本公开的实施例进行详细描述。

[0050] 图1是示意性地示出根据本公开第一实施例的投影型图像显示设备的配置的框图。在该图中示出的投影型图像显示设备100包括：投影部101、控制部102、输入/输出接口103、照相机部104和图像处理部105。在下文中，上面提到的这些部分将参考图1进行详细描述。

[0051] 诸如个人计算机或电视机(两者都未示出)的外部设备被连接到输入/输出接口103。这样，输入/输出接口103进行关于希望投影的图像的数据的输入。假设输入图像包括静止图像和运动图像。另外，投影型图像显示设备100还可以通过输入/输出接口103被连接到家用网络(未示出)，这样，可以与安装在家用网络上的各种类型的设备中的任何设备进行通信。

[0052] 照相机部104被安装，从而拍摄由投影部101投影到被投影体(未示出)上的图像。图像处理部105对对应于由照相机部104拍摄的图像的信号执行预定的信号处理，诸如：数字增益控制、自动白平衡(AWB)控制、以及锐利度/饱和度对比度调节(sharpness/saturation contrast regulation)。

[0053] 控制部102包括：显示控制块110、图像识别块120和设备操作控制块130。另外，图像识别块120包括图像校正量计算单元121和姿势识别单元122。

[0054] 显示控制块110对通过投影从投影部101输出的图像的显示进行控制。投影部101将从控制部102输出的图像投影到诸如屏幕(未示出)的被投影体上。投影图像包括：静止图像、运动图像等，其中的每一个是通过输入/输出接口103从外部供应的。使用显示控制块110，诸如图像质量校正的预定的处理被适当地执行。

[0055] 该图像以倾斜的方向从投影部101被投影到被投影体(诸如屏幕墙表面)上，从而在投影图像中产生畸变。为了应对这样的情形，图像校正量计算单元121基于对由照相机部104拍摄的图像的图像识别的结果来检测在投影图像中产生的畸变，从而计算校正量，要基于该校正量来校正投影图像。例如，图像校正量计算单元121计算来自投影部101的投影图像中包含的梯形畸变的量，并指示显示控制块110通过投影图像的投影变换来校正梯形畸变。但是，由于对投影图像的校正处理并不与本说明书中公开的技术的主题直接相关联，因此在本说明书中省略对其的详细描述。

[0056] 姿势识别单元122检测用户的手形状等，以通过对由照相机部104拍摄的图像的识别处理来识别由用户进行的姿势操作。这里，在某些情况中，姿势识别单元122指示显示控制块110形成稍后描述并且被用于将姿势输入到投影图像的内部的姿势操作区域，稍后描述并且被用于为用户示出用于姿势操作的方法的引导显示等。

[0057] 当命令之前被分配给识别的姿势操作时，姿势识别单元122识别对应于识别出的姿势操作的命令。如果这样识别的命令是对应于相关的投影型图像显示设备100的操作命令，那么姿势识别单元122将该命令发送到设备操作控制块130，并据此控制设备操作。

[0058] 另外，如果这样识别的命令是用于通过输入/输出接口103连接到投影型图像显示设备100的外部设备的操作命令，那么姿势识别单元122将该操作命令通过输入/输出接口103传输到相关的外部设备。结果，相关的投影型图像显示设备100与另一个设备(外部设备)之间的协作操作成为可能。例如，当相关的投影型图像显示设备100通过输入/输出接口
103连接到家用网络时，投影部101可以针对对家用网络上的外部设备的操作来投影和显示用户界面图片(未示出)。

[0059] 迄今为止，已经存在了每一个都装载有照相机的投影型图像显示设备。但是，拍摄的使用应用是用来调节投影阶段中的畸变的，这样，在姿势操作中使用的每一个都装载有照相机的投影型图像显示设备中的任意一个都还没有在商业基础上商业化地得到生产。另一方面，因为姿势操作是通过由照相机部104拍摄的图像的识别来进行的，所以根据本公开的第一实施例的投影型图像显示设备是新颖的。

[0060] 这里，当用户通过使用他/她的手(多个手)对从投影部101投影的图像进行姿势操作时，投影图像被部分地投影到手(多个手)上。结果，担心的是，与其中通过使用诸如自然光或照明光的单色光来进行照明的正常环境的情况相比，手形状识别率会降低，这样可能无法识别出姿势。另外，如果手形状识别率低，那么不仅可能无法识别出姿势，而且在某些情况中会进行错误的识别。在这种情况中，姿势的操作性变差。

[0061] 另外说一下，来自投影部101的投影表面成为比普通显示装置的情况更大的屏幕，这样，多个人可以容易地相互共享投影表面。但是，还未发现多人分别同时进行姿势操作的现有技术。

[0062] 于是，在第一实施例的投影型图像显示设备100中，针对通过对投影表面进行拍摄而获得的图像来检测各帧之间的差，从而进行姿势识别。也就是说，当从投影部101投影的静止图像被照相机部104作为运动图像进行拍摄时，姿势识别单元122进行各帧之间的差的检测，从而检测到手已经进入到投影表面。

[0063] 图2A示出在手进入到投影表面之前通过拍摄投影表面所获得的图像。图2B示出在手已经进入到投影表面之后通过拍摄投影表面所获得的图像。此外，图2C示出通过检测分别在图2A与图2B中示出的图像之间的帧间差所获得的结果。如可以从图2A到图2C看出的，相同的投影图像被投影到手进入到投影表面之前的投影表面上以及手已经进入到投影表面之后的投影表面上(但是，这些投影图像是在投影图像是静止图像的情况中被获得的)。因此，这些拍摄图像之间的差是在帧间被检测到的，从而去除了投影图像的影响。因此，可以提取仅出现在拍摄图像之一中的手形状。结果，期待手形状识别率被增强。

[0064] 参考图3，以流程图的形式示出用于通过投影型图像显示设备100来识别投影表面上的手形状的示意性处理过程。在照相机部104中，在步骤S301中的处理中，从投影部101投影到被投影体上的静止图像被拍摄为运动图像或每隔预定的时间间隔被拍摄为静止图像。此外，在步骤S302中的处理中，姿势识别单元122检测每隔预定的时间间隔从拍摄的运动图像提取的两个帧之间的差，或者以预定的时间间隔拍摄的静止图像的两个帧之间的差。此外，在步骤S303中的处理中，当基于差分图像检测到出现在投影部101的投影表面上的手形状时，在步骤S304中的处理中，跟踪检测到的手形状，从而识别姿势操作。

[0065] 如上所述，通过执行帧间差分处理，可以去除部分地投影到进入投影表面的手上的投影图像的影响。但是，出于进一步增强对手的识别的精度的缘故，可以在投影表面内设置使得手被容易地识别的姿势操作区域。或者，通过执行对照相机部104等的变焦处理，可以使得拍摄区域大于正常投影表面，并且，在这种情况下，还可以设置除了投影表面以外的姿势操作区域。在任何一种情况中，为了姿势识别，姿势操作区域都必须被设置在照相机部104的拍摄区域内。

[0066] 当在拍摄区域内设置姿势操作区域时，显示控制块110针对对应于投影图像内的姿势操作区域的部分进行增益校正或显示白色图像，从而抑制由于投影图像被部分地投影到手上而造成的对识别精度的降低。

[0067] 图4A到图4F分别示出各种情形，在每种情形中，姿势操作区域被设置(放置)在拍摄区域内。另外，图5示出这样的情形，其中，通过进行变焦操作等，照相机部104的拍摄范围被放大，以提供除了投影表面以外的姿势操作区域。在由显示控制块110进行针对投影图像的增益校正或者由显示控制块110形成近似白色的图像，从而提供姿势操作区域的前一种情况中，姿势操作区域被设置在投影表面内的位置、大小和形状都是任意设置的。例如，如图4A到4F所示，姿势操作区域可以被分别设置在投影表面的上下侧和左右侧。如图4E所示，具有任意形状(包括圆形)的姿势操作区域可以被设置在投影图像内的任意位置中。如图4F所示，姿势操作区域可以被分散地设置在投影表面的两个或三个或更多的位置中，诸如在投影表面的右手侧的上下两端。

[0068] 但是，当通过由显示控制块110切换投影图像的显示来设置姿势操作区域时，通过投影在其上显示原始图像(通过输入/输出接口103输入的输入图像)的面积被缩小。因此，总是设置姿势操作区域，这导致被显示的信息的量被不必要地减少。另外，当除了投影表面以外的姿势操作区域通过放大照相机部104的拍摄区域来设置时，由照相机部104拍摄的图像的分辨率降低。因此，当总是设置姿势操作区域时，恐怕对梯形畸变等的校正量的计算的精度会降低。

[0069] 于是，也可以采用通常不设置姿势操作区域，响应于在投影部101的投影表面内检测到手的出现而安装姿势操作区域，并且，对于未检测到手的出现的时间段，不设置姿势操作区域。如图2A到图2C所示，获得帧间差，从而可以检测到用户的手已经出现在投影图像内。此外，通过检测由于用户的手的出现和消失而导致的帧内的变化，可以确定姿势操作已经从现在开始了。

[0070] 另外，在许多信息设备的情况中，这样的信息设备包括这样一个部分，该部分用于基于针对用户输入而对按钮的操作感、图像、声音或触感来向用户反馈在设备中安全地取得输入的事实。另一方面，如图3所示的在投影表面上(或在由照相机部104拍摄的图像内)进行的姿势操作是针对在投影型图像显示设备100的外部设置的被投影体(诸如，屏幕)的操作(或者在被投影体的表面的附近进行的操作)。结果，可能无法在被投影体中向用户反馈手形状已经被识别或者姿势已经被识别的事实。

[0071] 于是，可以以这样的方式来进行控制：当手形状已经在图像识别块120中被识别时，或者，当用于识别姿势的处理已经完成时，使得显示控制块110向用户提供反馈的视觉信息被设置在投影图像内。当手形状已经由图像识别块120识别出时，例如，如图6所示，覆盖这样识别的手的圆被显示为重叠在原始的投影图像上。另外，当用于识别姿势的处理已经完成时，例如，如图7所示，围绕被识别的手的这种箭头被显示等，从而，暗示该处理已经成功地结束的这样的图像被显示为重叠在原始的投影图像上。

[0072] 另外，姿势输入仍然很不寻常，因此，用于姿势的方法仍未众所周知。尽管如图6所示，已经成功地使用户识别出了在投影表面上的他/她的手的形状，但是用户不能发现，当下一次他/她进行什么类型的手的移动时，在某些情况中可以进行姿势输入。为了处理这样的情形，可以以这样的方式来进行控制，其中，显示控制块110向用户示出下一个姿势操作的虚拟信息(引导显示)被设置在投影图像内，或者被设置在投影图像内设置的姿势操作区域中。

[0073] 图8和图9分别示出引导显示的例子。在图8中示出的例子中，引导显示由相对于被识别的手分别向上和向下指的箭头的图像构成。这样，引导显示指导：如果用户在投影表面内向上或向下移动他/她的手，那么用户可以进行姿势操作。另外，在图9中示出的例子中，引导显示由圆弧形箭头的图像构成，该圆弧形箭头以被识别的手作为起点按逆时针方向围绕被识别的手。这样，引导显示指导：如果用户在投影表面内以逆时针方向移动他/她的手，那么用户可以进行姿势操作。引导显示经常被进行，导致在视觉上令人厌烦。出于这一原因，仅在手形状被识别后直到用于识别姿势操作的处理已经结束的时间段，或者仅在希望姿势操作被进行的时间段，可以进行引导显示。

[0074] 图10和图11以流程图的形式示出用于通过投影型图像显示设备100来检测投影表面上的手形状，以及由投影型图像显示设备100通过引导显示来识别姿势操作的处理过程。

[0075] 在步骤S1001中的处理中，照相机部104将从投影部101投影到被投影体上的静止图像作为运动图像拍摄，或者每隔预定的时间间隔将从投影部101投影到被投影体上的静止图像作为静止图像拍摄。

[0076] 此外，在步骤S1002中的处理中，姿势识别单元122计算从每隔预定的时间间隔拍摄的运动图像提取的两个帧之间的差，或者每隔预定的时间间隔拍摄的静止图像的两个帧之间的差。另外，在步骤S1003中的处理中，姿势识别单元122检测是否存在帧的变化。

[0077] 在投影图像是静止图像的情况中，要被投影的相同的图像被投影在手进入投影表面之前的投影表面和手已经进入之后的投影表面两者上。因此，姿势识别单元122在步骤S1002中的处理中获得帧间差，以去除投影图像的影响，从而使得区分手是否进入投影表面成为可能。

[0078] 当基于差分图像在帧中检测到变化时(在步骤S1003中的处理中的“是”)，出于以高识别精度来识别手形状的目的，例如，如图4A到4F所示，在步骤S1004中的处理中，显示控制块110在投影图像内形成姿势操作区域。另一方面，当在帧内未检测到变化时(在步骤S1003中的处理中的“否”)，操作返回到步骤S1001中的处理。然后，通过照相机部104连续地进行对投影表面的拍摄，并且，投影型图像显示设备100等待，直到在帧中产生变化。

[0079] 在姿势操作区域的显示已经开始时和之后，在步骤S1005中的处理中，照相机部104连续地拍摄来自投影部101的投影图像。此外，在步骤S1006中的处理中，姿势识别单元
122从姿势操作区域搜寻手形状图案。

[0080] 这里，当姿势识别单元122在姿势操作区域内的手形状图案的匹配中已经成功时(在步骤S1007中的处理中的“是”)，随后，操作前进到图11中示出的预定的姿势识别处理。请注意，当姿势识别单元122在姿势操作区域内的手形状图案的匹配中(即，在手形状的识别中)已经成功时，可以进行如图6所示的表示在手形状识别中的成功的视觉反馈。但是，优选地，视觉反馈在很短的时间内结束，以不会妨碍随后的姿势识别。

[0081] 另一方面，当姿势识别单元122在手形状图案的匹配中失败时(在步骤S1007中的处理中的“否”)，操作返回到步骤S1005中的处理。然后，照相机部104连续地拍摄投影表面。此外，姿势识别单元122继续在姿势操作区域内搜寻手形状图案。

[0082] 另外，当从显示姿势操作区域开始起经过了预定时间段时，也就是说，当已经超时时，在步骤S1008中的处理中，使得姿势操作区域的显示消失，然后，用于对手形状图案进行搜寻的处理停止。此外，操作返回到步骤S1001中的处理。然后，通过照相机部104连续地进行对投影表面的拍摄，并且，投影型图像显示设备100等待，直到在帧中产生变化。

[0083] 在步骤S1101中的处理中，在识别姿势操作的阶段中，按照需要，适当地进行如图8或图9所示的引导显示。另外，在步骤S1102中的处理中，照相机部104连续地拍摄来自投影部101的投影图像。此外，在步骤S1103中的处理中，姿势识别单元122在姿势操作区域内搜寻手形状图案。

[0084] 当姿势识别单元122在姿势操作区域内的手形状图案的匹配中已经成功时(在步骤S1104中的处理中的“是”)，在步骤S1105中的处理中，姿势识别单元122计算匹配的手形状的区域的坐标。此外，在步骤S1106中的处理中，姿势识别单元122计算手形状的移动距离。另外，在步骤S1107中的处理中，姿势识别单元122试图基于这样计算得到的移动距离来检测对应的姿势操作。但是，基于手形状的移动距离来检测姿势操作的方法仅仅是一个例子，这样，在步骤S1105到S1107中的三个处理也可以使用任何其它适合的检测方法来代替。

[0085] 这里，当姿势识别单元122在姿势操作的检测中已经成功时(在步骤S1108中的处理中的“是”)，在步骤S1109中的处理中，姿势识别单元122执行对对应于这样检测到的姿势的命令的处理。当这样检测到的命令是针对相关的投影型图像显示设备100的操作命令时，姿势识别单元122将该命令发送到设备操作控制块130，然后设备操作控制块130控制设备操作。另外，当这样检测到的命令是用于通过输入/输出接口103连接到投影型图像显示设备100的外部设备的操作命令时，姿势识别单元122将该操作命令通过输入/输出接口103传输到对应的外部设备。结果，相关的投影型图像显示设备100与对应的外部设备之间的协作操作成为可能。

[0086] 此外，在命令处理已经结束后，在步骤S1110中的处理中，使得在步骤S1004中的处理中被显示的姿势操作区域、以及在步骤S1101中的处理中被显示的引导显示两者消失。结果，姿势识别处理结束。

[0087] 另一方面，当姿势识别单元122在姿势操作的检测中失败时(在步骤S1108中的处理中的“否”)，操作返回到步骤S1102中的处理。此外，照相机部104连续地拍摄来自投影部101的投影图像，并且姿势识别单元122继续在姿势操作区域内搜寻手形状图案。

[0088] 另外，当姿势识别单元122在姿势操作区域内的手形状图案的匹配中失败时(在步骤S1104中的处理中的“否”)，在步骤S1111中的处理中，姿势识别单元122对未获得匹配的时间进行计数。此外，在直到超时的时间段中(在步骤S1112中的处理中的“否”)，操作返回到步骤S1102中的处理。此外，照相机部104连续地拍摄来自投影部101的投影图像，并且姿势识别单元122继续在姿势操作区域内搜寻手形状图案。此外，当已经超时时(在步骤S1112中的处理中的“是”)，在步骤S1110中的处理中，使得在步骤S1004中的处理中被显示的姿势操作区域、以及在步骤S1101中的处理中被显示的引导显示两者消失。结果，姿势识别处理被停止。

[0089] 图12示出投影图像的图片的转变的例子，其是由投影型图像显示设备100通过执行分别在图10和图11中示出的处理过程来实现的。

[0090] 在图片状态1中，已经通过输入/输出接口103从投影部101输入的输入图像(图像A)通过投影被按原样显示。此外，在照相机部104中，来自投影部101的投影图像被按原样拍摄。在姿势识别单元122中，由照相机部104拍摄的图像之间的帧间差总是被计算，并且对其进行检查，以查看在这些帧中是否存在变化。

[0091] 这里，当姿势识别单元122检测到在这些帧中已经有了变化时，图片状态从图片状态1转变到图片状态2。

[0092] 在图片状态2中，显示控制块110在投影图像内形成姿势操作区域。在姿势操作区域内，进行增益校正或者获得近似白色的图像，这样，与原始图像(通过输入/输出接口103输入的输入图像“图像A”)被投影到其上的区域的情况相比较，手形状变得容易识别。在该图中示出的情况中，已经进行了增益校正或者已经形成近似白色的图像的姿势操作区域被重叠在原始图像(图像A)上。但是，姿势操作区域可以通过缩小原始图像来形成。

[0093] 在照相机部104中，来自投影部101的投影图像被拍摄。此外，姿势识别单元122在这样拍摄的姿势操作区域内搜寻手形状图案。此外，当姿势识别单元122在姿势操作区域内的手形状图案的匹配中已经成功时，图片状态从图片状态2转变到图片状态3-1。。

[0094] 另外，当在图片状态2中，由于可能无法在姿势操作区域内检测到手形状图案而超时时，显示控制块110使得姿势操作区域从投影图像消失。然后，图片状态返回到图片状态1。

[0095] 在图片状态3-1中，显示控制块110进行引导显示，通过该引导显示向用户示出用于在姿势操作区域内的姿势操作的方法。在该图中示出的情况中，引导显示由分别向上和向下指的箭头构成，用于向用户示出这样的事实，即，如果用户向上或向下移动他/她的手，那么用户可以进行姿势操作。此外，引导显示被显示为重叠在姿势操作区域上。

[0096] 照相机部104拍摄来自投影部101的投影图像。此外，姿势识别单元122计算匹配的手形状的区域的坐标，并进一步计算手形状的移动距离。然后，如图片状态3-2所示，当在姿势操作区域内移动手，并且因此获得手形状的移动距离时，姿势识别单元122试图识别已经在姿势操作区域内进行的姿势操作。

[0097] 另外，当在图片状态3-1中可能无法在姿势操作区域内检测到手形状图案并因此超时时，显示控制块110使得手形状图案从投影图像消失。然后，图片状态返回到图片状态1。

[0098] 这里，当可能无法在姿势操作区域内检测到姿势操作时，图片状态返回到图片状态3-1，并且，姿势识别单元122重复地计算匹配的手形状图案的移动距离。

[0099] 另一方面，当在图片状态3-2中可能识别姿势操作时，期待对对应于这样检测到的姿势操作的命令的处理。在该图中示出的图片转变图中，通过进行姿势操作指示的命令为切换拍摄图像。这样，图片状态从图片状态3-2转变到图片状态4，并且，显示控制块110使得投影部101将要被投影的下一个图像(通过输入/输出接口103输入的输入图像“图像B”)投影到被投影体上。此外，在其中图片被切换的状态中，图片状态返回到图片状态1。

[0100] 在迄今为止所给出的描述中，采用了计算被识别的手形状图案的移动距离的方法，从而通过手形状的识别来进行姿势操作的识别。另一方面，还期待进一步简化的方法，从而使得在不进行手形状的识别的情况下，仅确定投影图像上的姿势操作区域中的变化，从而进行姿势操作。

[0101] 在图13中示出的情况中，姿势操作区域分别被设置在两个部分中：投影图像的右手侧的上端；以及投影图像的右手侧的下端。此外，分别表示“+”和“-”的命令，被分别分配到两个姿势操作区域。例如，“+”和“-”的标记是指投影图像的光量的增强和减弱、音量的提高和降低、频道的增加和降低(在电视节目被投影来观看的情况中)等。如图13所示，用户将他/她的手保持在“+”的姿势操作区域上。然后，当在该姿势操作区域中已经检测到差别时，在没有检测该形状是否是手形状的情况下，姿势识别单元122识别已经进行了出“+”的姿势操作。另外，尽管未示出，但是这还适用于用户将他/她的手保持在“-”的姿势操作区域上的情况。

[0102] 例外，在迄今为止的描述中，帧间差是以图2A到图2C中示出的方式来获得的，据此确定用户的手已经出现在投影图像内，也就是说，姿势操作从现在开始，从而进行姿势操作区域的显示(例如，参考图4A到图4F)。但是，尽管当投影图像是静止图像时，可以基于帧间差来检测用户的手的出现和消失，但是当运动图像正在被投影时，由于投影图像本身改变了(也就是说，帧内的内容由投影图像本身所改变)，因此可能无法基于帧间差来检测用户的手的出现和消失。为了应对这样的情形，对于运动图像被投影到被投影体上的时间段，基于帧间差的手的检测可以被放弃，并且，姿势操作区域可以总是被显示，从而使得进行姿势操作成为可能。

[0103] 图14示出在运动图像的显示的阶段中的投影图像的结构的例子。在该图中示出的例子中，投影图像包括：其上投影有运动图像的内容区域、以及总是显示的姿势操作区域。

[0104] 由于运动图像被显示在内容区域上，因此当获得帧间差时，图像内的运动也被检测。结果，即使当使得用户的手出现或消失时，也可能无法从运动图像区分出用户的手形状。另一方面，姿势操作区域由静止图像构成。因此，当获得帧间差时，据此来检测用户的手在姿势操作区域上的出现和消失，从而可以识别姿势操作。

[0105] 在图14中示出的例子中，姿势操作区域被设置在投影图像的下端边缘中。从左手侧开始依次显示按钮“返回”、“再现停止”、“再现”、“暂停”和“快进”。除了在图中示出的按钮以外，放大和缩小图像、用于馈送到前后图像的操作、区域指定等的按钮也可以进一步被制备在姿势操作区域内。针对通过投影显示在内容区域上的运动图像，用户将他/她的手保持在与期望的操作相对应的按钮上，从而使得进行姿势操作成为可能。

[0106] 迄今为止，已经给出了这样的情况，其中，已经进行了增益校正或已经形成了白色图像的姿势操作区域被显示为重叠在内容区域的一部分上，该内容区域用于诸如静止图像或运动图像的内容。在姿势操作区域被重叠在内容区域上的情况中，从内容被观看的立场来看，也存在过多的图像进入内容区域的推测，这样，内容的图像不会变得正常。然后，显示控制块110可以缩小内容区域，以便对应于已经使姿势操作区域消失的事实，从而防止这些内容的图像被姿势操作区域所干扰。

[0107] 图15示出这样的情形，其中，内容区域将响应于对应于已经使姿势操作区域消失的事实而被缩小。优选地，已经被缩小后的内容区域具有与原始的内容区域相同的纵横比。

[0108] 另外，在投影型图像显示设备100中，当光从投影部101倾斜地照射到被投影体时，如图16A所示，获得投影图像，在该投影图像中产生梯形畸变。通常，如图16B所示，对原始图像(通过输入/输出接口103输入的输入图像)进行投影变换，从而对投影图像中的梯形畸变进行了校正。这种技术在例如专利文献3中进行了描述。如可以从图16B看出的，为了对梯形畸变进行校正，在从投影部101的梯形可投影区域缩小姿势操作区域的状态中将图像投影在被投影体上。当以投影部101的可投影区域变为近似等于照相机部104的拍摄区域的方式进行设计时，进行对投影图像中的梯形畸变的校正，并且，作为结果，在拍摄区域中产生额外的区域。这样，如图16C所示，姿势识别单元122可以利用被投影体上的图像未被投影在其上的已经发生梯形畸变的区域作为姿势操作区域。

[0109] 在迄今为止的描述中，未对在姿势操作区域中进行操作的用户的数量进行特别的提及。来自投影部101的投影表面成为比普通显示装置更大的图片，这样，投影表面变得容易在多个用户之间共享。

[0110] 图17A到图17C分别示出多个用户分别在投影图像上同时进行姿势操作的情形。在该图中示出的情况中，用户1在投影图像的右手侧上进行姿势操作，并且，用户2在投影图像的左手侧上进行姿势操作。另外，对于用户1的姿势操作区域1被设置在投影图像的右手侧上，并且，对于用户2的姿势操作区域2被设置在投影图像的左手侧上。响应于基于帧间差已经检测到用户1和用户2的手的事实，可以使姿势操作区域1和2依次出现。

[0111] 另外，同时通过投影型图像显示设备100利用投影图像的多个用户并不单独工作，并且，也可以进行协作工作。

[0112] 作为多个用户协作工作的例子，图18A到图18C分别示出用户1和用户2通过利用投影图像与彼此玩游戏的情形。在该图中示出的例子中，用户1和用户2在其中显示有桌子的投影图像上一同打曲棍球游戏。在这种情况中，响应于用户1和用户2的手已经基于帧间差被检测到的事实，姿势操作区域1和2成功地出现。此外，姿势识别单元122读出用户1和用户2的每个手在姿势操作区域1和2上追逐向着他/她自己的地盘行进的冰球的移动速度、移动距离和移动方向，然后，计算用户1和用户2中的每一个击打冰球的方向和速度。此外，显示控制块110基于计算的结果在桌上绘制冰球的运动。

[0113] 如上所述，根据第一实施例的投影型图像显示设备100，不特定的人可以在从投影部101投影的大图片上进行姿势操作。

[0114] 根据以计算机可读形式描述的根据本公开的第二实施例的计算机程序，使得计算机充当投影部101、照相机部104、显示控制块110和姿势识别单元122。在这种情况中，投影部101将输入图像投影到被投影体上。照相机部104对被投影体进行拍摄。显示控制块110控制由投影部101所投影的投影图像的显示。此外，姿势识别单元122识别包含在由照相机部104拍摄的图像中的用户的姿势操作(参考图1)。

[0115] 请注意，本公开的技术还可以采用下面的构造。

[0116] (1)一种投影型图像显示设备，包括：投影部，该投影部将输入图像投影到被投影体上；照相机部，该照相机部对被投影体进行拍摄；显示控制块，该显示控制块控制由投影部投影的投影图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作。

[0117] (2)在段落(1)中描述的投影型图像显示设备，其中，照相机部每隔预定的时间间隔对投影部的投影表面进行拍摄；并且基于通过对于每一个所述预定的时间间隔的拍摄图像之间的帧间差而获得的差分图像，姿势识别单元识别出在投影表面上进行的姿势操作。

[0118] (3)在段落(1)中描述的投影型图像显示设备，其中，显示控制块把姿势操作区域设置在照相机部的拍摄区域内。

[0119] (4)在段落(3)中描述的投影型图像显示设备，其中，显示控制块在拍摄图像内形成姿势操作区域，针对该姿势操作区域进行增益校正，或者，使得该姿势操作区域近似为白色图像；并且姿势识别单元在姿势操作区域内搜寻手形状并识别出姿势。

[0120] (5)在段落(3)中描述的投影型图像显示设备，其中，显示控制块响应于姿势识别单元检测到拍摄图像的帧内的变化而设置姿势操作区域。

[0121] (6)在段落(3)中描述的投影型图像显示设备，其中，显示控制块使得姿势操作区域在设置姿势操作区域后在预定的时间段内没有检测到手形状时或者在没有检测到姿势时消失。

[0122] (7)在段落(1)中描述的投影型图像显示设备，其中，显示控制块使得表示姿势识别单元识别出手形状的视觉信息被显示在投影图像内。

[0123] (8)在段落(1)中描述的投影型图像显示设备，其中，显示控制块使得表示姿势识别单元结束用于识别姿势操作的处理的视觉信息被显示在投影图像内。

[0124] (9)在段落(3)中描述的投影型图像显示设备，其中，显示控制块在姿势操作区域内进行表示姿势操作方法的引导显示。

[0125] (10)在段落(3)中描述的投影型图像显示设备，其中，当通过投影部投影运动图像时，显示控制块总是把姿势操作区域设置在照相机部的拍摄区域内。

[0126] (11)在段落(10)中描述的投影型图像显示设备，其中，显示控制块以把由静止图像构成的姿势操作区域重叠在运动图像上的方式来显示该姿势操作区域。

[0127] (12)在段落(3)中描述的投影型图像显示设备，其中，当进行姿势操作区域的显示时，显示控制块缩小输入图像的投影大小，以防止输入图像与姿势操作区域重合。

[0128] (13)在段落(3)中描述的投影型图像显示设备，其中，通过利用能够通过投影部被投影到被投影体上的区域中的在从投影部投影输入图像之后的额外的区域，显示控制块进行姿势操作区域的显示。

[0129] (14)在段落(3)中描述的投影型图像显示设备，还包括：

[0130] 图像校正量计算单元，该图像校正量计算单元基于由照相机体拍摄的图像来计算图像校正量，在输入图像从投影部被投影到被投影体上时的畸变通过该图像校正量来得以校正，其中，显示控制块基于图像校正量来校正输入图像；并且姿势识别单元使用校正后的输入图像没有被投影到其上的部分作为姿势操作区域。

[0131] (15)一种投影型图像显示方法，包括：把输入图像投影到被投影体上；对被投影体进行拍摄；以及识别出在拍摄中获得的拍摄图像中包含的用户的姿势操作。

[0132] (16)一种以计算机可读形式被描述为使得计算机充当如下部件的计算机程序：投影部，该投影部将输入图像投影到被投影体上；照相机部，该照相机部对被投影体进行拍摄；显示控制块，该显示控制块控制由投影部投影的投影图像的显示；以及姿势识别单元，该姿势识别单元识别出在由照相机部拍摄的图像中包含的用户的姿势操作。

[0133] 迄今为止，在参考特定实施例的同时，已经详细描述了在本说明书中公开的技术。但是，很明显，本领域技术人员可以在不脱离在本说明书中公开的技术的主题的情况下进行修改和替换。

[0134] 在本说明书中，已经针对关于集成有照相机的投影型图像显示设备的实施例给出了描述。但是，即使采用照相机可以与投影型图像显示设备的主体分开或者从外部连接到该主体的方式的构造的情况中，类似地，在本说明书中公开的技术也可以被适用于这样的构造。

[0135] 总而言之，在本说明书中公开的技术已经以示例性的方式进行了描述，因此，在本说明书中描述的内容不应当以限制性的意义来解释。出于确定本说明书中公开的技术的主题的目的，附录的权利要求书应当予以考虑。

[0136] 本公开包含与2012年6月12日递交于日本专利局的日本在先专利申请JP 2012-132658中的主题有关的主题，该专利申请的全部内容通过引用并入本文。