输送设备控制系统和输送设备控制方法

摘要

本发明的目的在于，提供一种无论电梯等输送设备中有多少乘客，均能够识别对于输送设备的非接触性操作从而控制输送设备的系统及其方法。该输送设备控制系统允许位于规定区域内的多位人员在操作盘上进行输入，并根据来自该操作盘的输出信号而控制输送设备，其具备：摄像装置，其能够俯视并拍摄规定区域；图像处理装置，其对于从摄像装置输出的图像进行处理；以及控制装置，其根据图像处理装置的图像处理的结果而控制输送设备；图像处理装置识别位于规定区域内的多位人员中的至少一人、即对象者的举手行为，并且，即使对象者并未操作操作盘，控制装置也能够根据举手行为而控制输送设备。

权利要求

1.一种输送设备控制系统，其允许位于规定区域内的多位人员在操作盘上进行输入，并根据来自该操作盘的输出信号来控制输送设备，所述输送设备控制系统的特征在于，具备：

摄像装置，其能够俯视并拍摄所述规定区域；

图像处理装置，其对于从所述摄像装置输出的图像进行处理；以及控制装置，其根据所述图像处理装置的图像处理的结果来控制所述输送设备，所述图像处理装置识别位于所述规定区域内的多位所述人员中的至少一人、即对象者的举手行为，即使所述对象者并未操作所述操作盘，所述控制装置也能够根据所述举手行为来控制所述输送设备，所述输送设备为升降装置，

所述图像处理装置识别关联行为和发生所述举手行为时的所述输送设备的状况中的至少一方，其中，所述关联行为是指：所述对象者继所述举手行为后所做的且与所述升降装置的控制相关的行为，所述控制装置根据识别出的所述关联行为来设定针对所述升降装置的控制信息，并根据该控制信息来控制所述升降装置，所述图像处理装置将通过所述摄像装置拍摄的所述对象者的图像，转换为沿着所述升降装置的升降方向俯视所述规定区域的方向的图像，根据该转换后的图像中所包含的、所述升降方向的距离的信息来从所述对象者的图像中识别所述举手行为和所述关联行为。

2.如权利要求1所述的输送设备控制系统，其特征在于，所述规定区域是作为所述升降装置的电梯的轿厢，

所述摄像装置被设置为俯视所述轿厢内的乘客。

3.如权利要求1所述的输送设备控制系统，其特征在于，所述控制装置具备规定多个所述关联行为与多个所述控制信息的对应关系的控制表，所述控制装置根据识别出的所述关联行为且参照所述控制表来设定对应的所述控制信息，并根据对应的所述控制信息来控制所述升降装置。

4.如权利要求1所述的输送设备控制系统，其特征在于，在所述图像处理装置在规定期间内识别出多个所述举手行为时，所述控制装置根据所述图像处理装置识别出所述举手行为的时刻、以及所述控制装置中所设定的、作为使基于所述关联行为的控制中的哪个控制优先的信息的优先度来设定所述控制信息，所述控制装置根据所述控制信息来对所述输送设备进行排他控制，所述排他控制是指具有一致性且确保所述人员的安全的控制。

5.如权利要求1所述的输送设备控制系统，其特征在于，所述控制装置对于用于控制所述规定区域打开或关闭的门的开关方式、和/或使所述升降装置朝向沿多个楼层升降时的目标楼层的出发及到达、和/或使所述升降装置向所述人员提供的装置中的至少一个以上进行控制。

6.如权利要求1至5中任一项所述的输送设备控制系统，其特征在于，所述摄像装置能够对所述规定区域内、或者所述规定区域内的所述人员刚搭乘前所聚集的区域的任意一个以上的区域进行拍摄。

7.如权利要求6所述的输送设备控制系统，其特征在于，该输送设备控制系统是电梯。

8.一种输送设备控制方法，其允许位于规定区域内的多位人员在操作盘上进行输入，并根据来自该操作盘的输出信号而控制输送设备，所述输送设备控制方法的特征在于，

对于所述规定区域中存在的多位所述人员中的至少一人、即对象者的举手行为进行识别，即使所述对象者并未操作所述操作盘，也能够根据所述举手行为来控制所述输送设备，所述输送设备为升降装置，识别关联行为和发生所述举手行为时的所述输送设备的状况中的至少一方，其中，所述关联行为是指：所述对象者继所述举手行为后所做的且与所述升降装置的控制相关的行为，根据识别出的所述关联行为来设定针对所述升降装置的控制信息，并根据该控制信息来控制所述升降装置，

将通过能够俯视并拍摄所述规定区域的摄像装置拍摄的所述对象者的图像，转换为沿着所述升降装置的升降方向俯视所述规定区域的方向的图像，根据该转换后的图像中所包含的、所述升降方向的距离的信息来从所述对象者的图像中识别所述举手行为和所述关联行为。

说明书

输送设备控制系统和输送设备控制方法

技术领域

[0001] 本发明涉及输送设备控制系统及其方法，详细涉及电梯、自动扶梯等使人员上下且进行输送的升降装置的控制，进而详细涉及用于根据搭乘升降装置的人员的行为而控制升降装置的系统。

背景技术

[0002] 目前，在电梯设备中，乘客可以通过操作设置于轿厢的操作盘上的按钮等的操作终端，从而指定轿厢门的开关或目标楼层。相对于此，还存在乘客不接触操作盘也可以控制电梯设备这样的现有技术(专利文献1)。在该现有技术中，操作盘上所搭载的摄像机识别靠近操作盘的乘客的手指，从而能够进行门的开关或目标楼层的指定。

[0003] 另外，以能够俯视电梯的整个轿厢内的方式设置图像传感器，根据图像传感器所获取的乘客的图像而掌握乘客的人数、乘坐轮椅等的乘客的状态，并将其利用于电梯设备的控制中(专利文献2、3)。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：日本专利特开2013-124166号公报

[0007] 专利文献2：日本专利特开2014-013932号公报

[0008] 专利文献3：日本专利特开2005-255404号公报

发明内容

[0009] 发明所要解决的技术问题

[0010] 在上述专利文献1涉及的电梯设备中，需要用于识别乘客的手指的动作的专用摄像机。为了不依赖专用摄像机而对乘客相对于操作盘的动作进行识别，考虑到将电梯内所设有的安全摄像机等通用的摄像机兼用作为俯视电梯设备轿厢的图像传感器。但是，当轿厢内乘客拥挤时，乘客相对于操作盘的操作有可能被其他乘客遮住，从而图像传感器无法识别。

[0011] 因此，本发明的目的在于，提供一种无论电梯等输送设备中有多少乘客，均能够识别相对于输送设备的非接触性操作从而控制输送设备的系统及其方法。

[0012] 解决技术问题的技术方案

[0013] 为了解决上述问题，本发明的输送设备控制系统允许位于规定区域内的多位人员在操作盘上进行输入，并根据来自该操作盘的输出信号来控制输送设备，该输送设备控制系统具备：摄像装置，其能够俯视并拍摄规定区域；图像处理装置，其对于从摄像装置输出的图像进行处理；以及控制装置，其根据图像处理装置的图像处理的结果来控制输送设备；图像处理装置识别位于规定区域内的多位人员中的至少一人、即对象者的举手行为，并且，即使对象者并未操作操作盘，控制装置也能够根据举手行为来控制输送设备。

[0014] 发明效果

[0015] 根据本发明，能够实现无论电梯等输送设备中有多少乘客，均能够识别相对于输送设备的非接触性操作从而控制输送设备的系统及其方法。

附图说明

[0016] 图1是用于说明第一实施方式涉及的图像识别功能的示意图。

[0017] 图2是用于说明第一实施方式涉及的图像识别功能的示意图。

[0018] 图3是用于说明第一实施方式涉及的图像识别功能的示意图。

[0019] 图4是用于说明第一实施方式涉及的图像识别功能的示意图。

[0020] 图5是用于说明第一实施方式涉及的图像识别功能的示意图。

[0021] 图6是用于说明第一实施方式涉及的图像识别功能的示意图。

[0022] 图7是用于说明第一实施方式涉及的图像识别功能的示意图。

[0023] 图8是用于说明第一实施方式涉及的图像识别功能的示意图。

[0024] 图9是用于说明第二实施方式涉及的图像识别功能的示意图。

[0025] 图10表示第一实施方式的变形例涉及的图像识别处理的处理步骤的流程图。

[0026] 图11表示第一实施方式的变形例涉及的图像识别处理的处理步骤的流程图。

[0027] 图12是用于说明第二实施方式涉及的图像识别功能的示意图。

[0028] 图13表示另一实施方式涉及的图像识别处理的处理步骤的流程图。

[0029] 图14是用于说明另一实施方式涉及的图像识别功能的示意图。

具体实施方式

[0030] 以下，根据附图对本发明的实施方式进行说明。在以下的第一实施方式中，以作为输送设备的升降装置、即电梯装置为例，对于根据电梯装置的轿厢内的乘客(人员)的图像而控制轿厢的动作的控制系统进行说明。图1是轿厢51的立体图。标号58是将轿厢51打开或关闭的门。控制系统包括：图像传感器、图像处理处置装置、以及根据图像处理的结果而控制轿厢51 的动作的控制装置。标号52是图像传感器，标号54是作为根据来自图像传感器52的摄像信号(输出图像)进行图像处理的图像处理装置，进而作为根据图像处理的结果而执行轿厢51的控制、例如门58的开关、目标楼层的指定等用户对应控制的控制装置的处理单元。

[0031] 图像传感器52是摄像装置，目前用于监视轿厢51内的乘客等目的，并且设置于轿厢51的天花板的里侧角部，朝向门58侧俯视作为规定区域的轿厢51内的区域，能够拍摄轿厢51内部。图像传感器52具有将轿厢51内的至少一位乘客的上半身容纳于视野内的视角。处理单元54读取通过图像传感器52得到的图像信息，并执行图像处理。标号59表示沿着轿厢51的升降方向(重力方向)的坐标系，标号69表示沿着图像传感器52的视线方向的坐标系。处理单元54也可以根据图像传感器52相对于坐标系69的x、y、z轴的角度(θ、ψ、ρ)等摄像对象来控制图像传感器52的视线方向。

[0032] 为了使得处理单元54能够识别乘客的行为，图像传感器52作为还可以输出与图像之间的距离信息的距离图像传感器来实现。图像传感器52可以适用如下测量方式，即：被称为Time Of Flight(飞行时间)，在传感器内部具有近红外的发光体，通过测量从发出近红外光至该近红外光被视角内的物体反射而返回为止的时间，从而以像素为单位测量与物体之间的距离。除此之外，图像传感器52还可以适用立体摄像机或激光雷达等以像素为单位测量距离的方式。此外，为了能够生成后述的正上方图像，也可以适用能够获取可转换为三维数据的图像数据的任意测量方式。

[0033] 图像传感器52与监视摄像机同样具有图像的摄像面，能够针对多个像素分别测量与摄像对象之间的距离，从而得到距离图像。距离图像是指具有与图像中的各像素之间的距离的信息的图像。图像传感器52能够沿着坐标系69而在视野内捕捉到轿厢51内的乘客131、132以及133(参照图5)。

[0034] 图2中表示处理单元54的功能框图。处理单元54具备图像数据获取部1。图像数据获取部1以规定周期且以帧为单位从图像传感器52获取距离图像并加以存储。

[0035] 处理单元54还具备：举手检测部2，其根据图像数据获取部1所获取的距离图像151(参照图3)，而检测轿厢51内的乘客的举手行为、例如乘客 131(对象者)将手141举起的行为(参照图6)；动作识别部3A，其以对象者的举手行为作为契机，根据距离图像151而识别对象者继举手行为之后所做的动作；以及状况识别部3B，其根据距离图像151而识别轿厢51内的状况 (乘客的配置等)。

[0036] 动作识别部3A将乘客131的行为中的、继上述举手行为之后所作的且与举手行为相关联的关联行为作为特定的“手势”加以区别或者识别等，并将其用于控制轿厢51。作为“手势”，例如有左右摇摆已举起的手、将举起的手放下等。另外，也可以将处理单元54中的后述控制部4以外的部分称为图像处理装置。

[0037] 进而，处理单元54还具备控制信号生成部3C，该控制信号生成部3C接收来自动作识别部3A和/或状况识别部3B的识别结果，并生成用于控制轿厢 51的门58的开关、停靠楼层的设定等的控制信号。控制信号生成部3C将控制信号输出至作为控制包含轿厢51的电梯装置的控制装置的控制部4。此外，也可以将控制信号生成部3C包含在控制部4中。以下，将3A、3B以及3C 统称为手势识别部3。手势识别部3具备上述3A、3B以及3C各自的功能。

[0038] 控制部4根据从控制信号生成部3C输出的控制信号而对电动机进行控制，以便控制轿厢51的门58的开关、轿厢51在停靠楼层的停靠等轿厢51的运行。也可以从操作盘进行轿厢51的门58的开关、在停靠楼层的停靠用的操作，并将来自操作盘的操作信号输出至控制部4。控制部4输出用于使停靠楼层用的按钮点亮等的控制信号，以将信息显示在设置于操作盘上的显示器中。另外，当控制信号生成部3C的控制信号中包含针对乘客的广播、显示器和照明设备等轿厢51内的装置的控制时，控制部4对于相应设备进行控制。轿厢51的门58的开关用的控制包括门58的打开时间、开关速度的调整。此外，“部”通过程序和/或硬件而实现。也可以将“部”称为“模块”。

[0039] 处理单元54既可以作为微型计算机而与图像传感器52独立构成，还可以与图像传感器52呈一体地构成。进而，处理单元54也可以作为经由网络与轿厢51连接的远程计算机而实现。也可以使处理单元54的多个模块与轿厢51远程分开而存在。进而，处理单元54除了作为综合基板的微型计算机而实现之外，还可以由多个控制基板构成。

[0040] 接着，对于图像传感器52的测量动作详细进行说明。在图3中，标号150 是距离图像151中的像素，标号50是与像素150对应的空间中的对应点，标号69如上所述是以图像传感器52为基准的坐标系，iS(u、v)是像素150的距离图像151上的坐标，IS(XS、YS、ZS)是以坐标系69定义的对应点50的坐标。

[0041] 坐标系69的原点OS是图像传感器52的投影中心，坐标轴XS、YS、ZS从图像传感器52来看对应于左、上、里。IS是以图像传感器52作为坐标系的基准时的三维数据。IS的要素中的ZS相当于像素150的距离值。处理单元54在图像传感器52的投影模型近似于针孔模型，且将图像传感器52的焦点距离设为λ时，通过下述公式(1)、公式(2)依次算出IS的要素中剩余的XS、YS。处理单元54通过在距离图像151内的全部或者规定区域内的像素150中反复进行从该距离图像151中的像素150求出对应点50的步骤，从而能够将距离图像151转换为三维数据。

[0042] 【公式1】

[0043] XS＝uZS/λ{u＝λXS/ZS对一般的射影变换的公式进行变形)……(1)

[0044] 【公式2】

[0045] YS＝vZS/λ(v＝λYS/ZS对一般的射影变换的公式进行变形)……(2)

[0046] 进而，处理单元54能够将距离图像151的视点经由对应点50转换为任意的视点。例如，使用图4对于将距离图像151转换为从轿厢51正上方的视点俯视的方向的情况进行说明。首先，使用下述公式(3)表示对应点50的坐标能够从坐标系69转换为任意坐标的情况。在公式(3)中，对应点50的坐标从坐标系69中的坐标IS(XS、YS、ZS)被转换为轿厢51内的坐标系59的坐标I(X、Y、Z)。

[0047] 【公式3】

[0048]

[0049] 位置(XC、YC、ZC)是坐标系59中的图像传感器52的设置位置，角度(θ、ψ、ρ)如图1所示是坐标系59中的图像传感器52的设置角度。这些设置位置或设置角度的数据事先进行测量。

[0050] 接着，处理单元54根据对应点50的坐标I(X、Y、Z)求出从轿厢51正上方的无限远处俯视对应点50时的正上方图像251中的像素250的坐标j(m、 n)。在此，正上方图像251的坐标系259的m、n的比例与实际空间的坐标系 59的X、Z的实际尺寸成比例。像素250的阶调与对应点50的坐标I(X、Y、Z) 的Y坐标(高度)成比例。处理单元54通过使正上方图像251中对应的像素 250的坐标j(m、n)在距离图像151中的全部或者规定区域内重复，从而能够根据像素150的距离图像151上的坐标i(u、v)生成从轿厢51正上方的无限远处俯视时的正上方图像251。此外，将根据距离图像151求出正上方图像251的运算称为正上方转换。

[0051] 处理单元54能够使用坐标系259和坐标系59的比例关系，而根据正上方图像251中的纵向宽度和横向宽度(坐标系259中的m和n轴向的宽度)求出轿厢51内的实际尺寸的坐标系59中的纵向宽度和横向宽度。

[0052] 处理单元54能够使用与坐标系259中的Y坐标(高度)的比例关系，而根据正上方图像251中的阶调求出轿厢51内的实际尺寸的坐标系59中的高度Y坐标(高度)。

[0053] 处理单元54也使正上方图像251与距离图像151之间的区域间相互对应。例如，通过经由对应点50从正上方图像中的规定区域中所包含的各个像素250找到距离图像151中的对应点，从而能够求出距离图像151中与所述规定区域对应的对应区域。反之，也可以按照同样的步骤，根据距离图像 151中的规定区域求出正上方图像251中的对应区域。

[0054] 上述正上方转换在举手检测部2和手势识别部3中执行。

[0055] 接着，根据图5，以通过图像数据获取部1获取距离图像151A的情况为例，对于举手检测部2、手势识别部3以及控制部4的动作进行说明。在图5 中，131、132、133是乘客，158是轿厢51的门58,157是轿厢51的门58附近的操作盘。在距离图像151A中，由于在操作盘157的跟前站着乘客132，因此，如果不使乘客132移动的话，则乘客131和133难以对操作盘157进行操作。

[0056] 当图5的距离图像151A的乘客131高高举起手时，如图6所示，图像数据获取部1(图像传感器52)获取包含举手的乘客131B的距离图像151B。举手检测部2检测举起的手141。

[0057] 通过表示轿厢51内较高的位置(坐标系59的Y坐标较大)，从而在图像传感器52的视野内，手141被周围的乘客132、133等遮蔽、或者被举起手141 的乘客131B的身体遮蔽的可能性较小，由此能够在距离图像151B中明确地进行区别或者识别。在图像传感器52的跟前存在身高高于手141的乘客时，举起的手141有可能被遮蔽，但是，笔直举起的手141的高度为乘客131B的身高加上手臂长度的值，考虑到其比成年人的平均身高大，从而举起的手 141被遮蔽的可能性较小。

[0058] 举手检测部2为了识别举起的手141，只要在正上方图像251(图4)中检测手141的高度的变化即可。图7中表示距离图像151A(图5)的正上方图像251A，图8中表示距离图像151B(图6)的正上方图像251B。在图7和图8 中，231、232、233是乘客的正上方图像，而且，
231B是举手的乘客231的正上方图象，进而，分别与乘客131、132、133、131B对应。255是轿厢
51 的地板55的区域的正上方图像，258对应于门158(图5和图6)的正上方图像，257对应于操作盘157(图5和图6)的正上方图像，而且，241对应于手 141(图6)的正上方图像。举手检测部2通过按照像素计算出正上方图像251A 与正上方图像251B的差分，从而能够识别出手
241被举起的情况。

[0059] 在距离图像151B中，举手检测部2也可以根据平均体型的大人的手的高度而规定举起的手241的高度(坐标系59的Y坐标)的范围，以便与距离的变动、即噪音等区别而可靠地识别出举起的手241。或者，在正上方图像251B 中，也可以根据最靠近手241的乘客231B的身高而规定举起的手241的高度范围。

[0060] 乘客231的身高可以如下那样容易地求出。首先，举手检测部2在举手发生前的帧的正上方图像251A中，相对于区域255而提取出利用坐标系59定义的高度Y高于地板55的像素，并将该多个像素的连接区域作为乘客231、 232、233各自的区域。然后，举手检测部2根据正上方图像251A中的乘客231 的区域内的像素的高度Y的最大值求出正上方图像251A中的乘客231的身高。然后，举手检测部2通过以连续的多个帧追踪并处理乘客的身高，正上方图像251A中的乘客231的身高在正上方图像251B中不会变化，从而判断为举手的乘客231B的身高。此外，由于可以根据像素的连接区域得知轮廓，因而作为乘客的区域的轮廓图像可以区别。

[0061] 举手检测部2在识别手141(图6)时，也可以采用检测正上方图像251B 中的手241的高度变化的方法以外的方法。例如，举手检测部2也可以事先通过机械学习而学习举起的手141(241)的形状图形，并根据在距离图像 151B中存在与该形状图形相符的区域的情况来识别举手。

[0062] 在举起手141的乘客131B打算针对轿厢51进行打开门58(参照图1)等的规定控制而进行规定动作时，手势识别部3将该动作识别为“手势”(继续行为)。即，所谓的“手势”是乘客不接触操作盘157而将自身的意图传递给控制系统(处理单元54)用的参数。通过手势识别部3识别出的“手势”与控制指令的对应关系，只要事先作为控制表T1登记在处理单元54的存储器中即可。控制部4参照控制表T1，并根据手势识别部3识别出的乘客的手势的形态而选择、决定或者确定与其对应的控制指令，并将该控制指令输出至门58的开关用致动器的驱动电路等。例如，“立即关闭门”与朝向门 58的关闭方向挥动手141的手势对应，“延长门的开启”与朝向门58的打开方向挥动手141的手势对应的动作。在控制表T1中，门58作为单开式进行管理。此外，手势识别部3将乘客131B的举手作为“手势”的触发器进行识别。

[0063] 手势识别部3能够将乘客在多个帧内连续进行的多个动作作为相互关联的动作，并将其作为一个或一组手势而与其他手势加以区别。例如，手势识别部3以摆动手141的动作作为触发器进行识别，接着，识别左右摆动手141的动作，进而识别将手放下来的动作，并将其作为一个或一组手势输出至控制部4。控制部4根据控制表T1而确定与“目标楼层的指定”相关的控制指令。此外，手势识别部3也识别手141的移动量，并将该识别信息与“手势”的识别信息一同输出至控制部4。控制部4根据移动量来确定轿厢 51的停靠楼层。

[0064] 状况识别部3B除了上述手势的识别之外，还识别轿厢51内的乘客的状况(拥挤度等)。例如，状况识别部3B根据距离图像151A而识别门58附近存在乘客133(举起手)以外的其他乘客131和132(未举手的乘客)(参照图9)。当门58附近和操作盘157附近存在其他乘客时，乘客133(举起手) 难以靠近操作盘157，因此，控制部4也可以将举手行为(举手)本身视为乘客133的下电梯意思，并使举手与在最近楼层等下电梯用的指令相对应。此外，手势识别部3能够从正上方图像251A中的乘客231、232、233的重心位置求出乘客131、132、133的位置。重心位置作为利用坐标系59(参照图 1)定义的高度Y高于地板55的像素的连接区域(乘客231、232、233：图7) 各自的重心而算出。此外，控制部4也可以在乘客133(举起手)远离操作盘157(两者的位置在规定值以上)时，无论门58附近是否存在其他乘客，均使举手与用于在最近楼层等下电梯的指令相对应。此外，在控制表T1内不存在参照状况的手势的情况下，也可以从本发明的第一实施方式中省略状况识别部3B。

[0065] 举手检测部2和/或控制部4在举手的乘客131B与门58之间不存在其他乘客时、和/或举手的乘客131B站在操作盘157附近时，举手检测部2和/或控制部4也可以不将乘客131B的“举手”作为相对于非接触接口(图像传感器52)的输入而来进行处理。进而，手势检测部3和/或控制部4在举手的乘客131B与门58之间不存在其他乘客时、和/或举手的乘客131B站在操作盘 157附近时，手势检测部3和/或控制部4也可以不将乘客131B的“手势”作为相对于非接触接口(图像传感器52)的输入来进行处理。进而，也可以在举手的乘客131B远离操作盘157(两者的位置在规定值以上)时，无论门 58附近是否存在其他乘客，控制部4均使举手与用于在最近楼层等下电梯的指令相对应。

[0066] 乘客与控制指令的对应关系并不限定于图9的控制表的例子。控制部4 根据朝向非接触接口的输入，并按照控制表而控制例如轿厢51的门58等各部件、以及轿厢51的运行等。

[0067] 手势识别部3除了将举手的乘客131B的相互关联的多个连续行为、例如图9的摇手、左右摆手、以及放下手各自的识别结果作为一个手势暂时输出至控制部4之外，也可以在每次进行各个动作时将各个识别结果输出至控制部4。控制部4根据“目标楼层的指定”的识别而登记(呼叫登记)在指定的楼层停靠的情况。控制部4也可以在手势识别部3收到“放下手”的识别结果时，在轿厢51停止且门58打开之前，从扬声器输出“里面的乘客要下去，请门前的乘客让一下”等的广播，以便举手的乘客131B能够顺利地从轿厢51下来。

[0068] 手势识别部3与控制部4相互协作，可以与乘客之间以人机交互的方式进行乘客的行为的识别，接着进行轿厢51的控制。例如，在上述关联行为中，当手势识别部3识别到手141的摆动，并将其输出至控制部4时，控制部 4经由操作盘257的监视器等向乘客131B提供已收到停靠楼层的请求的情况、以及用于促进停靠楼层的动作的影像输出(消息、亮灯等)。
接着，控制部4在收到手141左右摆动的识别时，将指定的目标楼层输出至操作盘 257的监视器，或者使操作盘257的对应于目标楼层的按钮点亮。

[0069] 根据上述实施方式，可以使用轿厢51内的监视用图像传感器52，而无需在操作盘附近等处设置用于检测乘客的行为的专用传感器，无论轿厢51 内的乘客如何拥挤，图像传感器52均可以识别乘客的行为，从而控制轿厢 51的运行。由于乘客可以避免直接操作不特定的多人接触过的操作盘，因而对于注重卫生的乘客来说也很方便。

[0070] 然而，有时多位乘客会同时、或者在可视为同时的短时间内进行举手行为(举手)。上述控制系统适用排他控制，以便确定要根据多位乘客中的哪位乘客的手势来控制输送设备(轿厢51)。关于将哪个手势、换而言之哪个控制指令用于排他控制，事先通过控制表进行确定即可。例如，典型的有，“立即关闭门”和“延长门的开启”在以门为对象这一点上相同，因而将两者作为排他控制的对象。总之，所谓的排他控制是指使多个手势、或者多个控制指令中的哪个手势或控制指令优先，其根据手势或控制指令的优先度而决定。排他控制通过控制信号生成部3C执行即可。根据图10，对排他控制的流程图进行说明。

[0071] 举手检测部2识别多位乘客的举手(SP1)。举手检测部2记录多位乘客各自的举手的检测时刻(SP2)。也可以取代检测时刻而记录距离图像151B (图6)的帧编号。接着，手势识别部3识别多位乘客131各自的手势(SP3)。

[0072] 接着，控制信号生成部3C针对同一定时进行的多个手势(SP4～SP8)，首先分别判断与该手势对应的控制处理是否为排他控制的对象(SP5)。所谓的“同一定时”，只要与步骤SP2中登记的时刻相互接近、例如数秒以内即可。

[0073] 图11是规定控制指令与优先度的关系的控制表。控制信号生成部3C根据图11判断控制指令是否成为排他控制的对象。在图11中，“立即关闭门” (图9：与朝向门的关闭方向挥手的手势对应)和“延长门的开启”(图9：与朝向门的打开方向挥手的手势对应)均与“门”有关，因而两者成为排他控制的对象。为了乘客的安全，而应使“延长门的开启”优先于“立即关闭门”，从而将“立即关闭门”的优先度设定为“2”，将“延长门的开启”的优先度设定为“1”。在图11中，优先度的值越低，则优先度越高。

[0074] 另一方面，“目标楼层的指定”以“显示呼叫登记”(停靠楼层用的按钮的点亮)为对象，“下电梯的信号”以“下电梯的广播”为对象，分别与其他控制指令在控制对象上不重复，因而均不是排他控制的对象，从而不设定优先度。

[0075] 更优选为，从乘客的安全观点来决定优先度。例如，通过使“延长门的开启”的优先度高于“立即关闭门”的优先度，在某一乘客刚进行用于“立即关闭门”的手势之后，想从门58出去的另一乘客进行了“延长门的开启”的手势的情况下，延长门58的打开时间，从而乘客能够从容地下电梯，因而能够避免与门58附近的乘客发生碰撞。

[0076] 当控制指令为“立即关闭门”或者“延长门的开启”时，控制信号生成部3C判断为控制指令是排他控制的对象，当控制指令为“目标楼层的指定”或者“下电梯的信号”时，控制信号生成部3C判断为控制指令并非排他控制的对象。

[0077] 接着，控制信号生成部3C在判断为与手势对应的控制指令为排他控制的对象时(SP5中为“是”)，根据图11判断控制指令的优先度是否最高 (SP6)，在判断为与手势对应的控制指令并非排他控制的对象时(SP5中为“否)，控制信号生成部3C根据控制指令控制轿厢51的动作，控制部4开始执行控制(SP7)。

[0078] 控制信号生成部3C在判断为控制指令的优先度并非最高时(SP6中为“否”)，不对该控制指令进行处理，返回SP5对下一控制指令进行处理。控制信号生成部3C在判断为控制指令的优先度最高时(SP6中为“是”)，转移至SP7，执行与控制指令对应的控制。控制信号生成部3C通过将SP5～ SP7涉及的排他控制适用于由多位乘客同时执行的手势(控制指令)中，能够避免基于多个手势的控制相互冲突(“立即打开门”与“延长门的开启”的冲突)。

[0079] 控制信号生成部3C在存在多个优先度相同的手势时，按照SP2中的时刻的早晚顺序进行处理。通过上述排他控制，即使多位乘客同时进行手势，也可以根据手势控制轿厢51。

[0080] 根据附图对本发明的实施方式进行说明。关于与第一实施方式相同的部分，省略说明。

[0081] 如具备图像识别功能的升降装置的功能构成图(图12)所示，处理单元54具备：以规定周期且以帧的形式获取某一摄像机图像的图像数据获取部1′、根据图像数据获取部1所获取的摄像机图像而检测轿厢51内的规定对象(例如乘客131的手141)的举手检测部2′、识别所检测出的手141的动作的手势识别部3′、以及根据手势识别部3′的识别结果而控制电梯装置的控制部4。此外，进行图像处理的图像处理装置具备图像数据获取部1′、举手检测部2′以及手势识别部3′。

[0082] 图12中表示处理单元54的功能框图。处理单元54具备图像数据获取部1  ′。图像数据获取部1′以规定周期且以帧为单位从图像传感器52获取距离图像并加以存储。

[0083] 处理单元54还具备举手检测部2和手势识别部3′，其中，举手检测部2 根据图像数据获取部1所获取的距离图像151(参照图3)，而检测轿厢51内的乘客的举手行为、例如乘客131(对象者)举起手141这一举手行为(参照图6)；手势识别部3′以对象者的举手行为作为契机，根据距离图像151 而识别对象者继举手行为之后所做的动作。

[0084] 图像数据获取部1′从在轿厢51内与图像传感器52同样设置的安全摄像机等的普通摄像机获取摄像机图像。摄像机图像只要是二维图像即可，彩色图像、单色图像以及近红外线图像均可，获取与距离图像151A和151B同样地映有乘客131、131B以及手141的图像。

[0085] 举手检测部2′通过图形识别而从如距离图像151B那样映有高高举起手的乘客的摄像机图像中的图像性特征中检测手141。图形识别是指：例如事先收集手的图像的学习样品，预先通过机械学习而学习图像性特征，将摄像机图像中具备手的图像性特征的部分检测为手。除此之外，在摄像机图像为彩色图像的情况下，也可以将肤色的区域检测为手。

[0086] 根据上述实施方式，使用安全摄像机等的普通摄像机识别手势而不需要专用的图像传感器，无论轿厢51内的乘客如何拥挤，图像传感器52均可以识别乘客的行为，从而控制轿厢51的运行。

[0087] 此外，在上述实施方式中，对于设置有在轿厢51中设置的图像传感器 52的情况进行了说明，但本发明并不限于此。例如，如图13所示，在电梯厅的较高位置处设置图像传感器52H的情况下，能够通过第一实施方式的功能构成而检测电梯厅的乘客31H、32H以及33H的举手，从而识别手势。

[0088] 因此，乘客无需接触电梯厅中设置的操作盘57H，便可以执行目标楼层的指定等的轿厢51的运行控制、轿厢51中的装置的控制。此外，关于第二实施方式，通过在电梯厅设置安全摄像机等，同样能够检测电梯厅的乘客 31H、32H以及33H的举手，从而识别手势。

[0089] 另外，在上述实施方式中，对于控制部4将电梯作为控制对象的情况进行了说明，但本发明并不限于此，在图像传感器52以及普通摄像机设置为俯视作为手势识别对象的乘客等的人时，控制部4能够对电梯以外的装置进行控制。

[0090] 例如，如图14所示，能够对自动扶梯61等的乘客传送带进行控制。也可以构成为：将图像传感器52E设置为从斜上方将自动扶梯61的基部65附近容纳在视野内，在自动扶梯
61的乘客31E、32E以及33E等进行举起手后左右大幅摆动的手势时，控制部4使自动扶梯紧急停止。

[0091] 在该构成中，即使乘客31E在自动扶梯61的基部65中跌倒受伤而无法移动时，且乘客32E和33E位于使自动扶梯61紧急停止的紧急停止键57E周围时，通过进行举起手后左右大幅摆动的手势，控制部4也可以快速地使自动扶梯61停止。

[0092] 工业上的实用性

[0093] 本发明的使用手势的输送设备的控制也可以使用于电梯、自动扶梯以外的装置中。

[0094] 标号说明

[0095] 1……图像数据获取部

[0096] 2……举手检测部

[0097] 3……手势识别部

[0098] 4……控制部

[0099] 51……轿厢

[0100] 54……处理单元

[0101] 55……地板

[0102] 58……门

[0103] 157……操作盘