一种基于感知增强的机械手遥操作方法及系统

摘要

本发明涉及一种基于感知增强的机械手遥操作方法及系统，属于机械手控制技术领域；其中，方法包括：识别出人手在运动过程中指尖与掌心的位置信息；将位置信息映射成机械手操作指令；接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。通过深度摄像头与手部标记的方式，简单快捷地获取手部运动数据，并通过压力反馈与视觉反馈增强遥操作过程的感知，使操作人员在远程控制过程中获取到更多的信息，帮助优化远程操作效果。

权利要求

1.一种基于感知增强的机械手遥操作方法，其特征在于：

动作识别步骤，识别出人手在运动过程中指尖与掌心的位置信息；具体而言，接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；

动作映射步骤，将位置信息映射成机械手操作指令；具体而言，依据连续获取的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，再将语义信息映射成机械手操作指令；

压力反馈步骤，接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；其中压力传感器被布置在机械爪的指尖；

视觉反馈步骤，接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景；具体而言，所述深度摄像机为Kinect；依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；依据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成

3D图像模型；通过ICP算法对3D图像模型进行优化。

2.一种基于感知增强的机械手遥操作系统，其特征在于，包括：动作识别单元，包括用于获取人手位置信息的Kinect；

视觉反馈单元，包括获取机械手工作台图像信息的两台以上的深度摄像机；

压力反馈单元，包括获取机械手压力的压力传感器及设于人手上的振动器；其中,压力传感器被布置在机械爪的指尖；

控制单元，包括与Kinect、深度摄像机、压力传感器及振动器通讯连接的处理器；

所述处理器用于：

依据骨骼数据获取人手掌心的位置信息；

依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；

依据连续获取的人手掌心与指尖的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，并将从位置信息中提取的语义信息映射成机械手操作指令；

接收压力传感器的压力数据并依据该压力数据控制振动器的振动强度；

接收深度摄像机所获取的图像信息，构建3D实时操作场景。

说明书

一种基于感知增强的机械手遥操作方法及系统

技术领域

[0001] 本发明涉及机械手操控技术领域，具体地说，涉及一种基于感知增强的机械手遥操作方法及系统。

背景技术

[0002] 近年来，随着机械手操控技术的发展，尤其是通过采集人手动作数据以模拟人手动作的机械手操控技术，使机械手在各行业具有很大的应用前景。在该类操控技术中，常通过外骨骼、数据手套等穿戴设备对人手动作数据进行采集，而这类穿戴设备的采集是基于其上的传感器，导致其售价偏高，很难实用化，尤其是民用化。

[0003] 此外，随着机器人技术的快速发展，尤其是民用服务机器人及类人机器人技术，对低成本类操控技术的需求也越来越大，尤其是可对机械手进行远程控制的遥操作技术。

发明内容

[0004] 本发明的目的是提供一种基于感知增强的机械手遥操作方法及系统，以较低成本实现对机械手的遥操作。

[0005] 为了实现上述目的，本发明提供基于感知增强的机械手遥操作方法包括动作识别步骤、动作映射步骤、压力反馈步骤及视觉反馈步骤；其中，动作识别步骤包括识别出人手在运动过程中指尖与掌心的位置信息；动作映射步骤包括将位置信息映射成机械手操作指令；压力反馈步骤包括接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；视觉反馈步骤包括接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。

[0006] 在工作过程中，通过识别步骤识别出人手在运动过程中指尖与掌心的位置信息，由于是通过采集指尖、掌心的位置信息实现动作的数据化，而可使用Kinect等成本低采集设备，以降低机械手遥操技术的成本；通过动作映射步骤，将动作数据处理转换为相应的机械手操作指令，实现人类动作数据到机械手操作指令的映射，从而可对机械手进行远程操控；通过压力反馈步骤，将机械手在仿真人手抓取过程中的压力信息通过振动强度反馈给人手，以实现人类感知机械手的压力；通过视觉反馈步骤，使用两台深度摄像机获取的图像信息构建出机械手操作的3D实时场景并反馈给操作人员，以实现感知增强的机械手远程控制操作。

[0007] 具体的方案为识别出人手在运动过程中指尖与掌心的位置信息的步骤包括：接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息。通过在人手指尖布置颜色标记纸带等彩色标记，根据Kinect深度信息与图像信息，获取指尖三维坐标数据。

[0008] 另一个具体的方案为将位置信息映射成机械手操作指令的步骤包括：依据位置信息，提取语义信息，将语义信息映射成机械手操作指令。

[0009] 更具体的方案为提取语义信息的步骤包括：依据连续获取的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义。有效地简化将人手位置信息映射机械手操作指令的映射算法。

[0010] 另一个具体的方案为接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景的步骤包括：深度摄像机为Kinect；依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成3D图像模型；通过ICP算法对3D图像模型进行优化。便于操作人员通过屏幕或VR眼镜观察实时3D操作场景，以实现感知增强。

[0011] 为了实现上述另一目的，本发明提供基于感知增强的机械手遥操作系统包括动作识别单元、视觉反馈单元、压力反馈单元及控制单元；其中，动作识别单元包括用于获取人手位置信息的Kinect，视觉反馈单元包括获取机械手工作台图像信息的两台以上的深度摄像机；压力反馈单元包括获取机械手压力的压力传感器及设于人手上的振动器，控制单元包括与Kinect、深度图像摄像机、压力传感器及振动器通讯连接的处理器。通过该机械手遥操作系统与机械手的配合，能够以较低的成本实现对机械手的远程操控。

[0012] 具体的方案为处理器用于：接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；依据连续获取的人手掌心与指尖的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，并将从位置信息中提取的语义信息映射成机械手操作指令；接收压力传感器的压力数据并依据该压力数据控制振动器的振动强度；接收深度摄像机所获取的图像信息，构建3D实时操作场景。

[0013] 本发明基于感知增强的机械手遥操作方法及系统，其利用图像技术、传感技术、压力-振动反馈技术及3D视觉反馈技术，通过将人手位置信息转换成操作指令控制机械手仿生人手运动进行操作，并把机械手在操作过程中的压力与视觉反馈给操作人员，不仅便于操作人员对机械手进行远程操控，而且相对采用穿戴式采集设备的现有技术，有效降低实现成本。

附图说明

[0014] 图1是本发明基于感知增强的机械手遥操作系统的结构框图；

[0015] 图2是本发明基于感知增强的机械手遥操作方法的工作流程图。

具体实施方式

[0016] 以下结合实施例及其附图对本发明作进一步说明。

[0017] 实施例

[0018] 参见图1，本发明基于感知增强的机械手遥操作系统1包括机械手10、控制单元11、动作识别单元12、压力反馈单元13及视觉反馈单元14。

[0019] 机械手10由机械臂和机械爪组成，其中机械臂采用EPSON C4型号机械臂，机械爪采用ROBOTIQ三指机械爪。

[0020] 动作识别单元12包括一台布置在使用者前方用于获取操作人员在操作过程中人手位置信息的Kinect。

[0021] 压力反馈单元13包括设于机械爪上以检测其在执行指令过程中与被操作对象接触所受压力的压力传感器及设于人手上以通过其振动强度对压力进行反馈的振动器，在本实施例中压力传感器采用FlexiForce压力传感器，振动器采用1027扁平马达。

[0022] 视觉反馈单元14包括两台以上布置在远程机械手工作平台的不同方向上，用来获取具有视差图像以构建3D实时操作场景的深度摄像机及用于显示3D实时操作场景的显示器、屏幕或VR眼镜，在本实施例中，深度摄像机选用Kinect。

[0023] 控制单元11包括与压力传感器、Kinect、振动器、机械手及3D实时操作场景显示装置进行通讯连接的处理器，在本实施例中，通讯连接为通过通讯线路进行数据传输，通讯线路为包括一个或多个被配置在处理器与压力传感器、Kinect、振动器、机械手及3D实时操作场景显示装置间用于数据信息传输的数据线路，包括但不限于电线路、光学线路、无线线路及两者以上的组合。

[0024] 参见图2，本发明基于感知增强的机械手遥操作方法包括动作识别步骤S1、动作映射步骤S2、压力反馈步骤S3及视觉反馈步骤S4。

[0025] 动作识别步骤S1，识别出人手在运动过程中指尖与掌心的位置信息。

[0026] (1)接收Kinect获取的三种数据：接收Kinect获取操作人员人手在运动过程中的骨骼数据、深度图像及彩色图像，若三种数据中的任意一种获取失败则返回重新获取，这里选取距离Kinect最近人的骨骼数据；

[0027] (2)获取限定手部区域：根据骨骼数据中右手的坐标，将坐标映射成深度值和彩色图像像素坐标，选取一个深度阈值和一个图像宽度阈值，选取出彩色图像中包含整个手部的矩形范围；

[0028] (3)进行颜色识别：将该矩形范围内的RGB图像处理成YUV模型图像，通过标记颜色的YUV阈值以及深度阈值，找出符合阈值条件的彩色坐标，转化为二值灰度图像，如没有标记颜色，则回到步骤(1)；

[0029] (4)对二值图像进行数学形态学处理：首先进行腐蚀操作，除去噪音数据，再执行膨胀操作恢复图像，最后进行闭操作，对图像进行边缘完善处理；

[0030] (5)获取指尖坐标：找出二值图像中最大的连通区域，计算中心位置，再将其转化为Kinect的三维坐标，即指尖坐标，将指尖坐标转化为指间距离。将指间距离和骨骼数据的手部坐标发送给远端。

[0031] 动作映射步骤S2，将位置信息映射成机械手操作指令。

[0032] 动作映射是将采集到的数据作进一步处理，提取语义，即根据当前位置信息以及之前获取一系列位置信息之间的相互关系，判断当前位置信息对应的操作语义，操作语义包括静止和移动、抓取和释放。当人手发生移动时，掌心坐标会与之前掌心坐标的欧式距离发生较大偏差，由于数据噪音的原因，静止时当前掌心坐标与之前掌心坐标的欧式距离也会有波动，但该波动范围为在一个较小的范围内，可以通过设置一个阈值，当波动大于该阈值时，则人手发生移动操作，当小于阈值时，则人手处于静止。抓取和释放采取同样的方式，通过设置抓取和释放的指间距离阈值，以判断抓取与释放行为。然后将语义转换为对应的机械手操作指令，首选采集多组运动与静止、抓取与释放等动作的数据，找出动作的阈值，然后通过映射算法，转换为指令发送给机械手。映射算法为：

[0033] (1)初始化机械手：分别向机械臂和机械爪发送初始化命令，使机械臂和机械爪执行初始化操作；

[0034] (2)获取指间距离，并对指尖距离作进一步处理，将指尖距离转化为机械爪抓取幅度参数；

[0035] (3)获取机械臂当前坐标，判断是否是第一次映射，若是，则记录下当前动作数据作为初始位置数据，并让机械手执行指定的初始位置操作，进行定标，然后回到步骤(2)；若否，则继续执行步骤(4)；

[0036] (4)判断是否完成上一次操作，即判断当前机械臂坐标是否是上一次执行操作的目的坐标；若否，则回到步骤(2)，若是，则执行步骤(5)；

[0037] (5)判断是否在进行抓取释放操作，若是，则执行抓取释放操作，控制机械爪运行，机械臂不做操作，然后回到步骤(2)；若否，则判断当前手是否静止(手部运动的转折点发送给机械臂，转折点静止)，若否，则回到步骤(2)，若是，则执行步骤(6)；

[0038] (6)坐标转换，根据步骤(3)中设置的初始位置，获取当前位置与初始位置的相对坐标，结合设置的机械臂初始位置坐标，将坐标转换为机械臂坐标系中的坐标，执行移动操作，然后回到步骤(2)继续执行。

[0039] 压力反馈步骤S3，接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度。

[0040] 压力反馈是将机械手抓取过程中的压力信息反馈给操作人员，从而更好地帮助人远程控制抓取动作。将压力传感器布置在机械爪的指尖，通过压力传感器来获取机械手端的触觉压力信息；对于触觉压力信息的反馈，采用的方式是在操作者手上穿戴振动传感器的方式。传感器分别连接到两个Arduino单片机，Arduino单片机连接着蓝牙模块，数据传输通过蓝牙发送。采集到的压力数据化分为5个等级强度，将等级强度数据发送给接收端，接收端根据等级强度数据设置Arduino模拟端口的电压值，控制振动传感器发生不同强度的振动，实现压力反馈。

[0041] 视觉反馈步骤S4，接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。

[0042] 视觉反馈是将机械手运动过程中的3D实时操作场景反馈给操作人员，以帮助观察远程控制机械手。在机械手工作平台的不同方向布置两台以上的Kinect，首先进行定标，识别Kinect图像场景中的标记，获取到标记在Kinect坐标系中的坐标位置，根据Kinect与标记的相对位置来将Kinect坐标系中所有点的坐标转换成标记坐标系的坐标，根据预设的标记在全局坐标系中的相对位置，将坐标转换为全局坐标，实现多台Kinect的点云数据的融合，构建出实时的3D场景，再通过ICP算法不断迭代计算出一个旋转和平移变换矩阵，使得不同的Kinect的点云数据的同源点间的距离最小，从而优化构建出的3D场景，为了保证反馈的实时性，对迭代次数要做出限制，当迭代次数过高时，返回次优结果。机械手端获取的Kinect原始数据直接发送给远程端，远程端在将原始数据进一步处理为点云数据，避免直接发送点云数据，数据量较大，影响视觉反馈的实时性。

[0043] 在使用过程中，控制单元11中的处理器用于：

[0044] (1)接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；从而识别出人手在运动过程中指尖与掌心的位置信息。

[0045] (2)依据连续获取的人手掌心与指尖的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，并将从位置信息中提取的语义信息映射成机械手操作指令，再将操作指令分别发送给机械爪和机械臂。

[0046] (3)接收压力传感器的压力数据，将压力数据分成5个等级，并依据该压力等级数据控制振动器的振动强度。

[0047] (4)依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；依据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成3D图像模型；通过ICP算法对3D图像模型进行优化。

[0048] 具体操作过程如上述方法步骤中的描述，在此不再赘述。

[0049] 本发明采用深度摄像机的数据，获取手部运动过程中的，通过映射算法，将数据转化为语义信息，再进一步转换为对应的机械手操作指令，发送给远端的机械手，远端的机械手通过布置在机械手指尖的压力传感器和布置在机械手不同方向的多台Kinect，将压力数据和3D实时场景实时发回给操作人员，从而实现感知增强的远程控制。