基于视频图像手势识别的非接触式解锁方法及装置

摘要

本发明公开了一种基于视频图像手势识别的非接触式解锁方法及装置，其中，该解锁方法包括初始化图像处理与识别模块中手势库，预设密码解锁界面启动手势和解锁手指轨迹；图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；图像处理与识别模块获取图像信息，检测手部区域；从手部区域中识别手势变化，若该变化的手势与预设密码解锁界面启动手势匹配，则密码解锁界面启动；从手部区域中识别指尖，并跟踪指尖在解锁界面上的运动轨迹，与预设的解锁手指轨迹对比；若匹配，则所述的基于视频图像手势识别的非接触式解锁装置由锁定状态变更到解锁状态；若不匹配，则解锁装置维持不变。

权利要求

1.一种基于视频图像手势识别的非接触式解锁方法，其特征在于，该解锁方法，包括以下步骤：步骤(1)：初始化图像处理与识别模块中手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

步骤(2)：图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；

步骤(3)：图像处理与识别模块获取步骤(2)中的图像采集模块采集的图像信息，采用肤色分割的方法来检测手部区域；

步骤(4)：图像处理与识别模块从检测到的手部区域中识别手势变化，若该变化的手势与步骤(1)预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入步骤(5)；若不匹配，则密码解锁界面不启动；所述手势变化为由手掌变为拳头或由拳头变为手掌；

步骤(5)：指尖及其运动轨迹检测模块从检测到的手部区域中识别指尖，并跟踪指尖在解锁界面上的运动轨迹，与步骤(1)中预设的解锁手指轨迹对比；

若匹配，则所述的基于视频图像手势识别的非接触式解锁装置由锁定状态变更到解锁状态；若不匹配，则解锁装置维持不变；

所述步骤(5)中指尖及其运动轨迹检测模块检测手部区域中指尖的具体过程为：确定手部区域的中心，计算中心到手部边缘的平均距离u；确定手部区域中心上部距离中心的最远点的位置，以及该点与中心点之间的距离d；

若d与平均距离u之比大于1.6，表示该位置为指尖所在位置。

2.如权利要求1所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3)中图像处理与识别模块检测手部区域的过程为：步骤(3.1)：对图像采集模块所采集的图像进行提取肤色区域并设定阈值将图像二值化；

步骤(3.2)：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；

步骤(3.3)：对于去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取的两个面积最大的连通域；

若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

步骤(3.4)：在提取的两个面积最大的连通域中，采用人脸检测算法进行人脸检测；若存在人脸，将人脸区域所对应的连通域内的像素值置零。

3.如权利要求2所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3.1)中图像采集模块所采集的图像为RGB图像。

4.如权利要求2所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3.1)中将图像二值化的过程为：将图像采集模块所采集的图像转换到YCbCr空间，提取Cb和Cr分量并设定阈值将图像二值化，其中140

5.如权利要求2所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3.2)中的形态学操作，包括膨胀和腐蚀。

6.如权利要求2所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3.3)中两个面积最大的连通域分别为手的区域和脸部区域。

7.如权利要求2所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(3.4)中的人脸检测算法采用基于Adaboost的人脸检测算法。

8.如权利要求1所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，所述步骤(4)中图像处理与识别模块检测手部区域手势变化具体过程为：步骤(4.1)：计算步骤(3)所获取的手部区域的二值化图像中心；

步骤(4.2)：间隔行扫描手部区域的二值化图像的中心以上的区域；

步骤(4.3)：设置行扫描次数h，扫描间隔为n＝height/h；其中，height表示二值化手势图像的中心以上的区域的高度；

步骤(4.4)：记录每一行从像素值从0到255和255到0的跳变，像素值从0跳变到255时开始，到255跳变到0为止，表示有一根手指；

步骤(4.5)：统计每行平均变化的手指个数，若手指个数大于3这表示检测到了手掌；若平均手指个数为0，这表示检测到了拳头；

其中，两个手指间的间隔大于10个像素；

步骤(4.6)：在检测到手势由手掌变为拳头或由拳头变为手掌的时候启动解锁界面。

9.如权利要求1所述的一种基于视频图像手势识别的非接触式解锁方法，其特征在于，手部区域中心 的计算公式为：其中， N和M分别表示图像的高度和宽度。

10.一种采用如权利要求1-9任一项所述基于视频图像手势识别的非接触式解锁方法的非接触式解锁装置，其特征在于，包括：显示模块，用于显示密码解锁界面；及

图像采集模块，其用于采集与密码解锁界面相对应的垂直方向上的图像信息；及图像处理与识别模块，其获取图像采集模块所采集到的图像信息，并识别用于启动解锁界面的手势状态；及指尖及其运动轨迹跟踪模块，其用于从检测到的手部区域中找到指尖，并跟踪指尖在解锁界面上的运动轨迹，该运动轨迹作为解锁信号，其与图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由第一状态变更到第二状态，若不匹配，则解锁装置状态维持不变。

11.如权利要求10所述的非接触式解锁装置，其特征在于，所述第一状态为锁定状态。

12.如权利要求10所述的非接触式解锁装置，其特征在于，所述第二状态为解锁状态。

13.如权利要求10所述的非接触式解锁装置，其特征在于，所述用于启动解锁界面的手势状态为由手掌变为拳头或由拳头变为手掌。

14.如权利要求10所述的非接触式解锁装置，其特征在于，所述密码解锁界面采用九宫格图案。

说明书

基于视频图像手势识别的非接触式解锁方法及装置

技术领域

[0001] 本发明属于生物特征识别领域，尤其涉及一种基于视频图像手势识别的非接触式解锁方法及装置。

背景技术

[0002] 基于机器视觉的人体动作和手势识别是实现新一代人机交互系统所不可缺少的一项关键技术。手势控制一般可分为接触式手势控制和非接触式手势控制，接触式手势控制包括手机等智能移动终端上使用的触摸屏，用户可以在触摸屏显示界面上进行人机交互。基于机器视觉的非接触式手势控制，是实现新一代人机交互系统所不可缺少的一项关键技术，其应用日益广泛。通过在设备上安装视觉采集装置，实时获取并识别用户的手势控制信号，从而达到良好的人机交互。

[0003] 目前越来越多的家庭娱乐设备和电子产品采用非接触式手势控制作为人机交互方式。一方面，在非接触式手势控制系统中，系统会根据用户的肢体动作做出相应的响应，用户无意的一个手势动作可能会导致控制系统的误操作。因此，在非接触式控制系统中也需要具备手势控制的锁定和解锁功能。另一方面，对于一些大屏幕的电子设备，如智能电视等，不适合使用接触式手势解锁，用户体验也不好，而非接触式手势解锁，可以弥补这一不足。

发明内容

[0004] 本发明提供了一种基于视频图像手势识别的非接触式解锁方法及装置。

[0005] 本发明采用以下技术方案：

[0006] 一种基于视频图像手势识别的非接触式解锁装置的解锁方法，包括以下步骤：

[0007] 步骤(1)：初始化图像处理与识别模块中手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

[0008] 步骤(2)：图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；

[0009] 步骤(3)：图像处理与识别模块获取步骤(2)中的图像采集模块采集的图像信息，采用肤色分割的方法来检测手部区域；

[0010] 步骤(4)：图像处理与识别模块从检测到的手部区域中识别手势变化，若该变化的手势与步骤(1)预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入步骤(5)；若不匹配，则密码解锁界面不启动；所述手势变化为由手掌变为拳头或由拳头变为手掌；

[0011] 步骤(5)：指尖及其运动轨迹检测模块从检测到的手部区域中识别指尖，并跟踪指尖在解锁界面上的运动轨迹，与步骤(1)中预设的解锁手指轨迹对比；

[0012] 若匹配，则所述的基于视频图像手势识别的非接触式解锁装置由锁定状态变更到解锁状态；若不匹配，则解锁装置维持不变。

[0013] 所述步骤(3)中图像处理与识别模块检测手部区域的过程为：

[0014] 步骤(3.1)：对图像采集模块所采集的图像进行提取肤色区域并设定阈值将图像二值化；

[0015] 步骤(3.2)：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；

[0016] 步骤(3.3)：对于去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取的两个面积最大的连通域；

[0017] 若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

[0018] 步骤(3.4)：在提取的两个面积最大的连通域中，采用人脸检测算法进行人脸检测；若存在人脸，将人脸区域所对应的连通域内的像素值置零。

[0019] 所述步骤(3.1)中图像采集模块所采集的图像为RGB图像。

[0020] 所述步骤(3.1)中将图像二值化的过程为：

[0021] 将图像采集模块所采集的图像转换到YCbCr空间，提取Cb和Cr分量并设定阈值将图像二值化，其中140

[0022] 所述步骤(3.2)中的形态学操作，包括膨胀和腐蚀。

[0023] 所述步骤(3.3)中两个面积最大的连通域分别为手的区域和脸部区域。

[0024] 所述步骤(3.4)中的人脸检测算法采用基于Adaboost的人脸检测算法。

[0025] 所述步骤(4)中图像处理与识别模块检测手部区域手势变化具体过程为：

[0026] 步骤(4.1)：计算步骤(3)所获取的手部区域的二值化图像中心；

[0027] 步骤(4.2)：间隔行扫描手部区域的二值化图像的中心以上的区域；

[0028] 步骤(4.3)：设置行扫描次数h，扫描间隔为n＝height/h；其中，height表示二值化手势图像的中心以上的区域的高度；

[0029] 步骤(4.4)：记录每一行从像素值从0到255和255到0的跳变即像素值从0跳变到255时开始，到255跳变到0为止，表示有一根手指；

[0030] 步骤(4.5)：统计每行平均变化的手指个数，若手指个数大于等于n这表示检测到了手掌；若平均手指个数为0，这表示检测到了拳头；n表示系统设定的手掌阈值，大于该阈值表示检测到了手掌，n表示1,2,3,4,5；其中，两个手指间的间隔大于10个像素；

[0031] 步骤(4.6)：在检测到手势由手掌变为拳头或由拳头变为手掌的时候启动解锁界面。

[0032] 所述步骤(5)中指尖及其运动轨迹检测模块检测手部区域中指尖的具体过程为：

[0033] 确定手部区域的中心，计算中心到手部边缘的平均距离u；确定手部区域中心上部距离中心的最远点的位置，以及该点与中心点之间的距离d；

[0034] 若d与平均距离u之比大于1.6，表示该位置为指尖所在位置。

[0035] 所述手部区域中心 的计算公式为：

[0036]

[0037]

[0038] 其中， p表示0,1；q表示0,1；f(x,y)表示图像在坐标点(x,y)的像素值；N和M分别表示图像的高度和宽度。

[0039] 一种基于视频图像手势识别的非接触式解锁装置，包括：

[0040] 显示模块，用于显示密码解锁界面；及

[0041] 图像采集模块，其用于与密码解锁界面相对应的垂直方向上的图像信息；及[0042] 图像处理与识别模块，其获取图像采集模块所采集到的图像信息，并识别用于启动解锁界面的手势状态；及

[0043] 指尖及其运动轨迹跟踪模块，其用于从检测到的手部区域中找到指尖，并跟踪指尖在解锁界面上的运动轨迹，该运动轨迹作为解锁信号，其与图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由第一状态变更到第二状态，若不匹配，则解锁装置状态维持不变。

[0044] 所述第一状态为锁定状态。

[0045] 所述第二状态为解锁状态。

[0046] 所述用于启动解锁界面的手势状态为由手掌变为拳头或由拳头变为手掌。

[0047] 所述密码解锁界面采用九宫格图案。

[0048] 本发明中，所述手掌表示至少有一个手指伸出的手势；所述拳头表示手握紧时，五指向内弯曲握拢的手势。

[0049] 本发明的有益效果为：

[0050] (1)本发明所采取的方法，能够快速准确的在视频图像中定位手部区域。用于后续操作，既可以用于手手势识别，也可以用于手势跟踪；

[0051] (2)本发明所采取的手掌和拳头的识别方法，简单有效，不需要建立手势模板库，不需要采用机器学习的方法进行学习，计算量小，识别速度快。

附图说明

[0052] 图1为本发明的基于视频图像手势识别的非接触式解锁装置结构示意图；

[0053] 图2为本发明的解锁方法流程图。

[0054] 其中，1、显示模块；2、图像采集模块；3、图像处理与识别模块；4、指尖及其运动轨迹跟踪模块。

具体实施方式

[0055] 下面结合附图与实施例对本发明做进一步说明：

[0056] 如图1所示，一种基于视频图像手势识别的非接触式解锁装置，包括：

[0057] 显示模块1，用于显示密码解锁界面，所述密码解锁界面采用九宫格图案；及图像采集模块2，其用于与密码解锁界面相对应的垂直方向上的图像信息；及图像处理与识别模块3，其获取图像采集模块所采集到的图像信息，并识别用于启动解锁界面的手势状态，所述用于启动解锁界面的手势状态为由手掌变为拳头或由拳头变为手掌；及

[0058] 指尖及其运动轨迹跟踪模块4，其用于从检测到的手部区域中找到指尖，并跟踪指尖在解锁界面上的运动轨迹，该运动轨迹作为解锁信号，其与图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由锁定状态变更到解锁状态，若不匹配，则解锁装置状态维持不变。

[0059] 如图2所示，本申请的基于视频图像手势识别的非接触式解锁装置的解锁方法，包括以下步骤：

[0060] 步骤(1)：初始化图像处理与识别模块中手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

[0061] 步骤(2)：图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；

[0062] 步骤(3)：图像处理与识别模块获取步骤(2)中的图像采集模块采集的图像信息，采用肤色分割的方法来检测手部区域；

[0063] 步骤(4)：图像处理与识别模块从检测到的手部区域中识别手势变化，若该变化的手势与步骤(1)预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入步骤(5)；若不匹配，则密码解锁界面不启动；所述手势变化为由手掌变为拳头或由拳头变为手掌；

[0064] 步骤(5)：指尖及其运动轨迹检测模块从检测到的手部区域中识别指尖，并跟踪指尖在解锁界面上的运动轨迹，与步骤(1)中预设的解锁手指轨迹对比；

[0065] 若匹配，则所述的基于视频图像手势识别的非接触式解锁装置由锁定状态变更到解锁状态；若不匹配，则解锁装置维持不变。

[0066] 步骤(3)中图像处理与识别模块检测手部区域的过程为：

[0067] 步骤(3.1)：对图像采集模块所采集的图像进行提取肤色区域并设定阈值将图像二值化；其中，图像采集模块所采集的图像为RGB图像；

[0068] 将图像二值化的过程为：将图像采集模块所采集的图像转换到YCbCr空间，提取Cb和Cr分量并设定阈值将图像二值化，其中140

[0069] 步骤(3.2)：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；其中，形态学操作包括膨胀和腐蚀；

[0070] 步骤(3.3)：对于去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取的两个面积最大的连通域；所述两个面积最大的连通域分别为手的区域和脸部区域；

[0071] 若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

[0072] 步骤(3.4)：在提取的两个面积最大的连通域中，采用基于Adaboost的人脸检测算法进行人脸检测；若存在人脸，将人脸区域所对应的连通域内的像素值置零。

[0073] 本发明中的手掌和拳头检测方法具体过程为：

[0074] 步骤(4.1)：计算步骤(3)所获取的手部区域的二值化图像中心；

[0075] 步骤(4.2)：间隔行扫描手部区域的二值化图像的中心以上的区域；

[0076] 步骤(4.3)：设置行扫描次数10，扫描间隔为n＝height/10；其中，height表示二值化手势图像的中心以上的区域的高度；

[0077] 步骤(4.4)：记录每一行从像素值从0到255和255到0的跳变即像素值从0跳变到255时开始，到255跳变到0为止，表示有一根手指；

[0078] 步骤(4.5)：统计每行平均变化的手指个数，若手指个数大于等于n这表示检测到了手掌；若平均手指个数为0，这表示检测到了拳头；n表示系统设定的手掌阈值，大于该阈值表示检测到了手掌，n表示1,2,3,4,5；其中，两个手指间的间隔大于10个像素；

[0079] 步骤(4.6)：在检测到手势由手掌变为拳头或由拳头变为手掌的时候启动解锁界面。

[0080] 步骤(5)中指尖及其运动轨迹检测模块检测手部区域中指尖的具体过程为：

[0081] 确定手部区域的中心，计算中心到手部边缘的平均距离u；确定手部区域中心上部距离中心的最远点的位置，以及该点与中心点之间的距离d；

[0082] 若d与平均距离u之比大于1.6，表示该位置为指尖所在位置。

[0083] 其中，手部区域中心 的计算公式为：

[0084]

[0085]

[0086] 其中， p表示0,1；q表示0,1；f(x,y)表示图像在坐标点(x,y)的像素值；N和M分别表示图像的高度和宽度。

[0087] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。