本发明公开一种电视虚拟触控方法及系统，用于具有深度相机的电视中，包括以下步骤：通过深度相机实时获取具有深度信息的人体图像；预设人体区域中的除开手部区域以外的一区域为基准区域；从该人体图像中获取该基准区域以及手部区域的深度信息；在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。实施本发明具有提高触控灵敏度以及提高用户体验的有益效果。
1.一种电视虚拟触控方法，用于具有深度相机的电视中，其特征在于，包括以下步骤：通过深度相机实时获取具有深度信息的人体图像；
预设以人体的躯干以及双肩所构成的平面作为基准区域；
从该人体图像中提取该基准区域以及手部区域的深度信息，包括：在人体图像中将人体区域从背景区域中分离出得到人体区域的深度信息，以使在后继的处理流程中仅传输人体区域的数据；调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和该基准区域的深度信息；
在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
2.根据权利要求1的电视虚拟触控方法，其特征在于，所述根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面包括：根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1；
根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；
当0≤L1-(L2-D1)≤X1时，判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值。
3.根据权利要求2所述的电视虚拟触控方法，其特征在于，当该手部区域触及该虚拟触控面时，手部区域的移动控制电视的显示屏上的对象移动。
4.根据权利要求3所述的电视虚拟触控方法，其特征在于，该手部区域穿过该虚拟触控面并返回该虚拟触控面的过程视为点击动作。
5.根据权利要求1的电视虚拟触控方法，其特征在于，所述预设人体的手部以外的一区域为基准区域包括：预设以人体双肩以及躯干所在的面为基准区域。
6.根据权利要求1的电视虚拟触控方法，其特征在于，还包括步骤：基于该基准区域的特征以及手部区域的特征建立人体识别模型。
深度信息提取模块，用于预设以人体的躯干以及双肩所构成的平面作为基准区域并从该深度相机获取的人体图像中提取该基准区域以及手部区域的深度信息，其中，所述的从该人体图像中提取该基准区域以及手部区域的深度信息，包括：在人体图像中将人体区域从背景区域中分离出得到人体区域的深度信息，以使在后继的处理流程中仅传输人体区域的数据；调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和该基准区域的深度信息；
虚拟触控模块，用于在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
运算处理模块，用于根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
8.根据权利要求7所述的电视虚拟触控系统，其特征在于，所述运算处理模块用于根据该手部区域的深度信息计算该手部区域距离该深度相机的第一长度值L1，并根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；当0≤L1-(L2-D1)≤X1时，该运算处理模块判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，该运算处理模块判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值；所述深度信息提取模块预设以人体双肩以及躯干所在的平面为基准区域。
一种电视虚拟触控方法及系统
技术领域
[0001] 本发明涉及一种虚拟触控方法，更具体地说，涉及一种基于深度信息的电视虚拟触控方法及系统。
背景技术
[0002] 现有技术中的虚拟触控方法采用的是摄像头拍摄手指图像，通过比较手指的大小来判断是否触及到该虚拟触控面，手指的大小识别起来误差较大而且不灵敏。并且，现有技术中的虚拟触控面均是以电视本身或者其显示屏作为参照面来定义虚拟触控面，当用户走动时，该虚拟触控面静止不动，不方便用户使用。
[0003] 因此，现有技术存在缺陷，亟需改进。
发明内容
[0004] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种改进的电视虚拟触控方法及系统。
[0005] 本发明解决其技术问题所采用的技术方案是：构造一种电视虚拟触控方法，用于具有深度相机的电视中，包括以下步骤：
[0006] 通过深度相机实时获取具有深度信息的人体图像；
[0007] 预设人体区域中的除开手部区域以外的一区域为基准区域；
[0008] 从该人体图像中获取该基准区域以及手部区域的深度信息；
[0009] 在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
[0010] 根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
[0011] 在本发明提供的电视虚拟触控方法中，所述根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面包括：
[0012] 根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1；
[0013] 根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；
[0014] 当0≤L1-(L2-D1)≤X1时，判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值。
[0015] 在本发明提供的电视虚拟触控方法中，当该手部区域触及该虚拟触控面时，手部区域的移动控制电视的显示屏上的对象移动。
[0016] 在本发明提供的电视虚拟触控方法中，该手部区域穿过该虚拟触控面并返回该虚拟触控面的过程视为点击动作。
[0017] 在本发明提供的电视虚拟触控方法中，所述预设人体的手部以外的一区域为基准区域包括：
[0018] 预设以人体双肩以及躯干所在的面为基准区域。
[0019] 在本发明提供的电视虚拟触控方法中，所述从该人体图像中获取该基准区域以及手部区域的深度信息包括：
[0020] 在人体图像中将人体区域从背景区域中分离出得到人体区域的深度信息；
[0021] 调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和该基准区域的深度信息。
[0022] 在本发明提供的电视虚拟触控方法中，还包括步骤：基于该基准区域的特征以及手部区域的特征建立人体识别模型。
[0023] 本发明还提供了一种电视虚拟触控系统，包括：
[0024] 深度相机，用于实时获取具有深度信息的人体图像；
[0025] 深度信息提取模块，用于预设人体区域中的除开手部区域以外的一区域为基准区域并从该人体图像中获取该基准区域以及手部区域的深度信息；
[0026] 虚拟触控模块，用于在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
[0027] 运算处理模块，用于根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
[0028] 在本发明提供的电视虚拟触控系统中，所述运算处理模块用于根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1，并根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；当0≤L1-(L2-D1)≤X1时，该运算处理模块判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，该运算处理模块判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值；
[0029] 所述深度信息提取模块预设以人体双肩以及躯干所在的面为基准区域。
[0030] 在本发明提供的电视虚拟触控系统中，所述深度信息提取模块用于在人体图像中将人体区域从背景区域中分离以得到人体区域的深度信息，并调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和该基准区域的深度信息。
[0031] 实施本发明的电视虚拟触控方法及系统，具有以下有益效果：
[0032] 由于本发明中根据手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面具有灵敏度较高的有益效果；
[0033] 由于该虚拟触控面是以基准区域为参照标准，该基准区域为人体区域里除开手部区域的一个区域，因此该虚拟触控面可以随着用户的走动而移动，因此，具有便于用户使用并提高用户体验的有益效果。
附图说明
[0034] 下面将结合附图及实施例对本发明作进一步说明，附图中：
[0035] 图1是本发明一优选实施例中的电视虚拟触控方法的流程框图；
[0036] 图2是本发明一优选实施例中的电视虚拟触控系统的原理框图；
[0037] 图3是本发明中深度相机与人体的基准区域以及手部区域的方位原理图。
具体实施方式
[0038] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0039] 如图1所示，在本发明一优选实施例中的电视虚拟触控方法，用于具有深度相机的电视中，该当然还可以用于其他电子设备，该方法包括以下步骤：
[0040] S1、通过深度相机实时获取具有深度信息的人体图像；
[0041] S2、预设人体区域中的除开手部区域以外的一区域为基准区域；
[0042] S3、从该人体图像中获取该基准区域以及手部区域的深度信息；
[0043] S4、在该深度相机与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
[0044] S5、根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面。
[0045] 正是由于在该步骤S4中该虚拟触控面是与基准区域为参照的，因此，当用于移动时，该虚拟触控面随着用于一起移动，便于用于操作，具有提高用户体验的有益效果。
[0046] 该步骤S1中的通过深度相机实时获取具有深度信息的人体图像的方法包括但不限于以下方法：(1)基于结构光获取的深度信息，例如light coding(光编码)结构光方法的深度相机，激光散斑法的深度相机Primesense，微软的深度相机kinect；投影光栅、条纹扫描方法获取的深度图。(2)基于激光测距获取的深度信息。以及(3)基于视觉技术获取的深度信息等。
[0047] 该步骤S2中，预设以人体的躯干以及双肩所构成的平面作为基准区域，该基准区域用于作为定义出虚拟触控面时的参照。当然，可以理解地，还可以以人体的其他除开手部的区域作为基准区域，在此不做限制。
[0048] 优选地，该步骤S3从该人体图像中获取该基准区域以及手部区域的深度信息包括：
[0049] S301、在人体图像中将人体区域从背景区域中分离出以得到人体区域的深度信息；
[0050] S302、调用人体识别模型在所述人体区域中检测出手部区域和基准区域并分别提取该手部区域和基准区域的深度信息。
[0051] 在该步骤S301中，人体图像的深度信息构成了深度图像，在基于深度信息将人体区域从背景环境中分离出来时，可以先使用拉普拉斯-高斯算子等方法，对深度图像进行滤波去噪声，采用噪声阈值处理。在噪声处理过程中，当深度图像出现较明显噪声点时，可以使用OpenCV里面的
函数，定义合适的结构元素对源图像进行腐蚀，去掉多余噪声点之后，紧接着用函数对得到的结果图像进行膨胀，以此去除大多的噪声点。在去除噪声后，可以调用整幅深度图像，使用边缘检测、用OpenCV的函数进行动态深度阈值设定、人体目标特征点分类(Classification)等方法，将人体区域从整幅深度图像中分割出来，从而实现人体检测，提取出人体区域的深度信息。本实施例中，先提取出人体区域的深度图像，在后继的处理流程中，可以只传输人体区域的数据，从而降低了运算负荷，提高了处理速度。[0052] 随后，在步骤S302中使用步骤S301中提取的人体区域的数据，根据该深度信息以及人体识别模型，识别出手部区域以及基准区域，提取手部区域以及基准区域的深度信息。
[0053] 在该步骤S302中的人体识别模型是基于该基准区域的特征以及手部区域的特征建立的人体识别模型。其可以使用分类器的方法，基于手部区域的特征以及基准区域的特征训练该人体识别模型，用于检测出手部区域以及基准区域，并提取手部区域以及基准区域的深度信息。
[0054] 在该步骤S4中，该虚拟触控面呈与该电视的显示屏相适配的形状，该第一预定长度D1可以取30CM或40CM，当然其并不限于此。
[0055] 该步骤S5包括以下子步骤：
[0056] S501、根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1；
[0057] S502、根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；
[0058] 参照图3，当0≤L1-(L2-D1)≤X1时，判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值。
[0059] 根据被拍摄区域的物体的深度信息计算该对应区域距离深度相机的距离是现有技术，因此不再赘述。
[0060] 进一步地，当该手部区域触及该虚拟触控面时，手部区域的移动控制电视的显示屏上的对象移动。该手部区域穿过该虚拟触控面并返回该虚拟触控面的过程视为点击动作。
[0061] 如图2所示，本发明还提供了一种电视虚拟触控系统，包括：
[0062] 深度相机30，用于实时获取具有深度信息的人体图像；
[0063] 深度信息提取模块20，用于预设人体区域中的除开手部区域以外的一区域为基准区域并从该人体图像中获取该基准区域以及手部区域的深度信息；
[0064] 虚拟触控模块40，用于在该深度相机30与基准区域之间定义出一个距离该基准区域第一预定长度D1的虚拟触控面；
[0065] 运算处理模块10，用于根据该手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面；
[0066] 存储模块50，该存储模块50用于存储预先建立的人体识别模型以及深度相机30采集的人体图像。
[0067] 其中，虚拟触控模块40与运算处理模块10连接，好深度相机30、深度信息提取模块20以及运算处理模块10依次连接，存储模块50分别与深度信息提取模块20以及深度相机30连接。
[0068] 具体地，该运算处理模块10的运算处理过程为：根据该手部区域的深度信息计算该手部区域距离深度相机的第一长度值L1，并根据该基准区域的深度信息计算该基准区域距离深度相机的第二长度值L2；当0≤L1-(L2-D1)≤X1时，该运算处理模块10判定该手部区域触及该虚拟触控面，当-X2≤L1-(L2-D1)<0时，该运算处理模块10判定该手部区域穿过该虚拟触控面；其中，X1为预先设置的第一距离阈值，X2为预先设置的第二距离阈值。
[0069] 进一步地，当运算处理模块10判定该手部区域触及该虚拟触控面时，触发该手部区域的移动控制电视的显示屏上的对象移动。该该运算处理模块10判定手部区域穿过该虚拟触控面并返回该虚拟触控面的过程视为点击动作。
[0070] 并且，深度信息提取模块20预设以人体双肩以及躯干所在的面为基准区域。
[0071] 深度信息提取模块20还用于在人体图像中将人体区域从背景区域中分离以得到人体区域的深度信息，调用人体识别模型在人体区域中检测出手部区域和基准区域并分别提取该手部区域和基准区域的深度信息。先提取出人体区域的深度图像，在后继的处理流程中，可以只传输人体区域的数据，从而降低了运算负荷，提高了处理速度。该人体识别模型是采用分类器的方法，基于手部区域的特征以及基准区域的特征建立的。
[0072] 由于本发明中根据手部区域的深度信息、该基准区域的深度信息以及该第一预定长度值D1判断该手部区域是否触及或穿过该虚拟触控面具有灵敏度较高的有益效果；由于该虚拟触控面是以基准区域为参照标准，该基准区域为人体区域里除开手部区域的一个区域，因此该虚拟触控面可以随着用户的走动而移动，因此，具有便于用户使用并提高用户体验的有益效果。
[0073] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
