基于红外图像的人机多点交互方法及装置

摘要

本发明公开了一种基于红外图像的人机多点交互方法及装置，方法实施步骤如下：1）设置距离阈值，建立轨迹-命令模型；2）操作者使用红外光照射屏幕区域并根据交互需求按照所述轨迹-命令模型中预设的移动轨迹进行移动；同时采集屏幕区域的连续图像，获取各图像中红外光点在屏幕区域中的坐标；3）将红外光点进行标记同一操作，将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹，根据轨迹-命令模型中查找对应的控制命令，并根据查找得到的控制命令与操作系统进行交互；装置包括屏幕、红外发光单元、图像采集装置、图像处理单元和命令交互输出单元。本发明具有成本低廉、结构简单、应用范围广泛的优点。

权利要求

1.一种基于红外图像的人机多点交互方法，其特征在于其实施步骤如下：

1）设置用于判断操作轨迹的距离阈值，建立并存储包含控制命令和对应移动轨迹信息的轨迹-命令模型；

2）操作者使用红外光照射屏幕区域形成红外光点，并根据交互需求将所述红外光点按照所述轨迹-命令模型中预设的移动轨迹进行移动；同时，采集屏幕区域中的连续图像，分别获取各图像中红外光点在屏幕区域中的坐标；

3）对步骤2）中得到的所有坐标进行处理，将相邻两帧图像中距离小于所述距离阈值的红外光点标记为同一操作，将所述连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹；根据所述移动轨迹在所述轨迹-命令模型中查找对应的控制命令，并根据查找得到的控制命令与操作系统进行交互；

所述步骤1）中还包括建立用于判断操作轨迹的角度阈值，所述步骤3）中将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹时，如果连续的三帧图像中属于同一操作的三个红外光点构成的夹角小于所述角度阈值，则判定该红外光点从所述三帧图像的中间帧图像开始进行一个新的操作。

2.根据权利要求1所述的基于红外图像的人机多点交互方法，其特征在于：所述步骤

2）中采集屏幕区域的连续图像具体是指采集经过红外滤光片的屏幕区域的连续图像。

3.根据权利要求1或2所述的基于红外图像的人机多点交互方法，其特征在于所述步骤2）中获取各图像中红外光点在屏幕区域中的坐标具体包括如下步骤：⑴、校准屏幕区域得到屏幕区域的四个顶点，对各图像依次进行裁剪得到四个顶点内的屏幕区域图像；

⑵、对所述屏幕区域图像进行倾斜度修正；

⑶、分离屏幕区域图像内的红外光点；

⑷、获取分离后的红外光点对应屏幕区域的坐标。

4.根据权利要求3所述的基于红外图像的人机多点交互方法，其特征在于所述步骤⑵中对屏幕区域图像进行倾斜度修正的具体步骤包括：在屏幕区域上建立网格；使用红外光依次照射所述网格的交叉点并获取对应的屏幕区域图像；根据网格的所有交叉点在屏幕区域的实际坐标和其在屏幕区域图像中的坐标建立标准坐标点的转换矩阵；根据所述转换矩阵将输入的屏幕区域图像转换得到倾斜度修正后的屏幕区域图像。

5.根据权利要求3所述的基于红外图像的人机多点交互方法，其特征在于所述步骤⑶中分离屏幕区域图像内的红外光点的具体步骤包括：将屏幕区域图像转换为灰度图；将所述灰度图的亮度反转得到反转灰度图；将所述反转灰度图进行背景减除得到红外光点的初步分离图像；将所述初步分离图像进行滤波、放大后得到分离的红外光点。

6.一种基于红外图像的人机多点交互装置，其特征在于：它包括屏幕（1）、红外发光单元（2）、用于采集屏幕（1）区域图像的图像采集装置（3）、用于识别图像中红外光点移动轨迹的图像处理单元（4）和用于根据移动轨迹与操作系统进行交互的命令交互输出单元（5），所述图像采集装置（3）、图像处理单元（4）、命令交互输出单元（5）之间依次相连，所述红外发光单元（2）包括至少一个用于向所述屏幕（1）发射红外光点的红外发光器（21）；所述图像处理单元（4）包括用于获取红外光点对应屏幕区域坐标的光点坐标获取单元（41）、用于根据相邻两帧图像中红外光点的距离将红外光点归类为同一操作的集合判断单元（42）和用于获取连续图像中属于同一操作的红外光点移动轨迹的轨迹获取单元（43），所述光点坐标获取单元（41）、集合判断单元（42）、轨迹获取单元（43）相连，所述光点坐标获取单元（41）与图像采集装置（3）相连，所述轨迹获取单元（43）与命令交互输出单元（5）相连；

所述图像处理单元（4）还包括用于根据连续三帧图像同一操作红外光点之间构成的角度对红外光点的移动轨迹进行过滤的轨迹筛选单元（44），所述轨迹获取单元（43）通过轨迹筛选单元（44）与命令交互输出单元（5）相连。

7.根据权利要求6所述的基于红外图像的人机多点交互装置，其特征在于：所述图像采集装置（3）包括摄像仪（31）和红外滤光片（32），所述红外滤光片（32）布置于摄像仪（31）镜头与屏幕（1）之间。

说明书

基于红外图像的人机多点交互方法及装置

技术领域

[0001] 本发明属于人机交互领域，具体涉及一种基于计算机视觉的多点交互方法及装置。

背景技术

[0002] 多点触摸交互技术作为一种新型的人机交互手段，利用人的双手作为交互通道，是一种自然和谐的交互技术，符合现代人机交互提出的“以人为中心”的理念。现在多点触摸技术的发展已经非常成熟，不过不同多点触摸设备的原理并不一样，主要可以分为两种：电学感应和光学感应。

[0003] 电学感应主要适用于小尺寸的屏幕，基于电学感应的触摸屏的类型有很多种，不具有多点触摸功能的包括电阻式、表面扰度波、表面声波、表面电容、声脉冲识别、应力测量触摸屏；可以实现多点触摸功能的有红外矩阵、图像LCD矩阵、红外波导矩阵、感应电容矩阵，例如苹果公司的iPhone采用的就是感应电容矩阵触摸屏。

[0004] 光学感应适用于较大尺寸的屏幕，基于光学感应的多点触摸技术主流主要有以下几种：纽约大学的Jeff Han等人于2005年利用受抑全内反射(FTIR)的现象提出的基于FTIR的多点触摸技术；微软公司于2007年推出应用于智能桌面系统Microsoft surface的基于漫射照明(DI)实现的多点触摸技术；基于LLP实现的多点触摸技术，通过红外激光发射装置在投影屏幕表面形成一层红外激光表面，当手指触摸到屏幕上时激光被散射到成像设备上形成光斑；由SMART Technologies Inc开发的DViT（Digital Vision Touch）多点触摸系统，能与不同的显示设备相结合；索尼计算机科学实验室设计开发应用于SmartSkin桌面式系统的支持多点和手势输入的多点触摸技术。此外，国内外还有如TouchLight、Multi-touch tablet、Digitable、Sensetable等支持多点触摸的平台。但是，但是这些基于光学感应的多点触摸技术都具有一个共同的缺点就是造价昂贵、制造复杂，限制了基于光学感应的多点触摸技术的推广和应用。

发明内容

[0005] 本发明要解决的技术问题是提供一种成本低廉、结构简单、应用范围广泛的基于红外图像的人机多点交互方法及装置。

[0006] 为了解决上述技术问题，本发明采用的技术方案为：

[0007] 一种基于红外图像的人机多点交互方法，其实施步骤如下：

[0008] 1）设置用于判断操作轨迹的距离阈值，建立并存储包含控制命令和对应移动轨迹信息的轨迹-命令模型；

[0009] 2）操作者使用红外光照射屏幕区域形成红外光点，并根据交互需求将所述红外光点按照所述轨迹-命令模型中预设的移动轨迹进行移动；同时，采集屏幕区域中的连续图像，分别获取各图像中红外光点在屏幕区域中的坐标；

[0010] 3）对步骤2）中得到的所有坐标进行处理，将相邻两帧图像中距离小于所述距离阈值的红外光点标记为同一操作，将所述连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹；根据所述移动轨迹在所述轨迹-命令模型中查找对应的控制命令，并根据查找得到的控制命令与操作系统进行交互。

[0011] 作为本发明基于红外图像的人机多点交互方法的进一步改进：

[0012] 所述步骤1）中还包括建立用于判断操作轨迹的角度阈值，所述步骤3）中将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹时，如果连续的三帧图像中属于同一操作的三个红外光点构成的夹角小于所述角度阈值，则判定该红外光点从所述三帧图像的中间帧图像开始进行一个新的操作。

[0013] 所述步骤2）中采集屏幕区域的连续图像具体是指采集经过红外滤光片的屏幕区域的连续图像。

[0014] 所述步骤2）中获取各图像中红外光点在屏幕区域中的坐标具体包括如下步骤：

[0015] ⑴、校准屏幕区域得到屏幕区域的四个顶点，对各图像依次进行裁剪得到四个顶点内的屏幕区域图像；

[0016] ⑵、对所述屏幕区域图像进行倾斜度修正；

[0017] ⑶、分离屏幕区域图像内的红外光点；

[0018] ⑷、获取分离后的红外光点对应屏幕区域的坐标。

[0019] 所述步骤⑵中对屏幕区域图像进行倾斜度修正的具体步骤包括：在屏幕区域上建立网格；使用红外光依次照射所述网格的交叉点并获取对应的屏幕区域图像；根据网格的所有交叉点在屏幕区域的实际坐标和其在屏幕区域图像中的坐标建立标准坐标点的转换矩阵；根据所述转换矩阵将输入的屏幕区域图像转换得到倾斜度修正后的屏幕区域图像。

[0020] 所述步骤⑶中分离屏幕区域图像内的红外光点的具体步骤包括：将屏幕区域图像转换为灰度图；将所述灰度图的亮度反转得到反转灰度图；将所述反转灰度图进行背景减除得到红外光点的初步分离图像；将所述初步分离图像进行滤波、放大后得到分离的红外光点。

[0021] 此外，本发明还提供一种基于红外图像的人机多点交互装置，它包括屏幕、红外发光单元、用于采集屏幕区域图像的图像采集装置、用于识别图像中红外光点移动轨迹的图像处理单元和用于根据移动轨迹与操作系统进行交互的命令交互输出单元，所述图像采集装置、图像处理单元、命令交互输出单元之间依次相连，所述红外发光单元包括至少一个用于向所述屏幕发射红外光点的红外发光器。

[0022] 作为本发明基于红外图像的人机多点交互装置的进一步改进：

[0023] 所述图像处理单元包括用于获取红外光点对应屏幕区域坐标的光点坐标获取单元、用于根据相邻两帧图像中红外光点的距离将红外光点归类为同一操作的集合判断单元和用于获取连续图像中属于同一操作的红外光点移动轨迹的轨迹获取单元，所述光点坐标获取单元、集合判断单元、轨迹获取单元相连，所述光点坐标获取单元与图像采集装置相连，所述轨迹获取单元与命令交互输出单元相连。

[0024] 所述图像处理单元还包括用于根据连续三帧图像同一操作红外光点之间构成的角度对红外光点的移动轨迹进行过滤的轨迹筛选单元，所述轨迹获取单元通过轨迹筛选单元与命令交互输出单元相连。

[0025] 所述图像采集装置包括摄像仪和红外滤光片，所述红外滤光片布置于摄像仪镜头与屏幕之间。

[0026] 本发明具有下述优点：

[0027] 1、本发明能够以红外光源作为指示设备与计算机进行指点交互，通过摄像仪拍摄操作场景采集屏幕区域的连续图像，然后进行红外滤光处理，获取利用以红外光源做出的移动轨迹，将所得数据通过有线或无线方式传输给计算机与操作系统进行交互。

[0028] 2、本发明根据坐标将相邻两帧图像中距离小于距离阈值的红外光点标记为同一操作，因此计算机一次性能够处理多个光点坐标，通过对多个光点进行跟踪分别得到多个操作轨迹，进而实现多点交互。

[0029] 3、本发明通过计算机视觉的方法，通过识别屏幕区域的成像，能够在普通显示器以及显示屏上实现多点交互，可以大大降低实现多点交互系统的成本，能够以简单低成本的设备实现多点交互功能，可以应用于诸如多媒体教学、娱乐、公共信息查询等多个领域。

附图说明

[0030] 图1为本发明实施例的实施流程示意图。

[0031] 图2为本发明实施例中校准屏幕区域的原理示意图。

[0032] 图3为本发明实施例中对屏幕区域图像进行倾斜度修正的原理示意图。

[0033] 图4为本发明实施例中的连续图像示意图。

[0034] 图5为本发明实施例中对连续图像中属于同一操作的红外光点进行叠加的原理示意图。

[0035] 图6为本发明实施例的结构示意图。

[0036] 图7为本发明实施例的框架结构示意图。

[0037] 图例说明：1、屏幕；2、红外发光单元；21、红外发光器；3、图像采集装置；31、摄像仪；32、红外滤光片；4、图像处理单元；41、光点坐标获取单元；42、集合判断单元；43、轨迹获取单元；44、轨迹筛选单元；5、命令交互输出单元； 6、计算机。

具体实施方式

[0038] 如图1所示，本发明实施例基于红外图像的人机多点交互方法的实施步骤如下：

[0039] 1）设置用于判断操作轨迹的距离阈值，建立并存储包含控制命令和对应移动轨迹信息的轨迹-命令模型；

[0040] 2）操作者使用红外光照射屏幕区域形成红外光点，并根据交互需求将红外光点按照轨迹-命令模型中预设的移动轨迹进行移动；同时，采集屏幕区域中的连续图像，分别获取各图像中红外光点在屏幕区域中的坐标；

[0041] 3）对步骤2）中得到的所有坐标进行处理，将相邻两帧图像中距离小于距离阈值的红外光点标记为同一操作，将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹；根据移动轨迹在轨迹-命令模型中查找对应的控制命令，并根据查找得到的控制命令与操作系统进行交互。

[0042] 本实施例能够以红外光源作为指示设备与计算机进行指点交互，通过摄像仪拍摄操作场景采集屏幕区域的连续图像，然后进行红外滤光处理，获取利用以红外光源做出的移动轨迹，将所得数据通过有线或无线方式传输给计算机与操作系统进行交互；此外，本实施例根据坐标将相邻两帧图像中距离小于距离阈值的红外光点标记为同一操作，因此计算机一次性能够处理多个光点坐标，通过对多个光点进行跟踪分别得到多个操作轨迹，进而实现多点交互。

[0043] 步骤2）中采集屏幕区域的连续图像具体是指采集经过红外滤光片的屏幕区域的连续图像。通过红外滤光片可以过滤屏幕区域的彩色信息，从而可以更加容易获取红外光点的坐标，简化了图像处理，有利于提高图像处理的效率。

[0044] 步骤2）中获取各图像中红外光点在屏幕区域中的坐标具体包括如下步骤：

[0045] ⑴、校准屏幕区域得到屏幕区域的四个顶点，对各图像依次进行裁剪得到四个顶点内的屏幕区域图像；

[0046] ⑵、对屏幕区域图像进行倾斜度修正；

[0047] ⑶、分离屏幕区域图像内的红外光点；

[0048] ⑷、获取分离后的红外光点对应屏幕区域的坐标。

[0049] 总体而言，图像处理的步骤包括图像校准、坐标提取和光点跟踪三个步骤。步骤⑴和⑵即为图像校准的步骤，图像校准的目的是获得带有标准坐标系的屏幕区域图像，分为步骤⑴粗校准和步骤⑵精校准两部分：步骤⑴粗校准是在坐标识别前进行的，主要目的是将屏幕区域图像（即有效交互区域）从拍摄采集得到的原始图像中抠取出来；步骤⑵精校准是在坐标识别之后进行的，主要目的是消除摄像平面与显示器平面不完全平行带来的失真。

[0050] 如图2所示，拍摄采集得到的原始图像既包括屏幕区域，也包括屏幕区域以外的区域。普通摄像头得到的彩色图像的显示器部分可以根据像素点亮度、色彩值等方便提取，但是红外图像中显示器跟外部（显示器外框、环境空间等）区分度基本没有，只能采取校准的方法。因此为了获得精确的红外光点的坐标、减少图像处理量，本实施例中采用四点抠图法，首先通过红外光照射屏幕区域的四个顶点来实现屏幕区域的校准，可以通过四个顶点确定原始图像中有效的屏幕区域，从而能够对各图像依次进行裁剪得到四个顶点内的屏幕区域图像。

[0051] 因为无法保证摄像平面与屏幕平面的平行关系，因此拍摄到的屏幕区域图像的画面可能是倾斜的。步骤⑵中对屏幕区域图像进行倾斜度修正的具体步骤包括：在屏幕区域上建立网格；使用红外光依次照射网格的交叉点并获取对应的屏幕区域图像；根据网格的所有交叉点在屏幕区域的实际坐标和其在屏幕区域图像中的坐标建立标准坐标点的转换矩阵；根据转换矩阵将输入的屏幕区域图像转换得到倾斜度修正后的屏幕区域图像。本实施例中，以屏幕区域的四个顶点为基准，在水平方向和竖直方向上采用距离等分方式建立4×4排列得网格，共生成16个交叉点，交叉点的坐标为对应屏幕区域的标准坐标。然后依次使用红外光照射16个交叉点，并分别拍摄对应16个交叉点的图像，将16个交叉点的标准坐标与实际坐标相比较，得到一个转换矩阵，从而通过矩阵转换的方法将每一帧图像进行精确校准。如图3所示，左边为拍摄到的屏幕区域图像，右边为进行倾斜度修正后的屏幕区域图像。

[0052] 本实施例中，步骤⑶中分离屏幕区域图像内的红外光点的具体步骤包括：将屏幕区域图像转换为灰度图；将灰度图的亮度反转得到反转灰度图；将反转灰度图进行背景减除得到红外光点的初步分离图像；将初步分离图像进行高通滤波、放大后得到分离的红外光点。通过将灰度图的亮度反转得到反转灰度图，使得图像整体成为较暗底色，而红外光点成为较暗底色上突出的较亮点域，从而在图像中突出了红外光点，红外光点分离效果更佳；通过将反转灰度图进行背景减除，进一步排除干扰信息，突出红外光点区域。步骤⑷则根据红外光点在屏幕区域图像中的位置获取红外光点对应屏幕区域的坐标。

[0053] 本实施例就是通过在识别出红外光点的基础上，通过对图像中红外光点进行跟踪，然后对属于同一操作的红外光点分别进行叠加获取其用户操作的移动轨迹，从而实现多点交互操作。为了实现这一目的，本实施例中对每一帧图像中的红外光点进行标号，然后在下一帧图像处理时根据距离阈值来判断红外光点与上一帧图像中的哪一个红外光点属于同一操作，如果本帧图像中的红外光点与上一帧图像中的每一个红外光点的距离都超过距离阈值，则对该红外光点进行新的标号。为了判断连续帧间的坐标点是否属于同一次操作轨迹，本发明根据人体工学原理，以用户的舒适操作为目的，采用距离阈值和角度阈值结合的方法对相邻图像帧中的触摸点连续性进行检测：步骤1）中还包括建立用于判断操作轨迹的角度阈值，步骤3）中将连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹时，如果连续的三帧图像中属于同一操作的三个红外光点构成的夹角小于角度阈值，则判定该红外光点从三帧图像的中间帧图像开始进行一个新的操作，则对中间帧图像的该红外光点进行新的标号，开始获取该红外光点的新移动轨迹。

[0054] 如图4所示，本实施例中获得的4幅连续图像中，图像帧1种包含4个红外光点，图像帧2种包含4个红外光点，图像帧3种包含4个红外光点，图像帧4种包含3个红外光点。将图像帧1～图像帧4的连续图像中属于同一操作的红外光点进行叠加获取红外光点的移动轨迹如图5所示，根据距离阈值重叠生成为4个操作区域。操作区域1中的前三个操作点不满足角度阈值条件，所以第三个点开始判定为一个新的操作；操作区域2中的第二个和第三个操作点不满足距离阈值条件，所以第三个点开始判定为一个新的操作；操作区域3中的四个点满足距离阈值条件和角度阈值条件，判定为一次连续的操作轨迹；操作区域4中前三个点满足距离阈值条件和角度阈值条件，判定为一次连续的操作轨迹，图像帧4中没有满足距离阈值的点，判定该操作结束。

[0055] 如图6和图7所示，本实施例的基于红外图像的人机多点交互装置包括屏幕1、红外发光单元2、用于采集屏幕1区域图像的图像采集装置3、用于识别图像中红外光点移动轨迹的图像处理单元4和用于根据移动轨迹与操作系统进行交互的命令交互输出单元5，图像采集装置3、图像处理单元4、命令交互输出单元5之间依次相连，红外发光单元2包括至少一个用于向屏幕1发射红外光点的红外发光器21。

[0056] 本实施例中，屏幕1为显示器；红外发光单元2中红外发光器21的数量直接与实现交互的多点点数相关，红外发光器21为红外光笔，红外光笔的笔壳内设有由红外LED、干电池、电阻、开关、导线依次串联组成的控制电路，且红外LED的端部伸出红外光笔的笔壳外；图像采集装置3包括摄像仪31和红外滤光片32，红外滤光片32布置于摄像仪31镜头与屏幕1之间。图像处理单元4和命令交互输出单元5都基于计算机6内部的软件实现，此外也可以采用独立的带有相应功能的硬件实现。摄像仪31和计算机6之间采用采用USB端口接收数据，此外也可以采用无线传输的形式等。

[0057] 图像处理单元4包括用于获取红外光点对应屏幕区域坐标的光点坐标获取单元41、用于根据相邻两帧图像中红外光点的距离将红外光点归类为同一操作的集合判断单元
42和用于获取连续图像中属于同一操作的红外光点移动轨迹的轨迹获取单元43，光点坐标获取单元41、集合判断单元42、轨迹获取单元43相连，光点坐标获取单元41与图像采集装置3相连，轨迹获取单元43与命令交互输出单元5相连。图像处理单元4还包括用于根据连续三帧图像同一操作红外光点之间构成的角度对红外光点的移动轨迹进行过滤的轨迹筛选单元44，轨迹获取单元43通过轨迹筛选单元44与命令交互输出单元5相连。

[0058] 本实施例的工作流程如下：用户手持红外光笔在显示器的显示区域进行操作，按下红外光笔上的开关时，红外光笔前端的红外LED发出红外光，在显示器的显示区域的对应指示位置形成红外光点，摄像仪31通过红外滤光片32拍摄红外光点在显示器显示区域上的操作场景并将拍摄得到的图像实时传输给计算机6，在计算机6内的图像处理单元4对图像进行处理得到红外光点相对于显示区域的坐标以及运动轨迹，计算机6内的命令交互输出单元5则根据轨迹-命令模型获取对应的控制命令并发送给操作系统和应用程序，由操作系统和应用程序做出相应的交互响应并将交互的图像从显示器输出。

[0059] 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。