一种设备控制方法、系统、电子设备及存储介质

摘要

本申请公开了一种设备控制方法，所述设备控制方法包括确定设备当前使用的目标输入法；记录目标触控区域的触摸信息；其中，触摸信息包括所有触摸点的位置信息和触摸时间；根据位置信息和触摸时间生成目标触摸点序列，并计算目标触摸点序列与预设触摸点序列的相似度信息；其中，预设触摸点序列为目标指令集中预设指令对应的文本内容在目标输入法下的触摸点序列；根据相似度信息从所有预设指令中选择与触摸信息对应的目标指令；控制设备执行目标指令对应的操作。本申请能够在无需视觉参与的前提下，实现电子设备的精准控制。本申请还公开了一种设备控制系统、一种电子设备及一种存储介质，具有以上有益效果。

权利要求

1.一种设备控制方法，其特征在于，包括：确定设备当前使用的目标输入法；

记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；

根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；其中，所述预设触摸点序列为目标指令集中预设指令对应的文本内容在所述目标输入法下的触摸点序列；

根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

控制所述设备执行所述目标指令对应的操作；

在根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令之前，还包括：

获取参考信息；其中，所述参考信息包括上下文信息和/或每一所述预设指令的使用频率信息，所述上下文信息包括历史操作记录、当前页面信息和个性化设置信息中任一项或任几项的组合；

相应的，根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令包括：

根据所述相似度信息和所述参考信息从所有所述预设指令中选择与所述触摸信息对应的目标指令。

2.根据权利要求1所述设备控制方法，其特征在于，根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令包括：根据所述相似度信息将相似度最高的预设触摸点序列对应的预设指令作为所述触摸信息对应的目标指令。

3.根据权利要求1所述设备控制方法，其特征在于，在记录目标触控区域的触摸信息之前，还包括：

当接收到识别触发指令时，根据所述识别触发指令确定区域位置信息；

将所述区域位置信息对应的区域范围设置为所述目标触控区域，以便识别所述目标触控区域的触控信息。

4.根据权利要求3所述设备控制方法，其特征在于，在将所述区域位置信息对应的区域范围设置为所述目标触控区域之后，还包括：生成键盘隐藏指令，以便隐藏所述目标触控区域内的虚拟键盘界面；

或，生成键盘禁用指令，以便关闭所述目标触控区域内的虚拟键盘界面。

5.根据权利要求1所述设备控制方法，其特征在于，所述目标指令包括第一类指令、第二类指令或第三类指令；

其中，所述第一类指令为用于跳转至目标页面的指令，所述第二类指令为用于在当前页面内执行操作的指令，所述第三类指令为用于跳转至所述目标页面并在所述目标页面执行操作的指令。

6.根据权利要求1所述设备控制方法，其特征在于，所述目标指令集包括所述目标指令的指令信息；其中，所述指令信息包括命令内容和执行路径；

相应的，所述控制所述设备执行所述目标指令对应的操作包括：确定所述目标指令对应的指令信息，并根据所述指令信息控制所述设备执行所述目标指令对应的操作。

7.根据权利要求1所述设备控制方法，其特征在于，在记录目标触控区域的触摸信息时，还包括：

判断是否接收到清空指令；

若是，则删除所述目标触控区域的触摸信息，以便重新记录所述目标触控区域的触摸信息。

8.根据权利要求1至7任一项所述设备控制方法，其特征在于，在控制所述设备执行所述目标指令对应的操作之前，还包括：播放所述目标指令对应的语音信息，并接收用户对所述语音信息的反馈信息；

当所述反馈信息符合预设标准时，则进入控制所述设备执行所述目标指令对应的操作的步骤；

当所述反馈信息不符合所述预设标准时，则按照相似度从高到低的顺序播放所述预设触摸点序列对应的预设指令的语音信息，并将用户确认的预设指令设置为新目标指令，以便控制所述设备执行所述新目标指令对应的操作；

其中，所述用户确认的预设指令对应的反馈信息符合所述预设标准。

9.一种设备控制系统，其特征在于，包括：输入法确定模块，用于确定设备当前使用的目标输入法；

信息采集模块，用于记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；

序列匹配模块，用于根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；其中，所述预设触摸点序列为目标指令集中预设指令对应的文本内容在所述目标输入法下的触摸点序列；

指令确定模块，用于根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

设备控制模块，用于控制所述设备执行所述目标指令对应的操作；

其中，所述设备控制系统还包括：信息获取模块，用于在根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令之前，获取参考信息；其中，所述参考信息包括上下文信息和/或每一所述预设指令的使用频率信息，所述上下文信息包括历史操作记录、当前页面信息和个性化设置信息中任一项或任几项的组合；

相应的，所述指令确定模块具体为用于根据所述相似度信息和所述参考信息从所有所述预设指令中选择与所述触摸信息对应的目标指令的模块。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至8任一项所述设备控制方法的步骤。

11.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至8任一项所述设备控制方法的步骤。

说明书

一种设备控制方法、系统、电子设备及存储介质

技术领域

[0001] 本申请涉及计算机技术领域，特别涉及一种设备控制方法、一种设备控制系统、一种电子设备及一种存储介质。

背景技术

[0002] 随着科技的发展，电子设备已经成为人们生活的必需品。电子设备可以搭载有图形用户界面，以便用户通过图形用户界面实现人机交互。但是，上述当视力有障碍的人或不
便于观察图形用户界面的人使用电子设备时，无法方便的通过图形用户界面进行人机交
互，进而实现对于设备的控制。

[0003] 相关技术中，通过语音助手提供的功能完成指令的执行，但是上述基于语音助手实现设备控制的方式，受网络环境和环境噪声的影响较大，识别准确率较低。

[0004] 因此，如何在无需视觉参与的前提下，实现电子设备的精准控制是本领域技术人员目前需要解决的技术问题。

发明内容

[0005] 本申请的目的是提供一种设备控制方法、一种设备控制系统、一种电子设备及一种存储介质，能够在无需视觉参与的前提下，实现电子设备的精准控制。

[0006] 为解决上述技术问题，本申请提供一种设备控制方法，该设备控制方法包括：

[0007] 确定设备当前使用的目标输入法；

[0008] 记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；

[0009] 根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；其中，所述预设触摸点序列为目标指令集中预设指
令对应的文本内容在所述目标输入法下的触摸点序列；

[0010] 根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

[0011] 控制设备执行所述目标指令对应的操作。

[0012] 可选的，在根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令之前，还包括：

[0013] 获取参考信息；其中，所述参考信息包括上下文信息和/或每一所述预设指令的使用频率信息，所述上下文环境信息包括历史操作记录、当前页面信息和个性化设置信息中
任一项或任几项的组合；

[0014] 相应的，根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令包括：

[0015] 根据所述相似度信息和所述参考信息从所有所述预设指令中选择与所述触摸信息对应的目标指令。

[0016] 可选的，根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令包括：

[0017] 根据所述相似度信息将相似度最高的预设触摸点序列对应的预设指令作为所述触摸信息对应的目标指令。

[0018] 可选的，在记录目标触控区域的触摸信息之前，还包括：

[0019] 当接收到识别触发指令时，根据所述识别触发指令确定区域位置信息；

[0020] 将所述区域位置信息对应的区域范围设置为所述目标触控区域，以便识别所述目标触控区域的触控信息。

[0021] 可选的，在将所述区域位置信息对应的区域范围设置为所述目标触控区域之后，还包括：

[0022] 生成键盘隐藏指令，以便隐藏所述目标触控区域内的虚拟键盘界面；

[0023] 或，生成键盘禁用指令，以便关闭所述目标触控区域内的虚拟键盘界面。

[0024] 可选的，所述目标指令包括第一类指令、第二类指令或第三类指令；

[0025] 其中，所述第一类指令为用于跳转至目标页面的指令，所述第二类指令为用于在当前页面内执行操作的指令，所述第三类指令为用于跳转至所述目标页面并在所述目标页
面执行操作的指令。

[0026] 可选的，所述目标指令集包括所述目标指令的指令信息；其中，所述指令信息包括命令内容和执行路径；

[0027] 相应的，所述控制设备执行所述目标指令对应的操作包括：

[0028] 确定所述目标指令对应的指令信息，并根据所述指令信息控制所述设备执行所述目标指令对应的操作。

[0029] 可选的，在记录目标触控区域的触摸信息时，还包括：

[0030] 判断是否接收到清空指令；

[0031] 若是，则删除所述目标触控区域的触摸信息，以便重新记录所述目标触控区域的触摸信息。

[0032] 可选的，在控制设备执行所述目标指令对应的操作之前，还包括：

[0033] 播放所述目标指令对应的语音信息，并接收用户对所述语音信息的反馈信息；

[0034] 当所述反馈信息符合预设标准时，则进入控制所述设备执行所述目标指令对应的操作的步骤；

[0035] 当所述反馈信息不符合所述预设标准时，则按照相似度从高到低的顺序播放所述预设触摸点序列对应的预设指令的语音信息，并将用户确认的预设指令设置为新目标指
令，以便控制所述设备执行所述新目标指令对应的操作；

[0036] 其中，所述用户确认的预设指令对应的反馈信息符合所述预设标准。

[0037] 本申请还提供了一种设备控制系统，该设备控制系统包括：

[0038] 输入法确定模块，用于确定设备当前使用的目标输入法；

[0039] 信息采集模块，用于记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；

[0040] 序列匹配模块，用于根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；其中，所述预设触摸点序列为
目标指令集中预设指令对应的文本内容在所述目标输入法下的触摸点序列；

[0041] 指令确定模块，用于根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

[0042] 设备控制模块，用于控制设备执行所述目标指令对应的操作。

[0043] 本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述设备控制方法执行的步骤。

[0044] 本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述设备控制方法执行的步
骤。

[0045] 本申请提供了一种设备控制方法，包括确定设备当前使用的目标输入法；记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；根据
所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触
摸点序列的相似度信息；其中，所述预设触摸点序列为目标指令集中预设指令对应的文本
内容在所述目标输入法下的触摸点序列；根据所述相似度信息从所有所述预设指令中选择
与所述触摸信息对应的目标指令；控制所述设备执行所述目标指令对应的操作。

[0046] 本申请可以记录用户在目标触控区域执行触摸操作的位置信息与触摸时间，根据所有触摸点的位置信息和触摸时间确定用户在目标触控区域输入的目标触摸点序列。在确
定设备当前使用的目标输入法的前提下，可以确定目标指令集中预设指令对应的文本内容
在所述目标输入法下的预设触摸点序列。通过将预设触摸点序列和目标触摸点序列进行相
似度比对，确定目标指令集中与目标触摸点序列对应的目标指令，进而可以控制设备执行
目标指令对应的操作。上述识别过程中，根据触摸点的位置信息和触摸时间确定目标触摸
点序列，可以使用户不参考目标触控区域显示的键位提示信息的前提下依据对于当前输入
法对应的键位记忆完成信息的输入，进而确定对应的目标指令。因此，本申请能够在无需视
觉参与的前提下，实现电子设备的精准控制。本申请同时还提供了一种设备控制系统、一种
电子设备和一种存储介质，具有上述有益效果，在此不再赘述。

附图说明

[0047] 为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人
员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0048] 图1为本申请实施例所提供的一种设备控制方法的流程图；

[0049] 图2为26键输入法的界面示意图；

[0050] 图3为通过26键输入法打出“打开微信”所用到的按键示意图；

[0051] 图4为通过26键输入法打出“打开微信”的按键顺序图；

[0052] 图5为本申请实施例所提供的一种应用于移动终端的盲输入指令触发方法的流程图；

[0053] 图6为本申请实施例所提供的一种设备控制系统的结构示意图。

具体实施方式

[0054] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0055] 在使用电子设备的过程中，用户可以通过下发指令实现对于电子设备的控制，即：电子设备可以识别用户的指令来完成对应的功能。但是，由于电子设备的屏幕的显示空间
有限，目前在移动设备上进行各种指令的访问通常需要多步操作来进行，对于不熟悉界面
的用户来讲效率非常低。而且对于盲人等存在视觉障碍的特殊群体而言，在缺少视觉反馈
的情况下只能通过读屏软件的帮助，使用听觉反馈线性寻找对应的功能按钮，在这个过程
所遇到困难会更多(如某些按钮没有提供合适的语音反馈)，效率较低。

[0056] 为了实现无需依赖视觉的电子设备控制，相关技术中通常使用语音助手提供的功能执行指令。例如，智能手机可以通过内置的语音助手实现设备控制。语音助手的工作原理
是将用户输入的语音识别成文本内容，再通过自然语言处理的方式来识别用户的意图并响
应相应的指令。大部分的语音助手支持诸如“打开微信朋友圈”等常用指令，但并没有提供
更多的应用内的指令的支持；同时该方式还有着语音输入天然具有的劣势：隐私性差，识别
准确率不高，识别结果和所用时间不稳定(依赖于网络状况)等弊端，依然无法在无需视觉
参与的前提下，实现电子设备的精准控制。针对于上述相关技术中存在的种种问题，本申请
通过以下几个实施例通过新的设备控制方法，能够达到在无需视觉参与的前提下，实现电
子设备的精准控制的效果。

[0057] 下面请参见图1，图1为本申请实施例所提供的一种设备控制方法的流程图。

[0058] 具体步骤可以包括：

[0059] S101：确定设备当前使用的目标输入法；

[0060] 其中，本实施例可以应用于手机、平板电脑、触控一体机等具有触控功能的电子设备中，本实施例中所提到的设备可以为具有触控功能的电子设备。用户在使用具有触控功
能的电子设备输入信息时，需要依据电子设备当前使用的目标输入法实现触摸点与输入内
容的映射。每一种输入法都可以有其对应的键盘键位映射关系，即，在不同的输入法下，相
同触摸点的输入内容可以不同。在本步骤之前，可以存在用户设置目标输入法的操作。作为
一种可行的实施方式，在用户设置输入法或电子设备系统自动切换输入法，可以生成输入
法切换信息。具体的输入法切换信息中可以为当前输入法名称的语音信息，当然该输入法
切换信息可以在电子设备的人机交互界面上以图标或文字的形式进行显示。

[0061] 本步骤的目的在于确定设备当前使用的目标输入法，随着时间的推移，设备可以存在输入法切换操作，当输入法切换后可以重新确定设备当前使用的目标输入法。

[0062] S102：记录目标触控区域的触摸信息；

[0063] 其中，上述电子设备可以具有触摸信息接收装置，用户可以在该触摸信息接收装置的触控区域输入特定的手势指令实现对于电子设备的控制。作为一种可行的实施方式，
触摸信息接收装置的触控区域既可以接收用户的触摸信息，又可以作为显示屏进行信息的
显示。

[0064] 作为一种可行的实施方式，在本步骤之前可以存在接收识别触发指令的操作，识别触发指令为用于触发对用户触摸信息的识别操作的指令，识别触发指令可以为用户输入
的语音信息、按键信息、触摸手势信息等。在接收到识别触发指令后，可以执行记录目标触
控区域的触摸信息的操作。作为一种可行的实施方式，为了节能、避免误识别，可以在接收
到识别触发指令之后，判断目标触控区域连续未检测到触摸点的时长大于预设时长时，可
以停止记录目标触控区域的触摸信息。进一步的，当触发手势指令(即，触摸手势信息形式
的识别触发指令)为执行S102的必要条件时，上述提到的触发手势指令可以为预先设置好
的手势操作，当检测到用户在触控区域输入该触发手势指令时，则可以执行记录输入信息
的操作。作为一种可行的实施方式，当本实施例应用于智能手机时，若检测到用户在屏幕上
存在先下滑再上滑的操作，则可以判定接收到触发手势指令并进入本实施例的相关操作步
骤。当然，本实施例不限定触发手势指令的具体形式，本领域技术人员可以根据实际应用场
景灵活设置触发手势指令。

[0065] 本实施例中提到的目标触控区域可以为设备的触摸信息接收区域内一个或几个子区域，也可以为整个触摸信息接收区域。触摸信息为描述用户在目标触控区域执行触摸
动作的信息，输入信息可以包括所有触摸点之间的相对位置和触摸顺序。作为一种可以存
在的情况，触摸信息可以包括所有触摸点的位置信息和触摸时间。可以理解的是，用户可以
基于目标输入法在目标触控区域输入触摸信息。

[0066] S103：根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；

[0067] 其中，本步骤中所提到的位置信息可以包括每一触摸点在屏幕上的绝对位置信息，也可以包括任意数量个触摸点之间的相对位置，触摸时间指每一触摸点的输入时间，根
据触摸时间可以确定各个触摸点之间的触摸顺序和相邻触摸点之间的输入时间间隔。本实
施例中得到的目标触摸点序列为用于描述用户在目标触控区域中各个触摸点之间的相对
位置和触摸顺序的信息。

[0068] 请参见图2、图3和图4，图2为26键输入法的界面示意图，图3为通过26键输入法打出“打开微信”所用到的按键示意图，图4为通过26键输入法打出“打开微信”的按键顺序图。
根据图4可知，通过26键输入法打出“打开微信”需要对8个按键先后触摸11次，顺序为：D、A、
K、A、I、W、E、I、X、I和N，图4中的数字代表触摸顺序，存在括号的数字说明存在多次触摸的情
况。在本实施例中，用户只需根据D、A、K、I、W、E、X和N这八个字母的相对位置在目标触控区
域先后触摸11次即可完成触摸信息的输入，进而得到目标触摸点序列。也就是说在本实施
例中用户可以在任意位置输入触摸信息，在各个触摸点相对位置及触摸顺序正确的前提下
可以都可以得到相同的目标触摸点序列，实现了无需视觉参与的触摸信息输入。

[0069] 作为一种可行的实施方式，本实施例中生成的目标触摸点序列可以为描述所有触摸点位置、触摸顺序和触摸时间间隔的信息，根据触摸时间间隔可以更进一步的划分用户
输入内容的成分，例如，用户输入QUXIAN时，根据拼写规则，若相邻的触摸点间只有U和X之
间的触摸事件间隔大于0.5秒其余均小于0.5秒，可以确定用户输入的为“曲线”对应的拼
音；若相邻的触摸点间U和X、I和A之间的触摸事件间隔大于0.5秒其余均小于0.5秒，可以确
定用户输入的为“去西安”对应的拼音。可见，当目标触摸点序列中包括触摸时间间隔时，能
够更好的划分用户输入内容，进而提高相似度信息的准确率。作为一种可行的实施方式，本
实施例可以将通过需要执行操作的名称作为“打开浏览器”，由于在日常生活中用户表达意
图的方法是通过语言表达该指令的名称，因此通过上述方式可以实现对大量指令的高效编
码。

[0070] 在得到目标触摸点序列之后，本实施例将目标触摸点序列与预设触摸点序列进行比对，计算目标触摸点序列与预设触摸点序列的相似度信息，相似度信息为用于描述目标
触摸点序列与预设触摸点序列之间相似程度的信息。本实施例中所提的预设触摸点序列为
目标指令集中预设指令对应的文本内容在所述目标输入法下的触摸点序列。本实施例可以
预先设置包括多个预设指令的目标指令集，预设指令都有其对应的文本内容，该文本内容
可以为预设指令的名称下特定语种下的文本表达且每条预设指令的文本内容可以有多个，
例如预设指令“打开地图”对应的文本内容可以为拼音“da kai di tu”，可以为简拼
“dkdt”，可以为英文全拼“open map”，当然文本内容中可以将空格作为单词或字之间的间
隔。在已经确定每一预设指令对应的文本内容的基础上，本实施例可以根据S101确定的设
备当前使用的目标输入法，得到每一文本内容在该目标输入法下的预设触摸点序列，预设
触摸点序列中可以包括预设指令在目标输入法在的预设触摸点的位置信息、触摸顺序和触
摸时间间隔范围。

[0071] 作为一种可行的实施方式，本实施例可以确定目标指令集中每一预设指令对应的文本内容在所述目标输入法下的预设触摸点序列，将所有的预设触摸点序列与目标触摸点
序列进行比对，得到目标触摸点序列相对于每一预设触摸点序列的相似度信息。

[0072] S104：根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

[0073] 本步骤建立在已经的得到相似度信息的基础上，可以根据相似度信息从目标指令集的所有预设指令中确定目标指令。作为一种可行的实施方式，本实施例可以设置标准相
似度，根据相似度信息将相似度大于标准相似度的预设指令作为目标指令，若相似度大于
标准相似度的预设指令的数量大于1时，可以将相似度最高的预设指令作为目标指令，即，
根据所述相似度信息将相似度最高的预设触摸点序列对应的预设指令作为所述触摸信息
对应的目标指令。当然本实施例也可以将使用频率最高的预设指令作为目标指令，当然还
可以结合相似度排名和使用频率共同确定目标指令。

[0074] 下面从电子设备的角度分析本实施例中根据所有所述触摸点的位置信息和所述触摸时间确定所述输入信息对应的目标指令的操作。由于不同的控制指令对应着不同的触
摸手势，因此本实施例摒弃了相关技术中依赖触控区域的显示内容与用户的触摸位置必须
一一对应的技术方案，根据触摸点之间的相对位置及触摸顺序确定输入信息的内容。由于
本实施例能够根据触摸点之间的相对位置和触摸时间确定输入信息的内容，所有本实施例
提供的技术方案可以无需用户视觉参与，达到了“盲打”输入指令并控制设备的效果。作为
一种可行的实施方式，可以将第一个采集的触摸点设置为原点，并基于原点建立坐标系，根
据其他触摸点与第一个采集的触摸点的相对位置可以得到所有触摸点在该坐标系下的坐
标信息，根据所有坐标点的坐标信息可以确定所有坐标点之间的相对位置。例如，一种关机
指令的文本内容的标准触摸点相对位置与触摸顺序变化过称为：输入第一触摸点后右移3
个单位距离触摸得到第二触摸点，然后上移动5个单位距离触摸得到第三触摸点。以手机屏
幕作为参考系，当检测到三个触摸点先后为(0,0)，(3,0)和(3,5)时说明用户输入关机指
令；当检测到三个触摸点先后为(2,2)，(5,2)和(5,7)时也可以说明用户输入关机指令；当
检测到三个触摸点先后为(20,20)，(23,20)和(23,25)时还可以说明用户输入关机指令。在
本实施例中即使用户在触摸屏上的触摸位置所在区域整体发生变化时，也不会影响触摸信
息的识别，因此通过本实施例能够使盲人或视力存在障碍的用户在不使用视觉反馈的前提
下实现设备控制。也就是说，本实施例可以不依赖用户在触摸屏上的实际触摸位置，可以通
过关注触摸点之间的相对位置与触摸顺序实现指令识别。

[0075] S105：控制所述设备执行所述目标指令对应的操作。

[0076] 其中，本实施例建立在确定输入信息对应的目标指令的基础上，可以控制设备执行该目标指令对应的操作。

[0077] 本实施例中提到的目标指令为在本实施例语境中特指用户要传达给系统的意图。目标指令可以是一个动作，如截屏，指完成截屏这一操作；也可以是一个目标，如朋友圈，指
跳转到朋友圈这一页面。目标指令分为两种，一种是无参数的指令，直接执行并无歧义，如
截屏；另一种是带参数的指令，需要指定参数的值才能完成确定指令的目标，如视频通话，
需要指定通话对象。

[0078] 本实施例可以记录用户在目标触控区域执行触摸操作的位置信息与触摸时间，根据所有触摸点的位置信息和触摸时间确定用户在目标触控区域输入的目标触摸点序列。在
确定设备当前使用的目标输入法的前提下，可以确定目标指令集中预设指令对应的文本内
容在所述目标输入法下的预设触摸点序列。通过将预设触摸点序列和目标触摸点序列进行
相似度比对，确定目标指令集中与目标触摸点序列对应的目标指令，进而可以控制设备执
行目标指令对应的操作。上述识别过程中，根据触摸点的位置信息和触摸时间确定目标触
摸点序列，可以使用户不参考目标触控区域显示的键位提示信息的前提下依据对于当前输
入法对应的键位记忆完成信息的输入，进而确定对应的目标指令。因此，本实施例能够在无
需视觉参与的前提下，实现电子设备的精准控制。

[0079] 作为对于图1对应的实施例的进一步介绍，在根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令之前，还可以获取参考信息；其中，所述参考
信息包括上下文信息和/或每一所述预设指令的使用频率信息，所述上下文环境信息包括
历史操作记录、当前页面信息和个性化设置信息中任一项或任几项的组合。具体的，个性化
设置信息可以包括用户自定义的指令选择参考信息，例如个性化设置信息中可以包括每一
预设指令的选择频率或每一预设指令在各个时间段内的选择频率。

[0080] 相应的，S104中根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令的操作可以为：根据所述相似度信息和所述参考信息从所有所述预设指令
中选择与所述触摸信息对应的目标指令。上述过程引入上下文信息预测用户的指令表达方
式(例如，对用户心理模型的分析)，可以配合用户输入相对位置信息来预测用户的目标指
令。上下文信息可以包括当前使用页面的页面属性和之前用户输入的指令，例如当前使用
页面为通讯录页面时，目标指令为电话拨打指令或短信发送指令的几率较大；若在此之前
用户已输入某地图APP打开指令，那么目标指令为路线查询指令的几率较大。

[0081] 作为对于图1对应的实施例的进一步介绍，在记录目标触控区域的触摸信息之前，还可以包括以下操作：当接收到识别触发指令时，根据所述识别触发指令确定区域位置信
息；将所述区域位置信息对应的区域范围设置为所述目标触控区域，以便识别所述目标触
控区域的触控信息。其中，上述识别触发指令可以为用户输入的语音信息、按键信息、触摸
手势信息等，在接收到识别触发指令之后本实施例可以根据识别触发指令确定区域位置信
息，进而基于区域位置信息设置目标触控区域。当本实施例中目标触控区域为矩形时，区域
位置信息可以包括四个顶点的坐标。在将所述区域位置信息对应的区域范围设置为所述目
标触控区域之后，还可以生成键盘隐藏指令或键盘禁用指令，键盘隐藏指令可以控制设备
隐藏所述目标触控区域内的虚拟键盘界面；键盘禁用指令可以控制设备关闭所述目标触控
区域内的虚拟键盘界面。生成键盘隐藏指令或键盘禁用指令只要在设置目标触控区域之后
即可，在设置为所述目标触控区域与生成键盘隐藏指令或键盘禁用指令之间可以存在其他
操作。

[0082] 进一步的，在接收到识别触发指令后，还可以通过解析识别触发指令设置目标输入法。本实施例中可以为每一种输入法设置对应的识别触发指令，在接收到识别触发指令
时可以解析该识别触发指令确定用户输入触控信息所对应的目标输入法。当然，本实施例
目标输入法可以包括九宫格输入法、26键输入法、手写输入法、五笔输入法、双拼输入法或
仓颉输入法等输入法。

[0083] 作为对于图1对应实施例的进一步介绍，S104中根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令可以为：根据所述相似度信息将相似度最
高的预设指令作为与所述触摸信息对应的目标指令。

[0084] 其中，目标指令集中可以存储有多个预设指令，本实施例可以将相似度最高的第一样本指令作为目标指令。举例说明上述过程，例如本实施例中实际采集的触摸点相对位
置(将第一个触摸点设置为原点)与触摸顺序为(0，0)→(‑0.49，1)→(6.2，2)→(5.9，0)→
(‑0.5，1.1)；在目标指令集中包括3条第一样本指令，样本指令A对应文本内容的标准触摸
点相对位置和标准触摸顺序为(0，0)→(6，1)→(3，2)→(5，0)→(5，1)，样本指令B对应文本
内容的标准触摸点相对位置和标准触摸顺序为(0，0)→(‑0.5，1)→(6，2)→(6，0)→(‑0.5，
1)，样本指令C对应文本内容的标准触摸点相对位置和标准触摸顺序为(0，0)→(6，2)→(‑
0.5，1)→(6，0)→(‑0.5，1)。通过对比可知，目标指令集中3条预设指令的相似度从大到小
依次为样本指令B、样本指令C、样本指令A，可以将预设指令B设置为输入信息对应的目标指
令。

[0085] 作为对于图1对应的实施例的进一步介绍，目标指令集中的预设指令(包括目标指令)可以为第一类指令、第二类指令或第三类指令。其中，所述第一类指令为用于跳转至目
标页面的指令，所述第二类指令为用于在当前页面内执行操作的指令，所述第三类指令为
用于跳转至所述目标页面并在所述目标页面执行操作的指令。具体的，目标指令集中可以
包括所述目标指令的指令信息；其中，所述指令信息包括命令内容和执行路径。相应的，
S105中所述控制设备执行所述目标指令对应的操作可以为：确定所述目标指令对应的指令
信息，并根据所述指令信息控制所述设备执行所述目标指令对应的操作。

[0086] 作为对于图1对应的实施例的进一步介绍，在S102记录目标触控区域的触摸信息时，还可以包括以下操作：判断是否接收到清空指令；若是，则删除所述目标触控区域的触
摸信息，以便重新记录所述目标触控区域的触摸信息。其中，通过上述说明提到的清空机
制，可以在用户发现输错内容后清空之前记录的触摸点，以便在用户重新输入时设备能够
重新记录所述目标触控区域的触摸信息。

[0087] 作为对于图1对应的实施例的进一步介绍，在控制设备执行所述目标指令对应的操作之前，还可以包括以下操作：播放所述目标指令对应的语音信息，并接收用户对所述语
音信息的反馈信息；当所述反馈信息符合预设标准时，则进入控制所述设备执行所述目标
指令对应的操作的步骤；当所述反馈信息不符合所述预设标准时，则按照相似度从高到低
的顺序播放所述预设触摸点序列对应的预设指令的语音信息，并将用户确认的预设指令设
置为新目标指令，以便控制所述设备执行所述新目标指令对应的操作；其中，所述用户确认
的预设指令对应的反馈信息符合所述预设标准。

[0088] 由于图1对应的实施例是从目标指令集中所包括的所有预设指令中选择一个目标指令，因此可能存在选择的目标指令不为用户所需要的指令的情况，此时可以播放所述目
标指令对应的语音信息，以便用户对于该语音信息进行反馈。用户对于语音信息的反馈信
息的形式可以包括语音反馈、触摸反馈、按键反馈等，反馈信息还可以用户对于电子设备的
晃动。本实施例可以预先设置反馈信息对应的预设标准，例如预设标准可以包括特定的语
音内容、特定的手势或特定的按键。当反馈信息符合预设标准时可以进入控制所述设备执
行所述目标指令对应的操作的步骤。当所述反馈信息不符合所述预设标准时，则按照相似
度从高到低的顺序播放所述预设触摸点序列对应的预设指令的语音信息，在播放语音信息
的过程中可以持续监测用户的确定信息，并将用户确认的信息作为新目标指令。用户的确
定信息可以包括：选择当前播放的指令、选择上一条播放的指令、选择第一条播放的指令
(即，原目标指令)。用户的确认信息可以以语音信息、触摸信息或按键信息等形式存在，确
认信息还可以为用户对于电子设备的晃动。

[0089] 例如，在确定目标指令为接收邮件操作的指令时，可以通过语音播报的方式播放“接收邮件”对应的语音信息，用户在收听到语音信息后，若该语音信息对应的目标指令为
用户需要控制设备执行的指令时，用户可以通过按键、语音回复或触摸手势等方式发送确
认信息；若该语音信息对应的目标指令不为用户需要控制设备执行的指令时，用户可以通
过按键、语音回复或触摸手势等方式发送报错信息。当接收到确认信息时，可以执行S105中
控制设备执行所述目标指令对应的操作的步骤。当接收到报错信息时，本实施例可以播放
其他的预设指令以便用户选择。

[0090] 下面通过在实际应用中的实施例说明上述实施例描述的流程。请参见图5，图5为本申请实施例所提供的一种应用于移动终端的盲输入指令触发方法的流程图。

[0091] 用户在移动终端的原始界面上通过执行一个全局的触发手势调出盲输入指令的输入界面，然后在输入界面上按目标指令的文本表达进行模糊的输入，在输入过程中用户
可以在发觉输入错误时清空输入。输入完成后，用户根据系统给出的语音反馈来确定是否
预测正确，如不正确，用户可以在当前输入的基础上通过手势切换到其它候选词，也可以选
择清空重新输入；如正确，则用户执行确定手势，系统自动完成指令的执行，输入界面退出，
回到原始界面。在上述流程确定前的任一位置，用户均可以通过再次执行触发手势退回到
原始界面。

[0092] 上述实施例的实现过程可以包括两部分，一是用户输入部分的对于用户指令的预测算法，二是用户确认执行指令后系统执行部分。

[0093] 用户指令预测算法接收的输入为用户在屏幕上的点击操作的信息、当前所处的上下文信息(所在应用和所在页面等)以及指令集信息(合法指令的全集以及指令的使用频
率)，输出为指令集中每一条指令按用户输入意图的概率从高到低排序。上述过程相当于提
供了一种针对指令输入的智能预测方法，该方法可以允许用户在输入时降低精度(即“模糊
输入”)仍然给出正确的结果，从而提高输入效率。在获取到了用户的目标指令后，系统可以
通过自动执行的方式省去了用户寻找操作路径，和执行多步操作所需的时间，可以进一步
提升效率和用户体验。

[0094] 指令执行部分需要预先定义好的应用结构信息，该信息以图的形式表达了不同页面间的跳转关系。在执行指令时先根据当前所在的页面信息找到当前页面在图中的位置，
在图上计算出一条从当前位置到目标位置的最短路径，再按路径上的信息一步步模拟执行
以完成整个指令的执行。

[0095] 在指令的执行过程中，如果是无参数的指令，系统可以根据计算出的路径信息按顺序执行直到执行完毕；如果是带参数的指令，系统会在需要用户输入参数时暂停，提示用
户输入参数，并在参数输入完毕后继续执行后续步骤。

[0096] 本实施例提供了一种用户可以在不看或不仔细看设备屏幕的情况下，输入指令和识别指令的方法。在使用该方法，用户想象屏幕上有一个虚拟的输入键盘，并根据要输入的
指令的不同表达方式在该键盘上对应的字符的大概位置进行模糊输入，算法会智能地根据
用户的输入和当前所处的上下文环境信息识别出用户所想表达的指令并提供反馈，当用户
确认触发该命令时，系统自动完成命令的执行和界面的跳转，并在执行结束时提供反馈。通
过这一过程用户可以以更高效、轻松的方式完成自己目标指令的执行。

[0097] 以“从桌面上进入微信朋友圈”为例，用户处于桌面上时通过全局手势(如在屏幕上先下滑再上滑)调出输入界面(如上图所示)，然后按“wxpyq”(“微信朋友圈”的简拼缩写)
的顺序依次在这五个字母在键盘上的大概位置点击五次，听到系统提示“朋友圈‑微信”的
语音反馈，然后通过下滑手势确认执行，系统执行跳转到朋友圈页面后给出执行成功的语
音反馈。另外需要注意界面上显示的键盘的位置只是用于提示，用户可以在不看界面的情
况下进行使用，也不必每一次点击都点击到对应的字母所在的区域内。

[0098] 在本实施例提供的技术方案中，用户可以不看屏幕的显示内容，只需要听觉反馈即可完成整个指令的触发过程。这一特点为用户在某些特殊不方便看屏幕的情况下或者盲
人用户群体使用移动设备时提供了优势。本实施例的指令触发效率更高。这里效率的提升
体现在三个方面：一是由于直接输入命令，省去了在屏幕上各层级菜单中寻找目标元素的
时间，指令的执行更加快；二是指令输入时智能识别算法的存在可以容忍较大的输入噪声，
用户可以不需要输入得非常准确即可获得想要的结果，因此在牺牲准确率的基础上可以提
高输入速度；三是用户使用多次同一指令熟练后能形成肌肉记忆进一步加快输入指令的速
度。本实施例便于用户通过单手使用。输入时的智能识别算法可以根据用户点击的相对位
置自动识别出用户的目标指令，因此即使使用较大的屏幕用户也可以只在一只手所能触及
的区域内使用该方法而不影响使用效果。本实施例的指令输入方式自然易记忆、易学习。该
方法使用指令的名称作为输入的依据，该种输入方式正是用户平时表达意图所用的方式，
相比其它方案而言更加自然，且便于记忆，也因此更适合支持大数量级的指令集。本实施例
的可拓展性强。用户可以根据自己的使用习惯设定不同的指令的映射方式，进一步提升使
用效率。

[0099] 请参见图6，图6为本申请实施例所提供的一种设备控制系统的结构示意图；

[0100] 该系统可以包括：

[0101] 输入法确定模块100，用于确定设备当前使用的目标输入法；

[0102] 信息采集模块200，用于记录目标触控区域的触摸信息；其中，所述触摸信息包括所有触摸点的位置信息和触摸时间；

[0103] 序列匹配模块300，用于根据所述位置信息和所述触摸时间生成目标触摸点序列，并计算所述目标触摸点序列与预设触摸点序列的相似度信息；其中，所述预设触摸点序列
为目标指令集中预设指令对应的文本内容在所述目标输入法下的触摸点序列；

[0104] 指令确定模块400，用于根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令；

[0105] 设备控制模块500，用于控制所述设备执行所述目标指令对应的操作。

[0106] 本实施例可以记录用户在目标触控区域执行触摸操作的位置信息与触摸时间，根据所有触摸点的位置信息和触摸时间确定用户在目标触控区域输入的目标触摸点序列。在
确定设备当前使用的目标输入法的前提下，可以确定目标指令集中预设指令对应的文本内
容在所述目标输入法下的预设触摸点序列。通过将预设触摸点序列和目标触摸点序列进行
相似度比对，确定目标指令集中与目标触摸点序列对应的目标指令，进而可以控制设备执
行目标指令对应的操作。上述识别过程中，根据触摸点的位置信息和触摸时间确定目标触
摸点序列，可以使用户不参考目标触控区域显示的键位提示信息的前提下依据对于当前输
入法对应的键位记忆完成信息的输入，进而确定对应的目标指令。因此，本实施例能够在无
需视觉参与的前提下，实现电子设备的精准控制。

[0107] 进一步的，还包括：

[0108] 信息获取模块，用于在根据所述相似度信息从所有所述预设指令中选择与所述触摸信息对应的目标指令之前，获取参考信息；其中，所述参考信息包括上下文信息和/或每
一所述预设指令的使用频率信息，所述上下文环境信息包括历史操作记录、当前页面信息
和个性化设置信息中任一项或任几项的组合；

[0109] 相应的，指令确定模块400具体为用于根据所述相似度信息和所述参考信息从所有所述预设指令中选择与所述触摸信息对应的目标指令的模块。

[0110] 进一步的，指令确定模块400具体为用于根据所述相似度信息将相似度最高的预设触摸点序列对应的预设指令作为所述触摸信息对应的目标指令的模块。

[0111] 进一步的，还包括：

[0112] 位置信息确定模块，用于当接收到识别触发指令时，根据所述识别触发指令确定区域位置信息；

[0113] 区域设置模块，用于将所述区域位置信息对应的区域范围设置为所述目标触控区域，以便识别所述目标触控区域的触控信息。

[0114] 进一步的，还包括：

[0115] 第一指令生成模块，用于生成键盘隐藏指令，以便隐藏所述目标触控区域内的虚拟键盘界面；

[0116] 或，第二指令生成模块，用于生成键盘禁用指令，以便关闭所述目标触控区域内的虚拟键盘界面。

[0117] 进一步的，所述目标指令包括第一类指令、第二类指令或第三类指令；

[0118] 其中，所述第一类指令为用于跳转至目标页面的指令，所述第二类指令为用于在当前页面内执行操作的指令，所述第三类指令为用于跳转至所述目标页面并在所述目标页
面执行操作的指令。

[0119] 进一步的，所述目标指令集包括所述目标指令的指令信息；其中，所述指令信息包括命令内容和执行路径；

[0120] 相应的，所述设备控制模块500具体为用于确定所述目标指令对应的指令信息，并根据所述指令信息控制所述设备执行所述目标指令对应的操作的模块。

[0121] 进一步的，还包括：

[0122] 清空模块，用于在记录目标触控区域的触摸信息时，判断是否接收到清空指令；若是，则删除所述目标触控区域的触摸信息，以便重新记录所述目标触控区域的触摸信息。

[0123] 进一步的，还包括：

[0124] 语音播放模块，用于在控制设备执行所述目标指令对应的操作之前，播放所述目标指令对应的语音信息，并接收用户对所述语音信息的反馈信息；

[0125] 第一处理模块，用于当所述反馈信息符合预设标准时，则进入控制所述设备执行所述目标指令对应的操作的步骤；

[0126] 第二处理模块，用于当所述反馈信息不符合所述预设标准时，则按照相似度从高到低的顺序播放所述预设触摸点序列对应的预设指令的语音信息，并将用户确认的预设指
令设置为新目标指令，以便控制所述设备执行所述新目标指令对应的操作；其中，所述用户
确认的预设指令对应的反馈信息符合所述预设标准。

[0127] 由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

[0128] 本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read‑
Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种
可以存储程序代码的介质。

[0129] 本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的
步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

[0130] 说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而
言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明
即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还
可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围
内。

[0131] 还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作
之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。