语音控制终端的界面的方法及装置

摘要

本发明提出一种语音控制终端的界面的方法及装置，其中所述方法包括以下步骤：读取终端的界面中的所有元素；搜索所有元素中的第一多个UI元素；保存与第一多个UI元素分别对应的第一多个文字信息；接收用户的语音命令；判断语音命令是否对应于第一多个文字信息中的一个文字信息；以及如果是，则根据语音命令执行操作。根据本发明实施例的方法，根据用户的语音命令进行操作，可以让用户脱离双手实现对界面的操作，适用于各种移动场景，提升了用户体验。

权利要求

1.一种语音控制终端的界面的方法，其特征在于，包括以下步骤：在终端的界面加载过程中，读取所述终端的界面中的所有元素；

搜索所述所有元素中的第一多个UI元素；

保存与所述第一多个UI元素分别对应的第一多个文字信息；

接收用户的语音命令；

判断所述语音命令是否对应于所述第一多个文字信息中的一个文字信息；以及如果是，则根据所述语音命令执行操作；

其中，接收到用户的语音命令之后，将用户的语音命令识别成终端可读取的机器语言，然后和存储的第一多个文字信息进行对比进行判断；

进一步包括步骤：

对所述语音命令进行处理；

所述处理包括合并所述语音命令中的重复部分或删除所述语音命令中的无意义部分。

2.根据权利要求1所述的方法，其特征在于，进一步包括步骤：检索所述第一多个UI元素中是否存在相同命名的第二多个UI元素；

如果是，则对所述第二多个UI元素进行编号并将多个编号与所述第二多个UI元素的文字信息分别结合以生成第二文字信息；以及保存并呈现所述第二文字信息。

3.根据权利要求2所述的方法，其特征在于，进一步包括步骤：如果所述语音命令与所述第二文字信息对应，则根据所述语音命令分别执行与所述第二多个UI元素对应的操作。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述UI元素包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名。

5.一种语音控制终端的界面的装置，其特征在于，包括：读取模块，所述读取模块用于在终端的界面加载过程中，读取所述终端的界面中的所有元素；

搜索模块，所述搜索模块用于搜索所述所有元素中的第一多个UI元素；

第一保存模块，所述第一保存模块用于保存与所述第一多个UI元素分别对应的第一多个文字信息；

接收模块，所述接收模块用于接收用户的语音命令；

判断模块，所述判断模块用于判断所述语音命令是否对应于所述第一多个文字信息中的一个文字信息；以及执行模块，所述执行模块用于在所述语音命令对应于所述第一多个文字信息中的一个文字信息时，根据所述语音命令执行操作；

其中，接收到用户的语音命令之后，将用户的语音命令识别成终端可读取的机器语言，然后和存储的第一多个文字信息进行对比进行判断；

进一步包括：

处理模块，所述处理模块用于对所述语音命令进行处理；

所述处理包括合并所述语音命令中的重复部分或删除所述语音命令中的无意义部分。

6.根据权利要求5所述的装置，其特征在于，进一步包括：检索模块，所述检索模块用于检索所述第一多个UI元素中是否存在相同命名的第二多个UI元素；

编号模块，所述编号模块用于在所述第一多个UI元素中存在相同命名的第二多个UI元素时，对所述第二多个UI元素进行编号并将多个编号与所述第二多个UI元素的文字信息分别结合以生成第二文字信息；以及第二保存模块，所述第二保存模块用于保存并呈现所述第二文字信息。

7.根据权利要求6所述的装置，其特征在于，当所述判断模块判断所述语音命令与所述第二文字信息对应时，所述执行模块根据所述语音命令分别执行与所述第二多个UI元素对应的操作。

8.根据权利要求5至7中任一项所述的装置，其特征在于，所述UI元素包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名。

说明书

语音控制终端的界面的方法及装置

技术领域

[0001] 本发明涉及终端设备制造技术领域，尤其涉及一种语音控制终端的界面的方法及装置。

背景技术

[0002] 在移动终端的界面控制中，需要用户使用手触或操控按钮进行操作，但是在某些双手不能自由的特殊场合为用户带来不便。

[0003] 目前，为了帮助有视觉障碍的用户使用移动终端可以在移动终端安装屏幕阅读器等软件，当用户对某个区域有操作时，使用内置的TTS（Text To Speech，从文本到语音）或者模拟人声对应的文字信息读取出来，方便用户。但是，同样也需要用户进行手触或操控按钮操作，同样为用户带来不便。

发明内容

[0004] 本发明旨在至少解决上述技术问题之一。

[0005] 为此，本发明的一个目的在于提出一种可以帮助用户脱离双手进行界面操作且适用于各种移动场景的语音控制终端的界面的方法。

[0006] 本发明的另一目的在于提出一种语音控制终端的界面的装置。

[0007] 为了实现上述目的，根据本发明第一方面的实施例的语音控制终端的界面的方法包括以下步骤：读取所述终端的界面中的所有元素；搜索所述所有元素中的第一多个UI元素；保存与所述第一多个UI元素分别对应的第一多个文字信息；接收用户的语音命令；判断所述语音命令是否对应于所述第一多个文字信息中的一个文字信息；以及如果是，则根据所述语音命令执行操作。

[0008] 根据本发明实施例的语音控制终端的界面的方法，在用户的语音命令与保存的文字信息相同时，根据语音命令对文字信息所对应的UI元素进行操作，可以让用户脱离双手实现对界面的操作，适用于各种移动场景，提升了用户体验。

[0009] 为了实现上述目的，根据本发明第二方面的实施例的语音控制终端的界面的装置包括：读取模块，所述读取模块用于读取所述终端的界面中的所有元素；搜索模块，所述搜索模块用于搜索所述所有元素中的第一多个UI元素；第一保存模块，所述第一保存模块用于保存与所述第一多个UI元素分别对应的第一多个文字信息；接收模块，所述接收模块用于接收用户的语音命令；判断模块，所述判断模块用于判断所述语音命令是否对应于所述第一多个文字信息中的一个文字信息；以及执行模块，所述执行模块用于在所述语音命令对应于所述第一多个文字信息中的一个文字信息时，根据所述语音命令执行操作。

[0010] 根据本发明实施例的语音控制终端的界面的装置，执行模块在用户的语音命令与保存的文字信息相同时，根据语音命令对文字信息所对应的UI元素进行操作，可以让用户脱离双手实现对界面的操作，适用于各种移动场景，提升了用户体验。

[0011] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0012] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

[0013] 图1是根据本发明一个实施例的语音控制终端的界面的方法的流程图；

[0014] 图2是根据本发明一个实施例的语音控制终端的界面的方法的流程图；

[0015] 图3是根据本发明一个实施例的语音控制终端的界面的方法的流程图；

[0016] 图4是根据本发明一个实施例的语音控制终端的界面的装置的结构框图；

[0017] 图5是根据本发明一个实施例的语音控制终端的界面的装置的结构框图；以及[0018] 图6是根据本发明一个实施例的语音控制终端的界面的装置的结构框图。

具体实施方式

[0019] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

[0020] 在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

[0021] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

[0022] 下面参考附图描述根据本发明实施例的语音控制终端的界面的方法及装置。

[0023] 一种语音控制终端的界面的方法，包括以下步骤：读取终端的界面中的所有元素；搜索所有元素中的第一多个UI元素；保存与第一多个UI元素分别对应的第一多个文字信息；接收用户的语音命令；判断语音命令是否对应于第一多个文字信息中的一个文字信息；
以及如果是，则根据语音命令执行操作。

[0024] 图1是根据本发明一个实施例的语音控制终端的界面的方法的流程图。

[0025] 如图1所示，根据本发明实施例的语音控制终端的界面的方法包括下述步骤。

[0026] 步骤S101，读取终端的界面中的所有元素。

[0027] 具体地，在终端的界面加载过程中，可以读取所加载的页面中的所有元素。例如，在终端加载某个应用界面时，读取该应用界面中所有的应用名称（即所有元素），如网络、信息、通讯录、拨号等。

[0028] 步骤S102，搜索所有元素中的第一多个UI（User Interface，用户界面）元素。

[0029] 具体地，UI元素可以包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名等。读取所有元素之后，根据每个元素进行搜索以获得对应的第一多个UI元素，例如对于信息元素，可以有打开、保存、删除、复制、发送和退出等。

[0030] 步骤S103，保存与第一多个UI元素分别对应的第一多个文字信息。

[0031] 具体地，第一多个UI元素分别对应的第一多个文字信息可以是多样化的，例如，对于信息元素中的保存UI元素，对应的文字信息可以是“保存草稿”。

[0032] 步骤S104，接收用户的语音命令。

[0033] 步骤S105，判断语音命令是否对应于第一多个文字信息中的一个文字信息。

[0034] 具体地，接收到用户的语音命令之后，将用户的语音命令识别成终端可读取的机器语言，其中语音命令的识别可以在终端中完成，然后和存储的第一多个文字信息进行对比进行判断。

[0035] 步骤S106，如果是，则根据语音命令执行操作。

[0036] 例如，用户的语音命令为“打开”，则打开相应的应用程序，如打开信息的编辑窗口或接收到的信息等。

[0037] 步骤S107，如果否，则提示用户重新输入语音命令。例如，终端使用语音提示“请再说一次”、“语音命令错误”等。

[0038] 在本发明一个实施例中，步骤S107是可选的。

[0039] 根据本发明实施例的语音控制终端的界面的方法，在用户的语音命令与保存的文字信息相同时，根据语音命令对文字信息所对应的UI元素进行操作，可以让用户脱离双手实现对界面的操作，适用于各种移动场景，提升了用户体验。

[0040] 图2是根据本发明一个实施例的语音控制终端的界面的方法的流程图。

[0041] 如图2所示，根据本发明实施例的语音控制终端的界面的方法包括下述步骤。

[0042] 步骤S201，读取终端的界面中的所有元素。

[0043] 具体地，在终端的界面加载过程中，可以读取所加载的页面中的所有元素。例如，在终端加载某个应用界面时，读取该应用界面中所有的应用名称（即所有元素），如网络、信息、通讯录、拨号等。

[0044] 步骤S202，搜索所有元素中的第一多个UI（User Interface，用户界面）元素。

[0045] 具体地，UI元素可以包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名等。读取所有元素之后，根据每个元素进行搜索以获得对应的第一多个UI元素，例如对于信息元素，可以有打开、保存、删除、复制、发送和退出等。

[0046] 步骤S203，检索第一多个UI元素中是否存在相同命名的第二多个UI元素。

[0047] 具体地，某个元素中可能包括多个打开的UI元素，但是分别对应不同的打开动作，例如信息元素中，包括打开新的信息、打开邮件箱、打开草稿箱或草稿等。

[0048] 步骤S204，如果是，则对第二多个UI元素进行编号并将多个编号与第二多个UI元素的文字信息分别结合以生成第二文字信息。例如，对多个“打开”UI元素编号并与文字信息“打开”结合生成的第二文字信息为“打开1”、“打开2”等。

[0049] 步骤S205，保存并呈现第二文字信息。

[0050] 其中，第二文字信息可以包括第二多个UI元素的编号信息，例如“打开1”、“打开2”。

[0051] 步骤S206，保存与第一多个UI元素分别对应的第一多个文字信息。

[0052] 步骤S207，接收用户的语音命令。

[0053] 步骤S208，判断语音命令是否对应于第一多个文字信息中的一个文字信息或第二文字信息。

[0054] 具体地，接收到用户的语音命令之后，将用户的语音命令识别成终端可读取的机器语言，其中语音命令的识别可以在终端中完成，然后和存储的第一多个文字信息或第二文字信息进行对比进行判断。

[0055] 在本发明的一个实施例中，如果语音命令与第二文字信息对应，则根据语音命令分别执行与第二多个UI元素对应的操作。

[0056] 步骤S209，如果是，则根据语音命令执行操作。

[0057] 例如，用户的语音命令为“打开”，则打开相应的应用程序，如打开信息的编辑窗口或接收到的信息。

[0058] 步骤S210，如果否，则提示用户重新输入语音命令。例如，终端使用语音提示“请再说一次”、“语音命令错误”等。

[0059] 在本发明一个实施例中，步骤S210是可选的。

[0060] 根据本发明实施例的语音控制终端的界面的方法，对相同命名的UI元素进行编号以进行标识区别，在随后的根据语音命令判断时可以防止误操作，进一步提升了用户体验。

[0061] 图3是根据本发明一个实施例的HTTP服务监控方法的流程图。

[0062] 如图3所示，HTTP服务监控方法包括下述步骤。

[0063] 步骤S301，读取终端的界面中的所有元素。

[0064] 具体地，在终端的界面加载过程中，可以读取所加载的页面中的所有元素。例如，在终端加载某个应用界面时，读取该应用界面中所有的应用名称（即所有元素），如网络、信息、通讯录、拨号等。

[0065] 步骤S302，搜索所有元素中的第一多个UI（User Interface，用户界面）元素。

[0066] 具体地，UI元素可以包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名等。读取所有元素之后，根据每个元素进行搜索以获得对应的第一多个UI元素，例如对于信息元素，可以有打开、保存、删除、复制、发送和退出等。

[0067] 步骤S303，检索第一多个UI元素中是否存在相同命名的第二多个UI元素。

[0068] 具体地，某个元素中可能包括多个打开的UI元素，但是分别对应不同的打开动作，例如信息元素中，包括打开新的信息、打开邮件箱、打开草稿箱或草稿等。

[0069] 步骤S304，如果是，则对第二多个UI元素进行编号并将多个编号与第二多个UI元素的文字信息分别结合以生成第二文字信息。例如，对多个“打开”UI元素编号并与文字信息“打开”结合生成的第二文字信息为“打开1”、“打开2”等。

[0070] 步骤S305，保存并呈现第二文字信息。

[0071] 其中，第二文字信息可以包括第二多个UI元素的编号信息，例如“打开1”、“打开2”。

[0072] 步骤S306，保存与第一多个UI元素分别对应的第一多个文字信息。

[0073] 步骤S307，接收用户的语音命令。

[0074] 步骤S308，对语音命令进行处理。其中，处理包括合并语音命令中的重复部分或删除语音命令中的无意义部分，例如语气词等。

[0075] 步骤S309，判断语音命令是否对应于第一多个文字信息中的一个文字信息或第二文字信息。

[0076] 具体地，接收到用户的语音命令之后，将用户的语音命令识别成终端可读取的机器语言，其中语音命令的识别可以在终端中完成，然后和存储的第一多个文字信息或第二文字信息进行对比进行判断。

[0077] 在本发明的一个实施例中，如果语音命令与第二文字信息对应，则根据语音命令分别执行与第二多个UI元素对应的操作。

[0078] 步骤S310，如果是，则根据语音命令执行操作。

[0079] 例如，用户的语音命令为“打开”，则打开相应的应用程序，如打开信息的编辑窗口或接收到的信息。

[0080] 步骤S311，如果否，则提示用户重新输入语音命令。例如，终端使用语音提示“请再说一次”、“语音命令错误”等。

[0081] 在本发明一个实施例中，步骤S311是可选的。

[0082] 根据本发明实施例的语音控制终端的界面的方法，对语音命令进行处理可以降低在判断时的误判断。

[0083] 一种语音控制终端的界面的装置，包括：读取模块，读取模块用于读取终端的界面中的所有元素；搜索模块，搜索模块用于搜索所有元素中的第一多个UI元素；第一保存模块，第一保存模块用于保存与第一多个UI元素分别对应的第一多个文字信息；接收模块，接收模块用于接收用户的语音命令；判断模块，判断模块用于判断语音命令是否对应于第一多个文字信息中的一个文字信息；以及执行模块，执行模块用于在语音命令对应于第一多个文字信息中的一个文字信息时，根据语音命令执行操作。

[0084] 图4是根据本发明一个实施例的语音控制终端的界面的装置的结构框图。如图4所示，根据本发明实施例的语音控制终端的界面的装置包括：读取模块100、搜索模块200、第一保存模块300、接收模块400、判断模块500和执行模块600。

[0085] 具体地，读取模块100用于读取终端的界面中的所有元素。更具体地，在终端的界面加载过程中，读取模块100可以读取所加载的页面中的所有元素，例如，在终端加载某个应用界面时，读取该应用界面中所有的应用名称（即所有元素），如网络、信息、通讯录、拨号等。

[0086] 搜索模块200用于搜索所有元素中的第一多个UI元素。其中，UI元素可以包括前进，后退，首页，刷新，全屏，退出，完成，返回，保存，发送，删除或重命名等，在读取模块100读取所有元素之后，根据每个元素进行搜索以获得对应的第一多个UI元素，例如对于信息元素，可以有打开、保存、删除、复制、发送和退出等。

[0087] 第一保存模块300用于保存与第一多个UI元素分别对应的第一多个文字信息。其中，第一多个UI元素分别对应的第一多个文字信息可以是多样化的，例如，对于信息元素中的保存UI元素，对应的文字信息可以是“保存草稿。

[0088] 接收模块400用于接收用户的语音命令。

[0089] 判断模块500用于判断语音命令是否对应于第一多个文字信息中的一个文字信息。更具体地，接收模块400接收到用户的语音命令之后，判断模块500首先将用户的语音命令识别成终端可读取的机器语言，其中语音命令的识别可以在终端中完成，然后和存储的第一多个文字信息进行对比进行判断。

[0090] 执行模块600用于在语音命令对应于第一多个文字信息中的一个文字信息时，根据语音命令执行操作，例如，用户的语音命令为“打开”，则打开相应的应用程序，如打开信息的编辑窗口或接收到的信息等。如果语音命令没有对应于第一多个文字信息中的一个文字信息时，执行模块600可以提示用户重新输入语音命令，例如，终端使用语音提示“请再说一次”、“语音命令错误”等。

[0091] 根据本发明实施例的语音控制终端的界面的装置，执行模块在用户的语音命令与保存的文字信息相同时，根据语音命令对文字信息所对应的UI元素进行操作，可以让用户脱离双手实现对界面的操作，适用于各种移动场景，提升了用户体验。

[0092] 图5是根据本发明一个实施例的语音控制终端的界面的装置的结构框图。如图5所示，根据本发明实施例的语音控制终端的界面的装置包括：读取模块100、搜索模块200、第一保存模块300、接收模块400、判断模块500、执行模块600、检索模块700、编号模块800和第二保存模块900。

[0093] 具体地，读取模块100用于读取终端的界面中的所有元素。搜索模块200用于搜索所有元素中的第一多个UI元素。第一保存模块300用于保存与第一多个UI元素分别对应的第一多个文字信息。接收模块400用于接收用户的语音命令。判断模块500用于判断语音命令是否对应于第一多个文字信息中的一个文字信息。执行模块600用于在语音命令对应于第一多个文字信息中的一个文字信息时，根据语音命令执行操作。

[0094] 检索模块700用于检索第一多个UI元素中是否存在相同命名的第二多个UI元素，其中，某个元素中可能包括多个打开的UI元素，但是分别对应不同的打开动作，例如信息元素中，包括打开新的信息、打开邮件箱、打开草稿箱或草稿等。编号模块800用于在第一多个UI元素中存在相同命名的第二多个UI元素时，对第二多个UI元素进行编号并将多个编号与第二多个UI元素的文字信息分别结合以生成第二文字信息，例如，对多个“打开”UI元素编号并与文字信息“打开”结合生成的第二文字信息为“打开1”、“打开2”等。第二保存模块900用于保存并呈现第二文字信息。

[0095] 在本发明的一个实施例中，当判断模块500判断语音命令与第二文字信息对应时，执行模块600根据语音命令分别执行与第二多个UI元素对应的操作。

[0096] 根据本发明实施例的语音控制终端的界面的装置，对相同命名的UI元素进行编号以进行标识区别，在随后的根据语音命令判断时可以防止误操作，进一步提升了用户体验。

[0097] 图6是根据本发明一个实施例的语音控制终端的界面的装置的结构框图。如图6所示，根据本发明实施例的语音控制终端的界面的装置包括：读取模块100、搜索模块200、第一保存模块300、接收模块400、判断模块500、执行模块600、检索模块700、编号模块800、第二保存模块900和处理模块1000。

[0098] 具体地，读取模块100用于读取终端的界面中的所有元素。搜索模块200用于搜索所有元素中的第一多个UI元素。第一保存模块300用于保存与第一多个UI元素分别对应的第一多个文字信息。接收模块400用于接收用户的语音命令。判断模块500用于判断语音命令是否对应于第一多个文字信息中的一个文字信息。执行模块600用于在语音命令对应于第一多个文字信息中的一个文字信息时，根据语音命令执行操作。

[0099] 检索模块700用于检索第一多个UI元素中是否存在相同命名的第二多个UI元素。编号模块800用于在第一多个UI元素中存在相同命名的第二多个UI元素时，对第二多个UI元素进行编号并将多个编号与第二多个UI元素的文字信息分别结合以生成第二文字信息。
第二保存模块900用于保存并呈现第二文字信息。处理模块1000用于对语音命令进行处理，其中，处理包括合并语音命令中的重复部分或删除语音命令中的无意义部分，例如语气词等。

[0100] 在本发明的一个实施例中，当判断模块500判断语音命令与第二文字信息对应时，执行模块600根据语音命令分别执行与第二多个UI元素对应的操作。

[0101] 根据本发明实施例的语音控制终端的界面的装置，通过处理模块对语音命令进行处理可以降低在判断时的误判断。

[0102] 在本发明的实施例中，终端可以是笔记本、台式机、手机、PDA、上网本等各种终端。

[0103] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

[0104] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0105] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。