一种机器人系统及交互方法

摘要

本发明公开了一种机器人系统及交互方法。系统包括：采集模块，其配置为采集多模态的外部输入信息，所述采集模块包含语音采集单元、视觉传感器和触摸传感器；交互处理模块，其配置为对多模态的所述外部输入信息进行决策与分析，其包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；交互输出模块，其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应。与现有技术相比，根据本发明的机器人系统以及方法能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。

权利要求

1.一种机器人系统，其特征在于，包括：

采集模块，其配置为采集多模态的外部输入信息，所述采集模块包含语音采集单元、视觉传感器和触摸传感器，所述视觉传感器配置为采集外界图像信息，所述语音采集单元配置为采集外界语音，所述触摸传感器配置为采集外部触摸压力数据；

交互处理模块，其配置为对多模态的所述外部输入信息进行决策与分析，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息，所述交互处理模块包含本地处理单元以及云服务器处理单元，其中：所述本地处理单元被构造在当前机器人的硬件框架内；

所述云服务器处理单元被构造在网络上的云服务器中；

所述本地处理单元和所述云服务器处理单元通过网络连接实现数据交互，所述云服务器处理单元辅助本地处理单元对多种不同模态的外部输入信息进行决策与分析；

交互输出模块，其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述交互输出模块包含语音输出单元、机器人肢体控制单元以及表情输出单元，所述语音输出单元配置为输出语音输出，所述机器人肢体控制单元配置为输出与所述语音输出匹配的机器人肢体控制信号，所述表情输出单元配置为输出与所述语音输出匹配的机器人表情。

2.根据权利要求1所述的系统，其特征在于，所述云服务器处理单元辅助所述本地处理单元对多种不同模态的所述外部输入信息进行进行决策与分析，其中，一个所述云服务器处理单元对应辅助多个不同的机器人上的所述本地处理单元。

3.一种用于机器人系统的交互方法，其特征在于，所述方法包括以下步骤：采集多种不同模态的外部输入信息，所述外部输入信息包含外界语音、外界图像信息和外部触摸压力数据；

对多模态的所述外部输入信息进行决策与分析，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；

根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述多模态交互回应包含语音输出、与所述语音输出匹配的机器人肢体控制信号以及与所述语音输出匹配的机器人表情，将对多模态的所述外部输入信息进行决策与分析的过程分为本地处理过程以及云服务器处理过程两部分，其中：所述本地处理过程在当前机器人的硬件上执行；

所述云服务器处理过程在网络上的云服务器上执行；

在所述本地处理过程以及所述云服务器处理过程执行过程中通过网络连接实现数据交互，云服务器处理过程辅助本地处理过程，对多种不同模态的外部输入信息进行决策与分析。

4.根据权利要求3所述的方法，其特征在于，在所述本地处理过程中利用所述云服务器处理过程实现数据的辅助处理，其中，基于一套硬件单元实现针对多个不同的机器人进行的所述云服务器处理过程。

说明书

一种机器人系统及交互方法

技术领域

[0001] 本发明涉及机器人领域，具体说涉及一种机器人系统及交互方法。

背景技术

[0002] 随着计算机技术的不断发展以及人工智能技术的不断进步。在家用领域小型智能机器人的应用也越来越广泛，面向家用的小型智能机器人正在迅猛发展。

[0003] 现有面向家用的小型机器人，仅能实现按钮开闭或语音交互，尚不能通过其他方式，实现用户与小型机器人的多模态交互。这不仅限制了机器人的应用范围，而且大大降低了机器人的用户体验。

[0004] 因此，为了提高机器人的用户体验，拓展机器人的应用范围，亟需一种多模态机器人系统。

发明内容

[0005] 为了提高机器人的用户体验，拓展机器人的应用范围，本发明提供了一种机器人系统，包括：

[0006] 采集模块，其配置为采集多模态的外部输入信息，所述采集模块包含语音采集单元、视觉传感器和触摸传感器，所述视觉传感器配置为采集外界图像信息，所述语音采集单元配置为采集外界语音，所述触摸传感器配置为采集外部触摸压力数据；

[0007] 交互处理模块，其配置为对多模态的所述外部输入信息进行决策与分析，其包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；

[0008] 交互输出模块，其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述交互输出模块包含语音输出单元以及机器人肢体控制单元，所述语音输出单元配置为输出语音输出，所述机器人肢体控制单元配置为输出与所述语音输出匹配的机器人肢体控制信号。

[0009] 在一实施例中，所述交互输出模块还包含表情输出单元，所述表情输出单元配置为输出与所述语音输出匹配的机器人表情。

[0010] 在一实施例中，所述交互处理模块包含本地处理单元以及云服务器处理单元，其中：

[0011] 所述本地处理单元被构造在当前机器人的硬件框架内；

[0012] 所述云服务器处理单元被构造在网络上的云服务器中；

[0013] 所述本地处理单元和所述云服务器处理单元通过网络连接实现数据交互。

[0014] 在一实施例中，所述云服务器处理单元辅助所述本地处理单元对多种不同模态的所述外部输入信息进行进行决策与分析，其中，一个所述云服务器处理单元对应辅助多个不同的机器人上的所述本地处理单元。

[0015] 本发明还提出了一种用于机器人系统的交互方法，所述方法包括以下步骤：

[0016] 采集多种不同模态的外部输入信息，所述外部输入信息包含外界语音、外界图像信息和外部触摸压力数据；

[0017] 对多模态的所述外部输入信息进行决策与分析，包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；

[0018] 根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述多模态交互回应包含语音输出以及与所述语音输出匹配的机器人肢体控制信号。

[0019] 在一实施例中，所述多模态交互回应还包含与所述语音输出匹配的机器人表情。

[0020] 在一实施例中，将对多模态的所述外部输入信息进行决策与分析的过程分为本地处理过程以及云服务器处理过程两部分，其中：

[0021] 所述本地处理过程在当前机器人的硬件上执行；

[0022] 所述云服务器处理过程在网络上的云服务器上执行；

[0023] 在所述本地处理过程以及所述云服务器处理过程执行过程中通过网络连接实现数据交互。

[0024] 在一实施例中，在所述本地处理过程中利用所述云服务器处理过程实现数据的辅助处理，其中，基于一套硬件单元实现针对多个不同的机器人进行的所述云服务器处理过程。

[0025] 与现有技术相比，根据本发明的机器人系统以及方法能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态交互，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。

[0026] 本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

[0027] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

[0028] 图1是根据本发明一实施例系统结构简图；

[0029] 图2是根据本发明一实施例方法流程图。

具体实施方式

[0030] 以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

[0031] 现有面向家用的小型机器人，仅能实现按钮开闭或语音交互，尚不能通过其他方式，实现用户与小型机器人的多模态交互。这不仅限制了了机器人的应用范围，而且大大降低了机器人的用户体验。

[0032] 为了提高机器人的用户体验，拓展机器人的应用范围，本发明提出了一种机器人系统。根据本发明的机器人系统能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。

[0033] 接下来基于附图通过本发明的一实施例来描述本发明的机器人系统的基本硬件结构。如图1所示，为了进行多模态的交互信息采集，本发明的系统中首先构造有采集模块110，其配置为采集多模态的外部输入信息。

[0034] 采集模块110包含语音采集单元111、视觉传感器112和触摸传感器113。语音采集单元111配置为采集外界语音，视觉传感器112配置为采集外界图像信息，触摸传感器113配置为采集外部触摸压力数据。

[0035] 通过采集模块110，机器人不仅可以接收用户以及外部的语音(声音)指示，而且还可以收集外界环境的图像信息以及用户(或是外部物体，例如行进过程中的障碍物，机器手需要抓取的对象等)接触机器人躯体时产生的触摸压力数据。如此，机器人摆脱了现有技术中通过单一途径接受外部命令(了解外部环境)的限制，能够更为全面、准确的接受外部命令(了解外部环境)。

[0036] 当然，本发明的机器人系统所能采集的外部输入信息并不限于上述信息。在本发明的其他实施例中，可以根据实际需要构造采集其他模态的外部输入信息的信息采集单元。

[0037] 采集模块110将多模态的外部输入信息发送到交互处理模块122。交互处理模块即为机器人的大脑，其配置为对多模态的外部输入信息进行决策与分析。具体的，交互处理模块122分别针对每一种模态的外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息。

[0038] 对多模态的外部输入信息进行决策与分析不仅需要消耗大量的运算处理资源，而且需要大量的辅助数据。如果使用单一的机器人系统独立完成决策与分析操作那么在构造机器人系统硬件结构时就必须选用高速处理器以及大容量的存储器。这不仅提高了机器人自身结构的复杂程度而且大大提高了机器人硬件成本。在机器人自身体积以及硬件成本的限制下，机器人的处理系统的运算处理速度以及数据存储量被大大限制，从而造成了机器人智能水平的受限。

[0039] 为了解决上述问题，在本实施例中，将机器人的大脑分为两个部分。即将交互处理模块122构造成本地处理单元123以及云服务器处理单元124，其中：

[0040] 本地处理单元123被构造在当前机器人的硬件框架内；

[0041] 云服务器处理单元124被构造在网络上的云服务器中；

[0042] 本地处理单元123和云服务器处理单元124通过网络连接实现数据交互。

[0043] 具体的，云服务器处理单元124辅助本地处理单元123对多种不同模态的外部输入信息进行决策与分析。这样，将交互处理模块122需要执行的处理操作分给本地处理单元123以及云服务器处理单元124执行，从而大大降低了单一处理单元的运算量以及所需的数据存储量。在保持机器人体积以及成本不变的情况下，依靠云服务器处理单元124大大提高机器人智能化水平。

[0044] 进一步的，一个云服务器处理单元对应辅助多个不同的机器人上的本地处理单元。即针对多个不同的机器人，只需要构造一个云服务器处理单元。在不同的多个机器人运行的过程中，每个机器人上的本地处理单元分别与一个云服务器处理单元进行数据交互以寻求云服务器处理单元的辅助。这样，不仅提高了云服务器处理单元的利用效率，降低了整体的成本，而且便于系统的整体的更新。

[0045] 为了扩展机器人的应用范围，提高机器人的用户体验，在本实施例中，交互处理模块122输出的并不是单一模态的交互回应(例如现有技术中的机器人只能回复语音信息，这就是单一模态的交互回应)。交互处理模块122输出的是多模态的交互输出结果信息。对应多模态的交互输出结果信息，在本实施例的机器人系统中还构造有交互输出模块130，其配置为根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与交互输出结果信息匹配。

[0046] 具体的，在本实施例中，交互输出模块130包含语音输出单元131以及机器人肢体控制单元132。语音输出单元131配置为输出语音输出，机器人肢体控制单元132配置为输出与语音输出匹配的机器人肢体控制信号。

[0047] 进一步的，交互输出模块130还包含表情输出单元133，表情输出单元133配置为输出与语音输出匹配的机器人表情。当然，在本发明的其他实施例中，可以根据实际需要，在交互输出模块构造其他模态的用于输出具体交互回应的执行单元。

[0048] 综上，与现有技术相比，根据本发明的机器人系统能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。

[0049] 本发明还提出了一种用于机器人系统的交互方法。接下来基于流程图描述根据本发明一实施例的方法的执行流程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0050] 如图2所示，本实施例的方法主要包括以下步骤：

[0051] S21，采集多种不同模态的外部输入信息；

[0052] S22，对多模态的外部输入信息进行决策与分析，包括，分别针对每一种模态的外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；

[0053] S23，根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与所述交互输出信息匹配。

[0054] 具体的，在步骤S21中，外部输入信息包含外界语音、外界图像信息和外部触摸压力数据。即在步骤S21中分别采集外部语音(S211)、采集外界图像信息(S212)以及采集外部触摸压力数据(S213)。

[0055] 当然，本发明的方法所能采集的外部输入信息并不限于上述信息。在本发明的其他实施例中，可以根据实际需要构造采集其他模态的外部输入信息的信息采集过程。

[0056] 在步骤S22中，对多模态的外部输入信息进行决策与分析，其中：

[0057] 为了降低硬件成本、减小机器人体积并提高机器人智能水平(信息处理速度以及数据存储量)，将对多模态的外部输入信息进行决策与分析的过程分为本地处理过程(S222)以及云服务器处理过程(S223)两部分，其中：

[0058] 本地处理过程(S222)在当前机器人的硬件上执行；

[0059] 云服务器处理过程(S223)在网络上的云服务器上执行；

[0060] 在本地处理过程(S222)以及云服务器处理过程(S223)执行过程中通过网络连接实现数据交互。

[0061] 这样，需要在本地机器人硬件上进行处理的一部分操作就被分担到云服务器，从而大大降低了本地机器人硬件的运算量以及所需的数据存储量。在保持机器人体积以及成本不变的情况下，大大提高了机器人智能化水平。

[0062] 进一步的，在本地处理过程中利用云服务器处理过程实现数据的辅助处理，其中，基于一套硬件单元实现针对多个不同的机器人进行的云服务器处理过程。即针对多个不同的机器人，只需要构造一个云服务器处理单元。在不同的多个机器人运行的过程中，每个机器人上的本地处理单元分别与一个云服务器处理单元进行数据交互以寻求云服务器处理单元的辅助。这样，不仅提高了云服务器处理单元的利用效率，降低了整体的成本，而且便于系统的整体的更新。

[0063] 为了扩展机器人的应用范围，提高机器人的用户体验，根据本发明的方法输出的并不是单一模态的交互回应(例如现有技术中的机器人只能回复语音信息，这就是单一模态的交互回应)。步骤S22输出的是多模态的交互输出结果信息。对应多模态的交互输出结果信息，在步骤S23根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与交互输出结果信息匹配。

[0064] 具体的，在步骤S23中，交互回应包含语音输出、与语音输出匹配的机器人肢体控制信号以及与所述语音输出匹配的机器人表情。即在步骤S23中执行步骤S231(语音输出)、S232(机器人肢体动作输出)以及S233(机器人表情输出)。当然，在本发明的其他实施例中，可以根据实际需要构造其他模态的用于输出具体交互回应的输出行为。

[0065] 综上，与现有技术相比，根据本发明的用于机器人系统的交互方法能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。

[0066] 虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。