一种智能机器人的多模态输出方法和智能机器人系统

摘要

本发明公开了一种智能机器人的多模态输出方法及一种智能机器人系统。方法包括：解析当前的多模态交互输入以获取机器人当前需要输出的多模态交互行为；获取机器人当前需要输出的多模态交互指令；基于该多模态交互指令判定存在机器人模拟执行动作时；根据模拟执行动作生成匹配的模拟声音并输出。本发明的方法和系统可以提升机器人多模态交互输出的执行效果，降低机器人硬件结构以及其他输出限定对机器人的多模态输出产生的影响，拓展机器人的应用范围，提高机器人的用户体验。

权利要求

1.一种智能机器人的多模态输出方法，其特征在于，所述方法包括：获取机器人当前需要输出的多模态交互指令；

基于该多模态交互指令判定存在机器人模拟执行动作；

根据模拟执行动作生成匹配的模拟声音并输出；其中，基于所述机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；

当所述多模态交互指令对应的多模态交互行为超出机器人硬件的支持范围时，判定所述多模态交互行为为模拟执行动作；或者基于所述机器人当前的硬件配置检测机器人的动作执行安全条件；

当所述多模态交互指令对应的动作输出不符合所述动作执行安全条件时，判定所述动作输出为模拟执行动作。

2.根据权利要求1所述的方法，其特征在于：当所述动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定所述动作输出超出所述动作执行安全条件；

根据所述模拟执行动作生成匹配的模拟声音包括：生成模拟机器人肢体相互接触或机器人肢体与外界物体接触而产生的振动所发出的声音。

3.根据权利要求1或2所述的方法，其特征在于，还包括：预先录制模拟执行动作对应的模拟声音，构建模拟声音库；

当存在所述模拟执行动作时从所述声音库中调用匹配的模拟声音。

4.一种智能机器人系统，其特征在于，所述系统包括：交互行为获取器，其配置为获取机器人当前需要输出的多模态交互指令；

交互行为检测器，其配置为基于所述多模态交互指令判定是否存在机器人模拟执行动作；

模拟声音生成器，其配置为根据所述模拟执行动作生成匹配的模拟声音并输出；其中，所述交互行为检测器还配置为：基于所述机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；

当所述多模态交互指令对应的多模态交互行为超出机器人硬件的支持范围时，判定所述多模态交互行为为模拟执行动作；或者所述交互行为检测器还配置为：

基于所述机器人当前的硬件配置检测机器人的动作执行安全条件；

当所述多模态交互指令对应的动作输出不符合所述动作执行安全条件时，判定所述动作输出为模拟执行动作。

5.根据权利要求4所述的系统，其特征在于：所述交互行为检测器还配置为：当所述动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定所述动作输出超出所述动作执行安全条件；

模拟声音生成器配置为：当所述动作输出超出所述动作执行安全条件时生成模拟机器人肢体相互接触或机器人肢体与外界物体接触而产生的振动所发出的声音。

6.根据权利要求4或5所述的系统，其特征在于，所述模拟声音生成器包括模拟声音存储器，其中：所述模拟声音存储器配置为存储预先录制的模拟执行动作对应的模拟声音；

所述模拟声音生成器配置为当存在所述模拟执行动作时从所述模拟声音存储器中调用匹配的模拟声音。

说明书

一种智能机器人的多模态输出方法和智能机器人系统

技术领域

[0001] 本发明涉及机器人领域，具体说涉及一种智能机器人的多模态输出方法和智能机器人系统。

背景技术

[0002] 随着计算机技术的不断发展以及人工智能技术的不断进步，在家用领域小型智能机器人的应用也越来越广泛，面向家用的小型智能机器人正在迅猛发展，机器人的智能水平以及拟人化程度也不断提高。

[0003] 随着机器人的智能水平的不断提高，在机器人与用户的交互过程中，机器人需要输出的交互输出也越来越复杂。在机器人模拟人体动作的过程中，虽然机器人捕捉到了人体的全部动作行为，但是由于人体的某些动作机器人的躯体硬件无法完成，机器人只能输出可以完成的简化动作，这就大大降低了机器人的拟人化程度。

[0004] 因此，为了提高机器人的用户体验，拓展机器人的应用范围，需要一种智能机器人的多模态输出方法。

发明内容

[0005] 为了提高机器人的用户体验，拓展机器人的应用范围，本发明提供了一种智能机器人的多模态输出方法，所述方法包括：

[0006] 获取机器人当前需要输出的多模态交互指令；

[0007] 基于该多模态交互指令判定存在机器人模拟执行动作时；

[0008] 根据模拟执行动作生成匹配的模拟声音并输出。

[0009] 在一实施例中：

[0010] 基于所述机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；

[0011] 当所述多模态交互指令对应的多模态交互行为超出机器人硬件的支持范围时，判定所述多模态交互行为为模拟执行动作。

[0012] 在一实施例中，基于所述机器人当前的硬件配置检测机器人的动作执行安全条件；

[0013] 当所述多模态交互指令对应的动作输出不符合所述动作执行安全条件时，判定所述动作输出为模拟执行动作。

[0014] 在一实施例中：

[0015] 当所述动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定所述动作输出超出所述动作执行安全条件；

[0016] 根据所述模拟执行动作生成匹配的模拟声音包括：生成模拟机器人肢体相互接触或机器人肢体与外界物体接触而产生的振动所发出的声音。

[0017] 在一实施例中，还包括：

[0018] 预先录制模拟执行动作对应的模拟声音，构建模拟声音库；

[0019] 当存在所述模拟执行动作时从所述声音库中调用匹配的模拟声音。

[0020] 本发明还提出了一种智能机器人系统，所述系统包括：

[0021] 交互行为获取器，其配置为获取机器人当前需要输出的多模态交互指令；

[0022] 交互行为检测器，其配置为基于所述多模态交互指令判定是否存在机器人模拟执行动作；

[0023] 模拟声音生成器，其配置为根据所述模拟执行动作生成匹配的模拟声音并输出。

[0024] 在一实施例中，所述交互行为检测器还配置为：

[0025] 基于所述机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；

[0026] 当所述多模态交互指令对应的多模态交互行为超出机器人硬件的支持范围时，判定所述多模态交互行为为模拟执行动作。

[0027] 在一实施例中，所述交互行为检测器还配置为：

[0028] 基于所述机器人当前的硬件配置检测机器人的动作执行安全条件；

[0029] 当所述多模态交互指令对应的动作输出不符合所述动作执行安全条件时，判定所述动作输出为模拟执行动作。

[0030] 在一实施例中：

[0031] 所述交互行为检测器还配置为：当所述动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定所述动作输出超出所述动作执行安全条件；

[0032] 模拟声音生成器配置为：当所述动作输出超出所述动作执行安全条件时生成模拟机器人肢体相互接触或机器人肢体与外界物体接触而产生的振动所发出的声音。

[0033] 在一实施例中，所述模拟声音生成器包括模拟声音存储器，其中：

[0034] 所述模拟声音存储器配置为存储预先录制的模拟执行动作对应的模拟声音；

[0035] 所述模拟声音生成器配置为当存在所述模拟执行动作时从所述模拟声音存储器中调用匹配的模拟声音。

[0036] 本发明的方法和系统可以提升机器人多模态交互输出的执行效果，降低机器人硬件结构以及其他输出限定对机器人的多模态输出产生的影响，拓展机器人的应用范围，提高机器人的用户体验。

[0037] 本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

[0038] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

[0039] 图1是根据本发明一实施例的方法流程图；

[0040] 图2-图4分别是根据本发明不同实施例的部分方法流程图；

[0041] 图5是根据本发明一实施例的系统结构简图。

具体实施方式

[0042] 以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

[0043] 随着机器人的智能水平的不断提高，在机器人与用户的交互过程中，机器人需要输出的交互输出也越来越复杂。但是，机器人自身的躯体硬件结构限制了机器人的交互输出模式。在很多情况下，机器人基于智能计算获取到了与当前交互情景匹配度很高的交互回应内容，但是受限于自身的躯体硬件结构却无法将交互回应内容完美有效的输出。这不仅大大降低了机器人的用户体验，而且限制了机器人的应用范围。

[0044] 例如在机器人模拟人体动作的过程中，虽然机器人捕捉到了人体的全部动作行为，但是由于人体的某些动作机器人的躯体硬件无法完成，机器人只能输出可以完成的简化动作，这就大大降低了机器人的拟人化程度。

[0045] 为了提高机器人的用户体验，拓展机器人的应用范围，本发明提出了一种智能机器人的多模态输出方法。本发明的方法的基本思想是当机器人无法输出预期的多模态交互行为时，利用其他交互行为模拟无法输出的多模态交互行为，从而最大限度的提高机器人交互行为的完成度。

[0046] 接下来基于流程图详细描述根据本发明的多个实施例的具体实施过程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的智能机器人处理系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0047] 如图1所示，获取机器人当前需要输出的多模态交互指令(步骤S110)。具体的，解析当前的多模态交互输入以获取机器人当前需要输出的多模态交互行为所对应的多模态交互指令。具体的，机器人当前需要输出的多模态交互行为与当前的多模态交互输入匹配，多模态交互指令与多模态交互行相互对应。通常，机器人执行多模态交互指令即为实现多模态交互行为的输出。在这里，机器人当前需要输出的多模态交互行为(下一步的交互行为)可以是用户直接下达给机器人的；也可以是机器人在与用户进行交互的过程中，基于用户的交互输入或外部环境输入进行分析判断后得出的所要输出的交互回应。

[0048] 例如在一具体应用实例中，用户直接下达给机器人：原地转圈并鼓掌；或者用户讲了一个笑话，机器人听到后分析判断应该做出原地转圈并鼓掌的交互回应以表现高兴的情绪。

[0049] 接下来基于多模态交互指令判断是否存在模拟执行动作(步骤S120)，也就是判断机器人是否执行当前需要输出的多模态交互指令。具体的，在本实施例中，将当前需要输出的多模态交互行为划分为执行动作和模拟执行动作两部分。其中，执行动作是机器人在自身硬件限制以及行为模式限制下可以实现输出的多模态交互行为；模拟执行动作是机器人由于自身硬件限制以及行为模式限制而无法实现输出的多模态交互行为。模拟执行动作即是机器人所要模拟执行的模拟执行动作。

[0050] 划分结果分三种情况，一是机器人执行全部的需要输出的多模态交互行为(全部的需要输出的多模态交互行为均为执行动作)；二是全部的需要输出的多模态交互行为均无法被机器人输出(全部的需要输出的多模态交互行为均为模拟执行动作)；三是机器人执行需要输出的多模态交互行为中的一部分(另一部分不执行)(一部分多模态交互行为为模拟执行动作，另一部分为执行动作)。

[0051] 当机器人执行全部的需要输出的多模态交互行为时(机器人当前需要输出的多模态交互行为中不存在模拟执行动作)时，执行步骤S150，输出全部的多模态交互行为。

[0052] 当全部的需要输出的多模态交互行为均无法被机器人输出或机器人仅可输出需要输出的多模态交互行为中的一部分(当前需要输出的多模态交互行为中存在模拟执行动作)时，执行步骤S140，进行声音模拟。针对模拟执行动作生成匹配的模拟声音。最后执行步骤S160，输出多模态交互行为中执行的部分并输出模拟声音。

[0053] 步骤S120、S140、S150以及S160概括来说，即：将多模态交互行为划分为执行动作和模拟执行动作；当存在执行动作时输出执行动作；当存在模拟执行动作时根据模拟执行动作生成匹配的模拟声音并输出。

[0054] 以一具体应用实例为例，例如机器人需要输出的交互行为是原地转圈并鼓掌。机器人输出鼓掌这一交互行为(机器人的硬件结构中不具备手掌)但是可以原地转圈，将机器人需要输出的交互行为划分为原地转圈(执行)以及故障(模拟执行)两部分。针对鼓掌这一交互行为生成模拟声音(掌声)，然后机器人原地转圈并播放掌声。

[0055] 在图1所示的方法流程中，关键点之一在于步骤S120，判断机器人是否执行交互行为。经过对机器人实际应用情况的模拟分析，机器人模拟执行动作行为的主要原因之一在于机器人的硬件结构并不支持实现该交互行为(硬件限制)(从硬件结构上来说就不具备相应功能)。

[0056] 例如在一具体应用环境中，机器人的手臂前端被构造成夹持装置，其并不具备类似手掌的结构，因此其硬件结构并不支持鼓掌这一交互行为。在另一具体应用环境中，机器人只具备一条手臂，也不支持鼓掌这一交互行为。

[0057] 进一步的，机器人输出多模态交互行为的目地是实现特定的交互效果，该效果是由用户的交互命令或者是回应用户的交互输入(基于交互输入分析判断匹配的交互回应)决定的。因此，机器人所要输出的多模态交互行为并不仅仅包含机器人动作。在细化机器人是否可以实现多模态交互行为时不仅要考虑具体的动作的实现情况，而是需要考虑多模态交互行为中每一部分交互行为的实现情况。

[0058] 例如在一具体应用实例中，用户命令机器人模仿实现肚子饿的状态，或机器人基于当前交互输入(环境输入)判断需要做出表现肚子饿的交互行为(例如机器人需要充电)。机器人分析判断最匹配的交互回应应该是输出“我饿了”并同时用手拍肚子令肚子发出咕咕叫的声音(模拟人类肚子饿的咕咕叫)。机器人可以实现输出“我饿了”的同时用手拍肚子，但是由于机器人肚子结构与人类不同，其肚子无法发出咕咕叫的声音。在这种情况下，令肚子发出咕咕叫的声音就属于机器人的硬件结构所不具备的功能。

[0059] 进一步的，由于机器人输出多模态交互行为的目地是实现特定的交互效果，因此在某些场合，为了达成特定的交互效果机器人所要输出的多模态交互行为具有特定的效果限定。

[0060] 例如在一具体应用实例中，机器人模拟人类打拳行为。通常的模拟情况是模拟人类动作出拳并喊出“嘿！哈！”等类似口号。机器人可以模拟人类动作出拳并输出“嘿！哈！”等类似口号。但是如果要完美的模拟，则需要机器人迅速出拳(需要模拟的对象出拳速度很快)。由于机器人本身驱动单元的限制，其出拳速度被限定在一个相对较低的范围。因此在这种情况下，“出拳”属于机器人的硬件结构具备的功能，但“迅速出拳”就属于机器人的硬件结构所不支持的交互行为。

[0061] 进一步的，机器人模拟执行动作行为的另一主要原因的行为模式限定(机器人本身对自己的交互行为输出的输出限定，软件限制)。简单来说，就是机器人被设定为不准执行某些特定的交互行为。

[0062] 具体的，在本发明一实施例中，为了保护机器人的硬件，为机器人的动作增添了动作执行安全条件。动作执行安全条件限定了机器人肢体的动作范围，在动作执行安全条件的限定下，即使机器人的硬件结构支持机器人输出多模态交互行为，但是多模态交互行为中超出动作执行安全条件的动作是无法输出的。

[0063] 基于上述分析，在本发明一实施例中，判定多模态交互行为中是否存在机器人模拟执行动作的过程包括：基于机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；当多模态交互行为超出机器人硬件的支持范围时，判定多模态交互行为为模拟执行动作。

[0064] 进一步的，在本发明另一实施例中，判定多模态交互行为中是否存在机器人模拟执行动作的过程包括：基于机器人当前的硬件配置检测机器人的动作执行安全条件；当多模态交互行为中的动作输出不符合动作执行安全条件时，判定动作输出为模拟执行动作。

[0065] 具体的，在本发明一实施例中，判定多模态交互行为中是否存在机器人模拟执行动作的过程如图2所示。首先获取机器人需要输出的多模态交互行为(S200)，然后判断机器人是否具备输出交互行为的硬件结构(S210)。

[0066] 如果机器人不具备输出交互行为的硬件结构(或者只具备输出一部分交互行为的硬件结构)则执行步骤S211，对交互行为进行分类，将机器人硬件支持的交互行为与不支持的交互行为分开，并执行步骤S212，针对机器人硬件不支持的交互行为生成模拟声音。

[0067] 接下来，判断机器人硬件支持的交互行为中是否存在不符合动作执行安全条件的动作(S220)，如果不存在，则执行步骤S241，输出执行的交互行为(机器人硬件支持的交互行为)以及模拟声音(机器人硬件不支持的交互行为所对应的模拟声音)。

[0068] 如果在步骤S220中判断存在不符合动作执行安全条件的动作，则执行步骤S222，生成模拟声音。具体的，在步骤S222中首先将交互行为中的动作划分为不符合动作执行安全条件的动作与没有不符合动作执行安全条件的动作两类，然后针对不符合动作执行安全条件的动作生成模拟声音。

[0069] 最后执行步骤S241，输出执行的交互行为/动作(机器人硬件支持的交互行为中不符合动作执行安全条件的交互行为/动作)以及模拟声音(机器人硬件不支持的交互行为以及不符合动作执行安全条件的动作所对应的模拟声音)。

[0070] 在步骤S210中，如果具备输出交互行为的硬件结构，那么仍然需要对机器人需要输出的交互行为进行基于动作执行安全限定的判定，即执行步骤S230，判断机器人需要输出的交互行为中是否存在不符合动作执行安全条件的动作，如果不存在，则执行步骤S242，输出需要输出的交互行为(所有多模态交互行为，没有模拟声音)。

[0071] 如果在步骤S230中判断存在不符合动作执行安全条件的动作，则执行步骤S232，生成模拟声音。具体的，在步骤S232中首先将交互行为中的动作划分为不符合动作执行安全条件的动作与没有不符合动作执行安全条件的动作两类，然后针对不符合动作执行安全条件的动作生成模拟声音。最后执行步骤S241，输出执行的交互行为/动作(交互行为中不符合动作执行安全条件的交互行为/动作)以及模拟声音(不符合动作执行安全条件的动作所对应的模拟声音)。

[0072] 在本发明一实施例中，动作执行安全条件的设定主要是为了保护机器人的硬件结构。例如，设定动作执行安全条件限定机器人尽量避免肢体接触(自身肢体相互间的接触以及肢体与外部环境物体的接触)。在此前提下，虽然机器人的硬件结构支持“鼓掌”这一交互行为，但是由于“鼓掌”包含双掌用力接触这一动作，因此机器人不能输出“鼓掌”这一交互行为(或者说，只能输出一部分)。

[0073] 再例如，在上面的动作执行安全条件限定下，机器人模拟人类击打木板。由于“击打木板”包含手与木板的用力接触这一交互行为，因此机器人不能输出“击打木板”这一交互行为。

[0074] 这里需要说明的是，上述关于交互行为输出的输出限定的举例(动作执行安全条件的举例)只是简单举例，并不完全代表实际情况。在实际应用过程中，交互行为输出的输出限定，尤其是动作执行安全条件是与具体的机器人交互需求匹配的。例如，动作执行安全条件限定机器人尽量避免肢体接触，此限定的前提条件是不影响交互行为的最基本的执行效果。如果机器人所要输出的交互行为是推箱子，其最基本的执行效果为推动箱子实现位移，那么在这种情况下是不需要执行动作执行安全条件中避免肢体接触这一限定条件的(避免肢体和箱子接触无法实现推动箱子位移)。

[0075] 基于上述分析，在本发明一实施例中设定为：在不影响多模态交互行为的基本执行效果的前提下，当动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定动作输出超出动作执行安全条件。

[0076] 具体的，在本发明一实施例中，判断是否存在不符合动作执行安全条件的动作的过程如图3所示。首先获取待输出动作(步骤S300)；然后分析机器人肢体实现待输出动作所经历的动作轨迹(步骤S311)；根据动作轨迹判断机器人肢体是否会相互接触(步骤S321)；如果机器人肢体会相互接触则生成相应的模拟声音(步骤S322)；如果机器人肢体不会相互接触则跳过步骤S322。

[0077] 接下来判断机器人肢体是否会接触外界物体(步骤S331)，具体的，在本实施例中，主要分析机器人肢体的动作轨迹上是否存在外界物体(在本发明其他实施例中，也可以基于机器人的动作所要达到的预期效果反推)；如果机器人肢体与外界物体会接触则生成相应的模拟声音(步骤S332)；如果机器人肢体与外界物体不会接触则跳过步骤S322。

[0078] 这里需要注意的是，机器人的一个完整的动作可以划分为多个小动作的组合，肢体接触往往是一个完整动作的一小部分。例如，“鼓掌”这一动作可以分为双掌相对移动接近以及双掌用力接触两部分的动作。

[0079] 在本实施例中，由于动作执行安全条件可指机器人肢体的相互接触以及机器人肢体与外界物体的接触：

[0080] 具体的，如图3所示，在模拟声音生成后，机器人执行步骤S341，执行动作并进行动作监控；在动作执行的过程中即时判断机器人肢体是否到达预期接触安全位置(是否即将发生接触行为)；如果到达预期接触安全位置(即将发生接触行为)则停止动作并输出模拟声音(步骤S350)；如果未到达预期接触安全位置(暂时不会发生接触行为)则继续执行动作并监控(步骤S341)。

[0081] 进一步的，在本实施例中，设定最小距离，在步骤S341中监控肢体间以及肢体与外界物体间的距离，当上述距离达到最小距离时则停止动作并输出模拟声音。

[0082] 例如，在进行“鼓掌”时，机器人双掌相对，由最大间距开始相互靠近，当双掌间距达到最小距离时双掌停止移动并输出掌声(此时双掌并未接触)，从而完成“鼓掌”这一多模态交互行为的输出。

[0083] 图3所示实施例提前预判接触动作并预先生成相应的模拟声音。在本发明另一实施例中，在动作的执行过程中进行接触判断。如图4所示，首先机器人开始执行动作(S400)；判断动作是否完成(S410)；在动作未完成(动作执行过程中)即时判断机器人肢体是否到达预期接触安全位置(是否即将发生接触行为)；如果未到达预期接触安全位置(暂时不会发生接触行为)则继续执行动作并判断动作是否完成，在此循环中如果动作完成则进入步骤S450，动作执行完毕(不需要进行声音模拟)。

[0084] 在步骤S421中，如果到达预期接触安全位置(即将发生接触行为)则停止动作(步骤S430)，生成并输出模拟声音(步骤S440)，最后进入步骤S450，动作执行完毕。

[0085] 进一步的，在图1所示的方法流程中，关键点还在于步骤S140，生成模拟声音。在这里，模拟声音对应的是机器人所不能输出的那部分交互行为。

[0086] 因此，模拟声音可以是机器人所不能输出的那部分交互行为在实际执行时产生的效果音。例如：在机器人模仿实现肚子饿的状态时，肚子发出咕咕叫这一行为的效果音是咕咕叫的声音；在机器人模拟人类打拳行为时，快速出拳的效果音是拳头快速移动的破空声以及衣服被甩动时的破空声。

[0087] 进一步的，模拟声音还可以是模拟机器人肢体相互接触或机器人肢体与外界物体接触的模拟声音。例如：在机器人鼓掌时，模拟声音是掌声；在机器人击打木板时，模拟声音是拳头击打木板产生的声音。

[0088] 在本发明的方法中，基于机器人所不能输出的那部分交互行为的实际执行时的效果生成相应的模拟声音。进一步的，在本发明一实施例中，预先录制模拟执行动作对应的模拟声音，构建模拟声音库；当存在模拟执行动作时从声音库中调用匹配的模拟声音。

[0089] 具体的，在声音库中分类保存模拟声音。例如，声音库包含不可以模仿动作效果音，不可以模仿动作效果音包含肚子咕咕叫声；声音库还包含接触效果音，接触效果音包含肢体与肢体接触声音以及肢体与外界接触声音，肢体与肢体接触声音包含掌声。当需要生成模拟声音时，根据当前机器人所不能完成的交互行为的具体描述在声音库中挑选最匹配的模拟声音。

[0090] 这里需要注意的是，在图1所示的方法流程中，关键点还在于步骤S160。为了达成最优的输出效果，输出模拟声音的时机要与多模态交互行为中模拟执行的那部分交互行为的预期输出时机对应。

[0091] 例如当机器人硬件不支持鼓掌时，如果机器人需要一边转圈一边鼓掌，则机器人在原地转圈的同时播放掌声；如果机器人被要求原地转一圈后鼓掌，则机器人先转圈，转圈一周后播放掌声。再例如当机器人硬件支持鼓掌但动作执行安全条件限定不能肢体相互接触时，则机器人先做出鼓掌的动作，只在双掌快要接触并停止移动时才输出掌声。

[0092] 基于上述方法，本发明还提出了一种智能机器人系统。在本发明一实施例中，系统结构如图5所示。系统包含交互行为获取器500、交互行为检测器510以及模拟声音生成器520。其中：

[0093] 交互行为获取器500配置为解析当前的多模态交互输入以获取机器人当前需要输出的多模态交互行为，机器人当前需要输出的多模态交互行为与当前的多模态交互输入匹配；

[0094] 交互行为检测器510配置为将多模态交互行为划分为执行动作和模拟执行动作，其中，模拟执行动作是机器人由于自身硬件限制以及行为模式限制而无法实现输出的多模态交互行为；

[0095] 交互行为输出器530配置为当存在执行动作时输出执行动作；

[0096] 模拟声音生成器520配置为当存在模拟执行动作时根据模拟执行动作生成匹配的模拟声音并输出。

[0097] 具体的，基于图2所示实施例的方法，在本发明一实施例中，交互行为检测器510配置为：

[0098] 基于机器人当前的硬件配置检测机器人硬件支持输出的多模态交互行为；

[0099] 当多模态交互行为超出机器人硬件的支持范围时，判定多模态交互行为为模拟执行动作。

[0100] 在本发明另一实施例中，交互行为检测器510配置为：

[0101] 基于机器人当前的硬件配置检测机器人的动作执行安全条件；

[0102] 当多模态交互行为的动作输出不符合动作执行安全条件时，判定动作输出为模拟执行动作。

[0103] 具体的，在本发明另一实施例中，交互行为检测器510配置为：在不影响多模态交互行为的基本执行效果的前提下，当动作输出包含机器人肢体相互接触或机器人肢体与外界物体接触的动作时，判定动作输出超出动作执行安全条件；

[0104] 对应的，模拟声音生成器520配置为：当动作输出超出动作执行安全条件时生成模拟机器人肢体相互接触或机器人肢体与外界物体接触而产生的振动所发出的声音。

[0105] 进一步的，在本发明一实施例中，模拟声音生成器520包括模拟声音存储器521，其中：

[0106] 模拟声音存储器521配置为存储预先录制的模拟执行动作对应的模拟声音；

[0107] 模拟声音生成器520配置为当存在所述模拟执行动作时从模拟声音存储器521中调用匹配的模拟声音。

[0108] 综上，本发明的方法和系统可以提升机器人多模态交互输出的执行效果，降低机器人硬件结构以及其他输出限定对机器人的多模态输出产生的影响，拓展机器人的应用范围，提高机器人的用户体验。

[0109] 虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的系统还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。