数字人的控制方法及装置转让专利

申请号 : CN202010220091.5

文献号 : CN111443853B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李扬郑磊李士岩

申请人 : 北京百度网讯科技有限公司

摘要 :

本申请实施例提供一种数字人的控制方法及装置,涉及人工智能技术领域,具体包括:承载第一数字人的设备可以识别目标用户;在判定目标用户存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为目标用户在承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,从而可以实现多设备互动,为用户提供更为全面、便捷的服务。

权利要求 :

1.一种数字人的控制方法,其特征在于,应用于承载第一数字人的设备,所述方法包括:

识别目标用户;

在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的设备中触发产生的;以及,显示执行所述第一任务的第一数字人;

在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述图形用户界面中的位置信息;

根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或滑动所述目标对象的动作。

2.根据权利要求1所述的方法,其特征在于,还包括:在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中改变位置。

3.根据权利要求1所述的方法,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述控制所述第一数字人从第一动作过渡到第二动作,包括:在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合后的动作。

4.根据权利要求1所述的方法,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述控制所述数字人从第一动作过渡到第二动作,包括:在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。

5.根据权利要求1或2所述的方法,其特征在于,所述判定所述目标用户存在未完成的第一任务,包括:

基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。

6.根据权利要求1或2所述的方法,其特征在于,所述判定所述目标用户存在未完成的第一任务,包括:

接收到来自所述第二数字人的所述第一任务。

7.一种数字人的控制装置,其特征在于,应用于承载第一数字人的设备,所述装置包括:

处理模块,用于识别目标用户;

所述处理模块,还用于在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的设备中触发产生的;以及,

显示模块,用于显示执行所述第一任务的第一数字人;

所述处理模块,还用于:

在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述图形用户界面中的位置信息;

根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或滑动所述目标对象的动作。

8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于:在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中改变位置。

9.根据权利要求7所述的装置,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:

在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合后的动作。

10.根据权利要求9所述的装置,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。

11.根据权利要求7或8所述的装置,其特征在于,所述处理模块,具体用于:基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。

12.根据权利要求7或8所述的装置,其特征在于,所述处理模块,具体用于:接收到来自所述第二数字人的所述第一任务。

13.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1‑6任一项所述的方法的指令。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使所述计算机执行如权利要求1‑6任一项所述的方法。

说明书 :

数字人的控制方法及装置

技术领域

[0001] 本申请涉及数据处理技术领域的人工智能,尤其涉及一种数字人的控制方法及装置。

背景技术

[0002] 目前,可以在商场、展厅等场所放置机器人,用户可以基于机器人中播放的视频或语音,与机器人进行语音交互等,了解相关业务。
[0003] 但是机器人与用户的交互模式比较固定,机器人的动作也较为僵化,缺少人性化。

发明内容

[0004] 本申请实施例提供一种数字人的控制方法及装置,以解决现有技术中识别交通信号灯的准确度不高的技术问题。
[0005] 本申请实施例第一方面提供一种数字人的控制方法,应用于承载第一数字人的设备,所述方法包括:识别目标用户;在判定所述目标用户存在未完成的第一任务的情况下,
控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人
的设备中触发产生的;以及,显示执行所述第一任务的第一数字人。这样,如果用户在一个
数字人设备中存在未完成的第一任务,在用户与另一个数字人交互时,该另一个数字人可
以自动识别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用
户提供更为全面、便捷的服务。
[0006] 一种可能的实现方式中,还包括:
[0007] 在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述用户图形界面中的位置信息;根据所述位置信息,控制所述第一数字人
接触所述目标对象。本申请实施例中,可以基于用户在图形用户界面中的触发操作,控制数
字人与用户触发的目标对象进行交互,能够更好的与用户互动。
[0008] 一种可能的实现方式中,还包括:
[0009] 在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中的改
变位置。这样可以基于第一数字人在图形用户界面中的操作,控制数字人与GUI对象进行交
互,能够实现更为人性化的服务。
[0010] 一种可能的实现方式中,所述根据所述位置信息,控制所述第一数字人接触所述目标对象,包括:
[0011] 根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或
滑动所述目标对象的动作。
[0012] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述控制所述第一数字人从第一动作过渡到第二动作,包括:
[0013] 在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。这样可以实现更为流畅的、接近真实人的动作过渡。
[0014] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述控制所述数字人从第一动作过渡到第二动作,包括:
[0015] 在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。这样可以实现更为流畅的、接近真实人的动作过渡。
[0016] 一种可能的实现方式中,所述判定所述目标用户存在未完成的第一任务,包括:基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。
[0017] 一种可能的实现方式中,所述判定所述目标用户存在未完成的第一任务,包括:接收到来自所述第二数字人的所述第一任务。
[0018] 本申请实施例第二方面提供一种数字人的控制装置,应用于承载第一数字人的设备,所述装置包括:
[0019] 处理模块,用于识别目标用户;
[0020] 所述处理模块,还用于在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的
设备中触发产生的;以及,
[0021] 显示模块,用于显示执行所述第一任务的第一数字人。
[0022] 一种可能的实现方式中,还用于:
[0023] 在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述用户图形界面中的位置信息;
[0024] 根据所述位置信息,控制所述第一数字人接触所述目标对象。
[0025] 一种可能的实现方式中,所述处理模块,还用于:
[0026] 在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中的改
变位置。
[0027] 一种可能的实现方式中,所述处理模块,具体用于:
[0028] 根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或
滑动所述目标对象的动作。
[0029] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:
[0030] 在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。
[0031] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:
[0032] 在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。
[0033] 一种可能的实现方式中,所述处理模块,具体用于:
[0034] 基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。
[0035] 一种可能的实现方式中,所述处理模块,具体用于:
[0036] 接收到来自所述第二数字人的所述第一任务。
[0037] 本申请实施例第三方面提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行
的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如前述
第一方面任一项所述的方法。
[0038] 本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如前述第一方面中任一项所述的方法。
[0039] 综上所述,本申请实施例相对于现有技术的有益效果:
[0040] 本申请实施例中提供了一种数字人的控制方法及装置,如果用户在一个数字人设备中存在未完成的第一任务,在用户与另一个数字人交互时,该另一个数字人可以自动识
别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用户提供更
为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判定目标用户
存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为目标用户在
承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,从而可以实
现多设备互动,为用户提供更为全面、便捷的服务。

附图说明

[0041] 图1为本申请实施例提供的数字人的控制方法适用的设备架构示意图;
[0042] 图2为本申请实施例提供的数字人设备示意图;
[0043] 图3为本申请实施例提供的数字人的控制方法的流程示意图;
[0044] 图4为本申请实施例提供的数字人的控制装置的结构示意图;
[0045] 图5是用来实现本申请实施例的数字人的控制方法的电子设备的框图。

具体实施方式

[0046] 以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识
到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同
样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。在不冲突的情况下,
下述的实施例及实施例中的特征可以相互组合。
[0047] 本申请实施例所描述的承载第一数字人的设备与承载第二数字人的设备可以是设置在不同位置或地域的设备,基于本申请实施例的方法,可以实现不同位置或不同地域
的多个数字人设备为用户提供连续的服务。第一数字人和第二数字人的形象等可以一致,
本申请实施例中对第一数字人和第二数字人的具体形象不做限定。
[0048] 本申请实施例的承载第一数字人的设备与承载第二数字人的设备,可以称为数字人设备,数字人设备例如可以包括:数字人智能交互空气屏,或者任意能承载数字人的电子
设备。本申请实施例对应用的具体设备不作具体限定。
[0049] 示例性的,以数字人设备为数字人智能交互空气屏为例,数字人智能交互空气屏可以包括透明的空气屏,在空气屏中可以提供图形用户界面(graphical user interface,
GUI),在图形用户界面中可以设置用于接收用户操作的控件、开关等,使得用户可以在图形
用户界面中进行触发操作,可以理解,图形用户界面的具体内容可以根据实际的应用场景
确定,本发明实施例对此不作具体限定。可能的实现中,数字人设备可以将空气屏设置在旋
转底座上,从而可以跟随用户的位置进行旋转,实现面对面的服务体验。
[0050] 如图1所示,可以为数字人设备的技术架构示意图。可以包括技能层、操作系统、硬件层、软件平台、能力层和基础层。其中,技能层可以是面对用户的层,例如可以用于智能迎
宾、智能讲解、智能推荐、互动营销和业务办理。操作系统例如可以包括:尼罗操作系统NIRO 
OS、安卓操作系统Android、语音对话系统。硬件层可以包括:智能识别芯片、驱动服务器、有
机发光半导体(organic light‑emitting diode,OLED)自发光空气屏、机器视觉摄像头、4
麦克风(microphone,MIC)阵列。软件平台可以包括:数字人平台、人机交互能力、文字、语音
客服、行业解决方案。能力层可以用于:语音识别、自然语言讲解、语音合成、视频分析和图
像识别等。基础层可以包括百度大脑和基础云。
[0051] 本申请实施例所描述的数字人可以是数字角色技术与人工智能技术的结晶。人像建模、动作捕捉等数字角色技术可以为数字人带来生动自然的形象表现,语音识别、自然语
言理解、对话理解等人工智能技术可以为数字人带来完善的认知、理解、表达能力。数字人
能够以电子屏幕、全息显示等设备为载体,基于设备与用户进行互动。
[0052] 示例性的,数字人可以基于人工智能技术识别用户身份,结合自然对话和传统用户界面等多种方式提供不间断服务,从而可以提升营业效率,降低人力成本。可能的实现方
式中,数字人对应的人工智能系统还可以对用户表达的信息进行归纳与分析,构建用户画
像,精准匹配用户需求。
[0053] 可能的实现方式中,数字人可以支持不同的形象、音色等,用户可以自行选择数字人的具体形象,或者数字人设备可以基于对用户画像的刻画,自动为用户选择符合用户习
惯的数字人形象。
[0054] 可能的实现方式中,用户可以采用语音、手势、表情或肢体动作等与数字人进行交互,本申请实施例的数字人可以不需要唤醒词,在用户处于数字人设备可识别区域时,用户
可以直接通过语音、手势、表情或肢体动作等发出指令,与数字人交互。
[0055] 可能的应用场景中,数字人可以应用于新零售,实现对用户年龄、性别等的识别,进而基于用户特征进行门头营销、迎宾揽客、商品推荐与介绍等。可能的应用场景中,数字
人可以设置在金融企业大厅中,实现业务咨询与分流、智能投顾、信贷借款等。可能的应用
场景中,数字人可以设置在展厅中,实现智能迎宾、展厅讲解、内容咨询等。本申请实施例对
数字人的具体应用场景不作限定。
[0056] 可能的实现方式中,数字人可以为基于骨骼点位控制的数字对象,也可以理解为,数字人的动作形态控制可以采用类似于机器人控制的逻辑,依靠对数字人骨骼点位的控
制,使得数字人执行类似于人类的动作、表情,更加自然流畅,让用户可以感觉到类似于真
实人为其服务的感受。
[0057] 示例性的,图2为一种可能的数字人设备示意图,承载数字人的屏幕21可以设置在底座22上,底座可以实现360度旋转,为用户提供全方位的服务。
[0058] 如图3所示,图3为本申请实施例提供的数字人的控制方法的流程示意图。该方法具体可以包括:
[0059] S101:识别目标用户。
[0060] 本申请实施例中,目标用户可以是距离承载第一数字人的设备(后续简称第一数字人设备)不超过距离阈值的用户,或者可以时第一数字人设备能够识别的用户等,本申请
实施例对目标用户不做具体限定。
[0061] 一种可能的实现方式中,第一数字人设备中可以设置人脸识别模块,在用户位于人脸识别模块的识别范围时,第一数字人设备可以自动识别目标用户。
[0062] 另一种可能的实现方式中,用户可以向对第一数字人设备发出语音、动作等指令,或这用户可以在第一数字人设备的图形用户界面中执行点击、滑动等操作,进而第一数字
人设备可以识别目标用户。
[0063] 可以理解,实际应用中,还可以根据实际的应用场景,触发第一数字人设备识别目标用户,本申请实施例对此不做具体限定。
[0064] 第一数字人设备识别目标用户的具体算法等可以采用任意可能的技术,本申请实施例对此不做具体限定。
[0065] S102:在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的设备中触发产生
的。
[0066] 本申请实施例中,一种可能的应用场景中,目标用户之前可以在承载第二数字人的设备(后续简称第二数字人设备)中触发产生第一任务,在第一任务没有执行完毕的情况
下,用户可能离开了第二数字人设备,使得目标用户存在未完成的第一任务。
[0067] 一种可能的应用场景中,目标用户之前可以在第二数字人设备中触发产生第一任务,该第一任务涉及到需要在其他位置或区域执行的内容,需要其他位置或区域的数字人
设备(例如第一数字人设备)完成,使得目标用户存在未完成的第一任务。
[0068] 具体实现中,在判定目标用户存在未完成的第一任务的情况下,可以控制第一数字人设备继续执行该第一任务,实现多设备互动,为用户提供更为全面、便捷的服务。且在
用户角度,对于同一任务,不需要多次向数字人发出指令,简化了操作步骤,且用户可以感
受到类似一个数字人连续为其服务的体验。
[0069] 一种可能的实现方式中,如果目标用户在第二数字设备中选择了第二数字人的形象,第一数字人设备可以在识别到目标用户时,自动设置第一数字人的形象与第二数字人
的形象一致,从而可以更加符合的用户的喜好。
[0070] 一种可能的实现方式中,如果目标用户没有执行过选择数字人形象的操作,可以依据用户的历史数据,构建用户画像,基于用户画像,为用户选择与用户画像适配的数字人
形象,实现细致的用户服务。
[0071] 示例性的,以用户在A地区的机场A中对第二数字人设备发出指令“请为我预定航班抵达机场B后10分钟的网约车”,之后用户离开,则第二数字人设备可以保存该用户的“预
定航班抵达机场B后10分钟的网约车”的未完成任务,在机场B的第一数字人设备识别到该
用户时,可以告知该用户网约车是否预定成功,如果成功的话,可以继续告知网约车的车
牌、位置等信息,完成对该未完成任务的后续处理。可能的实现方式中,执行网约车预约的
具体操作可以是第一数字人或第二数字人或第三方设备等,本申请实施例只是一种示例性
说明,不是为了限定具体的应用场景。
[0072] S103:显示执行所述第一任务的第一数字人。
[0073] 本申请实施例中,可以在第一数字人设备的显示屏幕中显示执行第一任务的第一数字人,第一数字人执行第一任务时,可以存在语音、表情、动作等,本申请实施例对显示的
具体内容不做限定。
[0074] 综上所述,本申请实施例中提供了一种数字人的控制方法及装置,如果用户在一个数字人设备中存在未完成的第一任务,在用户与另一个数字人交互时,该另一个数字人
可以自动识别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为
用户提供更为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判
定目标用户存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为
目标用户在承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,
从而可以实现多设备互动,为用户提供更为全面、便捷的服务。
[0075] 在图3对应的实施例中,一种可能的实现方式中,还包括:
[0076] 在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述用户图形界面中的位置信息;根据所述位置信息,控制所述第一数字人
接触所述目标对象。
[0077] 本申请实施例中,用户在GUI中的触发操作可以影响第一数字人的动作。触发操作例如可以是对GUI中任意元素(目标对象)的点击操作、拖动操作等,第一数字人设备可以基
于触发操作在GUI中的位置,确定目标对象的位置信息,示例性的,如果触发操作是拖动操
作,目标对象的位置信息可以是拖动操作在用户图形界面中的终点位置信息。
[0078] 第一数字人设备可以控制第一数字人接触目标对象。示例性的,在游戏场景中,如果第一数字人与用户进行皮球拖动互动,用户可以在GUI中将皮球拖动到位置一,第一数字
人设备可以控制第一数字人的手部运动到位置一,并控制第一数字人的手部接触皮球和拖
动皮球等。
[0079] 本申请实施例中,可以基于用户在图形用户界面中的触发操作,控制数字人与用户触发的目标对象进行交互,能够更好的与用户互动。
[0080] 在图3对应的实施例中,一种可能的实现方式中,还包括:在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象
随着所述第一数字人的动作在所述图形用户界面中的改变位置。
[0081] 本申请实施例中,第一数字人的动作可以驱动GUI中的元素的动作。示例性的,GUI中可以显示商品等,在第一数字人介绍商品时,第一数字人可能会将第一商品拿到展台,进
行类似真实推销人员的推销,第一数字人设备如果检测到第一数字人对第一商品执行触摸
操作(例如抓住第一商品)或滑动操作(例如拖动第一商品),可以控制该第一商品随着第一
数字人的手部动作进行位置变化,例如,跟随着第一数字人的手部移动等,本申请实施例对
此不做具体限定。这样可以基于第一数字人在图形用户界面中的操作,控制数字人与GUI对
象进行交互,能够实现更为人性化的服务。
[0082] 在图3对应的实施例中,一种可能的实现方式中,所述根据所述位置信息,控制所述第一数字人接触所述目标对象,包括:根据所述位置信息,控制所述第一数字人从第一动
作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的
动作,所述第二动作为:触摸或滑动所述目标对象的动作。
[0083] 本申请实施例中,在用户触发GUI中的目标对象时,第一数字人可能正在执行第一任务中的第一动作,则可以控制第一数字人从第一动作过渡到与目标对象交互的第二动
作,例如,第二动作可以为触摸或滑动目标对象。
[0084] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述控制所述第一数字人从第一动作过渡到第二动作,包括:在所述第一动作与所述第二动作中不
存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第
二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、
所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和
所述第二动作,控制所述数字人执行融合后的动作。
[0085] 本申请实施例中,可以先判定第一数字人在执行第一动作与执行第二动作时,是否存在冲突骨骼点,例如,第一动作为第一数字人弯腰捡东西的动作,第二动作为接苹果的
动作,若将弯腰捡东西的动作和接苹果的动作融合,则融合的动作较为怪异,则可以判定第
一动作和第二动作存在冲突骨骼点。可以理解,具体场景中,可以将不适合进行融合的两个
动作判定为存在冲突骨骼点的动作,本申请实施例对是否存在冲突骨骼点的判定不做具体
限定。
[0086] 在第一动作与第二动作中不存在冲突骨骼点时,可以依据数字人执行第一动作时各骨骼点的位置、数字人执行第二动作时各骨骼点的位置以及人体运动规律,融合第一动
作和第二动作得到融合后的动作;以及,控制数字人执行融合后的动作。
[0087] 例如,第一数字人的第一动作为微笑,接收到用户在GUI中点击了苹果的操作时,可以指示数字人执行的第二动作为拿起苹果动作,则可以依据真实的人执行边微笑边拿起
苹果的运动规律,以及数字人伸出手拿苹果的动作中各骨骼点的位置,计算得到融合了数
字人边微笑边拿起苹果的两个动作的融合动作,并控制数字人执行融合后的动作。
[0088] 在图3对应的实施例中,一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述控制所述数字人从第一动作过渡到第二动作,包括:在所述第一动作与所
述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一
动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各
骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所
述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。
[0089] 本申请实施例中,在第一动作和第二动作存在冲突骨骼点时,可以计算第一动作过渡到第二动作经过的骨骼点的位置,以及依据预先设定的各骨骼点的移动顺序得到数字
人执行第一动作时各骨骼点的位置到数字人执行第二动作时各骨骼点的位置之间的运动
路径,控制数字人依据运动路径从第一动作过渡到第二动作。
[0090] 例如,第一动作为第一数字人弯腰捡东西的动作,接收到用户在GUI中拖动抛出苹果的操作时,第二动作为接苹果的动作,可以从第一数字人弯腰捡东西的第一动作到接苹
果的第二动作的位置之间的运动路径,控制数字人的右手自然的从弯腰捡东西的第一动作
过渡到接苹果的第二动作。这样,可以得到流畅自然的动作过渡。
[0091] 在图3对应的实施例中,一种可能的实现方式中,所述判定所述目标用户存在未完成的第一任务,包括:基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完
成的第一任务。
[0092] 本申请实施例中,目标用户的标识可以为目标用户的脸部图像、身份信息等任意能标识目标用户的信息,本申请实施例对此不做具体限定。
[0093] 第二数字人设备可以将未完成的第一任务与目标用户的标识的关联关系存储在数据库中,则第一数字人设备在识别到目标用户后,可以进一步依据目标用户的标识在数
据库中获取该目标用户未完成的第一任务。
[0094] 在图3对应的实施例中,一种可能的实现方式中,所述判定所述目标用户存在未完成的第一任务,包括:接收到来自所述第二数字人的所述第一任务。
[0095] 本申请实施例中,第二数字人设备与第一数字人设备间也可以通信,例如可以通过全双工通信的协议Websocket、通用异步收发传输器(universal asynchronous 
receiver/transmitter,UART)、或蓝牙等形式进行通信。进而第二数字人设备可以将第一
任务发送给第一数字人设备,由第一数字人设备继续执行第一任务。
[0096] 示例性的,用户A在第二数字人设备发出指令,需要与用户B基于数字人设备进行视频通话,第一数字人设备正在为用户B服务,则第二数字人设备可以向第一数字人设备发
出与用户B视频通话的任务,进而在第一数字人设备与第二数字人设备中建立视频通话,完
成视频通话的任务。
[0097] 图4为本申请提供的数字人的控制装置一实施例的结构示意图,应用于承载第一数字人的设备。如图4所示,本实施例提供的数字人的控制装置包括:
[0098] 处理模块41,用于识别目标用户;
[0099] 所述处理模块41,还用于在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人
的设备中触发产生的;以及,
[0100] 显示模块42,用于显示执行所述第一任务的第一数字人。
[0101] 一种可能的实现方式中,还用于:
[0102] 在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述用户图形界面中的位置信息;
[0103] 根据所述位置信息,控制所述第一数字人接触所述目标对象。
[0104] 一种可能的实现方式中,所述处理模块,还用于:
[0105] 在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中的改
变位置。
[0106] 一种可能的实现方式中,所述处理模块,具体用于:
[0107] 根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或
滑动所述目标对象的动作。
[0108] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:
[0109] 在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。
[0110] 一种可能的实现方式中,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:
[0111] 在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。
[0112] 一种可能的实现方式中,所述处理模块,具体用于:
[0113] 基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。
[0114] 一种可能的实现方式中,所述处理模块,具体用于:
[0115] 接收到来自所述第二数字人的所述第一任务。
[0116] 本申请实施例中提供了一种数字人的控制方法及装置,如果用户在一个数字人设备中存在未完成的第一任务,在用户与另一个数字人交互时,该另一个数字人可以自动识
别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用户提供更
为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判定目标用户
存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为目标用户在
承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,从而可以实
现多设备互动,为用户提供更为全面、便捷的服务。
[0117] 本申请各实施例提供的数字人的控制装置可用于执行如前述各对应的实施例所示的方法,其实现方式与原理相同,不再赘述。
[0118] 根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
[0119] 如图5所示,是根据本申请实施例的数字人的控制方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助
理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形
式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装
置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制
本文中描述的和/或者要求的本申请的实现。
[0120] 如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安
装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进
行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的
显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器
和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个
设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系
统)。图5中以一个处理器501为例。
[0121] 存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数字
人的控制方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于
使计算机执行本申请所提供的数字人的控制方法。
[0122] 存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数字人的控制方法对应的程序指
令/模块(例如,附图4所示的处理模块41和显示模块42)。处理器501通过运行存储在存储器
502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,
即实现上述方法实施例中的数字人的控制方法。
[0123] 存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据数字人的控制电子设备的使
用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存
储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例
中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网
络连接至数字人的控制电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域
网、移动通信网及其组合。
[0124] 数字人的控制方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通
过总线连接为例。
[0125] 输入装置503可接收输入的数字或字符信息,以及产生与数字人的控制电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、
指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设
备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但
不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式
中,显示设备可以是触摸屏。
[0126] 此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种
实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在
包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用
或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数
据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出
装置。
[0127] 这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些
计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指
令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光
盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读
介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。
[0128] 为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的
反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0129] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算
系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(LAN)、广域网(WAN)和互联网。
[0130] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计
算机程序来产生客户端和服务器的关系。
[0131] 根据本申请实施例的技术方案,在数字人执行任务的过程中,如果有新的指令产生,且该新的指令对应的动作与数字人当前执行的动作中不存在冲突骨骼点,可以将该新
的指令对应的动作与数字人当前执行的动作融合输出,从而实现类似于人的动作衔接,动
作更加自然流畅,较大程度实现数字人的人性化。具体的,可以控制数字人执行第一任务;
在接收到第一指令的情况下,获取数字人当前在第一任务中执行的第一动作,以及第一指
令指示的第二动作;在第一动作与第二动作中不存在冲突骨骼点的情况下,依据数字人执
行第一动作时各骨骼点的位置、数字人执行第二动作时各骨骼点的位置以及人体运动规
律,融合第一动作和第二动作得到融合后的动作;以及,控制数字人执行融合后的动作,从
而实现类似于人的动作衔接,动作更加自然流畅,较大程度实现数字人的人性化。
[0132] 应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只
要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
[0133] 上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。