数字人的控制方法及装置转让专利
申请号 : CN202010220091.5
文献号 : CN111443853B
文献日 : 2021-07-20
发明人 : 李扬 , 郑磊 , 李士岩
申请人 : 北京百度网讯科技有限公司
摘要 :
权利要求 :
1.一种数字人的控制方法,其特征在于,应用于承载第一数字人的设备,所述方法包括:
识别目标用户;
在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的设备中触发产生的;以及,显示执行所述第一任务的第一数字人;
在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述图形用户界面中的位置信息;
根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或滑动所述目标对象的动作。
2.根据权利要求1所述的方法,其特征在于,还包括:在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中改变位置。
3.根据权利要求1所述的方法,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述控制所述第一数字人从第一动作过渡到第二动作,包括:在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合后的动作。
4.根据权利要求1所述的方法,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述控制所述数字人从第一动作过渡到第二动作,包括:在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。
5.根据权利要求1或2所述的方法,其特征在于,所述判定所述目标用户存在未完成的第一任务,包括:
基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。
6.根据权利要求1或2所述的方法,其特征在于,所述判定所述目标用户存在未完成的第一任务,包括:
接收到来自所述第二数字人的所述第一任务。
7.一种数字人的控制装置,其特征在于,应用于承载第一数字人的设备,所述装置包括:
处理模块,用于识别目标用户;
所述处理模块,还用于在判定所述目标用户存在未完成的第一任务的情况下,控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人的设备中触发产生的;以及,
显示模块,用于显示执行所述第一任务的第一数字人;
所述处理模块,还用于:
在图形用户界面中接收到所述目标用户对目标对象的触发操作的情况下,获取所述目标对象在所述图形用户界面中的位置信息;
根据所述位置信息,控制所述第一数字人从第一动作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的动作,所述第二动作为:触摸或滑动所述目标对象的动作。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于:在检测到所述第一数字人对所述图形用户界面中的第一对象的触摸操作或滑动操作的情况下,控制所述第一对象随着所述第一数字人的动作在所述图形用户界面中改变位置。
9.根据权利要求7所述的装置,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:
在所述第一动作与所述第二动作中不存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合后的动作。
10.根据权利要求9所述的装置,其特征在于,所述数字人为基于骨骼点位控制的数字对象;所述处理模块,具体用于:在所述第一动作与所述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。
11.根据权利要求7或8所述的装置,其特征在于,所述处理模块,具体用于:基于所述目标用户的标识,在数据库中获取到所述目标用户存在未完成的第一任务。
12.根据权利要求7或8所述的装置,其特征在于,所述处理模块,具体用于:接收到来自所述第二数字人的所述第一任务。
13.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1‑6任一项所述的方法的指令。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使所述计算机执行如权利要求1‑6任一项所述的方法。
说明书 :
数字人的控制方法及装置
技术领域
背景技术
发明内容
控制所述第一数字人执行所述第一任务;所述第一任务为所述目标用户在承载第二数字人
的设备中触发产生的;以及,显示执行所述第一任务的第一数字人。这样,如果用户在一个
数字人设备中存在未完成的第一任务,在用户与另一个数字人交互时,该另一个数字人可
以自动识别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用
户提供更为全面、便捷的服务。
接触所述目标对象。本申请实施例中,可以基于用户在图形用户界面中的触发操作,控制数
字人与用户触发的目标对象进行交互,能够更好的与用户互动。
变位置。这样可以基于第一数字人在图形用户界面中的操作,控制数字人与GUI对象进行交
互,能够实现更为人性化的服务。
滑动所述目标对象的动作。
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。这样可以实现更为流畅的、接近真实人的动作过渡。
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。这样可以实现更为流畅的、接近真实人的动作过渡。
设备中触发产生的;以及,
变位置。
滑动所述目标对象的动作。
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。
的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如前述
第一方面任一项所述的方法。
别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用户提供更
为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判定目标用户
存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为目标用户在
承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,从而可以实
现多设备互动,为用户提供更为全面、便捷的服务。
附图说明
具体实施方式
到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同
样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。在不冲突的情况下,
下述的实施例及实施例中的特征可以相互组合。
的多个数字人设备为用户提供连续的服务。第一数字人和第二数字人的形象等可以一致,
本申请实施例中对第一数字人和第二数字人的具体形象不做限定。
设备。本申请实施例对应用的具体设备不作具体限定。
GUI),在图形用户界面中可以设置用于接收用户操作的控件、开关等,使得用户可以在图形
用户界面中进行触发操作,可以理解,图形用户界面的具体内容可以根据实际的应用场景
确定,本发明实施例对此不作具体限定。可能的实现中,数字人设备可以将空气屏设置在旋
转底座上,从而可以跟随用户的位置进行旋转,实现面对面的服务体验。
宾、智能讲解、智能推荐、互动营销和业务办理。操作系统例如可以包括:尼罗操作系统NIRO
OS、安卓操作系统Android、语音对话系统。硬件层可以包括:智能识别芯片、驱动服务器、有
机发光半导体(organic light‑emitting diode,OLED)自发光空气屏、机器视觉摄像头、4
麦克风(microphone,MIC)阵列。软件平台可以包括:数字人平台、人机交互能力、文字、语音
客服、行业解决方案。能力层可以用于:语音识别、自然语言讲解、语音合成、视频分析和图
像识别等。基础层可以包括百度大脑和基础云。
言理解、对话理解等人工智能技术可以为数字人带来完善的认知、理解、表达能力。数字人
能够以电子屏幕、全息显示等设备为载体,基于设备与用户进行互动。
式中,数字人对应的人工智能系统还可以对用户表达的信息进行归纳与分析,构建用户画
像,精准匹配用户需求。
惯的数字人形象。
可以直接通过语音、手势、表情或肢体动作等发出指令,与数字人交互。
人可以设置在金融企业大厅中,实现业务咨询与分流、智能投顾、信贷借款等。可能的应用
场景中,数字人可以设置在展厅中,实现智能迎宾、展厅讲解、内容咨询等。本申请实施例对
数字人的具体应用场景不作限定。
制,使得数字人执行类似于人类的动作、表情,更加自然流畅,让用户可以感觉到类似于真
实人为其服务的感受。
实施例对目标用户不做具体限定。
人设备可以识别目标用户。
的。
下,用户可能离开了第二数字人设备,使得目标用户存在未完成的第一任务。
设备(例如第一数字人设备)完成,使得目标用户存在未完成的第一任务。
用户角度,对于同一任务,不需要多次向数字人发出指令,简化了操作步骤,且用户可以感
受到类似一个数字人连续为其服务的体验。
的形象一致,从而可以更加符合的用户的喜好。
形象,实现细致的用户服务。
定航班抵达机场B后10分钟的网约车”的未完成任务,在机场B的第一数字人设备识别到该
用户时,可以告知该用户网约车是否预定成功,如果成功的话,可以继续告知网约车的车
牌、位置等信息,完成对该未完成任务的后续处理。可能的实现方式中,执行网约车预约的
具体操作可以是第一数字人或第二数字人或第三方设备等,本申请实施例只是一种示例性
说明,不是为了限定具体的应用场景。
具体内容不做限定。
可以自动识别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为
用户提供更为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判
定目标用户存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为
目标用户在承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,
从而可以实现多设备互动,为用户提供更为全面、便捷的服务。
接触所述目标对象。
于触发操作在GUI中的位置,确定目标对象的位置信息,示例性的,如果触发操作是拖动操
作,目标对象的位置信息可以是拖动操作在用户图形界面中的终点位置信息。
人设备可以控制第一数字人的手部运动到位置一,并控制第一数字人的手部接触皮球和拖
动皮球等。
随着所述第一数字人的动作在所述图形用户界面中的改变位置。
行类似真实推销人员的推销,第一数字人设备如果检测到第一数字人对第一商品执行触摸
操作(例如抓住第一商品)或滑动操作(例如拖动第一商品),可以控制该第一商品随着第一
数字人的手部动作进行位置变化,例如,跟随着第一数字人的手部移动等,本申请实施例对
此不做具体限定。这样可以基于第一数字人在图形用户界面中的操作,控制数字人与GUI对
象进行交互,能够实现更为人性化的服务。
作过渡到第二动作;其中,所述第一动作为所述第一数字人当前在所述第一任务中执行的
动作,所述第二动作为:触摸或滑动所述目标对象的动作。
作,例如,第二动作可以为触摸或滑动目标对象。
存在冲突骨骼点的情况下,控制所述数字人采用融合的方式实现从所述第一动作到所述第
二动作的过渡;所述融合的方式为,依据所述数字人执行所述第一动作时各骨骼点的位置、
所述数字人执行所述第二动作时各骨骼点的位置、以及人体运动规律融合所述第一动作和
所述第二动作,控制所述数字人执行融合后的动作。
动作,若将弯腰捡东西的动作和接苹果的动作融合,则融合的动作较为怪异,则可以判定第
一动作和第二动作存在冲突骨骼点。可以理解,具体场景中,可以将不适合进行融合的两个
动作判定为存在冲突骨骼点的动作,本申请实施例对是否存在冲突骨骼点的判定不做具体
限定。
作和第二动作得到融合后的动作;以及,控制数字人执行融合后的动作。
苹果的运动规律,以及数字人伸出手拿苹果的动作中各骨骼点的位置,计算得到融合了数
字人边微笑边拿起苹果的两个动作的融合动作,并控制数字人执行融合后的动作。
述第二动作中存在冲突骨骼点的情况下,控制所述数字人采用衔接的方式实现从所述第一
动作到所述第二动作的过渡;所述衔接的方式为,计算所述数字人执行所述第一动作时各
骨骼点的位置到所述数字人执行所述第二动作时各骨骼点的位置之间的运动路径,控制所
述数字人依据所述运动路径从所述第一动作过渡到所述第二动作。
人执行第一动作时各骨骼点的位置到数字人执行第二动作时各骨骼点的位置之间的运动
路径,控制数字人依据运动路径从第一动作过渡到第二动作。
果的第二动作的位置之间的运动路径,控制数字人的右手自然的从弯腰捡东西的第一动作
过渡到接苹果的第二动作。这样,可以得到流畅自然的动作过渡。
成的第一任务。
据库中获取该目标用户未完成的第一任务。
receiver/transmitter,UART)、或蓝牙等形式进行通信。进而第二数字人设备可以将第一
任务发送给第一数字人设备,由第一数字人设备继续执行第一任务。
出与用户B视频通话的任务,进而在第一数字人设备与第二数字人设备中建立视频通话,完
成视频通话的任务。
的设备中触发产生的;以及,
变位置。
滑动所述目标对象的动作。
述数字人执行所述第一动作时各骨骼点的位置、所述数字人执行所述第二动作时各骨骼点
的位置、以及人体运动规律融合所述第一动作和所述第二动作,控制所述数字人执行融合
后的动作。
数字人执行所述第一动作时各骨骼点的位置到所述数字人执行所述第二动作时各骨骼点
的位置之间的运动路径,控制所述数字人依据所述运动路径从所述第一动作过渡到所述第
二动作。
别目标用户,以及获取第一任务,并继续执行该第一任务,实现多设备互动,为用户提供更
为全面、便捷的服务。具体的,承载第一数字人的设备可以识别目标用户;在判定目标用户
存在未完成的第一任务的情况下,控制第一数字人执行第一任务;第一任务为目标用户在
承载第二数字人的设备中触发产生的,以及显示执行第一任务的第一数字人,从而可以实
现多设备互动,为用户提供更为全面、便捷的服务。
理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形
式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装
置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制
本文中描述的和/或者要求的本申请的实现。
装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进
行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的
显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器
和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个
设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系
统)。图5中以一个处理器501为例。
人的控制方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于
使计算机执行本申请所提供的数字人的控制方法。
令/模块(例如,附图4所示的处理模块41和显示模块42)。处理器501通过运行存储在存储器
502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,
即实现上述方法实施例中的数字人的控制方法。
用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存
储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例
中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网
络连接至数字人的控制电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域
网、移动通信网及其组合。
过总线连接为例。
指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设
备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但
不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式
中,显示设备可以是触摸屏。
实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在
包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用
或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数
据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出
装置。
计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指
令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光
盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读
介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的
反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(LAN)、广域网(WAN)和互联网。
算机程序来产生客户端和服务器的关系。
的指令对应的动作与数字人当前执行的动作融合输出,从而实现类似于人的动作衔接,动
作更加自然流畅,较大程度实现数字人的人性化。具体的,可以控制数字人执行第一任务;
在接收到第一指令的情况下,获取数字人当前在第一任务中执行的第一动作,以及第一指
令指示的第二动作;在第一动作与第二动作中不存在冲突骨骼点的情况下,依据数字人执
行第一动作时各骨骼点的位置、数字人执行第二动作时各骨骼点的位置以及人体运动规
律,融合第一动作和第二动作得到融合后的动作;以及,控制数字人执行融合后的动作,从
而实现类似于人的动作衔接,动作更加自然流畅,较大程度实现数字人的人性化。
要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。