会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利分类库 / 乐器;声学 / 基于会议的数据处理方法、装置、存储介质及电子设备

基于会议的数据处理方法、装置、存储介质及电子设备

申请号 CN202410071372.7 申请日 2024-01-17 公开(公告)号 CN117875431A 公开(公告)日 2024-04-12
申请人 中国工商银行股份有限公司; 发明人 钟力; 冯程; 杨超; 王宇峰;
摘要 本 发明 公开了一种基于会议的 数据处理 方法、装置、存储介质及 电子 设备。涉及 人工智能 技术领域。其中,该方法包括:通过虚拟对象获取目标对象的目标对话数据,其中,目标对话数据包括:会议中参会对象的对话数据,目标对话数据的数据类型为下述其中之一:语音数据、文本数据;基于目标对话数据的数据类型,将目标对话数据输入 目标语言 模型,输出目标对话文本,其中,目标语言模型用于识别目标对话数据的语义,并生成对目标对话数据进行回复的对话数据;基于目标对话数据的数据类型,展示目标对话文本。本发明解决了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低,导致智能会议助手生成的答复 精度 低的技术问题。
权利要求

1.一种基于会议的数据处理方法,其特征在于,包括:
通过虚拟对象获取目标对象的目标对话数据,其中,所述目标对话数据包括:会议中参会对象的对话数据,所述目标对话数据的数据类型为下述其中之一:语音数据、文本数据;
基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,其中,所述目标语言模型用于识别所述目标对话数据的语义,并生成对所述目标对话数据进行回复的对话数据;
基于所述目标对话数据的数据类型,展示所述目标对话文本。
2.根据权利要求1所述的数据处理方法,其特征在于,基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,包括:
在所述数据类型为所述语音数据的情况下,将所述目标对话数据输入语音识别模型,输出第一对话文本,其中,所述语音识别模型用于将语音转换为文本;
在输出所述第一对话文本之后,将所述第一对话文本输入所述目标语言模型,输出第二对话文本,并将所述第二对话文本作为所述目标对话文本;或者,
在所述数据类型为所述文本数据的情况下,将所述目标对话数据输入所述目标语言模型,输出第三对话文本,并将所述第三对话文本作为所述目标对话文本。
3.根据权利要求1所述的数据处理方法,其特征在于,基于所述目标对话数据的数据类型,展示所述目标对话文本,包括:
在所述数据类型为所述语音数据的情况下,将所述目标对话文本转换为对话语音,并播放所述对话语音;或者,
在所述数据类型为所述文本数据的情况下,在指定屏幕上展示所述目标对话文本。
4.根据权利要求3所述的数据处理方法,其特征在于,
若所述目标对话数据的数据类型为所述文本数据,则在通过虚拟对象获取目标对象的目标对话数据之后,在指定屏幕上展示所述目标对象的色信息和所述目标对话数据;
在指定屏幕上展示所述目标对话文本还包括:展示所述虚拟对象的标识信息和所述目标对话文本。
5.根据权利要求1所述的数据处理方法,其特征在于,在基于所述目标对话数据的数据类型,展示所述目标对话文本之后,包括:
生成所述会议的会议记录,其中,所述会议的会议记录包括下述至少之一:所述会议的会议主题、所述会议的会议问题、所述会议的讨论结果;
获取目标数据库的路径信息;
基于所述路径信息将所述会议的会议记录存储至所述目标数据库。
6.根据权利要求1所述的数据处理方法,其特征在于,所述目标语言模型通过以下方式得到;
获取历史会议记录,其中,所述历史会议记录携带有下述至少之一:历史会议的会议主题、所述历史会议的参会对象信息、所述历史会议的讨论目的、所述历史会议的讨论结果;
将所述历史会议记录输入初始语言模型进行模型训练,得到所述目标语言模型,所述初始语言模型的模型类型至少包括:用于进行智能聊天的语言模型。
7.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
获取指令控制策略,其中,所述指令控制策略用于在所述会议进行过程中控制所述目标语言模型的输出;
基于所述指令控制策略,控制所述目标语言模型的输出所述目标对话文本。
8.一种基于会议的数据处理装置,其特征在于,包括:
获取单元,用于通过虚拟对象获取目标对象的目标对话数据,其中,所述目标对话数据包括:会议中参会对象的对话数据,所述目标对话数据的数据类型为下述其中之一:语音数据、文本数据;
处理单元,用于基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,其中,所述目标语言模型用于识别所述目标对话数据的语义,并生成对所述目标对话数据进行回复的对话数据;
第一展示单元,用于基于所述目标对话数据的数据类型,展示所述目标对话文本。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于会议的数据处理方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的基于会议的数据处理方法。

说明书全文

基于会议的数据处理方法、装置、存储介质及电子设备

技术领域

[0001] 本发明涉及人工智能技术领域,具体而言,涉及一种基于会议的数据处理方法、装置、存储介质及电子设备。

背景技术

[0002] 相关技术中,会议中的会议助手的互动性和真实感较弱,无法根据会议的情境和语境进行灵活的回应和反馈,在理解复杂指令或涉及多个语义的场景下,难以提供精准的反馈,不能很好地满足用户需求。
[0003] 并且,会议助手功能较为基础,无法像人类一样参与会议讨论,只能执行一些简单的任务,如记录会议内容、提醒会议时间、发送会议邀请等,而不能精准的提高建议、分析问题的原因,也无法提供准确的解决问题的方案等,从而降低了会议的质量和效率。
[0004] 因此,相关技术中的会议助手难以提供精准的反馈,提高会议的效率和友好度。
[0005] 针对上述的问题,目前尚未提出有效的解决方案。

发明内容

[0006] 本发明实施例提供了一种基于会议的数据处理方法、装置、存储介质及电子设备,以至少解决相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低,导致智能会议助手生成的答复精度低的技术问题。
[0007] 根据本发明实施例的一个方面,提供了一种基于会议的数据处理方法,包括:通过虚拟对象获取目标对象的目标对话数据,其中,所述目标对话数据包括:会议中参会对象的对话数据,所述目标对话数据的数据类型为下述其中之一:语音数据、文本数据;基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,其中,所述目标语言模型用于识别所述目标对话数据的语义,并生成对所述目标对话数据进行回复的对话数据;基于所述目标对话数据的数据类型,展示所述目标对话文本。
[0008] 进一步地,基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,包括:在所述数据类型为所述语音数据的情况下,将所述目标对话数据输入语音识别模型,输出第一对话文本,其中,所述语音识别模型用于将语音转换为文本;在输出所述第一对话文本之后,将所述第一对话文本输入所述目标语言模型,输出第二对话文本,并将所述第二对话文本作为所述目标对话文本;或者,在所述数据类型为所述文本数据的情况,将所述目标对话数据输入所述目标语言模型,输出第三对话文本,并将所述第三对话文本作为所述目标对话文本。
[0009] 进一步地,基于所述目标对话数据的数据类型,展示所述目标对话文本,包括:在所述数据类型为所述语音数据的情况下,将所述目标对话文本转换为对话语音,并播放所述对话语音;或者,在所述数据类型为所述文本数据的情况下,在指定屏幕上展示所述目标对话文本。
[0010] 进一步地,若所述目标对话数据的数据类型为所述文本数据,则在通过虚拟对象获取目标对象的目标对话数据之后,在指定屏幕上展示所述目标对象的色信息和所述目标对话数据;在指定屏幕上展示所述目标对话文本还包括:展示所述虚拟对象的标识信息和所述目标对话文本。
[0011] 进一步地,在基于所述目标对话数据的数据类型,展示所述目标对话文本之后,包括:生成所述会议的会议记录,其中,所述会议的会议记录包括下述至少之一:所述会议的会议主题、所述会议的会议问题、所述会议的讨论结果;获取目标数据库的路径信息;基于所述路径信息将所述会议的会议记录存储至所述目标数据库。
[0012] 进一步地,所述目标语言模型通过以下方式得到;获取历史会议记录,其中,所述历史会议记录携带有下述至少之一:历史会议的会议主题、所述历史会议的参会对象信息、所述历史会议的讨论目的、所述历史会议的讨论结果;将所述历史会议记录输入初始语言模型进行模型训练,得到所述目标语言模型,所述初始语言模型的模型类型至少包括:用于进行智能聊天的语言模型。
[0013] 进一步地,基于会议的数据处理方法还包括:获取指令控制策略,其中,所述指令控制策略用于在所述会议进行过程中控制所述目标语言模型的输出;基于所述指令控制策略,控制所述目标语言模型的输出所述目标对话文本。
[0014] 根据本发明实施例的另一方面,还提供了一种基于会议的数据处理装置,包括:第一获取单元,用于通过虚拟对象获取目标对象的目标对话数据,其中,所述目标对话数据包括:会议中参会对象的对话数据,所述目标对话数据的数据类型为下述其中之一:语音数据、文本数据;处理单元,用于基于所述目标对话数据的数据类型,将所述目标对话数据输入目标语言模型,输出目标对话文本,其中,所述目标语言模型用于识别所述目标对话数据的语义,并生成对所述目标对话数据进行回复的对话数据;第一展示单元,用于基于所述目标对话数据的数据类型,展示所述目标对话文本。
[0015] 进一步地,处理单元包括:第一处理子单元,用于在所述数据类型为所述语音数据的情况下,将所述目标对话数据输入语音识别模型,输出第一对话文本,其中,所述语音识别模型用于将语音转换为文本;第二处理子单元,用于在输出所述第一对话文本之后,将所述第一对话文本输入所述目标语言模型,输出第二对话文本,并将所述第二对话文本作为所述目标对话文本;或者,第三处理子单元,用于在所述数据类型为所述文本数据的情况下,将所述目标对话数据输入所述目标语言模型,输出第三对话文本,并将所述第三对话文本作为所述目标对话文本。
[0016] 进一步地,第一展示单元包括:转换子单元,用于在所述数据类型为所述语音数据的情况下,将所述目标对话文本转换为对话语音,并播放所述对话语音;或者,展示子单元,用于在所述数据类型为所述文本数据的情况下,在指定屏幕上展示所述目标对话文本。
[0017] 进一步地,基于会议的数据处理装置还包括:第二展示单元,用于若所述目标对话数据的数据类型为所述文本数据,则在通过虚拟对象获取目标对象的目标对话数据之后,在指定屏幕上展示所述目标对象的角色信息和所述目标对话数据;第三展示单元,用于在指定屏幕上展示所述目标对话文本还包括:展示所述虚拟对象的标识信息和所述目标对话文本。
[0018] 进一步地,基于会议的数据处理装置还包括:生成单元,用于在基于所述目标对话数据的数据类型,展示所述目标对话文本之后,生成所述会议的会议记录,其中,所述会议的会议记录包括下述至少之一:所述会议的会议主题、所述会议的会议问题、所述会议的讨论结果;第二获取单元,用于获取目标数据库的路径信息;存储单元,用于基于所述路径信息将所述会议的会议记录存储至所述目标数据库。
[0019] 进一步地,所述目标语言模型通过以下单元得到;第三获取单元,用于获取历史会议记录,其中,所述历史会议记录携带有下述至少之一:历史会议的会议主题、所述历史会议的参会对象信息、所述历史会议的讨论目的、所述历史会议的讨论结果;训练单元,用于将所述历史会议记录输入初始语言模型进行模型训练,得到所述目标语言模型,所述初始语言模型的模型类型至少包括:用于进行智能聊天的语言模型。
[0020] 进一步地,基于会议的数据处理装置还包括:第四获取单元,用于获取指令控制策略,其中,所述指令控制策略用于在所述会议进行过程中控制所述目标语言模型的输出;控制单元,用于基于所述指令控制策略,控制所述目标语言模型的输出所述目标对话文本。
[0021] 根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的基于会议的数据处理方法。
[0022] 根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于会议的数据处理方法。
[0023] 在本发明中,通过虚拟对象获取目标对象的目标对话数据,其中,目标对话数据包括:会议中参会对象的对话数据,目标对话数据的数据类型为下述其中之一:语音数据、文本数据;基于目标对话数据的数据类型,将目标对话数据输入目标语言模型,输出目标对话文本,其中,目标语言模型用于识别目标对话数据的语义,并生成对目标对话数据进行回复的对话数据;基于目标对话数据的数据类型,展示目标对话文本。进而解决了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低,导致智能会议助手生成的答复精度低的技术问题。在本发明中,利用虚拟对象获取会议中参会对象的对话数据,并通过目标语言模型生成该对话数据的回复,避免了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低的情况,从而实现了提高参会对象的语义理解精准度、精准生成回复内容的技术效果。附图说明
[0024] 此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0025] 图1是根据本发明实施例的一种可选的基于会议的数据处理方法的流程图
[0026] 图2是根据本发明实施例的一种可选的基于会议的数据处理装置的示意图;
[0027] 图3是根据本发明实施例的另一种可选的基于会议的数据处理装置的示意图;
[0028] 图4是根据本发明实施例的一种电子设备的示意图。

具体实施方式

[0029] 为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
[0030] 需要说明的是,本发明的说明书权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031] 需要说明的是,本公开中的基于会议的数据处理方法及其装置可用于人工智能技术领域在处理会议数据的情况下,也可用于除人工智能技术领域之外的任意领域在处理会议数据的情况下,本公开中对基于会议的数据处理方法及其装置的应用领域不做限定。
[0032] 需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
[0033] 为了便于描述,下面对本申请各实施例涉及的部分术语或名词进行解释:
[0034] 大模型:是指一个大型的多模态模型,可以用于理解并生成自然语言和代码。大模型可以接受文本输入并输出文本,具有广泛的通用知识和先进的推理能,可以更准确地解决困难问题。大模型也可以针对聊天进行优化,同时也适用于传统的自动补全任务。
[0035] 虚拟对象:是指基于人工智能技术生成的虚拟实体,可以进行语音、文字等交互,并具有一定的智能能力,可以用于人机交互、在线客服、虚拟演员等领域。
[0036] 会议助手:是指为参会者提供支持和帮助的人工智能程序,可以协助管理会议议程。
[0037] 指令Prompt技术:是一种通过提供特定指令来引导大模型输出的方法。使用指令Prompt技术需要为模型提供明确而简单的任务,以及模型要遵守的具体指令。
[0038] 目标语音识别模型:是一款通用的语音识别模型,是在大量不同音频数据集上进行训练的。目标语音识别模型还是一种多任务模型,可以执行多语言的语音识别、语音翻译和语言识别。
[0039] 实施例一
[0040] 根据本发明实施例,提供了一种可选的基于会议的数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0041] 图1是根据本发明实施例的一种可选的基于会议的数据处理方法的流程图,如图1所示,该方法包括如下步骤:
[0042] 步骤S101,通过虚拟对象获取目标对象的目标对话数据,其中,目标对话数据包括:会议中参会对象的对话数据,目标对话数据的数据类型为下述其中之一:语音数据、文本数据。
[0043] 上述的目标对象可以为会议中的参会对象,上述的虚拟对象可以为电脑、手机、平板、机器人等设备,在本实施例中,可以通过虚拟对象获取目标对象的目标对话数据,上述的目标对话数据可以为会议中参会对象与该虚拟对象进行对话的对话数据,会议中参会对象与该虚拟对象进行对话的对话类型可以为语音交互,还可以为通过文字的形式进行对话的对话数据。
[0044] 步骤S102,基于目标对话数据的数据类型,将目标对话数据输入目标语言模型,输出目标对话文本,其中,目标语言模型用于识别目标对话数据的语义,并生成对目标对话数据进行回复的对话数据。
[0045] 上述的目标语言模型的类型可以为大模型,在目标对话数据的数据类型为语音数据的情况下,可以将语音数据转换为文本数据,将该文本数据输入目标语言模型,通过目标语言模型输出用于目标对话文本,然后将目标对话文本转换为语音,通过虚拟对象播放该语音,以回答目标对象的目标对话数据。
[0046] 在目标对话数据的数据类型为文本数据的情况下,可以将该目标对话数据直接输入目标语言模型,通过目标语言模型输出用于目标对话文本,并通过虚拟对象展示该目标对话文本,以回答目标对象的目标对话数据。
[0047] 步骤S103,基于目标对话数据的数据类型,展示目标对话文本。
[0048] 在目标对话数据的数据类型为语音数据的情况下,可以将目标对话文本转换为语音,通过虚拟对象播放该语音,以回答目标对象的目标对话数据。
[0049] 在目标对话数据的数据类型为文本数据的情况下,可以通过虚拟对象直接展示该目标对话文本,以回答目标对象的目标对话数据。
[0050] 例如:当有参会对象询问“Vera,你怎么看?”、“Vera,XXX是什么意思”、“Vera,你有什么建议吗?”、“Vera,你觉得这个方案怎么样”之类话术或类似的问题时,目标语言模型(例如:大模型)将在其训练数据中搜索相关信息,并提供答案或解决方案。
[0051] 通过上述步骤,利用虚拟对象获取会议中参会对象的对话数据,并通过目标语言模型生成该对话数据的回复,避免了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低的情况,从而实现了提高参会对象的语义理解精准度、精准生成回复内容的技术效果。进而解决了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低,导致智能会议助手生成的答复精度低的技术问题。
[0052] 可选地,基于目标对话数据的数据类型,将目标对话数据输入目标语言模型,输出目标对话文本,包括:在数据类型为语音数据的情况下,将目标对话数据输入语音识别模型,输出第一对话文本,其中,语音识别模型用于将语音转换为文本;在输出第一对话文本之后,将第一对话文本输入目标语言模型,输出第二对话文本,并将第二对话文本作为目标对话文本;或者,在数据类型为文本数据的情况,将目标对话数据输入目标语言模型,输出第三对话文本,并将第三对话文本作为目标对话文本。
[0053] 上述的语音识别模型用于将语音转换为文本,语音识别模型的模型类型可以包括:目标语音识别模型,在本实施例中,在目标对话数据的数据类型为语音数据的情况下,可以将目标对话数据输入语音识别模型,输出第一对话文本,并在输出第一对话文本之后,将第一对话文本输入目标语言模型,输出第二对话文本,将第二对话文本作为目标对话文本;在目标对话数据的数据类型为文本数据的情况,将目标对话数据输入目标语言模型,输出第三对话文本,并将第三对话文本作为目标对话文本,实现了精准提高对参会人员进行语义理解的精准度和理解语义的灵活度的技术效果。
[0054] 例如:目标对象与虚拟对象之间的对话模式为语音对话模式,当与会者输入语音指示时(即目标对话数据的数据类型为语音数据),Vera(对应于虚拟对象)可以调用语音识别模(对应于语音识别模型)将语音信息转为文本信息(对应于第一对话文本),然后将文本信息发送给大模型(对应于目标语言模型),大模型输出回答文本(对应于第二对话文本)。
[0055] 目标对象与虚拟对象之间的对话模式为文本对话模式,若与会者输入文本指示时(即目标对话数据的数据类型为文本数据),则直接将该文本信息发送给大模型,大模型输出回答文本(对应于第三对话文本)。
[0056] 可选地,基于目标对话数据的数据类型,展示目标对话文本,包括:在数据类型为语音数据的情况下,将目标对话文本转换为对话语音,并播放对话语音;或者,在数据类型为文本数据的情况下,在指定屏幕上展示目标对话文本。
[0057] 在本实施例中,在目标对话数据的数据类型为语音数据的情况下,可以将目标对话文本转换为语音,得到对话语音,通过播放该对话语音会议目标对象的目标对话数据,在目标对话数据的数据类型为文本数据的情况下,可以在指定屏幕上展示目标对话文本,以达到根据目标对话数据的数据类型,生成的对应的数据的类型的回复的目的,提高虚拟对象生成回复的灵活度的技术效果。
[0058] 可选地,若目标对话数据的数据类型为文本数据,则在通过虚拟对象获取目标对象的目标对话数据之后,在指定屏幕上展示目标对象的角色信息和目标对话数据;在指定屏幕上展示目标对话文本还包括:展示虚拟对象的标识信息和目标对话文本。
[0059] 在本实施例中,若目标对话数据的数据类型为文本数据,在通过虚拟对象获取目标对象的目标对话数据之后,则可以在指定屏幕上展示目标对象的角色信息和目标对话数据,角色信息可以用于表示目标对象在会议中的角色,角色信息可以为用于标识目标对象的标识信息。
[0060] 上述的虚拟对象的标识信息可以用于标识虚拟对象在会议中的角色,在本实施例中,在指定屏幕上展示目标对话文本还可以包括:展示虚拟对象的标识信息和目标对话文本,以实现精准区分目标对象和虚拟对象中的发言角色的技术效果。
[0061] 可选地,在基于目标对话数据的数据类型,展示目标对话文本之后,包括:生成会议的会议记录,其中,会议的会议记录包括下述至少之一:会议的会议主题、会议的会议问题、会议的讨论结果;获取目标数据库的路径信息;基于路径信息将会议的会议记录存储至目标数据库。
[0062] 在本实施例中,在展示目标对话文本之后,还可以生成该会议的会议记录,该会议的会议记录可以包括:会议的会议主题、会议的会议问题、会议的讨论结果等,上述的目标数据库的路径信息可以为目标数据库在存储空间中的地址,在本实施例中,可以基于路径信息查找目标数据库,将会议的会议记录存储至目标数据库。
[0063] 例如:当会议结束时,大模型可以生成完整的会议记录,并生成会议纪要,包括会议的主要议题、参与者的主要问题和讨论结果,然后Vera将会议记录和会议纪要存放到数据库中,通过这种方式实现了提高会议记录的全面性和精准度的技术效果。
[0064] 可选地,目标语言模型通过以下方式得到;获取历史会议记录,其中,历史会议记录携带有下述至少之一:历史会议的会议主题、历史会议的参会对象信息、历史会议的讨论目的、历史会议的讨论结果;将历史会议记录输入初始语言模型进行模型训练,得到目标语言模型,初始语言模型的模型类型至少包括:用于进行智能聊天的语言模型。
[0065] 以目标语言模型为大模型为例进行说明,为了提高目标语言模型对应会议中参会对象的语义理解的精准度,在本实施例中,还可以将历史会议记录输入初始语言模型,让初始语言模型精准的输出回复内容,提高会议的效率。
[0066] 例如:Vera(对应于虚拟对象)可以调用数据库中的历史会议记录,投喂给大模型,使得大模型能够精准的理解会议的上下文,根据会议记录收集会议的背景信息和议程主题,包括讨论的目的、议题的范围、参与者名单等。
[0067] 可选地,基于会议的数据处理方法还包括:获取指令控制策略,其中,指令控制策略用于在会议进行过程中控制目标语言模型的输出;基于指令控制策略,控制目标语言模型的输出目标对话文本。
[0068] 上述的指令控制策略可以包括:指令Prompt技术,下面以指令控制策略为指令Prompt技术为例进行说明:
[0069] 使用Prompt技术控制大模型的输出,可以根据提前设置好的Prompt公式,使大模型(对应于目标语言模型)能够根据参会对象的提问做出自然、流畅的回答。具体实现步骤如下:
[0070] 使用指令Prompt技术控制大模型的输出。
[0071] ①任务:根据指示进行回答,并记录会议内容;
[0072] ②指令:根据用户的问题,联系上下文,对问题进行回答;
[0073] ③角色:参会人员(对应于目标对象);
[0074] ④Prompt公式:以参会人员的身份参与会议的讨论,最终做出会议总结。Prompt技术可以用于是大模型参与会议讨论并回答问题,最后自动生成会议纪要。例如:在会议中,如果有人询问“Vera,你怎么看?”、“Vera,XXX是什么意思”、“Vera,你有什么建议吗?”、“Vera,你觉得这个方案怎么样”之类话术,大模型将根据其训练数据和自然语言处理技术回答问题并为该问题提供解决方案。在会议结束时大模型可以生成会议纪要(对应于会议记录),包括会议的主要议题、参与者的主要问题和讨论结果。
[0075] 以下是一个示例会议对话,以展示大模型如何回答问题和生成会议纪要:
[0076] 参与者A:今天我们来讨论如何改进我们的产品。
[0077] 参与者B:对,我们需要找出我们的瓶颈,以便我们能够更好地满足客户的需求。
[0078] 参与者C:Vera,你怎么看?
[0079] 大模型:基于我的分析,我们可以考虑增加更多的功能和改进我们的界面设计来更好地满足客户的需求。
[0080] 会议结束生成的会议纪要如下:
[0081] 在讨论的过程中,我们提出了以下的主要议题:如何改进产品、解决瓶颈问题等。我们还讨论了一些解决方案和建议,例如增强产品的功能和改进界面设计,以更好地满足客户需求。在此次会议后,我们的下一步行动是XXX。
[0082] 通过指令控制策略,控制目标语言模型的输出目标对话文本,实现了提高目标语言模型的输出格式的合理度的技术效果。
[0083] 在本实施例中,(1)使用大模型技术和虚拟对象的会议助手能够更好地理解会议组织者的语言,提供更加自然、流畅的交互体验,使得参会者能够快速、有效地相互沟通和交流,提升了会议的参与度和互动度;(2)能够根据历史会议记录和会议组织者提供的会议主题,理解复杂指令根据语义场景参与会议讨论,提供背景知识讲解、有创意的建议、分析问题的原因、解决问题的方案,使得会议决策更加有效和及时;(3)能够记录会议内容,并对会议内容进行总结,在会议结束时立即输出会议总结文档;(4)通过虚拟对象还可以加强跨部合作,为双方提供背景知识讲解,深化双方对彼此业务知识的理解和认识,从而帮助参会对象更好地实现任务和目标。
[0084] 实施例二
[0085] 本申请实施例二提供了一种可选的基于会议的数据处理装置,该数据处理装置中虚拟对象会议助手(Vera)可以作为参会对象与大模型沟通的桥梁,在Vera直接参与会议的讨论过程,可以等待参会人员的指示,Vera接收到指示后,通过调用大模型实现更加自然、流畅的交互体验。图2是根据本发明实施例的一种可选的基于会议的数据处理装置的示意图,如图2所示,包括:与会人员(即参会对象)、虚拟对象会议助手、目标语音识别模型、大模型以及数据库(对应于实施例一中的目标数据库)。
[0086] (1)虚拟对象会议助手(Vera)可以是电脑、手机、平板、机器人等设备,这些设备可以通过网络连接到端,与参会对象进行交互;
[0087] (2)大模型模块可以用于对文本指示做出回答;
[0088] (3)语音识别模块(包括目标语音识别模型)可以用于将语音指示转为文本指示;
[0089] (4)数据库可以用于记录历史会议记录,大模型能够根据会议记录进行更好地上下文理解,做出更加贴合现实的回答。
[0090] Vera可以提供语音交互能力和文本交互能力。语音交互能力使得与会人员可以与Vera直接进行沟通,简单快捷。Vera文本交互能力可以使得参会者能够在不打断发言人发言的情况下对机器人进行提问,机器人也通过文本的方式对问题进行回答。语音交互能力允许参会者通过麦克输入语音指令,Vera可以通过语音识别模块将语音转换为文本,再将文本转发给大模型。文本交互能力可以允许用户通过键盘触摸屏幕输入文本,与Vera进行交互,然后将文本转发给大模型。
[0091] 具体实现上,参会对象可以通过文字聊天、语音对话的方式与Vera进行沟通,在本实施例中可以使用Prompt技术控制大模型的输出,根据提前设置好的Prompt公式,大模型能够根据与会人员的提问做出自然、流畅的回答。
[0092] 在会议开始前,Vera还可以调用数据库中的会议记录,投喂给大模型,使得大模型能够更精准的理解会议的上下文。大模型根据会议记录收集会议的背景信息和议程主题,包括讨论的目的、议题的范围、参与者名单等。
[0093] 在会议开始时,Vera收到提示,并开始监听会议的内容。
[0094] 1,图2中黑色圆圈标志的序号为语音对话模式流程序号,当与人员(对应于参会对象)输入①语音指示时,Vera调用语音识别模块将②语音指示转为③文本指示,然后将④文本指示发送给大模型,得到⑤文本回答,将⑥文本回答转换为语音回答,发送给与会人员。
[0095] 2,图2中白色圆圈标志的序号为文本对话模式流程序号,若与会人员以文输入①文本指示时,将②文本指示发送给大模型,得到③文本回答,将④文本回答,发送给与会人员。
[0096] 在本实施例中,(1)使用大模型技术和虚拟对象的会议助手能够更好地理解会议组织者的语言,提供更加自然、流畅的交互体验,使得参会者能够快速、有效地相互沟通和交流,提升了会议的参与度和互动度;(2)能够根据历史会议记录和会议组织者提供的会议主题,理解复杂指令根据语义场景参与会议讨论,提供背景知识讲解、有创意的建议、分析问题的原因、解决问题的方案,使得会议决策更加有效和及时;(3)能够记录会议内容,并对会议内容进行总结,在会议结束时立即输出会议总结文档;(4)通过虚拟对象还可以加强跨部门合作,为双方提供背景知识讲解,深化双方对彼此业务知识的理解和认识,从而帮助参会对象更好地实现任务和目标。
[0097] 实施例三
[0098] 本申请实施例三提供了另一种可选的基于会议的数据处理装置,该数据处理装置中的各个实施单元对应于实施例一中的各个实施步骤。
[0099] 图3是根据本发明实施例的另一种可选的基于会议的数据处理装置的示意图,如图3所示,该数据处理装置包括:第一获取单元31、处理单元32以及第一展示单元33。
[0100] 具体地,第一获取单元31,用于通过虚拟对象获取目标对象的目标对话数据,其中,目标对话数据包括:会议中参会对象的对话数据,目标对话数据的数据类型为下述其中之一:语音数据、文本数据;
[0101] 处理单元32,用于基于目标对话数据的数据类型,将目标对话数据输入目标语言模型,输出目标对话文本,其中,目标语言模型用于识别目标对话数据的语义,并生成对目标对话数据进行回复的对话数据;
[0102] 第一展示单元33,用于基于目标对话数据的数据类型,展示目标对话文本。
[0103] 在本申请实施例三提供的基于会议的数据处理装置中,第一获取单元31可以通过虚拟对象获取目标对象的目标对话数据,其中,目标对话数据包括:会议中参会对象的对话数据,目标对话数据的数据类型为下述其中之一:语音数据、文本数据,通过处理单元32基于目标对话数据的数据类型,将目标对话数据输入目标语言模型,输出目标对话文本,其中,目标语言模型用于识别目标对话数据的语义,并生成对目标对话数据进行回复的对话数据,通过第一展示单元33基于目标对话数据的数据类型,展示目标对话文本。进而解决了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低,导致智能会议助手生成的答复精度低的技术问题。在本实施例中,利用虚拟对象获取会议中参会对象的对话数据,并通过目标语言模型生成该对话数据的回复,避免了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低的情况,从而实现了提高参会对象的语义理解精准度、精准生成回复内容的技术效果。
[0104] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,处理单元包括:第一处理子单元,用于在数据类型为语音数据的情况下,将目标对话数据输入语音识别模型,输出第一对话文本,其中,语音识别模型用于将语音转换为文本;第二处理子单元,用于在输出第一对话文本之后,将第一对话文本输入目标语言模型,输出第二对话文本,并将第二对话文本作为目标对话文本;或者,第三处理子单元,用于在数据类型为文本数据的情况下,将目标对话数据输入目标语言模型,输出第三对话文本,并将第三对话文本作为目标对话文本。
[0105] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,第一展示单元包括:转换子单元,用于在数据类型为语音数据的情况下,将目标对话文本转换为对话语音,并播放对话语音;或者,展示子单元,用于在数据类型为文本数据的情况下,在指定屏幕上展示目标对话文本。
[0106] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,基于会议的数据处理装置还包括:第二展示单元,用于若目标对话数据的数据类型为文本数据,则在通过虚拟对象获取目标对象的目标对话数据之后,在指定屏幕上展示目标对象的角色信息和目标对话数据;第三展示单元,用于在指定屏幕上展示目标对话文本还包括:展示虚拟对象的标识信息和目标对话文本。
[0107] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,基于会议的数据处理装置还包括:生成单元,用于在基于目标对话数据的数据类型,展示目标对话文本之后,生成会议的会议记录,其中,会议的会议记录包括下述至少之一:会议的会议主题、会议的会议问题、会议的讨论结果;第二获取单元,用于获取目标数据库的路径信息;存储单元,用于基于路径信息将会议的会议记录存储至目标数据库。
[0108] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,目标语言模型通过以下单元得到;第三获取单元,用于获取历史会议记录,其中,历史会议记录携带有下述至少之一:历史会议的会议主题、历史会议的参会对象信息、历史会议的讨论目的、历史会议的讨论结果;训练单元,用于将历史会议记录输入初始语言模型进行模型训练,得到目标语言模型,初始语言模型的模型类型至少包括:用于进行智能聊天的语言模型。
[0109] 可选地,在本申请实施例三提供的基于会议的数据处理装置中,基于会议的数据处理装置还包括:第四获取单元,用于获取指令控制策略,其中,指令控制策略用于在会议进行过程中控制目标语言模型的输出;控制单元,用于基于指令控制策略,控制目标语言模型的输出目标对话文本。
[0110] 上述的基于会议的数据处理装置还可以包括处理器和存储器,上述的第一获取单元31、处理单元32以及第一展示单元33等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0111] 上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来利用虚拟对象获取会议中参会对象的对话数据,并通过目标语言模型生成该对话数据的回复,避免了相关技术中会议中的智能会议助手对参数会议的语义识别的精准度低的情况,从而实现了提高参会对象的语义理解精准度、精准生成回复内容的技术效果。
[0112] 上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
[0113] 根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的基于会议的数据处理方法。
[0114] 根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于会议的数据处理方法。
[0115] 图4是根据本发明实施例的一种电子设备的示意图,如图4所示,本发明实施例提供了一种电子设备40,电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述任意一项的基于会议的数据处理方法。
[0116] 上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0117] 在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0118] 在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0119] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0120] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0121] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0122] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。