一种基于图卷积神经网络的生成式会议摘要方法

摘要

一种基于图卷积神经网络的生成式会议摘要方法，本发明涉及基于图卷积神经网络的生成式会议摘要方法。本发明的目的是为了解决现有方法仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章结构信息的问题。过程为：一：得到会议的对话篇章结构；二：构建会议篇章结构图，以及会议中句子之间的对话篇章结构；三：构建伪数据和对应的伪数据的会议篇章结构图；四：得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；得到训练好的图神经网络的生成式会议摘要模型和模型参数；利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。本发明用于自然语言处理领域下的生成式会议摘要方法。

权利要求

1.一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述方法具体过程为：

步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；

步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；

将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；

步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；

步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；

将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；

利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。

2.根据权利要求1所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一中训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；具体过程为：

步骤一一、利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequential，得到训练好的对话篇章结构解析器Deep Sequential；

步骤一二、利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构。

3.根据权利要求2所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一一中利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequential，得到训练好的对话篇章结构解析器Deep Sequential；具体过程为：STAC数据集为英文游戏多人聊天数据集，STAC数据集标注了对话中基本语义单元之间的语义关系；

所述多人为3人以上。

4.根据权利要求3所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤一二中利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构；具体过程为：AMI会议数据为会议数据集，包含了四个参与者，四位参与者针对一款产品开发进行讨论；

将AMI会议数据集划分为训练集、开发集和测试集；

训练好的对话篇章结构解析器Deep Sequential模型首先判断AMI会议中的两句话之间是否有关系，如果句子A和B有关系，Deep Sequential模型继续判断是哪一种关系，关系属于评论、澄清问题、详述、致谢、延续、解释、条件、问答对、交替、问题详述、结果、背景、叙述、纠正、平行和对比16种关系中的一种；

对会议数据进行标注，得到AMI会议的对话篇章结构；

如果句子A和B没有关系，就不进行标注。

5.根据权利要求4所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤二中对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子之间的对话篇章结构；

将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；

具体过程为：

步骤二一、对步骤一得到的AMI会议的对话篇章结构进行Levi图转换；具体过程为：对步骤一得到的AMI会议的对话篇章结构进行Levi图转换，将边转换为关系节点；在句子节点和关系节点之间添加正向与反向边，正向边保留了原有的边方向，反向边与正向边的方向相反；

步骤二二、增加全局节点G与全局连接边：增加全局节点G，全局节点G与图中所有节点全部增加一条连接边，称为全局连接边；

步骤二三、增加自连接边：

自连接边由每一个节点指向自身；

步骤二四、修改正向边为正向入边与正向出边，修改反向边为反向入边与反向出边；

步骤二五、经过步骤二一到二四，构建出会议篇章结构图；

会议篇章结构图包含6种类型的边关系：自连接边、全局连接边、正向入边、正向出边、反向入边、反向出边；

会议篇章结构图包含三种类型的节点：全局节点、句子节点和关系节点；

其中自连接边包括三种形式：全局节点指向全局节点，句子节点指向句子节点，关系节点指向关系节点；

全局连接边包括两种形式：全局节点指向句子节点，全局节点指向关系节点；

正向入边为句子节点指向关系节点，正向出边为关系节点指向句子节点、反向入边为句子节点指向关系节点，反向出边为关系节点指向句子节点。

6.根据权利要求5所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤三中利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；具体过程为：

步骤三一、根据步骤一得到的AMI会议的对话篇章结构，利用对话篇章结构关系中“问答对”判断一句话是否为“问题”，若是“问题”，将“问题”作为伪摘要，“问题”之后的一段“讨论”作为伪会议，根据“讨论”“问题”对构建伪数据；

若不是“问题”，结束；

步骤三二、得到伪数据以后，根据步骤二进行同样的处理，得到伪数据的会议篇章结构图。

7.根据权利要求6所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述步骤四中利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参数；

将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成式会议摘要模型和模型参数；

利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要；

具体过程为：

步骤四一、获取节点表示；具体过程为：对于全局节点和关系节点，从一个随机初始化的词嵌入矩阵中获得对应的全局节点和关系节点的初始表示

对于句子节点，一个会议包含了|U|个句子[u1,u2,...,u|U|]，其中第i个句子被表示为ui＝[ui,1,ui,2,...,ui,|U|]，uij代表了第i个句子中的第j个词语；每一个句子ui都对应一个说话人pi，pi∈P，P是说话人集合；

利用步骤一二划分出的AMI会议训练集构建词表，词表包含了AMI会议训练集中所有的词语及其对应的ID索引，每一个词语都拥有唯一索引；

对于句子节点，使用双向长短时记忆网络获得每一个词语uij的表示hi,j：hi,j＝BiLSTM(hi,j‑1,ei,j)  (1)式(1)中，hi,j代表了BiLSTM的隐层状态，ei,j代表了句子中词语的词向量；

将BiLSTM前向和后向的表示相拼接，得到句子ui的初始表示其中， 代表前向表示， 代表后向表示；

至此，全局节点、关系节点、句子节点得到了初始表示步骤四二、对于每一个节点vi∈VD，将步骤四一得到的初始表示 送入到现有图卷积神经网络中更新节点表示：

式(2)中，Nr(vi)代表节点vi在关系r下的邻居节点；|Nr(vi)|代表节点vi在关系r下的邻居节点的数量； 代表第l层对于关系r可学习的参数；ReLU为激活函数； 代表节点vi在l+1层的表示； 代表节点vj在l层的表示；

利用门控机制对来自不同节点的信息进行控制：式(3)中， 代表节点vj在l层的表示， 代表第l层对于关系r可学习的参数，sigmoid为激活函数， 的范围为采用门控机制以后，式(2)的卷积操作变为式(4)：步骤四三、利用单向长短时记忆网络解码器来生成摘要；具体过程为：利用注意力机制，根据解码器状态st计算词语级别上下文向量 和句子级别上下文向量

词语级别的上下文向量 计算方式为：式(5)中，Wa为可学习的参数， 是步骤四一获得的词语初始表示； 为对于第i句话t t

第j个词语，未归一化的权重； 为解码器t时刻状态；a 为经过归一化以后的权重；e为归一化之前的权重； 为词语级别的向量表示； 为归一化以后的，对于第i句话第j个词语的权重；

句子级别的上下文向量 计算方式为：t t

a′＝softmax(e′)

式(6)中，Wb为可学习的参数， 是经过现有的图卷积神经网络更新后的最后一层的句子表示； 为对句子i未归一化的权重； 为对句子i归一化之后的权重；

将词语级别和句子级别的上下文向量拼接得到最终上下文向量根据上下文向量 和当前时刻解码器隐藏层状态st计算词表中生成每一个词语的概率Pvocab：

式(7)中，V,V′,b和b′为可学习的参数； 代表st和 的拼接；softmax为归一化函数；Pvocab(w)代表了生成词表中词语w的概率；

计算从词表中生成词语的概率pgen：式(8)中， ws，wx和bptr为可学习的参数；sigmoid为激活函数；pgen代表了从词表中生成的概率，1‑pgen代表了从原文中拷贝的概率； 为对 求转置； 为对ws求转置； 为对wx求转置；xt为t时刻解码器输入词语的现有的预训练好的词向量；

因此对于一个词语w，综合考虑从词表中生成的概率和从原文中拷贝的概率，最终概率如式(9)：

式(9)中， 为经过归一化以后的对于第i句话第j个词语的权重；

使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；

利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。

8.根据权利要求7所述一种基于图卷积神经网络的生成式会议摘要方法，其特征在于：所述使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；具体过程为：在解码器的每一步，根据式(9)预测的词语的概率和标准词语计算交叉熵损失；过程为：

对于一个会议U，给定标准摘要 训练目标是最小化式(10)：式(10)中， 为标准摘要中的第一个词语； 为标准摘要中的最后一个词语； 为t时刻需要预测的标准摘要的词语；L为损失函数。

说明书

一种基于图卷积神经网络的生成式会议摘要方法

技术领域

[0001] 本发明涉及基于图卷积神经网络的生成式会议摘要方法。

背景技术

[0002] 基于自然语言处理—自动文本摘要(Automatic Summarization)[1](题目：Constructing literature abstracts by computer:techniques andprospects，作者：
Chris D Paice，年份：1990年，文献引自Information Processing&Management)领域下的
生成式会议摘要(Abstractive Meeting Summarization)，即给定多人会议的文字记录，生
成一段简短的、包含会议关键信息的文本描述，如图2(a)，展示了一个会议片段及其对应的
标准摘要。

[0003] 对于会议摘要，现有方法可以分为抽取式(Extractive)与生成式(Abstractive)两类。抽取式方法从会议记录中选择重要的句子构成最终摘要，所有文本均来自于原文，保
[2]
证了基本语法正确的同时，也存在连贯性差等问题 (题目：Extracting decisions from 
multi‑party dialogue using directed graphical models and semantic similarity，
作者：Trung H Bui,Matthew Frampton,John Dowding,and Stanley Peters，年份：2009
年，文献引自：Proceedings ofthe SIGDIAL 2009Conference:The 10th Annual Meeting 
of the Special Interest Group on Discourse andDialogue)。生成式方法由模型生成
摘要，可以生成不属于原文的词语和短语，更加流畅。近几年的研究大多集中于生成式会议
[3]
摘要 (题目：Keep meeting summaries on topic:Abstractive multi‑modal meeting 
summarization，作者：Manling Li,Lingyu Zhang,Heng Ji,and Richard J.Radke，年份：
2019年，文献引自：Proceedings ofthe 57th Annual Meeting ofthe Association for 
Computational Linguistics)。然而，现有技术大多基于序列到序列(sequence‑to‑
sequence)模型，将会议内容视为句子和词语的序列，利用序列编码器进行建模，尽管取得
了一定的效果，但是依旧存在一定的不足，生成的摘要往往无法准确的理解会议内容，如图
[4]
2(b)，展示了基线模型Sentence‑Gated (题目：Abstractive dialogue summarization 
with sentencegated modeling optimized by dialogue acts，作者：Chih‑Wen Goo and 
Yun‑Nung Chen，年份：2018，文献引自：2018IEEE Spoken Language Technology Workshop
(SLT))生成的摘要，与标准摘要对比，该模型没有准确的理解原文中句子3与句子1构成的
“反驳”关系。仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章
结构信息，对话篇章结构表示了两句话之间的语义关系，例如“问答”、“反驳”、“赞同”等。

发明内容

[0004] 本发明的目的是为了解决现有方法仅仅使用句子和词语的序列结构建模会议文本，忽略了会议丰富的对话篇章结构信息的问题，而提出一种融入对话篇章结构信息的生
成式会议摘要方法。

[0005] 一种基于图卷积神经网络的生成式会议摘要方法具体过程为：

[0006] 步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；

[0007] 步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与
者，以及会议中句子之间的对话篇章结构；

[0008] 将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；

[0009] 步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；

[0010] 步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型
和初始化参数；

[0011] 将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成
式会议摘要模型和模型参数；

[0012] 利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。

[0013] 本发明的有益效果为：

[0014] 本发明引入对话篇章结构，将会议构建为一个对话篇章结构图，并利用图卷积神经网络建模整个会议，整个模型采用图到序列(graph‑to‑sequence)框架，生成最终会议摘
要，可以更好的理解会议内容。除此以外，本发明还利用“问答”对话篇章结构构建伪数据，
对模型进行预训练，可以隐式的增加训练数据，允许模型在真实数据上“热启动”。解决了现
有生成式会议摘要仅采用序列方式建模会议，忽略了会议丰富的对话篇章结构信息的问
题。如图2(c)，展示了在引入对话篇章结构以后，本发明的模型生产的摘要。

[0015] 在本发明方法进行实验后生成的摘要中，生成了包含关键信息的内容，并生成了与会议对话篇章结构相对应的描述文本，更好的概括了会议内容，显示了本发明方法的有
效性，在评价指标ROUGE上本发明方法比之前的方法取得了更好的结果。ROUGE是一种基于
召回率的相似性度量方法，是评估自动文摘以及机器翻译的一组指标，考察翻译的充分性
和忠实性，值越高越好。ROUGE‑1、ROUGE‑2、ROUGE‑L的计算分别涉及一元语法、二元语法和
最长公共子序列。

附图说明

[0016] 图1为本发明流程图；

[0017] 图2(a)为一个会议片段记录及其对应的标准摘要示意图；

[0018] 图2(b)为基线模型Sentence‑Gated生成的摘要示意图；

[0019] 图2(c)为本发明模型生成的摘要示意图；

[0020] 图3(a)为会议片段及其标注好的对话篇章结构示意图；

[0021] 图3(b)为Levi图转换示意图；

[0022] 图4(a)为自连接边与全局连接边示意图；

[0023] 图4(b)为正向入边与正向出边示意图；

[0024] 图4(c)为反向入边与反向出边示意图；

[0025] 图4(d)为对话篇章图示意图；

[0026] 图5为伪数据构建英文示意图；

[0027] 图6为本发明模型示意图。

具体实施方式

[0028] 具体实施方式一：结合图1说明本实施方式，本实施方式一种基于图卷积神经网络的生成式会议摘要方法具体过程为：

[0029] 步骤一：训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；

[0030] 步骤二：对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与
者，以及会议中句子之间的对话篇章结构；

[0031] 将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；

[0032] 步骤三：利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；

[0033] 步骤四：利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型
和初始化参数；

[0034] 步骤三构建好的伪数据包括了“讨论”“问题”对，以及根据步骤三二得到的伪数据的会议篇章结构图，将“讨论”“问题”对和对应的伪数据的会议篇章结构图输入模型，预训
练以后得到模型的初始化参数；

[0035] 伪数据作为预训练数据，有两点优势：(1)隐式的增加了训练数据，(2)通过使用伪数据对基于图神经网络的生成式会议摘要模型进行预训练，可以给该模型一个热启动，使
得该模型有一个较好地初始化参数；

[0036] 将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成
式会议摘要模型和模型参数；

[0037] 利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。

[0038] 具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中训练对话篇章结构解析器，并对会议数据进行标注，得到会议的对话篇章结构；具体过程为：

[0039] 步骤一一、利用现有STAC数据集[5](题目：Discourse structure and dialogue acts in multiparty dialogue:The stac corpus，作者：Nicholas Asher,Julie Hunter,
Mathieu Morey,Farah Benamara,and Stergos Afantenos，年份：2016)训练现有对话篇章
[6]
结构解析器Deep Sequential (题目：Adeep sequential model for discourse parsing 
on multi‑party dialogues，作者：Zhouxing Shi and Minlie Huang，时间：2019年，文献
引自：Proceedings oftheAAAI Conference onArtificial Intelligence)，得到训练好的
对话篇章结构解析器Deep Sequential；

[0040] 步骤一二、利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结构的标注，得到AMI会议的对话篇章结构。

[0041] 其它步骤及参数与具体实施方式一相同。

[0042] 具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤一一中利用现有STAC数据集训练现有对话篇章结构解析器Deep Sequentia，得到训练好的对话篇
章结构解析器Deep Sequential；具体过程为：

[0043] STAC数据集为英文游戏多人聊天数据集，该语料标注了对话中基本语义单元(EDU)之间的语义关系；

[0044] 所述多人为3人及以上。

[0045] 根据统计，STAC中共含有1091个对话，10677个基本语义单元，11348个关系实例；

[0046] 根据任务定义，每个对话至少有3名讲者参与其中。每名讲者每次发送的消息通常为1～2句话，在多人对话语篇解析中每句话通常作为一个基本语义单元(EDU)。基本语义单
元(EDU)与基本语义单元(EDU)之间的篇章语义关系共分类16类，分别是：Comment(评论)、
Clarification_question(澄清问题)、Elaboration(详述)、Acknowledgement(致谢)、
Continuation(延续)、Explanation(解释)、Conditional(条件)、Question‑answer_pair
(问答对)、Alternation(交替)、Q‑Elab(问题详述)、Result(结果)、Background(背景)、
Narration(叙述)、Correction(纠正)、Parallel(平行)和Contrast(对比)；

[0047] 本发明的实验具体在AMI[7]会议数据集(题目：The ami meeting corpus:A pre‑announcement，作者：Jean Carletta,SimoneAshby,Sebastien Bourban,Mike Flynn,Mael 
Guillemot,Thomas Hain,Jaroslav Kadlec,Vasilis Karaiskos,Wessel Kraaij,Melissa 
Kronenthal,et al，年份：2005，文献引自：International workshop on machine 
learning for multimodal interaction)上进行，该数据集为会议数据集，包含了四个参
与者，分别是：项目经理，营销专家，工业设计师，用户界面设计师。四位参与者针对一款产
品开发进行讨论。该数据集包含了137个会议，本发明按照前人的方法，将其划分为训练集
(97个会议)、开发集(20个会议)和测试集(20个会议)。

[0048] 其它步骤及参数与具体实施方式一或二相同。

[0049] 具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤一二中利用训练好的对话篇章结构解析器Deep Sequential对AMI会议数据进行对话篇章结
构的标注，得到AMI会议的对话篇章结构；具体过程为：

[0050] AMI会议数据为会议数据集，包含了四个参与者，分别是：项目经理，营销专家，工业设计师，用户界面设计师；四位参与者针对一款产品开发进行讨论；

[0051] AMI会议数据集包含了137个会议，将AMI会议数据集划分为训练集(97个会议)、开发集(20个会议)和测试集(20个会议)；

[0052] 训练好的对话篇章结构解析器Deep Sequential模型首先判断AMI会议中的两句话之间是否有关系，例如：对于句子A和句子B，将两句话输入DeepSequential模型之中，该
模型首先判断两句话是否有关系，输出有关系或者无关系。如果句子A和B有关系，
DeepSequential模型继续判断是哪一种关系，关系属于评论、澄清问题、详述、致谢、延续、
解释、条件、问答对、交替、问题详述、结果、背景、叙述、纠正、平行和对比16种关系中的一
种；通过上述步骤最终得到两个句子之间的关系；

[0053] 对会议数据进行标注，得到AMI会议的对话篇章结构；

[0054] 如果句子A和B没有关系，就不进行标注。

[0055] 标注结果如图3(a)所示，示例中包含了四个句子U1，U2，U3和U4，其中U2和U1构成了“问答”关系，U3和U1构成了“延续”关系，U4和U2构成了“解释”关系。

[0056] 其它步骤及参数与具体实施方式一至三之一相同。

[0057] 具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中对于会议数据集中每一条会议及根据步骤一得到的会议的对话篇章结构，构建会议篇章
结构图，会议篇章结构图包括了会议中的所有句子，会议中的所有参与者，以及会议中句子
之间的对话篇章结构；

[0058] 将会议篇章结构图表示为GD＝(VD,ED,RD)，其中vi∈VD代表图节点，(vi,r,vj)∈ED代表图中边，r∈RD代表图中边关系；

[0059] 具体过程为：

[0060] 步骤二一、对步骤一得到的AMI会议的对话篇章结构进行Levi图[8](题目：Handbookofgraphtheory，作者：JonathanLGross,JayYellen,andPingZhang，年份：2013)转
换；具体过程为：

[0061] 对步骤一得到的AMI会议的对话篇章结构(如图3(a))进行Levi图转换，将边转换为关系节点，这种转换方式可以有效的利用边信息；Levi图转换结果如图3(b)所示；经过
Levi图转换之后，篇章结构关系类型将会变为图中的一个节点，例如图3(a)中的“问答”边
在图3(b)中成为一个新的节点；为了更好地促进信息在整个图上的的传播，在句子节点和
关系节点之间添加正向与反向边，正向边保留了原有的边方向，例如图3(a)中句子2通过
“问答”关系指向句子1，经过转换以后，句子2通过“正向边”指向“问答”节点，“问答”节点通
过“正向边”指向句子1。反相边与正向边的方向相反；

[0062] 步骤二二、增加全局节点G与全局连接边；

[0063] 为了有效的获得整个图谱的信息，促进信息传播，本发明在上述步骤一的基础上增加全局节点G。增加全局节点G，全局节点G与图中所有节点全部增加一条连接边，称为全
局连接边；如图4(a)中所示：全局连接边；增加全局连接边来收集整个图的全局信息；

[0064] 步骤二三、增加自连接边；

[0065] 在上述步骤二二的基础上，本发明增加自连接边来获得自身信息，自连接边由每一个节点指向自身；

[0066] 句子节点U1，U2，U3和U4、关系节点“问答”“延续”和“解释”以及全局节点都有指向自身的自连接边，同时全局节点G有指向句子节点和关系节点的全局连接边；

[0067] 步骤二四、修改正向边为正向入边与正向出边(如图4(b))，修改反向边为反向入边与反向出边(如图4(c))；

[0068] 句子节点和关系节点属于两种不同类型的节点，使用统一的正向边与反向边传播信息会导致信息损失。本发明根据节点类型对两种边进行修改，以促进不同类型节点之间
信息更好的传播。例如图3(b)中U2通过正向边连接“问答”节点，修改后变为U2通过正向入边
连接“问答”节点，“问答”节点通过正向出边连接U1节点。反向边同理，如图4(c)。

[0069] 步骤二五、经过步骤二一到二四，本发明最终构建出会议篇章结构图如图4(d)；

[0070] 会议篇章结构图包含6种类型的边关系：自连接边、全局连接边、正向入边、正向出边、反向入边、反向出边；

[0071] 会议篇章结构图包含三种类型的节点：全局节点、句子节点和关系节点；

[0072] 其中自连接边包括三种形式：全局节点指向全局节点，句子节点指向句子节点，关系节点指向关系节点；

[0073] 全局连接边包括两种形式：全局节点指向句子节点，全局节点指向关系节点；

[0074] 正向入边为句子节点指向关系节点，正向出边为关系节点指向句子节点、反向入边为句子节点指向关系节点，反向出边为关系节点指向句子节点。

[0075] 其它步骤及参数与具体实施方式一至四之一相同。

[0076] 具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤三中利用“问答”对话篇章结构构建伪数据和对应的伪数据的会议篇章结构图；具体过程为：

[0077] 步骤三一、根据步骤一得到的AMI会议的对话篇章结构，利用对话篇章结构关系中“问答对”判断一句话是否为“问题”，(对于句子A与句子B，当两个句子被判断为“问答对”结
构以后，句子A为“问题”，在得到“问题”以后，将该“问题”之后的10句话作为针对这个“问
题”的一段“讨论”。本发明发现一个“问题”往往引起针对这一问题的一段“讨论”，如图5，界
面设计师问“什么是标准的颜色？”，之后引发了一段关于颜色的讨论。)若是“问题”，将“问
题”作为伪摘要，“问题”之后的一段“讨论”作为伪会议，根据“讨论”“问题”对构建伪数据；

[0078] 伪数据中的每一条数据为“讨论”和“问题”对，即给定一段“讨论”，目标为生成相应的“问题”。“讨论”表示一段小的会议，由“问题”之后的10句话组成，“问题”表示针对这段
讨论的总结，根据“问答对”关系得到；

[0079] 若不是“问题”，结束；

[0080] 步骤三二、得到伪数据以后，根据步骤二进行同样的处理，得到伪数据的会议篇章结构图。

[0081] 其它步骤及参数与具体实施方式一至五之一相同。

[0082] 具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤四中利用步骤三构建好的伪数据和对应的伪数据的会议篇章结构图预训练基于图神经网络
的生成式会议摘要模型，得到预训练好的图神经网络的生成式会议摘要模型和初始化参
数；

[0083] 将步骤一得到的会议数据的对话篇章结构和步骤二得到的会议篇章结构图输入预训练好的图神经网络的生成式会议摘要模型进行训练，得到训练好的图神经网络的生成
式会议摘要模型和模型参数；

[0084] 利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要；

[0085] 具体过程为：

[0086] 步骤四一、获取节点表示；具体过程为：

[0087] 按照步骤二构建出的对话篇章结构图一共包含三种类型的节点；

[0088] 对于全局节点和关系节点，从一个随机初始化的词嵌入矩阵中获得对应的全局节点和关系节点的初始表示

[0089] 该词嵌入矩阵存储了全局节点和关系节点的初始表示，对于全局节点，有一个向量表示，对于每一个关系节点，也有一个向量表示。这些表示是随机初始化得到的。

[0090] 对于句子节点，一个会议包含了|U|个句子[u1,u2,...,u|U|]，其中第i个句子被表示为ui＝[ui,1,ui,2,…,ui,|U|]，uij代表了第i个句子中的第j个词语；每一个句子ui都对应一
个说话人pi，pi∈P，P是说话人集合；

[0091] 利用步骤一二划分出的AMI会议训练集(97个会议)构建词表，词表包含了AMI会议训练集中所有的词语及其对应的ID索引，每一个词语都拥有唯一索引；

[0092] 对于句子节点，使用双向长短时记忆网络(BiLSTM)获得每一个词语uij的表示hi,j，如图6句子编码器：

[0093] hi,j＝BiLSTM(hi,j‑1,ei,j)  (1)

[0094] 式(1)中，hi,j代表了BiLSTM的隐层状态，ei,j代表了句子中词语的词向量；ei,j由预训练好的词向量和说话人pi对应的独热向量拼接而成；ei,j＝[wui,j||wpi]，其中wui,j为词语
uij对应的现有的预训练好的词向量，对于一个词语，可以根据词表对应的索引在预训练好
的词嵌入矩阵中得到，wpi为说话人pi对应的独热向量，独热向量为一种向量表示形式，例
如：有4种说话人A、B、C、D，那么这四种角色的独热向量分别为，A：[1，0，0，0]，B：[0，1，0，0]，
C：[0，0，1，0]，D：[0，0，0，1]，||代表两个向量拼接；

[0095] 将BiLSTM前向和后向的表示相拼接，得到句子ui的初始表示

[0096]

[0097] 其中，代表前向表示，代表后向表示；

[0098] 至此，全局节点、关系节点、句子节点得到了初始表示

[0099] 步骤四二、利用图卷积神经网络更新表示，如图6图编码器。

[0100] 对于每一个节点vi∈VD，将步骤四一得到的初始表示 送入到现有图卷积神经网络中更新节点表示：

[0101]

[0102] 式(2)中，Nr(vi)代表节点vi在关系r下的邻居节点；|Nr(vi)|代表节点vi在关系r下的邻居节点的数量； 代表第l层对于关系r可学习的参数；ReLU为激活函数； 代表
节点vi在l+1层的表示； 代表节点vj在l层的表示；

[0103] 根据式(2)更新节点表示利用卷积操作，根据下一层邻居节点的表示来更新得到上一层的节点表示，这种方式可以充分的利用对话篇章结构图的信息，学习得到更好的节
点表示。

[0104] 不同的节点拥有不同的重要程度，为了更有效地获取不同节点的信息。本发明利用门控机制对来自不同节点的信息进行控制：

[0105]

[0106] 式(3)中， 代表节点vj在l层的表示， 代表第l层对于关系r可学习的参数，sigmoid为激活函数， 的范围为

[0107] 采用门控机制以后，式(2)的卷积操作变为式(4)：

[0108]

[0109] 步骤四三、利用单向长短时记忆网络(LSTM)解码器来生成摘要，如图6解码器；具体过程为：

[0110] 步骤四二得到了每一个节点的更新表示，将步骤四二更新后的全局节点G表示赋值给解码器的细胞状态和隐层状态来初始化解码器的初始状态；

[0111] 在解码的每一步，利用注意力机制，根据解码器状态st计算词语级别上下文向量和句子级别上下文向量

[0112] 词语级别的上下文向量 计算方式为：

[0113]

[0114] at＝softmax(et)

[0115]

[0116] 式(5)中，Wa为可学习的参数， 是步骤四一(公式1的)获得的词语初始表示；t
为对于第i句话第j个词语，未归一化的权重； 为解码器t时刻状态；a为经过归一化以后
t
的权重；e为归一化之前的权重； 为词语级别的向量表示； 为归一化以后的，对于第i
句话第j个词语的权重；

[0117] 句子级别的上下文向量 计算方式为：

[0118]

[0119] 式(6)中，Wb为可学习的参数， 是经过现有的图卷积神经网络更新后的最后一t
层的句子表示； 为对于句子j未归一化的权重；a′为对于句子j归一化之后的权重；

[0120] 将词语级别和句子级别的上下文向量拼接得到最终上下文向量

[0121] 根据上下文向量 和当前时刻解码器隐藏层状态st计算词表中生成每一个词语的概率Pvocab，词表为步骤四一得到的词表：

[0122] Pvocab＝softmax(V′(V[st||ht*]+b)+b′)  (7)

[0123] 式(7)中，V,V′,b和b′为可学习的参数； 代表st和 的拼接；softmax为归一化函数；Pvocab(w)代表了生成词表中词语w的概率；

[0124] 除了从词表中生成词语，本发明模型还允许从原文中拷贝词语。首先计算从词表中生成词语的概率pgen，该概率说明了有多大可能性从词表中生成词语，例如pgen为0.8，代
表了有80％的可能性从词表中生成词语，有20％的可能性从原文中拷贝词语：

[0125]

[0126] 式(8)中， ws，wx和bptr为可学习的参数；sigmoid为激活函数；pgen代表了从词表中生成的概率，1‑pgen代表了从原文中拷贝的概率； 为对 求转置； 为对ws求转置；
为对wx求转置；xt为t时刻解码器输入词语的现有的预训练好的词向量；

[0127] 因此对于一个词语w，综合考虑从词表中生成的概率和从原文中拷贝的概率，最终概率如式(9)：

[0128]

[0129] 式(9)中， 为经过归一化以后的对于第i句话第j个词语的权重；

[0130] 使用极大似然估计训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网络的生成式会议摘要模型；

[0131] 利用训练好的图神经网络的生成式会议摘要模型对待测试的会议进行测试，生成摘要。

[0132] 根据步骤四一到四三，首先使用步骤三构建好的伪数据预训练模型，得到训练好的模型以后，接着使用AMI会议数据集微调模型，得到最终的生成式会议摘要模型。给定一
段会议和对应的会议篇章结构图，我们使用训练好的基于图神经网络的生成式会议摘要模
型根据式(9)来生成最终摘要。

[0133] 其它步骤及参数与具体实施方式一至六之一相同。

[0134] 具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述使用极大似然估计(公式10)训练基于图神经网络的生成式会议摘要模型，得到训练好的图神经网
络的生成式会议摘要模型；具体过程为：

[0135] 在解码器的每一步，根据式(9)预测的词语的概率和标准词语(带标签的 等)计算交叉熵损失；过程为：

[0136] 对于一个会议U，给定标准摘要 训练目标是最小化式(10)：

[0137]

[0138] 式(10)中， 为标准摘要中的第一个词语； 为标准摘要中的最后一个词语；为t时刻需要预测的标准摘要的词语；L为损失函数。

[0139] 其它步骤及参数与具体实施方式一至七之一相同。

[0140] 采用以下实施例验证本发明的有益效果：

[0141] 实施例一：

[0142] 本发明对提出的模型进行了实现，同时和目前的基线模型(Sentence‑Gated模型)和标准摘要进行了对比。

[0143] 目前的Sentence‑Gated模型生成的摘要：

[0144] The need to incorporate a fruit theme into the design ofthe remote.

[0145] 需要将水果主题融入遥控器的设计中。

[0146] 本发明模型生成的摘要：

[0147] The buttons will be included in a fruit and vegetable theme into the shape of the remote control.

[0148] 这些按钮将包含在一个以水果和蔬菜为主题的遥控器中。

[0149] 标准摘要：

[0150] The Marketing Expert presented trends in the remote control market and the fruit and vegetable and spongy material trends in fashion.

[0151] 市场专家介绍了市场的发展趋势，以及果蔬、海绵状材料的流行趋势。

[0152] 可以看出

[0153] 本发明的模型可以生成与标准摘要更加相似的结果，通过引入对话篇章结构，可以更全面的理解会议信息。

[0154] 本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于
本发明所附的权利要求的保护范围。