基于显式事件结构知识增强的事件检测方法及终端设备转让专利
申请号 : CN202110461202.6
文献号 : CN113111184B
文献日 : 2022-03-08
发明人 : 郑海涛 , 张奕麟 , 李自然
申请人 : 清华大学深圳国际研究生院
摘要 :
权利要求 :
1.一种基于显式事件结构知识增强的事件检测方法,其特征在于,包括如下步骤:S1:根据包括事件类型、事件触发词、事件论元角色和事件中的核心元素的事件结构构建事件背景知识图,实现对事件结构显式地构建事件检测模型;
S2:将所述事件背景知识图中的事件结构的知识与输入句子进行动态知识匹配,构建属于所述输入句子的包含高度相关的事件背景知识的子图;
S3:对所述子图进行过滤和编码,并通过图卷积计算得到包含事件结构的知识的信息的图表示;
S4:将所述包含事件结构的知识的信息的图表示输入事件检测分类器中,确定事件触发词的类别,并根据事件触发词的类别确定所述输入句子对应的事件类型;
所述事件背景知识图的构建步骤包括:S1.1:将事件触发词和事件论元的文字作为所述事件背景知识图的文本节点,将事件触发词和事件论元角色的注释标签作为知识节点;
S1.2:将各文本节点和知识节点分别进行连接,分别对事件触发词、事件论元和事件注释之间的关系,文本之间的关系,事件中的核心元素之间的关系,进行事件检测模型的构建;
各文本节点和知识节点的连接方式包括:根据事件结构将对应的文本节点与知识节点进行纵向连接;
将事件触发词的文本节点与事件论元的文本节点进行文本横向连接;
将事件触发词的知识节点与同一事件内的其他论元角色的知识节点进行知识横向连接;
所述动态知识匹配的步骤包括:
S2.1:将所述事件背景知识图中事件触发词相关的背景知识与所述输入句子中的潜在事件触发词进行匹配;计算所述潜在事件触发词与所述事件背景知识图中事件触发词文本节点之间的事件触发词语义相似度得分;
S2.2:选择所述事件触发词语义相似度得分最高的前k个潜在事件触发词作为候选事件触发词,并将所述候选事件触发词的文本节点所匹配的知识节点的事件类型作为输入句子的候选事件类型;
S2.3:将输入句子中的潜在事件论元与所述事件背景知识图中的事件论元文本节点进行匹配;计算出所述潜在事件论元与所述事件背景知识图中事件论元文本节点之间的事件论元语义相似度得分;
S2.4:选择所述事件论元语义相似度得分最高的前k个潜在事件论元,基于所述S2.2获得的所述候选事件类型,选择属于所述候选事件类型的事件论元角色作为输入句子中所述事件论元的知识节点;
S2.5:采用所述S1.1‑S1.2的方法构建所述输入句子的子图。
2.如权利要求1所述的基于显式事件结构知识增强的事件检测方法,其特征在于,所述事件触发词语义相似度得分的计算公式为:simtrg(wti,tnj)=cosine(E(wti),E(tnj))其中,wti表示输入句子中的一个潜在事件触发词,tnj表示事件背景知识图中存在的与潜在事件触发词相同的事件触发词文本节点,cosine表示余弦相似度计算,E表示通过ELMo模型获取的词嵌入;
当所述潜在事件触发词未存在于所述事件背景知识图中时,所述事件触发词语义相似度得分的计算公式为:
simtrg(wti,tnj)=α*cosine(E(wti),E(tnj))+(1‑α)*cosine(E(st),E(stn))其中α是人工设置的可调权重,st和stn是输入句子中词语的ELMO嵌入的平均值。
3.如权利要求2所述的基于显式事件结构知识增强的事件检测方法,其特征在于,所述事件论元语义相似度得分的计算公式为:simarg(ek,enq)=cosine(E(ak),E(anq))其中,
E(anq)=[E(tnj),E(enq)]上述公式中,E(wti)表示输入句子中的候选事件触发词wti的词嵌入,E(ek)表示实体ek的词嵌入,E(ak)表示输入句子中的潜在事件论元,E(tnj)表示获得的候选事件触发词文本节点的嵌入,E(enq)表示同一事件类型中的论元角色文本节点enq的嵌入,E(anq)表示事件背景知识图中的事件论元。
4.如权利要求1所述的基于显式事件结构知识增强的事件检测方法,其特征在于,对所述子图进行过滤和编码,并通过图卷积计算得到包含事件结构的知识的信息的图表示的步骤包括:
S3.1:将事件背景知识图中的每个事件中的事件触发词和事件论元角色的知识节点之间的连接作为所述每个事件的事件结构模式,预先设置一个次数作为阈值,再统计事件背景知识图中的所有事件结构模式,将同一事件中出现次数超过所述阈值的事件结构模式判定为高频事件结构模式;
S3.2:通过事件选择路径机制对所述子图进行过滤;
S3.3:通过文本编码器对所述子图中的文本节点进行编码;通过知识编码器对所述子图中的知识节点进行编码;
S3.4:通过对边添加权重门来进一步更新边的权重并进行学习;再将所述子图的节点编码与边的权重输入多层图卷积神经网络,通过图卷积计算得到所述输入句子的图嵌入并进行学习,得到包含事件结构的知识的信息的图表示。
5.如权利要求4所述的基于显式事件结构知识增强的事件检测方法,其特征在于,通过事件选择路径机制对所述子图进行过滤的方式为:当所述输入句子的子图中的候选事件的事件结构模式属于高频事件结构模式时,则保留所述子图中的所述候选事件的知识节点与事件结构模式,并对所述子图中连接文本节点和知识节点的边的权重进行初始化,初始化的值为所述潜在事件论元语义相似度得分,对于所述子图中文本节点与文本节点、知识节点与知识节点横向连接的边,将边的权重初始化为1;当所述输入句子的子图中的候选事件的事件结构模式不属于高频事件结构模式时,则将所述子图中连接文本节点和知识节点之间的边的权重设置为0,对于所述子图中文本节点与文本节点、知识节点与知识节点横向连接的边,将边的权重初始化为0;边的权重为0的,表示被过滤的候选事件结构。
6.如权利要求5所述的基于显式事件结构知识增强的事件检测方法,其特征在于,对于所述子图中属于高频事件结构模式的事件背景知识中的非事件类型,设置表示非事件类型的知识节点,并将所述非事件类型的知识节点添加到每个候选事件触发词和事件论元的文本节点,以及将边的权重设置为0;对于所述被过滤的候选事件结构中的文本节点,设置表示无事件类型的知识节点,并将所述无事件类型的知识节点添加到每个候选事件触发词和事件论元的文本节点,以及将边的权重设置为1。
7.一种事件检测终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1‑6任一所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1‑6任一所述方法的步骤。
说明书 :
基于显式事件结构知识增强的事件检测方法及终端设备
技术领域
背景技术
词和生僻触发词示例如图1所示。由于自然语言自身带有一定的多样性和歧义性,相同的事
件触发词可能会根据上下文语境的不同从而代表不同的事件类别。在没有其他额外的知识
或信息作为参考的情况下,歧义触发词可能会导致事件检测系统错误地对触发词的事件类
别进行标记。现有技术为解决歧义触发词的问题,通常对上下文中其他事件元素的信息进
行学习,而并没有对事件自身的结构知识进行探索与利用。对事件检测任务来说,识别生僻
触发词等未在训练数据集中出现过的事件触发词同样也是一项艰巨的挑战。现有的事件检
测模型通常通过学习同种事件类型下其他事件触发词的通用知识来检测生僻触发词。因
此,如何从其他事件中选择更合适的通用知识,并采用全方位的事件结构知识来增强生僻
触发词的向量表示仍然值得探索。
发明内容
构建;
文本节点之间的事件触发词语义相似度得分;
入句子的候选事件类型;
事件论元语义相似度得分;
入句子中所述事件论元的知识节点;
ELMo模型获取的词嵌入;
文本节点的嵌入,E(enq)表示同一事件类型中的论元角色文本节点enq的嵌入,E(anq)表示事
件背景知识图中的事件论元。
件背景知识图中的所有事件结构模式,将同一事件中出现次数超过所述阈值的事件结构模
式判定为高频事件结构模式;
图嵌入并进行学习,得到包含事件结构的知识的信息的图表示。
节点和知识节点的边的权重进行初始化,初始化的值为所述潜在事件论元语义相似度得
分,对于所述子图中文本节点与文本节点、知识节点与知识节点横向连接的边,将边的权重
初始化为1;当所述输入句子的子图中的候选事件的事件结构模式不属于高频事件结构模
式时,则将所述子图中连接文本节点和知识节点之间的边的权重设置为0,对于所述子图中
文本节点与文本节点、知识节点与知识节点横向连接的边,将边的权重初始化为0;边的权
重为0的,表示被过滤的候选事件结构。
候选事件触发词和事件论元的文本节点,以及将边的权重设置为0;对于所述被过滤的候选
事件结构中的文本节点,设置表示无事件类型的知识节点,并将所述无事件类型的知识节
点添加到每个候选事件触发词和事件论元的文本节点,以及将边的权重设置为1。
序时实现如权利要求1‑9任一所述方法的步骤。
骤。
图,对包括事件类型、事件触发词、论元角色和事件中的核心元素的事件结构显式地进行建
模。在检测输入句子中是否存在事件时,通过动态知识匹配将具有高相关性的事件结构的
知识与输入句子中的词和实体进行匹配,并生成子图,通过事件选择路径机制对子图进行
过滤,对所述子图进行编码,并通过图卷积计算得到包含事件结构的知识的信息的上下文
表示,再通过注意力触发词分类器对事件触发词的类别进行分类,并根据事件触发词的类
别确定输入句子对应的事件类型,提升歧义触发词和生僻触发词的检测准确率和召回率,
从而提升事件触发词的检测效果。
附图说明
具体实施方式
仅以示意方式说明本发明的基本构思,附图中仅显示与本发明中有关的组件而非按照实际
实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的形状、数量及比例可为一种随
意的改变,且其组件布局形态也可能更为复杂。
态地将事件结构的知识与输入句子进行匹配构成子图,以提高事件触发词检测的准确率和
召回率。
触发词、论元角色和事件中的核心元素的事件结构显式地进行事件检测模型的构建。事件
中的核心元素是指句子中的作为“事件触发词”的词和作为“事件论元”的实体,如图2中的
(a)部分上方的三个文本节点所示。在训练阶段,对于一个事件实例,首先使用事件中事件
触发词的文字和事件论元的文字作为图的文本节点。其次,使用事件触发词与事件论元角
色的注释标签作为知识节点,事件触发词的知识节点表示为“[事件类型|触发词]”,事件论
元角色的知识节点表示为“[事件类型|论元角色]”。如图2所示,“事件论元”是指实体“坦
克”,而事件论元角色则代表该事件论元在事件中所扮演的角色,因此事件论元“坦克”在图
2中的“攻击”事件中的“事件论元角色”为“攻击者”;“攻击”是事件触发词“开火”的事件类
型。
识的关系进行模拟。如图2中的(a)部分所示,事件触发词的知识节点“[攻击|触发词]”与事
件触发词的文本节点“开火”连接,并将边的类别设置为“触发词”。事件论元角色的知识节
点“[攻击|攻击者]”和“[攻击|目标]”则与事件中对应的实体元素“坦克”和“房屋”连接,并
将边的类别设置为“论元”。文本节点和知识节点之间的连接包括了触发词和论元的事件相
关的背景知识,对触发词、论元和事件注释之间的关系进行了事件检测模型的构建。事件注
释包含事件类型和事件论元角色,如图2中的(a)部分下方的三个知识节点所示。
件中文本之间的关系进行事件检测模型的构建。同时,将事件触发词的知识节点与同一事
件内的其他论元角色的知识节点进行连接,以此对事件中的核心元素之间的关系进行事件
检测模型的构建。
过步骤S2“动态知识匹配”被进一步运用的,统称为“事件结构的知识”。
的事件背景知识的子图,提高事件触发词检测的召回率。
词与动词,因此我们将输入句子中所有的名词与动词视为潜在事件触发词。对于输入句子
中的一个潜在事件触发词wti,如果在事件背景知识图中存在与潜在事情触发词相同的文本
节点tnj,则计算两者之间的语义相似度得分simtrg(wti,tnj)=cosine(E(wti),E(tnj)),其中
cosine表示余弦相似度计算,E表示通过ELMo模型获取的词嵌入。对于未存在于事件背景知
识图中的潜在事件触发词,除了计算潜在事件触发词与事件背景知识图中事件触发词文本
节点之间的语义相似度得分之外,同时将输入句子的上下文文本信息纳入考虑范围内,并
计算语义相似度得分simtrg(wti,tnj)=α*cosine(E(wti),E(tnj))+(1‑α)*cosine(E(st),E
(stn)),其中α是人工设置的可调权重,st和stn是句子中词语的ELMO嵌入的平均值。在将输入
句子中的潜在事件触发词与事件背景知识图中的所有触发词文本节点进行比较之后,选择
语义相似度得分最高的前k个匹配项,将所选的潜在触发词视为候选事件触发词,并将文本
节点所匹配的知识节点的事件类型视为输入句子的候选事件类型。
配。将输入句子中所有的实体视为潜在事件论元,并计算潜在事件论元与事件背景知识图
中事件论元的文本节点的语义相似度得分。为了在匹配时考虑事件结构的整体信息,将输
入句子中的候选事件触发词wti的词嵌入E(wti)与实体ek的词嵌入E(ek)进行拼接,得到一个
同时包含事件触发词与实体信息的嵌入 来表示句子中的潜在事件
论元。同理,将通过事件触发词相关的背景知识匹配而获得的候选事件触发词的文本节点
的嵌入E(tnj)与同事件类型中的论元角色的文本节点的嵌入E(enq)进行拼接,得到E(anq)=
[E(tnj),E(enq)]来表示事件背景知识图中的事件论元。通过计算语义相似度得分simarg(ek,
enq)=cosine(E(ak),E(anq)),得到输入句子中的潜在事件论元与事件背景知识图中的事件
论元的匹配得分。对于输入句子中的每个潜在事件论元,选择语义相似度得分最高的前k个
匹配项。同时,基于通过事件触发词相关的背景知识匹配而获得的候选事件类型,仅保留属
于输入句子中候选事件类型的论元角色作为输入句子中事件论元的知识节点,并按照步骤
S1中事件背景知识图的构图方法构建输入句子的子图,如图3中的(b)部分所示。
进行过滤。此外,基于动态知识匹配过程中得到的语义相似度得分来初始化子图中边的权
重,以此来进一步区分不同的事件背景知识对于输入句子的重要程度。同时,引入表示非事
件种类的知识节点“[其他]”以进一步增强事件检测模型的鲁棒性。从而提高事件触发词检
测的准确率。
击|目标]”,并预先设置一个次数作为阈值。通过统计事件背景知识图中的所有事件结构模
式,将出现次数超过设置阈值的事件结构模式视为高频事件结构模式。对于输入句子,在通
过动态匹配构建的子图中,如果子图中的候选事件的事件结构模式属于高频事件结构模式
之一,则保留子图中的该候选事件的知识节点与事件结构,并对子图中连接文本节点和知
识节点的边的权重进行初始化,初始化的值为步骤S2动态知识匹配中计算出的语义相似度
得分。对于文本节点与文本节点、知识节点与知识节点横向连接的边,边的权重初始化为1。
接过滤并删除构成该事件结构模式的所有知识节点,而是将子图中属于该事件结构模式的
文本节点和知识节点之间的边的权重初始化为0,以此保持子图的完整性并增强鲁棒性。如
图3的(b)部分所示,实线表示满足事件路径选择条件的边,而虚线则表示被过滤的事件结
构的知识。
节点,并将边的权重设置为0。对于被过滤的候选事件结构中的文本节点,将表示无事件类
别的知识节点“[其他]”添加到文本节点并将边的权重设置为1。
入句子中的词语的预训练词嵌入、POS标签嵌入、位置嵌入和实体类型嵌入进行拼接,构造
句子的向量序列。使用双向长短期记忆神经网络进一步对句子的序列信息进行编码,获得
新的句子表示向量作为输入句子中文本节点的文本嵌入。使用TransE作为知识编码器,对
事件背景知识图中的知识节点进行编码。
中每条边各自的重要性进行学习。接着将子图的节点编码与边的权重输入多层图卷积神经
网络并得到输入句子的图表示。输入句子的文本节点的表示向量通过图卷积神经网络对相
邻的知识节点进行学习,使图表示包含事件结构的知识的信息。
对应的事件类型,实现事件检测。
配,得到与词“visit”匹配度得分最高的训练例1中的事件触发词“visit”和其事件触发词
知识节点[Transport|Trigger],以及与实体“Russia”匹配度得分最高的训练例1中的事件
论元“Pyongyang”和其论元角色知识节点[Transport|Destination]。基于以上匹配到的事
件结构的知识的信息,本测试例将歧义触发词准确地判定为Transport‑Movement事件类
型。
End‑Position触发词背景知识的触发词“ouster”,并通过动态匹配机制将相关的触发词知
识节点[End‑Position|Trigger]添加到输入句子的子图中。通过从全局事件结构中匹配到
更合适的事件相关知识来构建子图,并通过图卷积计算将相关信息融入上下文表示,本测
试例可以正确地将生僻触发词“sacking”识别出,并将其分类为End‑Position事件类型。
测。事件检测在工业界中的多个领域的应用场景中也都得到了应用,例如:在金融领域中,
对企业资讯、公告、金融新闻等文本数据中对可能对市场造成影响的事件进行检测,从而为
交易人员及时提供最新的信息;在社交媒体领域中,平台可以通过使用事件检测技术对新
闻资讯进行发掘,从而对当前的热点新闻事件进行监测;在电商和论坛等领域,平台可以使
用事件检测技术对售后服务、产品质量等问题进行监测,及时发现潜在的隐患;比如:可以
用于智能汽车企业及时发现产品质量缺陷,避免造成事故。
离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应
当视为属于本发明的保护范围。