本发明公开了一种融合短语先验知识的依存句法分析方法，先标记不同词性短语的边界，对不同词性短语数据进行依存句法分析，分别训练得到不同词性短语的句法分析模型；将边界标记后的不同词性的短语作为短语识别训练语料，训练得到短语识别模型；对短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，将其作为先验知识训练句法分析模型；测试过程中，将待分析句子输入到短语识别模型中，将句中不同短语部分输入到不同词性短语的句法分析模型中，得到短语内依存句法信息，将其输入到融合短语先验知识的句法分析模型中，输出整句的依存句法分析结果。本发明还提供了基于该方法的依存句法分析装置。本发明能够提高句法分析准确率。
1.一种融合短语先验知识的依存句法分析方法，其特征在于，包括步骤：
(1)根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，对不同词性短语进行依存句法分析，分别训练得到不同词性短语的句法分析模型；
(2)将边界标记后的不同词性短语作为短语识别训练语料，训练得到短语识别模型；
(3)对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料，训练得到融合短语先验知识的句法分析模型；
(4)将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
2.根据权利要求1所述的融合短语先验知识的依存句法分析方法，其特征在于：所述词性包括介词、名词。
3.根据权利要求1所述的融合短语先验知识的依存句法分析方法，其特征在于，所述依存句法分析训练数据为对句子进行分词、词性标注后的数据。
4.根据权利要求1所述的融合短语先验知识的依存句法分析方法，其特征在于，所述步骤(1)包括：根据依存句法关系得到依存句法树，判断依存于根节点且为状中关系的介词，找到依存于所述介词的最右节点，进行标记。
5.根据权利要求1所述的融合短语先验知识的依存句法分析方法，其特征在于，所述步骤(1)包括：根据依存句法关系得到依存句法树，判断依存于根节点且为主谓关系或动宾关系的名词是否存在依存于所述名词且为定中关系或复合名词修饰关系的词，若存在则找到依存于该词的最左及最右节点，进行标记。
6.一种基于权利要求1所述分析方法的依存句法分析装置，其特征在于，包括：
预处理模块，用于根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，构建短语识别训练语料；对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料；
训练模块，用于对不同词性短语数据进行依存句法分析，分别训练得到对应词性短语的句法分析模型；利用构建的短语识别训练语料训练得到短语识别模型；利用构建的包含短语内依存句法信息的句法分析训练语料训练得到融合短语先验知识的句法分析模型；
分析模块，用于将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
7.根据权利要求6所述的依存句法分析装置，其特征在于，所述预处理模块用于根据依存句法关系得到依存句法树，判断依存于根节点且为状中关系的介词，找到依存于所述介词的最右节点，进行介词短语边界标记，抽取介词短语句法分析训练语料；判断依存于根节点且为主谓关系或动宾关系的名词是否存在依存于所述名词且为定中关系或复合名词修饰关系的词，若存在则找到依存于该词的最左及最右节点，进行名词短语边界标记，抽取名词短语句法分析训练语料；根据标记后的边界抽取短语识别训练语料。
一种融合短语先验知识的依存句法分析方法及装置
技术领域
[0001] 本发明属于自然语言处理技术领域，尤其涉及一种融合短语先验知识的依存句法分析方法及装置。
背景技术
[0002] 句法分析是自然语言处理中的关键底层技术之一，基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。句法分析可以应用于信息检索、机器翻译、情感分析等任务中。目前，常用的句法分析方法有成分句法分析和依存句法分析两种，依存句法具有表现形式简单易懂、易于标注、接近语义关系的优势。
[0003] 现有的依存句法分析存在语料数据稀疏、长距离依存分析准确率低等问题。
发明内容
[0004] 发明目的：本发明提出一种高准确率的依存句法分析方法。本发明的另一目的在于提出基于该方法的依存句法分析装置。
[0005] 技术方案：本发明所采述的融合短语先验知识的依存句法分析方法，该方法包括：
[0006] (1)根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，对不同词性短语进行依存句法分析，分别训练得到不同词性短语的句法分析模型；
[0007] (2)将边界标记后的不同词性短语作为短语识别训练语料，训练得到短语识别模型；
[0008] (3)对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料，训练得到融合短语先验知识的句法分析模型；
[0009] (4)将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
[0010] 本发明通过所述短语识别模型先将待分析句子的长度进行缩短，以降低后续对待分析句子整句进行依存句法分析的难度。
[0011] 进一步地，所述词性包括介词、名词。
[0012] 进一步地，所述依存句法关系主要包括：主谓关系(SBJ)、动宾关系(COMP)、介宾关系(OBJ)、连动关系(AUX)、并列关系(CJTN)、定中关系(AMOD)、复合名词修饰关系(NMOD)，状中关系中动词修饰动词(ADV)、介词短语修饰动词(位置LOC、方式MNR、对象DIR)。
[0013] 进一步地，所述依存句法分析训练数据为对句子进行分词、词性标注后的数据。
[0014] 进一步地，所述步骤(1)包括：根据依存句法关系得到依存句法树，判断依存于根节点且为状中关系的介词，找到依存于所述介词的最右节点，进行标记。
[0015] 进一步地，所述步骤(1)包括：根据依存句法关系得到依存句法树，判断依存于根节点且为主谓关系或动宾关系的名词是否存在依存于所述名词且为定中关系或复合名词修饰关系的词，若存在则找到依存于该词的最左及最右节点，进行标记。
[0016] 本发明所述的融合短语先验知识的依存句法分析装置，包括：
[0017] 预处理模块，用于根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，构建短语识别训练语料；对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料；
[0018] 训练模块，用于对不同词性短语数据进行依存句法分析，分别训练得到对应词性短语的句法分析模型；利用构建的短语识别训练语料训练得到短语识别模型；利用构建的包含短语内依存句法信息的句法分析训练语料训练得到融合短语先验知识的句法分析模型；
[0019] 分析模块，用于将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
[0020] 进一步地，所述预处理模块用于根据依存句法关系得到依存句法树，判断依存于根节点且为状中关系的介词，找到依存于所述介词的最右节点，进行介词短语边界标记，抽取介词短语句法分析训练语料；判断依存于根节点且为主谓关系或动宾关系的名词是否存在依存于所述名词且为定中关系或复合名词修饰关系的词，若存在则找到依存于该词的最左及最右节点，进行名词短语边界标记，抽取名词短语句法分析训练语料；根据标记后的边界抽取短语识别训练语料。
[0021] 有益效果：(1)本发明将短语识别应用于依存句法分析之前，并将单独分析得到的短语内的句法依存关系作为先验知识，丰富了模型的信息，提升长句中短语部分的句法分析准确度，进而提高整体的准确率；
[0022] (2)通过已有句法分析训练语料中的依存关系自动构建短语识别训练语料，既可以获取到短语信息，又能获取到短语内的句法关系信息(通用的短语识别训练预料没有句法关系信息，只有短语边界信息)；另外，基于相同结构的句法分析模型进行分析，可以使短语内的依存句法分析结果准确率高；
[0023] (3)将语词之间的句法关系作为先验知识输入到模型中，而不直接将短语句法分析模型输出的短语内句法关系直接作为分析结果，可以避免短语识别时已经发生错误，导致句法分析结果错误。
附图说明
[0024] 图1是本发明的方法流程示意图；
[0025] 图2是本实施例句子语料图；
[0026] 图3是本实施例短语边界标记后形成的短语识别训练语料图；
[0027] 图4是本实施例对介词短语的依存句法分析图；
[0028] 图5是本实施例对名词短语的依存句法分析图；
[0029] 图6是本实施例融合短语先验知识的句法分析模型构建图。
具体实施方式
[0030] 下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0031] 如图1所示，其示出了本发明所述的融合短语先验知识的依存句法分析方法流程示意图，该方法包括：
[0032] (1)根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，对不同词性短语进行依存句法分析，分别训练得到不同词性短语的句法分析模型；
[0033] (2)将边界标记后的不同词性短语作为短语识别训练语料，训练得到短语识别模型；
[0034] (3)对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料，训练得到融合短语先验知识的句法分析模型；
[0035] (4)将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
[0036] 如图2所示，依存句法分析训练数据中的一条数据为“企业在改革方面要积极推进企业战略性改组”。首先对该句进行分词、词性标注，如图6所示，即原模型训练输入信息，包括分词后的词id、词、词性。
[0037] 接着进行短语的边界标记，得到如图3所示的短语识别训练语料。其中，-前边的代表边界，B开始位置，I中间位置，E结束位置，-后边的代表短语类型，P代表介词短语，N代表名词短语。再经过短语识别模型后分别得到介词短语“在改革方面”和名词短语“企业战略性改组”。利用介词短语的句法分析模型得到介词短语内部的依存句法关系。利用名词短语的句法分析模型得到名词短语内部的依存句法关系。
[0038] 其中，句法关系主要包括以下几种：主谓关系(SBJ)、动宾关系(COMP)、介宾关系(OBJ)、连动关系(AUX)、并列关系(CJTN)、定中关系(AMOD)、复合名词修饰关系(NMOD)，状中关系中动词修饰动词(ADV)、介词短语修饰动词(位置LOC、方式MNR、对象DIR)。
[0039] 对短语进行标记的原则是针对介词短语和名词短语：介词短语修饰动词为状中关系，名词短语修饰动词为主谓关系和动宾关系。进行短语标记的步骤如下：
[0040] 1)从根节点出发，寻找依存于根节点的词；
[0041] 2)标记名词短语：判断依存于根节点且为主谓关系(SBJ)、动宾关系(COMP)的名词，是否存在于依存于它的词且为定中关系(AMOD)或复合名词修饰关系(NMOD)，找到最左及最右依存于此词的节点，进行标记。
[0042] 3)标记介词短语：判断依存于根节点且为状中关系(LOC、DIR、MNR)的介词，找到依存于此介词的最右节点，进行标记。
[0043] 根据标记后的边界形成短语识别训练数据，提取介词短语和名词短语句法分析训练数据。
[0044] 由此得出“在改革方面”的依存句法关系是：“在”为介词短语的根节点(ROOT)，“在”与“方面”是介宾关系(OBJ)，“改革”与方面是复合名词修饰关系(NMOD)，如图4所示。
[0045] “企业战略性改组”的依存句法关系是：“改组”为名词短语的根节点(ROOT)，“企业”、“战略性”与“改组”均是复合名词修饰关系(NMOD)，如图5所示。
[0046] 介词短语和名词短语的依存句法关系作为先验知识，按照词id，填写每个词对应的短语内的依存词id及其依存关系，从而得到包含短语内依存句法信息的句法分析训练语料，以此作为融合短语先验知识的句法分析模型的输入，如图6所示。其中，-1和O代表“没有依存关系”，指短语外的内容。0和root代表短语内部的根。训练得到的融合短语先验知识的句法分析模型输出标签，包括每个词对应的整句中的依存词id和依存关系，其中，依存关系包含句子主干句法关系和短语内句法关系两部分。句子主干句法关系是在短语识别后，利用词性成分替代相对应的短语部分以缩短待分析句子长度，再对整句进行依存句法分析得到的依存关系。
[0047] 本发明还提供了一种融合短语先验知识的依存句法分析装置，包括：
[0048] 预处理模块，用于根据依存句法关系对依存句法分析训练数据进行不同词性短语的边界标记，构建短语识别训练语料；对所述短语识别训练语料进行短语内的依存句法分析，得到短语内依存句法信息，构建包含短语内依存句法信息的句法分析训练语料；
[0049] 训练模块，用于对不同词性短语数据进行依存句法分析，分别训练得到对应词性短语的句法分析模型；利用构建的短语识别训练语料训练得到短语识别模型；利用构建的包含短语内依存句法信息的句法分析训练语料训练得到融合短语先验知识的句法分析模型；
[0050] 分析模块，用于将待分析句子输入所述短语识别模型，识别出所述待分析句子中的不同词性短语，利用所述不同词性短语的句法分析模型识别出不同词性短语内部的依存句法关系，将识别出的不同词性短语内部的依存句法关系输入到所述融合短语先验知识的句法分析模型中，输出待分析句子的依存句法分析结果。
[0051] 所述预处理模块用于根据依存句法关系得到依存句法树，判断依存于根节点且为状中关系的介词，找到依存于所述介词的最右节点，进行介词短语边界标记，抽取介词短语句法分析训练语料；判断依存于根节点且为主谓关系或动宾关系的名词是否存在依存于所述名词且为定中关系或复合名词修饰关系的词，若存在则找到依存于该词的最左及最右节点，进行名词短语边界标记，抽取名词短语句法分析训练语料；根据标记后的边界抽取短语识别训练语料。
