文本处理方法、文本特征关系抽取方法及装置

摘要

本申请涉及一种文本处理方法、文本特征关系抽取方法及装置。文本处理方法包括：根据第一文本样本集中的第一文本样本、第一文本样本的权重训练目标模型，对目标模型进行模型参数更新，第一文本样本集中包括噪声文本样本；将目标模型的模型参数共享至参照模型；根据第二文本样本集中的第二文本样本、第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；根据第一文本样本及更新后的权重，对目标模型进行模型参数二次更新；继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。采用本方法能够提升机器学习模型性能。

权利要求

1.一种文本处理方法，其特征在于，所述方法包括：

获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；所述第一文本样本集中包括噪声文本样本，所述第二文本样本集中不包括噪声文本样本，所述噪声文本样本是携带错误训练标签的样本；

采用所述第一文本样本集中的第一文本样本、并根据所述第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新；

将所述目标模型的模型参数共享至所述参照模型；

采用所述第二文本样本集中的第二文本样本、并根据所述第一文本样本的权重构建参照损失函数训练所述参照模型，对所述第一文本样本进行权重更新；

采用所述第一文本样本、并根据所述第一文本样本更新后的权重二次训练所述目标模型，对所述目标模型进行模型参数二次更新；

继续循环进行所述模型参数更新、所述权重更新和所述模型参数二次更新，直至满足训练停止条件时结束训练；所述目标模型用于对文本提取特征字段及所述特征字段相应的语义关系。

2.根据权利要求1所述的方法，其特征在于，所述采用所述第一文本样本集中的第一文本样本、并根据所述第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新，包括：从所述第一文本样本集中选取多于一个第一文本样本；

将所述多于一个第一文本样本分别输入所述目标模型，得到所述多于一个第一文本样本各自对应的目标损失函数；

将所述目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数；

按照最小化所述目标优化函数的方向，对所述目标模型进行模型参数更新。

3.根据权利要求2所述的方法，其特征在于，所述采用所述第一文本样本、并根据所述第一文本样本更新后的权重二次训练所述目标模型，对所述目标模型进行模型参数二次更新，包括：将所述多于一个第一文本样本分别输入模型参数更新后的所述目标模型，得到所述多于一个第一文本样本各自对应的更新后的目标损失函数；

将所述更新后的目标损失函数按照各自对应的第一文本样本更新后的权重，更新所述目标优化函数；

按照最小化更新后的目标优化函数的方向，对所述目标模型进行模型参数二次更新。

4.根据权利要求1所述的方法，其特征在于，所述采用所述第一文本样本集中的第一文本样本、并根据所述第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新，包括：获取所述第一文本样本集中的第一文本样本；

向量化所述第一文本样本得到文本特征向量；

将所述文本特征向量输入所述目标模型得到目标损失函数；

将所述第一文本样本的权重赋予所述目标损失函数后，按照最小化所述目标损失函数的方向，对所述目标模型进行模型参数更新。

5.根据权利要求1所述的方法，其特征在于，所述采用所述第二文本样本集中的第二文本样本、并根据所述第一文本样本的权重构建参照损失函数训练所述参照模型，对所述第一文本样本进行权重更新，包括：获取所述第二文本样本集中的第二文本样本；

将所述第二文本样本输入所述参照模型，得到所述第二文本样本对应的、且以所述第一文本样本的权重为变量的参照损失函数；所述参照损失函数以所述参照模型的模型参数为变量；所述参照模型的模型参数共享自所述目标模型；所述目标模型的模型参数以所述第一文本样本的权重为变量；

按照最小化所述参照损失函数的方向，对所述第一文本样本进行权重更新。

6.根据权利要求5所述的方法，其特征在于，所述采用所述第一文本样本集中的第一文本样本、并根据所述第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新，包括：从所述第一文本样本集中选取多于一个第一文本样本；

采用所述多于一个第一文本样本、并根据所述多于一个第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新；

所述按照最小化所述参照损失函数的方向，对所述第一文本样本进行权重更新，包括：将所述多于一个第一文本样本依次作为当前处理样本；

按照最小化所述参照损失函数的方向，对所述当前处理样本进行权重更新。

7.根据权利要求5所述的方法，其特征在于，所述按照最小化所述参照损失函数的方向，对所述第一文本样本进行权重更新，包括：通过所述参照损失函数对所述第一文本样本的权重进行求导，得到导数值；

查询所述目标模型的学习率；

根据所述导数值和所述学习率生成所述第一文本样本更新后的权重。

8.根据权利要求1所述的方法，其特征在于，所述采用所述第二文本样本集中的第二文本样本、并根据所述第一文本样本的权重构建参照损失函数训练所述参照模型，对所述第一文本样本进行权重更新，包括：从所述第二文本样本集中选取多于一个第二文本样本；

将所述多于一个第二文本样本分别输入所述参照模型，得到所述多于一个第二文本样本各自对应的、且以所述第一文本样本的权重为变量的参照损失函数；所述参照损失函数以所述参照模型的模型参数为变量；所述参照模型的模型参数共享自所述目标模型；所述目标模型的模型参数以所述第一文本样本的权重为变量；

基于各所述参照损失函数，得到参照优化函数；

按照最小化所述参照优化函数的方向，对所述第一文本样本进行权重更新。

9.根据权利要求1所述的方法，其特征在于，所述获取第一文本样本集的方式，包括：获取模板特征字段和所述模板特征字段相应的语义关系；

基于所述模板特征字段进行文本检索；

将检索得到的、且包括所述模板特征字段的文本作为所述第一文本样本，得到所述第一文本样本集，并将所述模板特征字段及所述模板特征字段相应的语义关系，作为所述第一文本样本相应的训练标签。

10.一种文本特征关系抽取方法，其特征在于，所述方法包括：

获取待处理文本；

确定所述待处理文本相应的文本特征向量；

将所述文本特征向量输入目标模型，通过所述目标模型输出所述待处理文本的特征字段及所述特征字段相应的语义关系；

其中，所述目标模型通过与参照模型交迭训练得到；训练所述目标模型包括采用第一文本样本并根据第一文本样本的权重，对所述目标模型进行模型参数更新；训练所述参照模型包括共享所述目标模型的模型参数，采用第二文本样本、并根据所述第一文本样本的权重构建参照损失函数，对所述第一文本样本进行权重更新；训练所述目标模型还包括采用所述第一文本样本、并根据所述第一文本样本更新后的权重，对所述目标模型进行模型参数二次更新；所述第一文本样本包括噪声文本样本，所述第二文本样本不包括噪声文本样本，所述噪声文本样本是携带错误训练标签的样本。

11.根据权利要求10所述的方法，其特征在于，所述待处理文本为医学报告文本；所述医学报告文本的数量多于一个；

所述方法还包括：

根据各所述医学报告文本的特征字段及所述特征字段相应的语义关系，构建医学知识图谱。

12.一种文本处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；所述第一文本样本集中包括噪声文本样本，所述第二文本样本集中不包括噪声文本样本，所述噪声文本样本是携带错误训练标签的样本；

训练模块，用于采用所述第一文本样本集中的第一文本样本、并根据所述第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新；

共享模块，用于将所述目标模型的模型参数共享至所述参照模型；

所述训练模块，还用于采用所述第二文本样本集中的第二文本样本、并根据所述第一文本样本的权重构建参照损失函数训练所述参照模型，对所述第一文本样本进行权重更新；

所述训练模块，还用于采用所述第一文本样本、并根据所述第一文本样本更新后的权重二次训练所述目标模型，对所述目标模型进行模型参数二次更新；

所述训练模块，还用于继续循环进行所述模型参数更新、所述权重更新和所述模型参数二次更新，直至满足训练停止条件时结束训练；所述目标模型用于对文本提取特征字段及所述特征字段相应的语义关系。

13.根据权利要求12所述的装置，其特征在于，所述训练模块还用于：从所述第一文本样本集中选取多于一个第一文本样本；将所述多于一个第一文本样本分别输入所述目标模型，得到所述多于一个第一文本样本各自对应的目标损失函数；将所述目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数；按照最小化所述目标优化函数的方向，对所述目标模型进行模型参数更新。

14.根据权利要求13所述的装置，其特征在于，所述训练模块还用于：将所述多于一个第一文本样本分别输入模型参数更新后的所述目标模型，得到所述多于一个第一文本样本各自对应的更新后的目标损失函数；将所述更新后的目标损失函数按照各自对应的第一文本样本更新后的权重，更新所述目标优化函数；按照最小化更新后的目标优化函数的方向，对所述目标模型进行模型参数二次更新。

15.根据权利要求12所述的装置，其特征在于，所述训练模块还用于：获取所述第一文本样本集中的第一文本样本；向量化所述第一文本样本得到文本特征向量；将所述文本特征向量输入所述目标模型得到目标损失函数；将所述第一文本样本的权重赋予所述目标损失函数后，按照最小化所述目标损失函数的方向，对所述目标模型进行模型参数更新。

16.根据权利要求12所述的装置，其特征在于，所述训练模块还用于：获取所述第二文本样本集中的第二文本样本；将所述第二文本样本输入所述参照模型，得到所述第二文本样本对应的、且以所述第一文本样本的权重为变量的参照损失函数；所述参照损失函数以所述参照模型的模型参数为变量；所述参照模型的模型参数共享自所述目标模型；所述目标模型的模型参数以所述第一文本样本的权重为变量；按照最小化所述参照损失函数的方向，对所述第一文本样本进行权重更新。

17.根据权利要求16所述的装置，其特征在于，所述训练模块还用于：从所述第一文本样本集中选取多于一个第一文本样本；采用所述多于一个第一文本样本、并根据所述多于一个第一文本样本的权重训练所述目标模型，对所述目标模型进行模型参数更新；所述训练模块还用于：将所述多于一个第一文本样本依次作为当前处理样本；按照最小化所述参照损失函数的方向，对所述当前处理样本进行权重更新。

18.根据权利要求16所述的装置，其特征在于，所述训练模块还用于：通过所述参照损失函数对所述第一文本样本的权重进行求导，得到导数值；查询所述目标模型的学习率；根据所述导数值和所述学习率生成所述第一文本样本更新后的权重。

19.根据权利要求12所述的装置，其特征在于，所述训练模块用于：从所述第二文本样本集中选取多于一个第二文本样本；将所述多于一个第二文本样本分别输入所述参照模型，得到所述多于一个第二文本样本各自对应的、且以所述第一文本样本的权重为变量的参照损失函数；所述参照损失函数以所述参照模型的模型参数为变量；所述参照模型的模型参数共享自所述目标模型；所述目标模型的模型参数以所述第一文本样本的权重为变量；基于各所述参照损失函数，得到参照优化函数；按照最小化所述参照优化函数的方向，对所述第一文本样本进行权重更新。

20.根据权利要求12所述的装置，其特征在于，所述获取模块还用于：获取模板特征字段和所述模板特征字段相应的语义关系；基于所述模板特征字段进行文本检索；将检索得到的、且包括所述模板特征字段的文本作为所述第一文本样本，得到所述第一文本样本集，并将所述模板特征字段及所述模板特征字段相应的语义关系，作为所述第一文本样本相应的训练标签。

21.一种文本特征关系抽取装置，其特征在于，所述装置包括：

获取模块，用于获取待处理文本；

确定模块，用于确定所述待处理文本相应的文本特征向量；

输出模块，用于将所述文本特征向量输入目标模型，通过所述目标模型输出所述待处理文本的特征字段及所述特征字段相应的语义关系；

其中，所述目标模型通过与参照模型交迭训练得到；训练所述目标模型包括采用第一文本样本并根据第一文本样本的权重，对所述目标模型进行模型参数更新；训练所述参照模型包括共享所述目标模型的模型参数，采用第二文本样本、并根据所述第一文本样本的权重构建参照损失函数，对所述第一文本样本进行权重更新；训练所述目标模型还包括采用所述第一文本样本、并根据所述第一文本样本更新后的权重，对所述目标模型进行模型参数二次更新；所述第一文本样本包括噪声文本样本，所述第二文本样本不包括噪声文本样本，所述噪声文本样本是携带错误训练标签的样本。

22.根据权利要求21所述的装置，其特征在于，所述待处理文本为医学报告文本；所述医学报告文本的数量多于一个；所述文本特征关系抽取装置还包括构建模块，所述构建模块用于：根据各所述医学报告文本的特征字段及所述特征字段相应的语义关系，构建医学知识图谱。

23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

24.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

说明书

文本处理方法、文本特征关系抽取方法及装置

技术领域

[0001] 本申请涉及计算机技术领域，特别是涉及一种文本处理方法、文本特征关系抽取方法及装置。

背景技术

[0002] 随着人工智能的发展，机器学习模型的使用越来越广泛。通过预先对机器学习模型进行训练，使得机器学习模型能够进行数据处理。比如，预先训练关系抽取模型，使得关系抽取模型能够识别文本中的实体以及实体之间的语义关系。

[0003] 但是，训练所使用的样本数据大多存在噪声数据，噪声数据会引导机器学习模型向错误的方向优化，进而影响机器学习模型的性能。

发明内容

[0004] 基于此，有必要针对上述技术问题，提供一种能够提升机器学习模型性能的文本处理方法、文本特征关系抽取方法及装置。

[0005] 一种文本处理方法，该方法包括：

[0006] 获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；

[0007] 采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；

[0008] 将目标模型的模型参数共享至参照模型；

[0009] 采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；

[0010] 采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；

[0011] 继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0012] 一种文本处理装置，装置包括：

[0013] 获取模块，用于获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；

[0014] 训练模块，用于采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；

[0015] 共享模块，用于将目标模型的模型参数共享至参照模型；

[0016] 训练模块，还用于采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；

[0017] 训练模块，还用于采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；

[0018] 训练模块，还用于继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0019] 一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

[0020] 获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；

[0021] 采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；

[0022] 将目标模型的模型参数共享至参照模型；

[0023] 采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；

[0024] 采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；

[0025] 继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0026] 一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0027] 获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；

[0028] 采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；

[0029] 将目标模型的模型参数共享至参照模型；

[0030] 采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；

[0031] 采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；

[0032] 继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0033] 上述文本处理方法、装置、计算机设备和存储介质，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，目标模型和参照模型交迭训练，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，进而提升模型性能，提高文本特征关系抽取的准确性。

[0034] 一种文本特征关系抽取方法，该方法包括：

[0035] 获取待处理文本；

[0036] 确定待处理文本相应的文本特征向量；

[0037] 将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；

[0038] 其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0039] 一种文本特征关系抽取装置，装置包括：

[0040] 获取模块，用于获取待处理文本；

[0041] 确定模块，用于确定待处理文本相应的文本特征向量；

[0042] 输出模块，用于将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；

[0043] 其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0044] 一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

[0045] 获取待处理文本；

[0046] 确定待处理文本相应的文本特征向量；

[0047] 将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；

[0048] 其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0049] 一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

[0050] 获取待处理文本；

[0051] 确定待处理文本相应的文本特征向量；

[0052] 将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；

[0053] 其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0054] 上述文本特征关系抽取方法、装置、计算机设备和存储介质，通过目标模型提取待处理文本的特征字段及特征字段相应的语义关系，且该目标模型是与参照模型交迭训练得到的，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，提高文本特征关系抽取的准确性。

附图说明

[0055] 图1为一个实施例中文本处理方法的应用环境图；

[0056] 图2为一个实施例中文本处理方法的流程示意图；

[0057] 图3为一个实施例中文本处理方法的流程框图；

[0058] 图4为一个实施例中更新后的权重的示意图；

[0059] 图5为另一个实施例中文本处理方法的流程示意图；

[0060] 图6为另一个实施例中文本处理方法的流程框图；

[0061] 图7为一个实施例中文本特征关系抽取方法的流程示意图；

[0062] 图8为一个实施例中医学知识图谱的示意图；

[0063] 图9为一个实施例中文本处理装置的结构框图；

[0064] 图10为一个实施例中文本特征关系抽取装置的结构框图；

[0065] 图11为一个实施例中计算机设备的内部结构图。

具体实施方式

[0066] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0067] 人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

[0068] 人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

[0069] 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

[0070] 随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

[0071] 本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：

[0072] 本申请提供的文本处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型，该第一文本样本集中包括噪声文本样本，将获取的第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型上传至服务器104；服务器104采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；服务器104将目标模型的模型参数共享至参照模型；服务器104采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；服务器104采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；服务器104继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0073] 本申请提供的文本特征关系抽取方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取待处理文本，将待处理文本上传至服务器104；服务器104获取到待处理文本时，确定待处理文本相应的文本特征向量；服务器104将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0074] 其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

[0075] 在一个实施例中，如图2所示，提供了一种文本处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

[0076] 步骤202，获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0077] 其中，第一文本样本集是用于训练目标模型的数据集合，其包括多于一个第一文本样本。第二文本样本集是用于训练参照模型的数据集合，其包括多于一个第二文本样本。第一文本样本集中，部分样本的训练标签是错误的，这些错误训练标签的样本即为噪声文本样本。

[0078] 在一个具体的实施例中，第二文本样本集中没有噪声文本样本。第二文本样本集的训练标签可基于人工标注得到，从而保证第二文本样本集的训练标签的准确性。

[0079] 其中，目标模型和参照模型在模型结构上完全一致，即目标模型和参照模型的网络结构完全相同。

[0080] 在一个具体的实施例中，目标模型和参照模型可为通用的关系抽取模型，比如PCNN（Pulse Coupled Neural Network，脉冲耦合神经网络）模型、LSTM（Long Short-Term Memory，长短期记忆网络）模型、BRNN（Bidirectional Recurrent Neural Network，双向循环卷积神经网络）模型等。

[0081] 关系抽取是从文本中识别特征字段及该特征字段相应的语义关系。特征字段携带指定特征的字段，比如医学特征、实体特征等，实体是客观存在并可相互区别的事物。语义关系是隐藏在句法结构后面由词语的语义范畴建立起来的关系。比如，对于文本“这种情况可见于肺部感染等疾病，建议到医院内科就诊”，特征字段为“肺部感染”、“内科”，特征字段相应的语义关系为“就诊科室”。

[0082] 本申请中，由于第一文本样本集中存在噪声文本样本，噪声文本样本容易引导目标模型向错误的方向优化。比如，假设本轮训练采用噪声文本样本和非噪声文本样本，噪声文本样本和非噪声文本样本的权重一致，那么可基于如下公式优化目标模型的模型参数：

[0083]  (1)

[0084] 其中， 为目标模型的模型参数； 为第一文本样本对应的损失函数； 为第一文本样本的权重； 为第一文本样本的数量； 为目标优化函数。

[0085] 可以看出，在各样本权重相同的情况下，各样本对目标模型的影响相同，即噪声文本样本和非噪声文本样本对目标模型的影响相同。为了降低噪声文本样本的影响，需要降低噪声文本样本的权重。

[0086] 但是，由公式(1)可知，样本权重和模型参数均为变量，无法同时优化样本权重和模型参数，所以只能先后优化样本权重和模型参数。若在目标模型上先后优化样本权重和模型参数，比如先优化模型参数，进而优化样本权重，首先会增大运算量，其次由于噪声文本样本的存在，优化得到的模型参数并不准确，基于此模型参数优化样本权重，可能会向错误的方向优化，难以保证目标模型的训练效果。

[0087] 基于上述构思，设置与目标模型的模型结构相同的参照模型，参照模型采用没有噪声文本样本的第二文本样本集，且参照模型共享目标模型的模型参数。设置参照模型的思路是：对于模型结构相同、模型参数一致的两个模型，输入不同的文本样本，基于梯度下降算法得到各文本样本对应的优化梯度，若各文本样本对应的优化梯度差异较大，说明其中一个模型使用的文本样本是噪声文本样本，而参照模型使用的文本样本是非噪声文本样本，那么即可说明目标模型使用的文本样本是噪声文本样本。

[0088] 在对目标模型的训练过程中，通过参照模型对第一文本样本的权重进行调整，以使得噪声文本样本的权重低于非噪声文本样本的权重。这样，目标模型和参照模型交迭训练，目标模型负责优化模型参数，参照模型负责优化样本权重，从而提升目标模型对于噪声文本样本的鲁棒性，缓解第一文本样本集中样本类别不平衡的问题，提升目标模型的训练效果。

[0089] 步骤204，采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新。

[0090] 本申请中，服务器先对目标模型进行模型参数更新。

[0091] 在一个实施例中，步骤204包括：从第一文本样本集中选取多于一个第一文本样本；将多于一个第一文本样本分别输入目标模型，得到多于一个第一文本样本各自对应的目标损失函数；将目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数；按照最小化目标优化函数的方向，对目标模型进行模型参数更新。

[0092] 其中，目标损失函数是通过第一文本样本对目标模型进行训练得到的损失函数。目标优化函数是通过第一文本样本对应的目标损失函数，及第一文本样本对应的权重，得到的优化函数。

[0093] 具体地，取一组第一文本样本，初始化各第一文本样本的权重及目标模型的模型参数，各第一文本样本的初始化权重相同。接着，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的目标损失函数 。接着，将各第一文本样本按照各自对应的权重 ，分别构建目标优化函数 ，其中：

[0094]  (2)

[0095] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到各第一文本样本各自对应的模型参数。

[0096] 本实施例中，先训练得到各第一文本样本各自对应的模型参数，后续可基于各第一文本样本各自对应的模型参数，通过参照模型对第一文本样本的权重进行调整。

[0097] 步骤206，将目标模型的模型参数共享至参照模型。

[0098] 本申请中，服务器在对目标模型进行模型参数更新后，将目标模型的模型参数共享至参照模型，以通过参照模型调整第一文本样本的权重。

[0099] 在一个具体的实施例中，实时将目标模型的模型参数共享至参照模型，即使得参照模型的模型参数与目标模型的模型参数保持同步。

[0100] 步骤208，采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新。

[0101] 本申请中，服务器在将目标模型的模型参数共享至参照模型后，通过参照模型调整第一文本样本的权重。

[0102] 其中，参照损失函数是通过第二文本样本对参照模型进行训练得到的损失函数。

[0103] 在一个实施例中，步骤208包括：获取第二文本样本集中的第二文本样本；将第二文本样本输入参照模型，得到第二文本样本对应的、且以第一文本样本的权重为变量的参照损失函数；按照最小化参照损失函数的方向，对第一文本样本进行权重更新。

[0104] 具体地，参照损失函数以第一文本样本的权重为变量，原因如下：

[0105] 首先，假设第一文本样本的最佳样本权重，可以最小化参照损失函数。做这个假设的基础是：在第一文本样本的样本权重最佳时，可使得目标模型的训练效果最佳，目标模型与参照模型共享模型参数，因此参照模型的模型性能最佳，利用第二文本样本对参照模型进行训练，可使得参照损失函数最小。因此上述假设成立。根据上述假设，得到如下公式：

[0106]  (3)

[0107] 其中， 为第一文本样本的最佳样本权重； 为参照损失函数。

[0108] 其次，由公式（1）可以看出，目标模型的模型参数与第一文本样本的权重互为变量。由公式（3）可以看出，第一文本样本的权重与参照损失函数存在关联关系。而参照模型的模型参数共享自目标模型，且参照损失函数以参照模型的模型参数为变量，即参照损失函数实际上以第一文本样本的权重为变量。

[0109] 基于上述构思，可利用参照损失函数对第一文本样本的权重进行求导，按照最小化参照损失函数的方向，对第一文本样本进行权重更新，即可得到参照损失函数最小时第一文本样本的权重，即最佳样本权重。

[0110] 可以理解，基于上述原理，噪声文本样本更新后的权重低于非噪声文本样本更新后的权重。

[0111] 本实施例中，基于参照损失函数与第一文本样本的权重之间的关系，调整第一文本样本的权重，使得噪声文本样本的权重低于非噪声文本样本的权重，实现对第一文本样本的权重的准确调整。

[0112] 在一个实施例中，按照最小化参照损失函数的方向，对第一文本样本进行权重更新，包括：将多于一个第一文本样本依次作为当前处理样本；按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0113] 具体地，服务器从第一文本样本集中选取多于一个第一文本样本，根据各第一文本样本，及各第一文本样本对应的权重训练目标模型，对目标模型进行模型参数更新；在这个过程中，服务器实时将目标模型的模型参数共享至参照模型；接着，服务器将第二文本样本输入参照模型，得到参照损失函数，并将各第一文本样本依次作为当前处理样本，按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0114] 本实施例中，对第一文本样本的权重依次进行更新，使得噪声文本样本的权重低于非噪声文本样本的权重，后续可基于各第一文本样本各自更新后的权重，对目标模型的模型参数进行二次更新，以降低每一个噪声文本样本对目标模型的影响。

[0115] 步骤210，采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新。

[0116] 本申请中，服务器在通过参照模型调整第一文本样本的权重后，利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新。

[0117] 在一个实施例中，采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新，包括：将多于一个第一文本样本分别输入模型参数更新后的目标模型，得到多于一个第一文本样本各自对应的更新后的目标损失函数；将更新后的目标损失函数按照各自对应的第一文本样本更新后的权重，更新目标优化函数；按照最小化更新后的目标优化函数的方向，对目标模型进行模型参数二次更新。

[0118] 在一个具体的实施例中，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的更新后的目标损失函数 。接着，将更新后的目标损失函数，按照各自对应的第一文本样本更新后的权重 ，分别更新目标优化函数，得到更新后的目标优化函数 ，其中：

[0119]  (4)

[0120] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到目标模型二次更新后的模型参数。

[0121] 在一个具体的实施例中，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的更新后的目标损失函数 。接着，将更新后的目标损失函数，按照各自对应的第一文本样本更新后的权重 ，构建更新后的目标优化函数 ，其中：

[0122]  (5)

[0123] 其中， 为第一文本样本的数量。

[0124] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到目标模型二次更新后的模型参数。

[0125] 本实施例中，在通过参照模型调整第一文本样本各自对应的权重后，利用更新后的权重和第一文本样本二次更新目标模型的模型参数，以降低噪声文本样本对目标模型每一步训练的影响，从而引导目标模型向非噪声文本样本的方向进行优化。

[0126] 步骤212，继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练。

[0127] 本申请中，服务器在利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新后，再取一组第一文本样本，继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练。训练停止条件可以是循环次数达到指定次数，或者目标优化函数的变化量小于指定阈值等。

[0128] 具体地，如图3所示，训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0129] 具体地，参照图4，图4为一个实施例中各第一文本样本更新后的权重的示意图。可以看出，噪声文本样本的权重，低于非噪声文本样本的权重。比如文本6，特征字段为“小儿风湿热”、“儿童”，特征字段相应的语义关系为“典型症状”，而非“易患人群”，因此文本6为噪声文本样本；文本4，特征字段为“肺部感染”、“内科”，特征字段相应的语义关系为“就诊科室”，因此文本4为非噪声文本样本。可以看到，文本4的样本权重，高于文本6的样本权重。本申请提供的方法可有效降低噪声文本样本对目标模型的影响。

[0130] 上述文本处理方法中，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，目标模型和参照模型交迭训练，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，进而提升模型性能，提高文本特征关系抽取的准确性。

[0131] 在一个实施例中，采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新，包括：获取第一文本样本集中的第一文本样本；向量化第一文本样本得到文本特征向量；将文本特征向量输入目标模型得到目标损失函数；将第一文本样本的权重赋予目标损失函数后，按照最小化目标损失函数的方向，对目标模型进行模型参数更新。

[0132] 在一个具体的实施例中，将第一文本样本输入文本向量模型，通过文本向量模型输出文本特征向量。可采用通用的文本向量模型，比如Word2Vec的Skip-Gram模型、Glove模型、BERT(Bidirectional Encoder Representations from Transformer)模型、GPT-2(Generative Pre-Training)模型等。

[0133] 具体地，服务器先通过文本向量模型从各第一文本样本中提取文本特征向量，将各文本特征向量分别输入目标模型，得到各第一文本样本各自对应的目标损失函数；接着将各第一文本样本按照各自对应的权重，分别构建目标优化函数；接着根据梯度下降算法，反向传播更新目标模型的模型参数，得到各第一文本样本各自对应的模型参数。

[0134] 本实施例中，先向量化第一文本样本得到文本特征向量，再将文本特征向量输入目标模型进行训练，提升目标模型在关系抽取领域的性能。

[0135] 在一个实施例中，按照最小化参照损失函数的方向，对第一文本样本进行权重更新，包括：通过参照损失函数对第一文本样本的权重进行求导，得到导数值；查询目标模型的学习率；根据导数值和学习率生成第一文本样本更新后的权重。

[0136] 其中，学习率是监督学习以及深度学习中重要的超参数，其决定损失函数能否收敛到局部最小值以及何时收敛到最小值。在目标模型的训练过程中，学习率处于动态变化中。

[0137] 具体地，参照模型共享得到模型参数，假设此时为模型训练的第 步，而目标模型更新得到该模型参数是模型训练的第 步，参照模型实际上是对第 步的样本权重进行调整，得到第 步的最佳样本权重。故公式(3)可以写为：

[0138]  (6)

[0139] 其中， 为第一文本样本在第 步的最佳样本权重； 为第 步的参照损失函数。

[0140] 利用第 步的参照损失函数对第 步的最佳样本权重进行求导，得到参照损失函数最小时所对应的最佳样本权重，即如下公式：

[0141]  (7)

[0142] 其中， 为第一文本样本在第 步的最佳样本权重； 为学习率； 为第一文本样本在第 步的权重； 为第 步的参照损失函数。

[0143] 实际上，公式(7)在一定程度上反映了通过参照损失函数得到的优化梯度，与通过目标损失函数得到的优化梯度之间的相似度。由于参照模型训练使用的是非噪声文本样本，若第一文本样本也为非噪声文本样本，通过参照损失函数得到的优化梯度，与通过目标损失函数得到的优化梯度之间的相似度应当较大，因此第一文本样本的最佳样本权重也较大。若二者之间的相似度较小，说明第一文本样本为噪声文本样本，因此第一文本样本的最佳样本权重也较小。

[0144] 本实施例中，基于参照损失函数与第一文本样本的权重之间的关系，调整第一文本样本的权重，实现对第一文本样本的权重的准确调整。

[0145] 在一个实施例中，采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新，包括：从第二文本样本集中选取多于一个第二文本样本；将多于一个第二文本样本分别输入参照模型，得到多于一个第二文本样本各自对应的、且以第一文本样本的权重为变量的参照损失函数；参照损失函数以参照模型的模型参数为变量；参照模型的模型参数共享自目标模型；目标模型的模型参数以第一文本样本的权重为变量；基于各参照损失函数，得到参照优化函数；按照最小化参照优化函数的方向，对第一文本样本进行权重更新。

[0146] 其中，参照优化函数是通过第二文本样本对应的参照损失函数，及第二文本样本对应的权重，得到的优化函数。由于第二文本样本是非噪声样本，可设置各第二文本样本对应的权重相同。

[0147] 具体地，取一组第二文本样本，将各第二文本样本分别输入参照模型，得到各第二文本样本各自对应的参照损失函数。接着，将各参照损失函数，按照各第二文本样本各自对应的权重构建参照优化函数。接着，按照最小化参照损失函数的方向，对第一文本样本进行权重更新。

[0148]  (8)

[0149] 其中， 为参照优化函数， 为参照损失函数； 为第二文本样本的数量； 为第二文本样本的权重。

[0150] 具体地，参照优化函数以第一文本样本的权重为变量，原因如下：

[0151]  (9)

[0152] 其中， 为第一文本样本的最佳样本权重； 为参照损失函数； 为第二文本样本的数量。

[0153] 由公式（1）可以看出，目标模型的模型参数与第一文本样本的权重互为变量。由公式（9）可以看出，第一文本样本的权重与参照优化函数存在关联关系。而参照模型的模型参数共享自目标模型，且参照优化函数以参照模型的模型参数为变量，即参照优化函数实际上以第一文本样本的权重为变量。

[0154] 基于上述构思，可利用参照优化函数对第一文本样本的权重进行求导，按照最小化参照优化函数的方向，对第一文本样本进行权重更新，即可得到参照优化函数最小时第一文本样本的权重，即最佳样本权重。

[0155] 具体地，参照模型共享得到模型参数，假设此时为模型训练的第 步，而目标模型更新得到该模型参数是模型训练的第 步，参照模型实际上是对第 步的样本权重进行调整，得到第 步的最佳样本权重。故公式(9)可以写为：

[0156]  (10)

[0157] 其中， 为第一文本样本在第 步的最佳样本权重； 为学习率； 为第一文本样本在第 步的权重； 为第 步的参照优化函数； 为第二文本样本的数量。

[0158] 利用第 步的参照优化函数对第t步的最佳样本权重进行求导，以得到参照优化函数最小时所对应的最佳样本权重，即如下公式：

[0159]  (11)

[0160] 其中， 为第一文本样本在第 步的最佳样本权重； 为第 步的参照优化函数； 为第二文本样本的数量。

[0161] 本实施例中，通过多于一个第二文本样本构建参照优化函数，并按照最小化参照优化函数的方向，对第一文本样本进行权重更新，提高了参照优化函数的精准度，进而提高了第一文本样本更新后的权重的精准度。

[0162] 在一个实施例中，获取第一文本样本集的方式，包括：获取模板特征字段和模板特征字段相应的语义关系；基于模板特征字段进行文本检索；将检索得到的、且包括模板特征字段的文本作为第一文本样本，得到第一文本样本集，并将模板特征字段及模板特征字段相应的语义关系，作为第一文本样本相应的训练标签。

[0163] 具体地，目标模型用于对文本提取特征字段及特征字段相应的语义关系。在标注训练数据时，需要在文本中找出特征字段及特征字段相应的语义关系，再进行标注，费时费力。本实施例借鉴远程监督的思想，利用知识库与非结构化文本进行对齐，从而自动标注文本。知识库中包括模板特征字段和模板特征字段相应的语义关系，即一文本中包含模板特征字段，就将模板特征字段及模板特征字段相应的语义关系，作为该文本的训练标签。

[0164] 本实施例中，基于远程监督的思想构建第一文本样本集，使得第一文本样本集存在较多的噪声文本样本，但是降低了标注成本；而本实施例能够降低噪声文本样本的影响，因此本实施例降低了标注成本。

[0165] 在一个实施例中，如图5所示，提供了一种文本处理方法，包括：

[0166] 步骤502，获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本。

[0167] 步骤504，从第一文本样本集中选取多于一个第一文本样本，向量化各第一文本样本得到文本特征向量，将各文本特征向量输入目标模型得到目标损失函数，得到多于一个第一文本样本各自对应的目标损失函数。

[0168] 步骤506，将目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数，并按照最小化目标优化函数的方向，对目标模型进行模型参数更新。

[0169] 步骤508，将目标模型的模型参数共享至参照模型。

[0170] 步骤510，从第二文本样本集中选取多于一个第二文本样本，将多于一个第二文本样本分别输入参照模型，得到多于一个第二文本样本各自对应的、且以第一文本样本的权重为变量的参照损失函数。

[0171] 其中，参照损失函数以参照模型的模型参数为变量，参照模型的模型参数共享自目标模型，目标模型的模型参数以第一文本样本的权重为变量。

[0172] 步骤512，基于各参照损失函数得到参照优化函数，将多于一个第一文本样本依次作为当前处理样本，并按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0173] 其中，通过参照损失函数对第一文本样本的权重进行求导，得到导数值；查询目标模型的学习率；根据导数值和学习率生成第一文本样本更新后的权重。

[0174] 具体地，利用第 步的参照优化函数对第t步的最佳样本权重进行求导，以得到参照优化函数最小时所对应的最佳样本权重，即如下公式：

[0175]  (11)

[0176] 其中， 为第一文本样本在第 步的最佳样本权重； 为第 步的参照优化函数； 为第二文本样本的数量。

[0177] 步骤514，将多于一个第一文本样本分别输入模型参数更新后的目标模型，得到多于一个第一文本样本各自对应的更新后的目标损失函数，将更新后的目标损失函数按照各自对应的第一文本样本更新后的权重更新目标优化函数，并按照最小化更新后的目标优化函数的方向，对目标模型进行模型参数二次更新。

[0178] 具体地，如图6所示，先采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；接着，将目标模型的模型参数共享至参照模型；接着，采用第二文本样本、并根据第一文本样本的权重构建参照优化函数，对第一文本样本进行权重更新；接着，采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0179] 本实施例中，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，目标模型和参照模型交迭训练，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，进而提升模型性能，提高文本特征关系抽取的准确性。

[0180] 在一个实施例中，如图7所示，提供了一种文本特征关系抽取方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

[0181] 步骤702，获取待处理文本。

[0182] 其中，待处理文本是指待进行文本特征关系抽取的文本。关系抽取是从文本中识别特征字段及该特征字段相应的语义关系。特征字段为携带指定特征的字段，比如医学特征、实体特征等，实体是客观存在并可相互区别的事物。语义关系是隐藏在句法结构后面由词语的语义范畴建立起来的关系。比如，对于文本“这种情况可见于肺部感染等疾病，建议到医院内科就诊”，特征字段为“肺部感染”、“医院内科”，特征字段相应的语义关系为“就诊科室”。

[0183] 步骤704，确定待处理文本相应的文本特征向量。

[0184] 具体地，通过文本向量模型确定待处理文本相应的文本特征向量。可采用通用的文本向量模型，比如Word2Vec的Skip-Gram模型、Glove模型、BERT(Bidirectional Encoder Representations from Transformer)模型、GPT-2(Generative Pre-Training)模型等。

[0185] 步骤706，将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系。

[0186] 具体地，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0187] 其中，第一文本样本集是用于训练目标模型的数据集合，其包括多于一个第一文本样本。第二文本样本集是用于训练参照模型的数据集合，其包括多于一个第二文本样本。第一文本样本集中，部分样本的训练标签是错误的，这些错误训练标签的样本即为噪声文本样本。

[0188] 在一个具体的实施例中，第二文本样本集中没有噪声文本样本。第二文本样本集的训练标签可基于人工标注得到，从而保证第二文本样本集的训练标签的准确性。

[0189] 其中，目标模型和参照模型在模型结构上完全一致，即目标模型和参照模型的网络结构完全相同。

[0190] 在一个具体的实施例中，目标模型和参照模型可为通用的关系抽取模型，比如PCNN（Pulse Coupled Neural Network，脉冲耦合神经网络）模型、LSTM（Long Short-Term Memory，长短期记忆网络）模型、BRNN（Bidirectional Recurrent Neural Network，双向循环卷积神经网络）模型等。

[0191] 本申请中，由于第一文本样本集中存在噪声文本样本，噪声文本样本容易引导目标模型向错误的方向优化。比如，假设本轮训练采用噪声文本样本和非噪声文本样本，噪声文本样本和非噪声文本样本的权重一致，那么可基于如下公式优化目标模型的模型参数：

[0192]  (1)

[0193] 其中， 为目标模型的模型参数； 为第一文本样本对应的损失函数； 为第一文本样本的权重； 为第一文本样本的数量； 为目标优化函数。

[0194] 可以看出，在各样本权重相同的情况下，各样本对目标模型的影响相同，即噪声文本样本和非噪声文本样本对目标模型的影响相同。为了降低噪声文本样本的影响，需要降低噪声文本样本的权重。

[0195] 但是，由公式(1)可知，样本权重和模型参数均为变量，无法同时优化样本权重和模型参数，所以只能先后优化样本权重和模型参数。若在目标模型上先后优化样本权重和模型参数，比如先优化模型参数，进而优化样本权重，首先会增大运算量，其次由于噪声文本样本的存在，优化得到的模型参数并不准确，基于此模型参数优化样本权重，可能会向错误的方向优化，难以保证目标模型的训练效果。

[0196] 基于上述构思，设置与目标模型的模型结构相同的参照模型，参照模型采用没有噪声文本样本的第二文本样本集，且参照模型共享目标模型的模型参数。设置参照模型的思路是：对于模型结构相同、模型参数一致的两个模型，输入不同的文本样本，基于梯度下降算法得到各文本样本对应的优化梯度，若各文本样本对应的优化梯度差异较大，说明其中一个模型使用的文本样本是噪声文本样本，而参照模型使用的文本样本是非噪声文本样本，那么即可说明目标模型使用的文本样本是噪声文本样本。

[0197] 在对目标模型的训练过程中，通过参照模型对第一文本样本的权重进行调整，以使得噪声文本样本的权重低于非噪声文本样本的权重。这样，目标模型和参照模型交迭训练，目标模型负责优化模型参数，参照模型负责优化样本权重，从而提升目标模型对于噪声文本样本的鲁棒性，缓解第一文本样本集中样本类别不平衡的问题，提升目标模型的训练效果。

[0198] 本申请中，服务器先对目标模型进行模型参数更新。

[0199] 在一个实施例中，从第一文本样本集中选取多于一个第一文本样本；将多于一个第一文本样本分别输入目标模型，得到多于一个第一文本样本各自对应的目标损失函数；将目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数；按照最小化目标优化函数的方向，对目标模型进行模型参数更新。

[0200] 其中，目标损失函数是通过第一文本样本对目标模型进行训练得到的损失函数。目标优化函数是通过第一文本样本对应的目标损失函数，及第一文本样本对应的权重，得到的优化函数。

[0201] 具体地，取一组第一文本样本，初始化各第一文本样本的权重及目标模型的模型参数，各第一文本样本的初始化权重相同。接着，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的目标损失函数 。接着，将各第一文本样本按照各自对应的权重 ，分别构建目标优化函数 ，其中：

[0202]  (2)

[0203] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到各第一文本样本各自对应的模型参数。

[0204] 本实施例中，先训练得到各第一文本样本各自对应的模型参数，后续可基于各第一文本样本各自对应的模型参数，通过参照模型对第一文本样本的权重进行调整。

[0205] 本申请中，服务器在对目标模型进行模型参数更新后，将目标模型的模型参数共享至参照模型，以通过参照模型调整第一文本样本的权重。

[0206] 在一个具体的实施例中，实时将目标模型的模型参数共享至参照模型，即使得参照模型的模型参数与目标模型的模型参数保持同步。

[0207] 本申请中，服务器在将目标模型的模型参数共享至参照模型后，通过参照模型调整第一文本样本的权重。

[0208] 在一个实施例中，从第二文本样本集中选取多于一个第二文本样本；将多于一个第二文本样本分别输入参照模型，得到多于一个第二文本样本各自对应的、且以第一文本样本的权重为变量的参照损失函数；参照损失函数以参照模型的模型参数为变量；参照模型的模型参数共享自目标模型；目标模型的模型参数以第一文本样本的权重为变量；基于各参照损失函数，得到参照优化函数；按照最小化参照优化函数的方向，对第一文本样本进行权重更新。

[0209] 其中，参照损失函数是通过第二文本样本对参照模型进行训练得到的损失函数。参照优化函数是通过第二文本样本对应的参照损失函数，及第二文本样本对应的权重，得到的优化函数。由于第二文本样本是非噪声样本，可设置各第二文本样本对应的权重相同。

[0210] 具体地，取一组第二文本样本，将各第二文本样本分别输入参照模型，得到各第二文本样本各自对应的参照损失函数。接着，将各参照损失函数，按照各第二文本样本各自对应的权重构建参照优化函数。接着，按照最小化参照损失函数的方向，对第一文本样本进行权重更新。

[0211]  (8)

[0212] 其中， 为参照优化函数， 为参照损失函数； 为第二文本样本的数量； 为第二文本样本的权重。

[0213] 具体地，参照优化函数以第一文本样本的权重为变量，原因如下：

[0214]  (9)

[0215] 其中， 为第一文本样本的最佳样本权重； 为参照损失函数； 为第二文本样本的数量。

[0216] 由公式（1）可以看出，目标模型的模型参数与第一文本样本的权重互为变量。由公式（9）可以看出，第一文本样本的权重与参照优化函数存在关联关系。而参照模型的模型参数共享自目标模型，且参照优化函数以参照模型的模型参数为变量，即参照优化函数实际上以第一文本样本的权重为变量。

[0217] 基于上述构思，可利用参照优化函数对第一文本样本的权重进行求导，按照最小化参照优化函数的方向，对第一文本样本进行权重更新，即可得到参照优化函数最小时第一文本样本的权重，即最佳样本权重。

[0218] 具体地，参照模型共享得到模型参数，假设此时为模型训练的第 步，而目标模型更新得到该模型参数是模型训练的第 步，参照模型实际上是对第 步的样本权重进行调整，得到第 步的最佳样本权重。故公式(9)可以写为：

[0219]  (10)

[0220] 其中， 为第一文本样本在第 步的最佳样本权重； 为学习率； 为第一文本样本在第 步的权重； 为第 步的参照优化函数； 为第二文本样本的数量。

[0221] 利用第 步的参照优化函数对第t步的最佳样本权重进行求导，以得到参照优化函数最小时所对应的最佳样本权重，即如下公式：

[0222]  (11)

[0223] 其中， 为第一文本样本在第 步的最佳样本权重； 为第 步的参照优化函数； 为第二文本样本的数量。

[0224] 本实施例中，通过多于一个第二文本样本构建参照优化函数，并按照最小化参照优化函数的方向，对第一文本样本进行权重更新，提高了参照优化函数的精准度，进而提高了第一文本样本更新后的权重的精准度。

[0225] 在一个实施例中，将多于一个第一文本样本依次作为当前处理样本；按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0226] 具体地，服务器从第一文本样本集中选取多于一个第一文本样本，根据各第一文本样本，及各第一文本样本对应的权重训练目标模型，对目标模型进行模型参数更新；在这个过程中，服务器实时将目标模型的模型参数共享至参照模型；接着，服务器将第二文本样本输入参照模型，得到参照损失函数，并将各第一文本样本依次作为当前处理样本，按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0227] 本实施例中，对第一文本样本的权重依次进行更新，使得噪声文本样本的权重低于非噪声文本样本的权重，后续可基于各第一文本样本各自更新后的权重，对目标模型的模型参数进行二次更新，以降低每一个噪声文本样本对目标模型的影响。

[0228] 本申请中，服务器在通过参照模型调整第一文本样本的权重后，利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新。

[0229] 在一个实施例中，将多于一个第一文本样本分别输入模型参数更新后的目标模型，得到多于一个第一文本样本各自对应的更新后的目标损失函数；将更新后的目标损失函数按照各自对应的第一文本样本更新后的权重，更新目标优化函数；按照最小化更新后的目标优化函数的方向，对目标模型进行模型参数二次更新。

[0230] 在一个具体的实施例中，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的更新后的目标损失函数 。接着，将更新后的目标损失函数，按照各自对应的第一文本样本更新后的权重 ，分别更新目标优化函数，得到更新后的目标优化函数 ，其中：

[0231]  (4)

[0232] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到目标模型二次更新后的模型参数。

[0233] 在一个具体的实施例中，将各第一文本样本分别输入目标模型，得到各第一文本样本各自对应的更新后的目标损失函数 。接着，将更新后的目标损失函数，按照各自对应的第一文本样本更新后的权重 ，构建更新后的目标优化函数 ，其中：

[0234]  (5)

[0235] 其中， 为第一文本样本的数量。

[0236] 接着，根据梯度下降算法，反向传播更新目标模型的模型参数，得到目标模型二次更新后的模型参数。

[0237] 本实施例中，在通过参照模型调整第一文本样本各自对应的权重后，利用更新后的权重和第一文本样本二次更新目标模型的模型参数，以降低噪声文本样本对目标模型每一步训练的影响，从而引导目标模型向非噪声文本样本的方向进行优化。

[0238] 本申请中，服务器在利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新后，再取一组第一文本样本，继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练。训练停止条件可以是循环次数达到指定次数，或者目标优化函数的变化量小于指定阈值等。

[0239] 上述文本特征关系抽取方法中，通过目标模型提取待处理文本的特征字段及特征字段相应的语义关系，且该目标模型是与参照模型交迭训练得到的，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，提高文本特征关系抽取的准确性。

[0240] 本申请还提供一种医学领域的应用场景，该应用场景应用上述的文本特征关系抽取方法，用于对医学领域的文本进行处理，提取医学领域的文本的特征字段及特征字段相应的语义关系。在医学领域的应用场景中，提取了医学领域的文本的特征字段及特征字段相应的语义关系后，可基于这些数据进行后续的处理与应用，比如构建医学知识图谱或者完成医学知识问答任务等。

[0241] 在一个具体的实施例中，待处理文本为医学报告文本；医学报告文本的数量多于一个；该方法还包括：根据各医学报告文本的特征字段及特征字段相应的语义关系，构建医学知识图谱。

[0242] 其中，医学报告文本是指医学领域的文本，比如医学文献、医学报告、涉及到医学的新闻报道等等。知识图谱是以知识为对象，显示知识和知识内部结构关系的可视化图像。医学知识图谱是从医学领域的文本中抽取结构化知识，进而构建得到的图像。

[0243] 具体地，获取待处理的各医学报告文本，通过目标模型得到各医学报告文本的特征字段及特征字段相应的语义关系，根据各医学报告文本的特征字段及特征字段相应的语义关系，构建医学知识图谱。

[0244] 在一个具体的实施例中，根据特征字段及特征字段相应的语义关系，建立文本特征关系三元组，该文本特征关系三元组中包括两个特征字段及两个特征字段之间的语义关系；根据文本特征关系三元组构建医学知识图谱。下面举例说明医学知识图谱的构建过程。

[0245] 首先，计算机设备可收集得到以下医学报告文本：1)倘若患者经常四肢麻木，那就有可能是属于糖尿病初期症状了。2)糖尿病可通过口服降糖药治疗，例如二肽基肽酶4抑制剂，促胰岛素分泌剂等，建议您尽早检查。3) 1型糖尿病，以往称为胰岛素依赖型糖尿病，约占糖尿病病人总数的10%，常发生于儿童和青少年，但也可发生于任何年龄，甚至80-90岁时也可患病。

[0246] 进一步地，计算机设备可通过目标模型得到各医学报告文本的特征字段及特征字段相应的语义关系，根据特征字段及特征字段相应的语义关系，建立文本特征关系三元组。比如，对于文本1)，特征字段为“糖尿病”、“四肢麻木”，“糖尿病”与“四肢麻木”之间的语义关系为“典型症状”，文本1)的文本特征关系三元组为“糖尿病”-“典型症状”-“四肢麻木”；
对于文本2)，特征字段为“糖尿病”、“二肽基肽酶4抑制剂”、“促胰岛素分泌剂”，“糖尿病”与“二肽基肽酶4抑制剂”之间的语义关系为“治疗药物”，“糖尿病”与“促胰岛素分泌剂”之间的语义关系也为“治疗药物”，文本2) 的文本特征关系三元组为“糖尿病”-“治疗药物”-“二肽基肽酶4抑制剂”，以及“糖尿病”-“治疗药物”-“促胰岛素分泌剂”；对于文本3)，特征字段为“糖尿病”、“1型糖尿病”，“1型糖尿病”与“糖尿病”之间的语义关系为“下位词”，文本3) 的文本特征关系三元组为“1型糖尿病”-“下位词”-“糖尿病”。

[0247] 更进一步地，计算机设备可根据各医学报告文本的文本特征关系三元组构建医学知识图谱。参照图8，图8为一个实施例中医学知识图谱的示意图。可以看出，医学知识图谱以可视化的方式，显示医学知识之间的关系。

[0248] 本实施例中，通过目标模型提取待处理文本的特征字段及特征字段相应的语义关系，根据特征字段及特征字段相应的语义关系构建医学知识图谱，实现对医学知识图谱的构建。

[0249] 应该理解的是，虽然图2、图5、图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5、图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0250] 在一个实施例中，如图9所示，提供了一种文本处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块902、训练模块904和共享模块906，其中：

[0251] 获取模块902，用于获取第一文本样本集、第二文本样本集、以及模型结构相同的目标模型和参照模型；第一文本样本集中包括噪声文本样本；

[0252] 训练模块904，用于采用第一文本样本集中的第一文本样本、并根据第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；

[0253] 共享模块906，用于将目标模型的模型参数共享至参照模型；

[0254] 训练模块904，还用于采用第二文本样本集中的第二文本样本、并根据第一文本样本的权重构建参照损失函数训练参照模型，对第一文本样本进行权重更新；

[0255] 训练模块904，还用于采用第一文本样本、并根据第一文本样本更新后的权重二次训练目标模型，对目标模型进行模型参数二次更新；

[0256] 训练模块904，还用于继续循环进行模型参数更新、权重更新和模型参数二次更新，直至满足训练停止条件时结束训练；目标模型用于对文本提取特征字段及特征字段相应的语义关系。

[0257] 在一个实施例中，训练模块904，还用于：从第一文本样本集中选取多于一个第一文本样本；将多于一个第一文本样本分别输入目标模型，得到多于一个第一文本样本各自对应的目标损失函数；将目标损失函数按照各自对应的第一文本样本的权重，构建目标优化函数；按照最小化目标优化函数的方向，对目标模型进行模型参数更新。

[0258] 在一个实施例中，训练模块904，还用于：将多于一个第一文本样本分别输入模型参数更新后的目标模型，得到多于一个第一文本样本各自对应的更新后的目标损失函数；将更新后的目标损失函数按照各自对应的第一文本样本更新后的权重，更新目标优化函数；按照最小化更新后的目标优化函数的方向，对目标模型进行模型参数二次更新。

[0259] 在一个实施例中，训练模块904，还用于：获取第一文本样本集中的第一文本样本；向量化第一文本样本得到文本特征向量；将文本特征向量输入目标模型得到目标损失函数；将第一文本样本的权重赋予目标损失函数后，按照最小化目标损失函数的方向，对目标模型进行模型参数更新。

[0260] 在一个实施例中，训练模块904，还用于：获取第二文本样本集中的第二文本样本；将第二文本样本输入参照模型，得到第二文本样本对应的、且以第一文本样本的权重为变量的参照损失函数；参照损失函数以参照模型的模型参数为变量；参照模型的模型参数共享自目标模型；目标模型的模型参数以第一文本样本的权重为变量；按照最小化参照损失函数的方向，对第一文本样本进行权重更新。

[0261] 在一个实施例中，训练模块904，还用于：从第一文本样本集中选取多于一个第一文本样本；采用多于一个第一文本样本、并根据多于一个第一文本样本的权重训练目标模型，对目标模型进行模型参数更新；将多于一个第一文本样本依次作为当前处理样本；按照最小化参照损失函数的方向，对当前处理样本进行权重更新。

[0262] 在一个实施例中，训练模块904，还用于：通过参照损失函数对第一文本样本的权重进行求导，得到导数值；查询目标模型的学习率；根据导数值和学习率生成第一文本样本更新后的权重。

[0263] 在一个实施例中，训练模块904，还用于：从第二文本样本集中选取多于一个第二文本样本；将多于一个第二文本样本分别输入参照模型，得到多于一个第二文本样本各自对应的、且以第一文本样本的权重为变量的参照损失函数；参照损失函数以参照模型的模型参数为变量；参照模型的模型参数共享自目标模型；目标模型的模型参数以第一文本样本的权重为变量；基于各参照损失函数，得到参照优化函数；按照最小化参照优化函数的方向，对第一文本样本进行权重更新。

[0264] 在一个实施例中，获取模块902，还用于：获取模板特征字段和模板特征字段相应的语义关系；基于模板特征字段进行文本检索；将检索得到的、且包括模板特征字段的文本作为第一文本样本，得到第一文本样本集，并将模板特征字段及模板特征字段相应的语义关系，作为第一文本样本相应的训练标签。

[0265] 上述文本处理装置中，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，目标模型和参照模型交迭训练，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，进而提升模型性能，提高文本特征关系抽取的准确性。

[0266] 关于文本处理装置的具体限定可以参见上文中对于文本处理方法的限定，在此不再赘述。上述文本处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0267] 在一个实施例中，如图10所示，提供了一种文本特征关系抽取装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1002、确定模块1004和输出模块1006，其中：

[0268] 获取模块1002，用于获取待处理文本；

[0269] 确定模块1004，用于确定待处理文本相应的文本特征向量；

[0270] 输出模块1006，用于将文本特征向量输入目标模型，通过目标模型输出待处理文本的特征字段及特征字段相应的语义关系；

[0271] 其中，目标模型通过与参照模型交迭训练得到；训练目标模型包括采用第一文本样本并根据第一文本样本的权重，对目标模型进行模型参数更新；训练参照模型包括共享目标模型的模型参数，采用第二文本样本、并根据第一文本样本的权重构建参照损失函数，对第一文本样本进行权重更新；训练目标模型还包括采用第一文本样本、并根据第一文本样本更新后的权重，对目标模型进行模型参数二次更新。

[0272] 在一个实施例中，待处理文本为医学报告文本；医学报告文本的数量多于一个；文本特征关系抽取装置还包括构建模块，构建模块用于：根据各医学报告文本的特征字段及特征字段相应的语义关系，构建医学知识图谱。

[0273] 上述文本特征关系抽取装置中，通过目标模型提取待处理文本的特征字段及特征字段相应的语义关系，且该目标模型是与参照模型交迭训练得到的，先对目标模型进行模型参数更新，接着将目标模型的模型参数共享至参照模型，通过参照模型调整第一文本样本的权重，并利用第一文本样本、第一文本样本更新后的权重对目标模型进行模型参数二次更新，且模型参数更新、权重更新和模型参数二次更新循环进行，这样，参照模型对目标模型每一步训练的样本权重进行调整，以降低噪声文本样本对目标模型每一步训练的影响，提高文本特征关系抽取的准确性。

[0274] 关于文本特征关系抽取装置的具体限定可以参见上文中对于文本特征关系抽取方法的限定，在此不再赘述。上述文本特征关系抽取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0275] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储文本处理数据和/或文本特征关系抽取数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本处理方法和/或文本特征关系抽取方法。

[0276] 本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0277] 在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0278] 在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0279] 在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

[0280] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

[0281] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0282] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。