文本处理、文本处理模型训练方法、装置和存储介质

摘要

本申请涉及一种文本处理方法、装置、计算机设备和存储介质。所述方法包括：获取输入文本、待替换单元和替换位置；将输入文本和待替换单元进行向量化，得到文本向量和待替换单元向量；基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置上下文语义向量；基于替换位置上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换的可能性。采用本方法能够提高文本替换的准确性。

权利要求

1.一种文本处理方法，其特征在于，所述方法包括：获取输入文本和对应的替换信息，所述替换信息包括待替换单元和替换位置；

将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量；

基于所述文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量；

基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量；

基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度，所述可替换度用于表征所述输入文本中所述替换位置对应的文本单元被所述待替换单元进行替换的可能性。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述输入文本和所述替换信息输入文本处理模型中，所述文本处理模型将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量，基于所述文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量，基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度；所述文本处理模型是基于神经网络算法使用训练文本和对应的训练替换信息进行训练得到的；

基于所述可替换度使用所述待替换单元对所述输入文本中所述替换位置对应的文本单元进行替换，得到替换文本。

3.根据权利要求2所述的方法，其特征在于，所述文本处理模型包括编码网络和解码网络；

所述将所述输入文本和所述替换信息输入文本处理模型中，包括：将所述输入文本和所述替换信息输入到所述编码网络中，所述编码网络将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量，基于所述文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量，基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量；

将所述替换位置的上下文语义向量和所述待替换单元向量输入到所述解码网络中，所述解码网络基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度。

4.根据权利要求1‑3任意一项所述的方法，其特征在于，所述将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量，包括：将所述输入文本进行字级别划分，得到各个输入字，将所述各个输入字向量化，得到各个输入字向量；

并将所述待替换单元进行字级别划分，得到各个待替换字，将所述各个待替换字向量化，得到各个待替换字向量。

5.根据权利要求1‑3任意一项所述的方法，其特征在于，所述替换位置包括待替换单元起始位置和待替换单元长度；

所述基于所述文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量，包括：基于所述文本向量进行正向语义提取，得到所述正向语义向量，从所述正向语义向量中确定在所述待替换单元起始位置之前的语义向量，得到第一正向语义向量；

基于所述待替换单元起始位置和所述待替换单元长度确定目标位置，从所述正向语义向量中确定所述目标位置对应的语义向量，得到第二正向语义向量；

基于所述文本向量进行逆向语义提取，得到所述逆向语义向量，从所述逆向语义向量中确定所述待替换单元起始位置对应的语义向量，得到第一逆向语义向量；

从所述逆向语义向量中确定在所述目标位置之后的语义向量，得到第二逆向语义向量；

所述基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量，包括：基于所述第一正向语义向量、所述第二正向语义向量、所述第一逆向语义向量和所述第二逆向语义向量计算加权和，得到所述替换位置的上下文语义向量。

6.根据权利要求5所述的方法，其特征在于，所述基于所述文本向量进行正向语义提取，得到所述正向语义向量，从所述正向语义向量中确定在所述待替换单元起始位置之前的语义向量，得到第一正向语义向量，包括：获取预设起始隐向量，并按照从起始到终止的顺序从文本向量中确定当前字向量；

基于所述预设起始隐向量和当前字向量进行正向隐状态计算，得到所述当前字向量对应的当前字正向语义向量；

将所述当前字正向语义向量作为预设起始隐向量，并返回按照从起始到终止的顺序依次从文本向量中确定当前字向量的步骤迭代计算，直到得到所述文本向量中各个字向量对应的正向语义向量；

从所述各个字向量中确定在所述替换位置之前的目标字正向向量，将所述目标字正向向量对应的正向语义向量作为第一正向语义向量。

7.根据权利要求5所述的方法，其特征在于，所述基于所述文本向量进行逆向语义提取，得到所述逆向语义向量，从所述逆向语义向量中确定所述待替换单元起始位置对应的语义向量，得到第一逆向语义向量，包括：获取预设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量；

基于所述预设终止隐向量和当前字逆向向量进行逆向隐状态计算，得到所述当前字逆向向量对应的当前字逆向语义向量；

将所述当前字逆向语义向量作为预设终止隐向量，并返回按照从终止到起始的顺序依次从文本向量中确定当前字逆向向量的步骤迭代计算，直到得到所述文本向量中各个字向量对应的逆向语义向量；

从所述各个字向量中确定所述待替换单元起始位置对应的目标字逆向向量，将所述目标字逆向向量对应的逆向语义向量作为第一逆向语义向量。

8.根据权利要求1‑3任意一项所述的方法，其特征在于，所述基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度，包括：基于所述替换位置的上下文语义向量和所述待替换单元向量进行隐状态计算，得到待替换隐向量，基于所述待替换隐向量进行回归计算，得到可替换度。

9.根据权利要求8所述的方法，其特征在于，所述基于所述替换位置的上下文语义向量和所述待替换单元向量进行隐状态计算，得到待替换隐向量，基于所述待替换隐向量进行回归计算，得到可替换度，包括：

获取预设目标隐向量，按照从起始到终止的顺序从所述待替换单元向量中确定当前待替换字向量；

基于所述预设目标隐向量、所述替换位置的上下文语义向量和所述当前待替换字向量计算所述当前待替换字向量对应的当前待替换字隐向量；

基于所述当前待替换字隐向量进行回归计算，得到所述当前待替换字向量对应的当前待替换字替换概率；

将所述当前待替换字隐向量作为预设目标隐向量，并返回按照从起始到终止的顺序从所述待替换单元向量中确定当前待替换字向量的步骤迭代执行，直到得到各个待替换字向量对应的待替换字替换概率；

基于所述各个待替换字向量对应的待替换字替换概率进行累乘计算，得到所述可替换度。

10.一种文本处理模型训练方法，其特征在于，所述方法包括：获取训练样本，所述训练样本中包括训练文本、训练信息和训练权重，所述训练信息中包括训练单元和训练替换位置；

将所述训练样本输入到初始文本处理模型中，所述初始文本处理模型将所述训练文本进行初始向量化，得到初始文本向量，并将所述训练单元进行初始向量化，得到初始训练单元向量，基于所述初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始逆向语义向量，基于所述训练替换位置从所述初始正向语义向量和所述初始逆向语义向量中确定目标初始正向语义向量和目标初始逆向语义向量，基于所述目标初始正向语义向量和目标初始逆向语义向量进行初始上下文语义计算，得到所述训练替换位置的初始上下文语义向量，基于所述训练替换位置的初始上下文语义向量和所述初始训练单元向量进行初始替换预测，得到初始可替换度；

基于所述初始可替换度和所述训练权重计算得到初始目标可替换度，当所述初始目标可替换度最大化时，得到文本处理模型。

11.根据权利要求10所述的方法，其特征在于，在所述基于所述初始可替换度和所述训练权重计算得到初始目标可替换度之后，还包括：当所述初始目标可替换度未最大化时，基于所述初始目标可替换度更新所述初始文本处理模型，得到更新文本处理模型，将所述更新文本处理模型作为初始文本处理模型，并返回将所述训练样本输入到初始文本处理模型中的步骤迭代执行，直到所述初始目标可替换度最大化。

12.根据权利要求10所述的方法，其特征在于，所述训练样本包括训练替换样本和未替换样本，所述训练替换样本包括训练文本、训练替换信息和替换权重，所述训练替换信息中包括训练待替换单元和训练替换位置，所述未替换样本中包括所述训练文本、未替换信息和未替换权重，所述未替换信息中包括未替换单元和所述训练替换位置；

所述将所述训练样本输入到初始文本处理模型中，包括将所述训练替换样本和未替换样本输入到初始文本处理模型中，得到输出的所述训练替换样本对应的第一初始可替换度和所述未替换样本对应的第二初始可替换度；

所述基于所述初始可替换度和所述训练权重计算得到初始目标可替换度，当所述初始目标可替换度最大化时，得到文本处理模型，包括：基于所述第一初始可替换度和所述替换权重计算得到第一初始目标可替换度，并基于所述第二初始可替换度和所述未替换权重计算得到第二初始目标可替换度，基于所述第一初始目标可替换度和所述第二初始目标可替换度得到特定初始目标可替换度，当所述特定初始目标可替换度最大化时，得到文本处理模型。

13.根据权利要求12所述的方法，其特征在于，所述获取训练样本，包括：获取训练语料，将所述训练语料进行句级别划分，得到训练句；

基于所述训练句按照预设替换关系确定替换训练匹配对，所述替换训练匹配对包括训练输入句和对应的训练替换句；

统计所述训练输入句在所述训练语料中的输入句出现次数，基于所述输入句出现次数计算保持权重；

统计所述训练替换句在所述训练语料中的替换句出现次数，基于所述替换句出现次数计算替换权重；

基于所述训练输入句和保持权重得到保持样本，基于所述训练替换句和替换权重得到训练替换样本。

14.一种搜索方法，其特征在于，所述方法包括：接收搜索指令，所述搜索指令中携带有搜索文本；

根据所述搜索指令将所述搜索文本发送服务器，所述服务器接收所述搜索文本，基于所述搜索文本查找对应的替换信息，所述替换信息包括待替换单元和替换位置，将所述搜索文本向量化，得到搜索文本向量，并将所述待替换单元向量化，得到待替换单元向量；基于所述搜索文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量；基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度，基于所述可替换度使用所述待替换单元对所述搜索文本中所述替换位置对应的文本单元进行替换，得到替换文本，基于所述替换文本和所述搜索文本查找对应的搜索结果；

接收所述服务器返回的所述搜索结果，将所述搜索结果进行展示。

15.一种文本处理装置，其特征在于，所述装置包括：文本获取模块，用于获取输入文本和对应的替换信息，所述替换信息包括待替换单元和替换位置；

向量化模块，用于将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量；

语义向量确定模块，用于基于所述文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量；

计算模块，用于基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量；

替换预测模块，用于基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度，所述可替换度用于表征所述输入文本中所述替换位置对应的文本单元被所述待替换单元进行替换的可能性。

16.一种文本处理模型训练装置，其特征在于，所述装置包括：样本获取模块，用于获取训练样本，所述训练样本中包括训练文本、训练信息和训练权重，所述训练信息中包括训练单元和训练替换位置；

初始模型计算模块，用于将所述训练样本输入到初始文本处理模型中，所述初始文本处理模型将所述训练文本进行初始向量化，得到初始文本向量，并将所述训练单元进行初始向量化，得到初始训练单元向量，基于所述初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始逆向语义向量，基于所述训练替换位置从所述初始正向语义向量和所述初始逆向语义向量中确定目标初始正向语义向量和目标初始逆向语义向量，基于所述目标初始正向语义向量和目标初始逆向语义向量进行初始上下文语义计算，得到所述训练替换位置的初始上下文语义向量，基于所述训练替换位置的初始上下文语义向量和所述初始训练单元向量进行初始替换预测，得到初始可替换度；

迭代模块，用于基于所述初始可替换度和所述训练权重计算得到初始目标可替换度，当所述初始目标可替换度最大化时，得到文本处理模型。

17.一种搜索装置，其特征在于，所述装置包括：指令接收模块，用于接收搜索指令，所述搜索指令中携带有搜索文本；

搜索模块，用于根据所述搜索指令将所述搜索文本发送服务器，所述服务器接收所述搜索文本，基于所述搜索文本查找对应的替换信息，所述替换信息包括待替换单元和替换位置，将所述搜索文本向量化，得到搜索文本向量，并将所述待替换单元向量化，得到待替换单元向量；基于所述搜索文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于所述替换位置从所述正向语义向量和所述逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于所述目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到所述替换位置的上下文语义向量；基于所述替换位置的上下文语义向量和所述待替换单元向量进行替换预测，得到可替换度，基于所述可替换度使用所述待替换单元对所述搜索文本中所述替换位置对应的文本单元进行替换，得到替换文本，基于所述替换文本和所述搜索文本查找对应的搜索结果；

展示模块，用于接收所述服务器返回的所述搜索结果，将所述搜索结果进行展示。

18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。

19.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。

说明书

文本处理、文本处理模型训练方法、装置和存储介质

技术领域

[0001] 本申请涉及计算机技术领域，特别是涉及一种文本处理、文本处理模型训练以及搜索方法、装置、计算机设备和存储介质。

背景技术

[0002] 随着人工智能技术的发展，出现了自然语言处理技术，通过自然语言处理技术中的文本处理技术可以实现对文本替换，比如，对文本中的同义词进行替换等等。目前，对于
文本替换的方法通常是使用正则表达式或者模板进行匹配，匹配成功后对文本中词进行替
换。然而，目前使用正则表达式或者模板进行文本替换的方法，容易导致替换后的文本存在
局部不通顺的问题，文本替换的准确性较低。

发明内容

[0003] 基于此，有必要针对上述技术问题，提供一种能够提高文本替换准确性的文本处理、文本处理模型训练方法、装置、计算机设备和存储介质。

[0004] 一种文本处理方法，所述方法包括：

[0005] 获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置；

[0006] 将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量；

[0007] 基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向
语义向量；

[0008] 基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0009] 基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换的可能
性。

[0010] 在其中一个实施例中，所述将所述输入文本向量化，得到文本向量，并将所述待替换单元向量化，得到待替换单元向量，包括：

[0011] 将所述输入文本进行字级别划分，得到各个输入字，将所述各个输入字向量化，得到各个输入字向量；

[0012] 并将所述待替换单元进行字级别划分，得到各个待替换字，将所述各个待替换字向量化，得到各个待替换字向量。

[0013] 在其中一个实施例中，所述基于所述文本向量进行逆向语义提取，得到所述逆向语义向量，从所述逆向语义向量中确定在所述待替换单元起始位置对应的语义向量，得到
第一逆向语义向量，包括：

[0014] 获取预设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量；

[0015] 基于所述预设终止隐向量和当前字逆向向量进行逆向隐状态计算，得到所述当前字逆向向量对应的当前字逆向语义向量；

[0016] 将所述当前字逆向语义向量作为预设终止隐向量，并返回按照从终止到起始的顺序依次从文本向量中确定当前字逆向向量的步骤迭代计算，直到得到所述文本向量中各个
字向量对应的逆向语义向量；

[0017] 从所述各个字向量中确定所述待替换单元起始位置对应的目标字逆向向量，将所述目标字逆向向量对应的逆向语义向量作为第一逆向语义向量。

[0018] 一种文本处理装置，所述装置包括：

[0019] 文本获取模块，用于获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置；

[0020] 向量化模块，用于将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量；

[0021] 语义向量确定模块，用于基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标
正向语义向量和目标逆向语义向量；

[0022] 计算模块，用于基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0023] 替换预测模块，用于基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单
元进行替换的可能性。

[0024] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0025] 获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置；

[0026] 将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量；

[0027] 基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向
语义向量；

[0028] 基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0029] 基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换的可能
性。

[0030] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0031] 获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置；

[0032] 将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量；

[0033] 基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向
语义向量；

[0034] 基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0035] 基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换的可能
性。

[0036] 上述文本处理方法、装置、计算机设备和存储介质，通过获取输入文本和对应的替换信息，然后对输入文本进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语
义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆
向语义向量，然后计算得到替换位置上下文语义向量，最后使用基于替换位置上下文语义
向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换
位置对应的文本单元被待替换单元进行替换的可能性。即通过提取到替换位置上下文语义
向量，然后使用替换位置上下文语义向量和待替换单元向量进行替换预测，从而提高了可
替换度的准确性，然后通过可替换度进行文本替换，能够提高文本替换的准确性。

[0037] 一种文本处理模型训练方法，所述方法包括：

[0038] 获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置；

[0039] 将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，得到初始训练单元向量，基于
初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始逆向语义
向量，基于训练替换位置从初始正向语义向量和初始逆向语义向量中确定目标初始正向语
义向量和目标初始逆向语义向量，基于目标初始正向语义向量和目标初始逆向语义向量进
行初始上下文语义计算，得到训练替换位置的初始上下文语义向量，基于训练替换位置的
初始上下文语义向量和初始训练单元向量进行初始替换预测，得到初始可替换度；

[0040] 基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型。

[0041] 在其中一个实施例中，在所述基于所述初始可替换度和所述训练权重计算得到初始目标可替换度之后，还包括：

[0042] 当所述初始目标可替换度未最大化时，基于所述初始目标可替换度更新所述初始文本处理模型，得到更新文本处理模型，将所述更新文本处理模型作为初始文本处理模型，
并返回将所述训练样本输入到初始文本处理模型中的步骤迭代执行，直到所述初始目标可
替换度最大化。

[0043] 在其中一个实施例中，所述训练样本包括训练替换样本和未替换样本，所述训练替换样本包括训练文本、训练替换信息和替换权重，所述训练替换信息中包括训练待替换
单元和训练替换位置，所述未替换样本中包括所述输入文本、未替换信息和未替换权重，所
述未替换信息中包括未替换单元和所述训练替换位置；

[0044] 所述将所述训练样本输入到初始文本处理模型中，包括

[0045] 将所述训练替换样本和未替换样本输入到初始文本处理模型中，得到输出的所述训练替换样本对应的第一初始可替换度和所述未替换样本对应的第二初始可替换度；

[0046] 所述基于所述初始可替换度和所述训练权重计算得到初始目标可替换度，当所述初始目标可替换度最大化时，得到文本处理模型，包括：

[0047] 基于所述第一初始可替换度和所述替换权重计算得到第一初始目标可替换度，并基于所述第二初始可替换度和所述未替换权重计算得到第二初始目标可替换度，基于所述
第一初始目标可替换度和所述第二初始目标可替换度得到特定初始目标可替换度，当所述
特定初始目标可替换度最大化时，得到文本处理模型。

[0048] 一种文本处理模型训练装置，所述装置包括：

[0049] 样本获取模块，用于获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置；

[0050] 初始模型计算模块，用于将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，得到
初始训练单元向量，基于初始文本向量进行正向语义提取和逆向语义提取，得到初始正向
语义向量和初始逆向语义向量，基于训练替换位置从初始正向语义向量和初始逆向语义向
量中确定目标初始正向语义向量和目标初始逆向语义向量，基于目标初始正向语义向量和
目标初始逆向语义向量进行初始上下文语义计算，得到训练替换位置的初始上下文语义向
量，基于训练替换位置的初始上下文语义向量和初始训练单元向量进行初始替换预测，得
到初始可替换度；

[0051] 迭代模块，用于基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型。

[0052] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0053] 获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置；

[0054] 将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，得到初始训练单元向量，基于
初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始逆向语义
向量，基于训练替换位置从初始正向语义向量和初始逆向语义向量中确定目标初始正向语
义向量和目标初始逆向语义向量，基于目标初始正向语义向量和目标初始逆向语义向量进
行初始上下文语义计算，得到训练替换位置的初始上下文语义向量，基于训练替换位置的
初始上下文语义向量和初始训练单元向量进行初始替换预测，得到初始可替换度；

[0055] 基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型。

[0056] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0057] 获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置；

[0058] 将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，得到初始训练单元向量，基于
初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始逆向语义
向量，基于训练替换位置从初始正向语义向量和初始逆向语义向量中确定目标初始正向语
义向量和目标初始逆向语义向量，基于目标初始正向语义向量和目标初始逆向语义向量进
行初始上下文语义计算，得到训练替换位置的初始上下文语义向量，基于训练替换位置的
初始上下文语义向量和初始训练单元向量进行初始替换预测，得到初始可替换度；

[0059] 基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型。

[0060] 上述文本处理模型训练方法、装置、计算机设备和存储介质，通过获取训练样本，将训练样本输入到初始文本处理模型中，然后初始文本处理模型将输入文本进行语义提
取，得到初始正向语义向量和初始逆向语义向量，基于替换位置使用初始正向语义向量和
初始逆向语义向量计算得到替换位置初始上下文语义向量，最后使用替换位置初始上下文
语义向量和初始训练单元向量进行替换预测，得到初始可替换度，基于初始可替换度和训
练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型，由
于使用了替换位置上下文语义向量进行替换预测，从而提高了替换预测的准确，然后当初
始目标可替换度最大化时，得到文本处理模型，从而提高了训练得到的文本处理模型的准
确性。

[0061] 一种搜索方法，所述方法包括：

[0062] 接收搜索指令，搜索指令中携带有搜索文本；

[0063] 根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向量化，得到搜索文本
向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向量进行正向语义提取
和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆
向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向量和目标
逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；基于替换位置的上
下文语义向量和待替换单元向量进行替换预测，得到可替换度，基于可替换度使用待替换
单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文本，基于替换文本和搜
索文本查找对应的搜索结果；

[0064] 接收服务器返回的搜索结果，将搜索结果进行展示。

[0065] 一种搜索装置，所述装置包括：

[0066] 指令接收模块，用于接收搜索指令，搜索指令中携带有搜索文本；

[0067] 搜索模块，用于根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向量化，
得到搜索文本向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向量进行
正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向
语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语
义向量和目标逆向语义向量进行上下文语义计算，得到训练替换位置的上下文语义向量；
基于训练替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，基
于可替换度使用待替换单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文
本，基于替换文本和搜索文本查找对应的搜索结果；

[0068] 展示模块，用于接收服务器返回的搜索结果，将搜索结果进行展示。

[0069] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0070] 接收搜索指令，搜索指令中携带有搜索文本；

[0071] 根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向量化，得到搜索文本
向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向量进行正向语义提取
和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆
向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向量和目标
逆向语义向量进行上下文语义计算，得到训练替换位置的上下文语义向量；基于训练替换
位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，基于可替换度使
用待替换单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文本，基于替换
文本和搜索文本查找对应的搜索结果；

[0072] 接收服务器返回的搜索结果，将搜索结果进行展示。

[0073] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0074] 接收搜索指令，搜索指令中携带有搜索文本；

[0075] 根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向量化，得到搜索文本
向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向量进行正向语义提取
和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆
向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向量和目标
逆向语义向量进行上下文语义计算，得到训练替换位置的上下文语义向量；基于训练替换
位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，基于可替换度使
用待替换单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文本，基于替换
文本和搜索文本查找对应的搜索结果；

[0076] 接收服务器返回的搜索结果，将搜索结果进行展示。

[0077] 上述搜索方法、装置、计算机设备和存储介质，通过将搜索文本发送到服务器，服务器基于搜索文本查找对应的替换信息，并使用替换位置上下文语义向量和待替换单元向
量进行替换预测，得到可替换度，基于可替换度使用待替换单元对搜索文本中替换位置对
应的文本单元进行替换，得到替换文本，基于替换文本和搜索文本查找对应的搜索结果，由
于使用了替换文本和搜索文本来共同查找对应的搜索结果，从而能够提高了得到的搜索结
果的准确性，然后接收搜索结果并展示，方便用户的使用。

附图说明

[0078] 图1为一个实施例中文本处理方法的应用环境图；

[0079] 图2为一个实施例中文本处理方法的流程示意图；

[0080] 图3为一个实施例中模型预测的流程示意图；

[0081] 图4为一个实施例中网络预测的流程示意图；

[0082] 图5为一个实施例中得到替换位置上下文语义向量的流程示意图；

[0083] 图6为一个实施例中得到第一正向语义向量的流程示意图；

[0084] 图7为一个实施例中得到第一逆向语义向量的流程示意图；

[0085] 图8为一个实施例中得到可替换度的流程示意图；

[0086] 图9为一个实施例中文本处理模型训练方法的流程示意图；

[0087] 图10为一个实施例中获取训练样本的流程示意图；

[0088] 图11为一个实施例中搜索方法的流程示意图；

[0089] 图12为一个具体实施例中文本处理方法的流程示意图；

[0090] 图13为一个具体实施例中搜索页面的示意图；

[0091] 图14为一个具体实施例中模型预测的示意图；

[0092] 图15为一个实施例中文本处理装置的结构框图；

[0093] 图16为一个实施例中文本处理模型训练装置的结构框图；

[0094] 图17为一个实施例中搜索装置的结构框图；

[0095] 图18为一个实施例中计算机设备的内部结构图；

[0096] 图19为另一个实施例中计算机设备的内部结构图。

具体实施方式

[0097] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不
用于限定本申请。

[0098] 自然语言处理(Nature Language processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种
理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领
域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联
系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技
术。

[0099] 本申请实施例提供的方案涉及人工智能的文本处理等技术，具体通过如下实施例进行说明:

[0100] 本申请提供的文本处理方法，可以应用于如图1所示的应用环境中。其中，用户终端102通过网络与服务器104进行通信。服务器104获取到终端102发送的输入文本，服务器
104从数据库106中获取输入文本对应的替换信息，替换信息包括待替换单元和替换位置；
服务器104将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向
量；服务器104基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向
语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标
逆向语义向量；服务器104基于目标正向语义向量和目标逆向语义向量进行上下文语义计
算，得到替换位置的上下文语义向量；服务器104基于替换位置的上下文语义向量和待替换
单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文
本单元被待替换单元进行替换的可能性。其中，终端102可以但不限于是各种个人计算机、
笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或
者是多个服务器组成的服务器集群来实现。

[0101] 在一个实施例中，如图2所示，提供了一种文本处理方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该文本处理方法也可以应用于终端中，也可以应用在
区块链节点中，在本实施例中，包括以下步骤：

[0102] 步骤202，获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置。

[0103] 其中，输入文本是指需要进行文本替换的文本，该输入文本可以是一个句子、一个锻炼或者一个篇章。 该输入文本可以是不同语言类型的文本，比如，可以是中文文本、日语
文本、英语文本、德语文本等等。该文本替换可以是替换输入文本中的词、字或者句子等。替
换信息用于表征替换的具体信息，包括待替换单元和替换位置，待替换单元是指等待进行
替换的文本单元，是需要预测是否能够进行替换的单元，该待替换单元可以是句、词、字、符
号、表情等等。该待替换单元可以是同义单元，也可以是使用替换模板得到的单元，还可以
是使用正则表达式得到的单元。替换位置用于表示待替换单元在输入文本中进行替换的位
置，即输入文本中被替换的单元在输入文本中的位置。输入文本中被替换的单元是指输入
文本中待替换单元替换掉的文本单元。

[0104] 具体地，服务器可以从数据库中获取到输入文本和对应的替换信息。服务器也可以从终端获取到用户输入的输入文本，然后根据输入文本查找到对应的替换信息。比如，服
务器可以将输入文本分词，根据分词结果从数据库中查找到匹配的待替换词，该数据库中
保存有预先建立好匹配关系的待替换词和替换词，然后根据分词结果匹配的待替换词确定
词替换位置。在一个实施例中，服务器可以获取到第三方服务器发送的输入文本和对应的
替换信息，该第三方服务器是用于提供业务服务的服务器。

[0105] 在一个实施例中，待替换单元也可以是待替换句或者待替换字。待替换句是指需要预测是否能替换到输入文本中的句子，待替换字是指需要预测是否能替换到输入文本中
的字。然后服务器获取到的替换信息中包括待替换句对应的句替换位置或者待替换字对应
的字替换位置。

[0106] 步骤204，将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量。

[0107] 其中，文本向量是指输入文本对应的向量，待替换单元向量是指待替换单元对应的向量。

[0108] 具体地，服务器可以分别将输入文本和待替换单元进行向量化，得到文本向量和待替换单元向量，其中，可以进行字级别的向量化，即分别将输入文本和待替换单元划分为
各个字，然后将各个字进行向量化。也可以进行词级别的向量化，即分别将输入文本和待替
换单元划分为各个词，然后将各个词向量化。在一个实施例中，当待替换单元为表情符号
时，可以获取到预先设置好的表情符号对应的表情符号向量。

[0109] 步骤206，基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和
目标逆向语义向量。

[0110] 其中，正向语义提取是指从文本向量中的起始位置开始到终止位置结束依次进行语义提取。逆向语义提取是指从文本向量中的终止位置开始到起始位置结束依次进行语义
提取。正向语义向量是指基于文本向量从起始位置到终止位置进行语义提取得到的向量。
逆向语义向量是指基于文本向量从终止位置到起始位置依次进行语义提取得到的向量。目
标正向语义向量是指根据替换位置从正向语义向量中得到的向量。目标逆向语义向量是指
根据替换位置从逆向语义向量中得到的向量。

[0111] 具体地，服务器对文本向量按照从起始位置到终止位置的顺序进行正向语义提取并按照从终止位置到起始位置的顺序进行逆向语义提取，得到正向语义向量和逆向语义向
量，然后根据替换位置从正向语义向量中确定替换位置处上下文对应的语义向量，得到目
标正向语义向量，并从逆向语义向量中确定替换位置处上下文对应的语义向量，得到目标
逆向语义向量。

[0112] 步骤208，基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量。

[0113] 其中，替换位置的上下文语义向量是用于表征输入文本中替换位置上下文对应的语义向量。该替换位置上下文是指根据替换位置从输入文本中进行文本筛选得到的文本。
比如，待替换单元起始位置之前的文本或者包含替换位置以及词终止位置之前的文本或者
待替换单元起始位置之后的文本等等。

[0114] 具体地，服务器可以对目标正向语义向量和目标逆向语义向量进行加权计算，得到替换位置的上下文语义向量，比如，可以使用预设正向权重对目标正向语义向量进行加
权，并使用预设逆向权重对目标逆向语义向量进行加权，然后计算加权和，得到替换位置上
下文语义向量。其中预设正向权重和预设逆向权重可以是预先设置好的权重，也可以是使
用神经网络进行训练后得到的权重。

[0115] 步骤210，基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换
的可能性。

[0116] 其中，可替换度用于表征输入文本中替换位置对应的文本单元被待替换单元进行替换的可能性，即是指使用待替换单元替换输入文本中替换位置对应文本单元的概率。

[0117] 具体地，服务器使用替换位置上下文语义向量和待替换单元向量计算待替换单元对应的词分布向量，根据词分布向量得到可替换度，其中，词分布向量用于表征待替换单元
划分后各个划分结果对应的替换概率，比如，划分结果为字时，词分布向量中包括有各个字
对应的替换概率。然后根据各个划分结果对应的替换概率计算得到可替换度。基于该可替
换度对输入文本进行替换。在一个实施例中，服务器可以基于可替换度使用待替换单元对
输入文本中替换位置对应的文本单元进行替换，得到替换文本，即将可替换度与预设可替
换度阈值进行比较，当可替换度超过预设可替换度阈值时，使用待替换单元对输入文本中
替换位置对应的词进行替换，得到替换文本，该替换文本是指对输入文本使用待替换单元
进行替换后得到的文本。当可替换度未超过预设可替换度阈值时，输入文本保持不变。

[0118] 上述文本处理方法、装置、计算机设备和存储介质，通过获取输入文本和对应的替换信息，然后对输入文本进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语
义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆
向语义向量，然后计算得到替换位置上下文语义向量，最后使用基于替换位置上下文语义
向量和待替换单元向量进行替换预测，得到可替换度。即通过提取到替换位置上下文语义
向量，然后使用替换位置的上下文语义向量和待替换单元向量进行替换预测，从而提高了
得到的可替换度的准确性，然后通过可替换度进行文本替换时，能够提高文本替换的准确
性。

[0119] 在一个实施例中，如图3所示，文本处理方法还包括：

[0120] 步骤302，将输入文本和替换信息输入文本处理模型中，文本处理模型将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量，基于文本向量进行
正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向
语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语
义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量，基于
替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度；文本处理模
型是基于神经网络算法使用训练文本和对应的训练替换信息进行训练得到的。

[0121] 步骤304，基于可替换度使用待替换单元对输入文本中替换位置对应的文本单元进行替换，得到替换文本。

[0122] 其中，文本处理模型是基于神经网络算法使用训练文本和对应的训练替换信息进行训练得到的，训练文本是指训练时使用的输入文本，训练替换信息是指训练时使用的训
练文本对应的替换信息。神经网络算法可以是RNN算法，RNN（Recurrent Neural Network，
循环神经网络）算法，RNN是一类以序列（sequence）数据为输入，在序列的演进方向进行递
归（recursion）且所有节点（循环单元）按链式连接的递归神经网络。神经网络算法也可以
是BERT（Bidirectional Encoder Representation from Transformers，双向Transformer
的Encoder）算法、CNN（Convolutional Neural Networks，卷积神经网络）算法等等。替换文
本是指对输入文本使用待替换单元进行替换后得到的文本。

[0123] 具体地，服务器预先基于神经网络算法使用训练文本和对应的训练替换信息进行训练，得到文本处理模型，然后将文本处理模型进行部署使用。当服务器获取到输入文本和
对应的替换信息时，将输入文本和替换信息输入文本处理模型中，文本处理模型进行替换
预测，得到输出的可替换度，当可替换度超过预设可替换度阈值时，使用待替换单元对输入
文本中替换位置对应的文本进行替换，得到替换文本。

[0124] 在上述实施例中，通过将输入文本和替换信息输入文本处理模型中进行文本替换预测，能够提高文本替换预测的效率。

[0125] 在一个实施例中，文本处理模型包括编码网络和解码网络。

[0126] 如图4所示，步骤302，将输入文本和替换信息输入文本处理模型中，包括：

[0127] 步骤402，将输入文本和替换信息输入到编码网络中，编码网络将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量，基于文本向量进行正向
语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义
向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量，基于目标正向语义向
量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量。

[0128] 步骤404，将替换位置的上下文语义向量和待替换单元向量输入到解码网络中，解码网络基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度。

[0129] 其中，编码网络用于提取到替换位置上下文语义向量，该编码网络可以是双向循环神经网络。即替换位置之前和替换位置之后的文本都会影响替换位置的语义信息。解码
网络用于进行替换预测，得到可替换度。该解码网络可以是一个循环神经网络，通过以序列
生成的方式使用于替换位置上下文语义向量和待替换单元向量计算待替换单元划分结果
对应的替换概率。

[0130] 具体地，服务器将输入文本和替换信息输入到编码网络中，编码网络通过计算输出替换位置的上下文语义向量，然后将替换位置的上下文语义向量和待替换单元向量输入
到解码网络中，解码网络对替换位置的上下文语义向量和待替换单元向量进行替换预测，
输出得到的可替换度。

[0131] 在上述实施例中，通过编码网络提取到替换位置上下文语义向量，然后通过解码网络在预测得到可替换度，从而使得到的可替换度提高了准确性。

[0132] 在一个实施例中，将输入文本和待替换单元进行向量化，得到文本向量和待替换单元向量，包括：

[0133] 将输入文本进行字级别划分，得到各个输入字，将各个输入字向量化，得到各个输入字向量；并将待替换单元进行字级别划分，得到各个待替换字，将各个待替换字向量化，
得到各个待替换字向量。

[0134] 其中，输入字是指输入文本中的字，输入字向量是指输入字对应的向量。待替换字是指待替换单元中的字，待替换字向量是指待替换字对应的向量。

[0135] 具体地，服务器将输入文本进行字级别划分，得到各个输入字，然后将各个输入字向量化，同时将待替换单元进行字级别划分，得到各个待替换字，将各个待替换字向量化，
得到各个待替换字向量。其中，可以使用任意的向量化方法，比如，使用词典向量化、使用词
集模型进行向量化、使用词袋模型向量化、使用one‑hot编码向量化以及使用神经网络向量
化等等。

[0136] 在一个实施例中，将输入文本进行词级别划分，得到各个输入词，将各个输入词向量化，得到各个输入词向量，并将待替换单元进行词级别划分，得到各个待替换单元，将各
个待替换单元向量化，得到各个待替换单元向量。

[0137] 在上述实施例中，通过将输入文本和待替换单元进行字级别划分后进行向量化，从而得到各个输入字向量化和各个待替换字向量，方便后续的使用。

[0138] 在一个实施例中，替换位置包括待替换单元起始位置和待替换单元长度；

[0139] 如图5所示，基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定目标正向语义向量
和目标逆向语义向量，包括：

[0140] 步骤502，基于文本向量进行正向语义提取，得到正向语义向量，从正向语义向量中确定在待替换单元起始位置之前的语义向量，得到第一正向语义向量。

[0141] 其中，待替换单元起始位置是指待替换单元在输入文本中替换时对应的起始位置。待替换单元长度是指待替换单元的长度，可以根据待替换单元中符号的个数得到，比
如，输入文本为“请说明你妈妈生日是什么时间”，待替换单元为“母亲”，则待替换单元起始
位置可以是输入文本中第五个字“妈”的位置。待替换单元长度为2。正向语义向量是指按照
从起始位置开始到终止位置的结束的顺序依次对文本向量进行语义提取得到的向量。第一
正向语义向量是指用于表征输入文本中在待替换单元起始位置之前的文本对应的语义向
量，即用于表征从输入文本左侧到替换位置左侧的语义信息。当待替换单元为表情符号时，
一个表情符号为1个长度。表情符号的长度可以是预先设置好的。

[0142] 具体地，正向语义向量是指按照从起始位置开始到终止位置的结束的顺序依次对文本向量中各个划分结果对应向量进行语义提取，得到各个正向语义向量，比如，对文本向
量中各个字向量进行语义提取，得到各个字向量对应的正向语义向量。然后从各个正向语
义向量中确定在待替换单元起始位置之前的对应的正向语义向量，得到第一正向语义向
量。比如，计算得到“妈”的位置之前的字“你”的语义向量，得到第一正向语义向量，该第一
正向语义向量用于表征输入文本中“请说明你”的语义信息。

[0143] 在一个实施例中，对输入文本添加用于表征文本起始的字符和用于表征文本终止的字符，得到目标文本，比如，在输入文本的起始位置和终止位置各添加一个特殊片段>得到目标文本。然后服务器将目标文本向量化，得到目标文本向量。使用目标文本向量进
行正向语义提取，从而得到第一正向语义向量。

[0144] 步骤504，基于待替换单元起始位置和待替换单元长度确定目标位置，从正向语义向量中确定目标位置对应的语义向量，得到第二正向语义向量。

[0145] 其中，目标位置是指计算得到的能够计算第二正向语义向量的位置，即是指待替换单元的在输入文本中的终止位置，比如，输入文本“请说明你妈妈生日是什么时间”中待
替换单元“妈妈”对应的终止位置为六。第二正向语义向量用于表征输入文本中目标位置的
字向量对应的语义向量，即第二正向语义向量用于表征从输入文本左侧到替换位置右侧的
语义信息。

[0146] 具体地，服务器使用基于待替换单元起始位置和待替换单元长度确定目标位置，然后从各个字向量对应的正向语义向量中确定在目标位置之前的字向量对应的语义向量，
得到第二正向语义向量。比如，计算得到第六个字“妈”的正向语义向量，得到第一正向语义
向量，该第一正向语义向量用于表征输入文本中“请说明你妈妈”的语义信息。

[0147] 步骤506，基于文本向量进行逆向语义提取，得到逆向语义向量，从逆向语义向量中确定待替换单元起始位置对应的语义向量，得到第一逆向语义向量。

[0148] 其中，逆向语义向量是指按照从终止位置开始到起始位置的结束的顺序依次对文本向量进行语义提取得到的向量。第一逆向语义向量是指用于表征输入文本中在待替换单
元起始位置之前的文本对应的语义向量，即用于表征从输入文本右侧到替换位置左侧的语
义信息。

[0149] 具体地，服务器按照从终止位置开始到起始位置的结束的顺序依次对文本向量进行语义提取，得到各个逆向语义向量，然后从各个逆向语义向量中确定待替换单元起始位
置对应的逆向语义向量，得到第一逆向语义向量。比如，输入文本“请说明你妈妈生日是什
么时间”中待替换单元“妈妈”对应的起始位置为五，然后计算第五个字“妈”的逆向语义向
量，得到第一逆向语义向量，该第一逆向语义向量用于表征“间时么什是日生妈妈”的语义
信息。

[0150] 步骤508，从逆向语义向量中确定在目标位置之后的语义向量，得到第二逆向语义向量。

[0151] 其中，第二逆向语义向量是指用于表征在目标位置之后的逆向语义向量，是指从输入文本右侧到替换位置右侧的语义信息。

[0152] 具体地，服务器从各个逆向语义向量中确定在目标位置之后的语义向量，得到第二逆向语义向量。比如，输入文本“请说明你妈妈生日是什么时间”中待替换单元“妈妈”对
应的终止位置为五，然后计算第六个字“妈”之后的“生”字对应的逆向语义向量，得到第一
逆向语义向量，该第一逆向语义向量用于表征“间时么什是日生”的语义信息。

[0153] 基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量，包括：

[0154] 步骤510，基于第一正向语义向量、第二正向语义向量、第一逆向语义向量和第二逆向语义向量计算加权和，得到替换位置的上下文语义向量。

[0155] 具体地，服务器计算第一正向语义向量、第二正向语义向量、第一逆向语义向量和第二逆向语义向量的加权和，其中，第一正向语义向量、第二正向语义向量、第一逆向语义
向量和第二逆向语义向量可以对应有不同的权重，可以是预先设置好的，也可以是通过神
经网络训练得到的。然后得到替换位置的上下文语义向量。

[0156] 在上述实施例中，通过计算第一正向语义向量、第二正向语义向量、第一逆向语义向量和第二逆向语义向量，进而得到替换位置上下文语义向量，能够使计算得到的替换位
置上下文语义向量更加准确，从而能够提高得到的可推荐度的准确性。

[0157] 在一个实施例中，如图6所示，步骤502，即基于文本向量进行正向语义提取，得到正向语义向量，从正向语义向量中确定在词起始位 置之前的语义向量，得到第一正向语义
向量，包括：

[0158] 步骤602，获取预设起始隐向量，并按照从起始到终止的顺序从文本向量中确定当前字向量。

[0159] 其中，预设起始隐向量是指预先设置好的用于从起始位置到终止位置进行隐状态计算时使用的向量。当前字向量是指按照字级别的划分得到的文本向量中当前需要计算语
义向量的字向量。在一个实施例中，可以按照从起始到终止的顺序从文本向量中确定当前
词正向向量，当前词向量是指按照词级别的划分得到的文本向量中当前需要计算语义向量
的词向量。

[0160] 具体地，服务券获取到预先设置好的起始隐向量，并按照从起始到终止的顺序从文本向量中确定当前字向量，比如，从文本向量中确定起始字对应的起始字向量。

[0161] 步骤604，基于预设起始隐向量和当前字向量进行正向隐状态计算，得到当前字向量对应的当前字正向语义向量。

[0162] 具体地，服务器基于预设起始隐向量和当前字向量使用循环神经网络进行正向隐状态计算，得到前字向量对应的当前字正向语义向量。

[0163] 步骤606，将当前字正向语义向量作为预设起始隐向量，并返回按照从起始到终止的顺序依次从文本向量中确定当前字向量的步骤迭代计算，直到得到文本向量中各个字向
量对应的正向语义向量。

[0164] 具体地，服务器将当前字正向语义向量作为预设起始隐向量，并返回按照从起始到终止的顺序依次从文本向量中确定当前字向量的步骤迭代计算，直到得到文本向量中各
个字向量对应的正向语义向量，即在得到文本向量中终止向量对应的正向语义向量时，迭
代结束。

[0165] 在一个具体实施例中，在双向循环神经网络中，从输入文本的起始位置到终止位置依次进行正向语义提取，可以使用公式（1）提取得到正向语义向量。

[0166] 公式（1）

[0167] 其中， 表示第t个字对应的正向语义向量， 表示第t‑1个字对应的正向语义向量， 表示第t个字对应的文本向量中的字向量。 是指预设起始隐向量可以设置
好初始值，比如0，或者可训练的向量或者其他数值。即服务器使用 和文本向量中起始字
向量使用公式（1）计算起始字向量对应的正向语义向量，然后使用起始字向量对应的正向
语义向量迭代起始字向量之后的字向量对应的正向语义向量，直到计算得到终止字向量对
应的正向语义向量时，迭代结束，在一个具体的实施例中，终止字向量是指特殊片段
对应的字向量，计算得到的字向量对应的正向语义向量时，迭代结束。

[0168] 步骤608，从各个字向量中确定在待替换单元起始位置之前的目标字向量，将目标字向量对应的正向语义向量作为第一正向语义向量。

[0169] 具体地，目标字向量是指输入文本中待替换单元起始位置之前的字对应的向量。服务器将目标字向量对应的正向语义向量作为第一正向语义向量。比如，待替换单元起始
位置为B，待替换单元长度为L，则第一正向语义向量是指第B‑1位置对应的正向语义向量。

[0170] 在一个实施例中，从各个字向量中确定目标位置对应的字向量，将目标位置对应的字向量对应的正向语义向量作为第二正向语义向量。比如，待替换单元起始位置为B，待
替换单元长度为L，则第二正向语义向量是指第B‑1+L位置对应的正向语义向量。

[0171] 在上述实施例中，通过使用预设起始隐向量和文本向量迭代计算得到文本向量中每个字向量对应的正向语义向量，然后基于替换信息从每个字向量对应的正向语义向量中
确定正向语义向量，提高了得到的正向语义向量的准确性。

[0172] 在一个实施例中，如图7所示，步骤506，即基于文本向量进行逆向语义提取，得到逆向语义向量，从逆向语义向量中确定待替换单元起始位置对应的语义向量，得到第一逆
向语义向量，包括：

[0173] 步骤702，获取预设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量。

[0174] 其中，预设终止隐向量是指预先设置好的用于从终止位置到起始位置进行隐状态计算时使用的向量，该预设终止隐向量可以和预设起始隐向量相同，也可以不同。当前字逆
向向量是指在逆向计算时从文本向量中确定的当前字对应的向量。当前字逆向向量是当前
需要计算逆向语义信息的向量。逆向是指从终止位置到起始位置，正向是指从起始位置到
终止位置。

[0175] 具体地，服务器获取到设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量，比如，将文本向量中终止字对应的终止字向量作为当前字逆向向量。

[0176] 步骤704，基于预设终止隐向量和当前字逆向向量进行逆向隐状态计算，得到当前字逆向向量对应的当前字逆向语义向量。

[0177] 步骤706，将当前字逆向语义向量作为预设终止隐向量，并返回按照从终止到起始的顺序依次从文本向量中确定当前字逆向向量的步骤迭代计算，直到得到文本向量中各个
字向量对应的逆向语义向量。

[0178] 具体地，服务器使用如下所示的公式（2）进行逆向隐状态计算，得到当前字逆向向量对应的当前字逆向语义向量。

[0179]      公式（2）

[0180] 其中， 表示第t个字对应的逆向语义向量， 表示第t‑1个字对应的逆向语义向量， 表示第t个字对应的文本向量中的字向量。 是指预设终止隐向量可以设置
好初始值，比如0，或者可训练的向量或者其他数值。即服务器使用 和文本向量中终止字
向量使用公式（2）计算终止字向量对应的逆向语义向量，然后使用终止字向量对应的逆向
语义向量迭代计算终止字向量之前的字向量对应的逆向语义向量，直到计算得到起始字向
量对应的逆向语义向量时，迭代结束，在一个具体的实施例中，起始字向量是指特殊片段<
END>对应的字向量，计算得到的字向量对应的逆向语义向量时，迭代结束。

[0181] 步骤708，从各个字向量中确定待替换单元起始位置对应的目标字逆向向量，将目标字逆向向量对应的逆向语义向量作为第一逆向语义向量。

[0182] 具体地，目标字逆向向量是指输入文本中待替换单元起始位置对应的字的向量，服务器将目标字逆向向量对应的逆向语义向量作为第一逆向语义向量。比如，待替换单元
起始位置为B，待替换单元长度为L，则第一逆向语义向量是指第B位置对应的正向语义向
量。

[0183] 在一个实施例中，从各个字向量中确定在目标位置之后的字向量，将在目标位置之后的字向量对应的逆向语义向量作为第二逆向语义向量。比如，待替换单元起始位置为
B，待替换单元长度为L，则第二逆向语义向量是指第B+L位置对应的正向语义向量。

[0184] 在上述实施例中，通过使用预设终止隐向量和文本向量迭代计算得到文本向量中每个字向量对应的逆向语义向量，然后基于替换信息从每个字向量对应的逆向语义向量中
确定逆向语义向量，提高了得到的逆向语义向量的准确性。

[0185] 在一个具体的实施例中，可以使用如下所示的公式（3）计算得到替换位置上下文语义向量。

[0186]     公式（3）

[0187] 其中，C是指替换位置上下文语义向量， 是指第一正向语义向量， 是第一正向语义向量的权重， 是指第二正向语义向量， 是指第二正向语义向量的权重。
是指第一逆向语义向量， 是指第一逆向语义向量的权值， 是指第二逆向语义
向量， 是指第二逆向语义向量的权值。其中， 、 、 和 可以是指定的值，也可
以是使用循环神经网络训练得到的。通过使用上述公式计算得到替换位置上下文语义向
量，提高了得到替换位置上下文语义向量的效率和准确性。

[0188] 在一个实施例中，基于替换位置上下文语义向量和待替换单元向量进行替换预测，得到可替换度，包括：

[0189] 基于替换位置上下文语义向量和待替换单元向量进行隐状态计算，得到待替换隐向量，基于待替换隐向量进行回归计算，得到可替换度。

[0190] 其中，待替换隐向量是指待替换单元向量对应的隐状态向量，待替换单元向量中每个字向量都有对应的待替换隐向量。

[0191] 具体地，服务器使用替换位置上下文语义向量和待替换单元向量进行隐状态计算，比如，可以使用循环神经网络进行隐状态计算，得到待替换隐向量，然后使用于待替换
隐向量进行回归计算，得到可替换度。

[0192] 在一个实施例中，如图8所示，基于替换位置上下文语义向量和待替换单元向量进行隐状态计算，得到待替换隐向量，基于待替换隐向量进行回归计算，得到可替换度，包括：

[0193] 步骤802，获取预设目标隐向量，按照从起始到终止的顺序从待替换单元向量中确定当前待替换字向量。

[0194] 其中，预设目标隐向量是指预先设置好的用于计算待替换隐向量时使用的起始隐向量。当前待替换字向量是指待替换单元中当前需要进行待替换隐向量计算的待替换字对
应的向量。

[0195] 具体地，服务器获取到取预设目标隐向量，然后按照从起始到终止的顺序从待替换单元向量中确定起始待替换字对应的起始待替换字向量，将起始待替换字向量作为当前
待替换字向量。

[0196] 步骤804，基于预设目标隐向量、替换位置上下文语义向量和当前待替换字向量计算当前待替换字向量对应的当前待替换字隐向量。

[0197] 具体地，服务器计算得到每个待替换字对应的待替换字隐向量，比如，可以使用如下所述的公式（4）计算待替换字隐向量。

[0198]            公式（4）

[0199] 其中， 表示第t个待替换字对应的待替换字隐向量。 表示第t‑1个待替换字隐向量。 是指预设目标隐向量。 表示第t个待替换字对应的待替换字向量。C表示替
换位置上下文语义向量。基于预设目标隐向量、替换位置上下文语义向量和当前待替换字
向量使用循环神经网络进行隐状态计算，得到当前待替换字向量对应的当前待替换字隐向
量。

[0200] 步骤806，基于当前待替换字隐向量进行回归计算，得到当前待替换字向量对应的当前待替换字替换概率。

[0201] 具体地，服务器使用每个待替换字对应的待替换字隐向量进行回归计算，得到每个待替换字向量对应的待替换字替换概率。比如，可以使用如下所示的公式（5）计算得到待
替换单元对应的词分布向量，从而得到每个待替换字替换概率。

[0202]    公式（5）

[0203] 其中， 表示在C的条件下第t个待替换字对应的替换概率，表示第t个待替换字对应的分布向量。 表示第t个待替换字对应的待替换字隐向量，U
是网络参数，是通过训练得到的，  ，其中，R是实数，V是指待替换单元中字的
总数量。Softmax函数是指归一化指数函数，能将一个含任意实数的K维向量z“压缩”到另一
个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。

[0204] 步骤808，将当前待替换字隐向量作为预设目标隐向量，并返回按照从起始到终止的顺序从待替换单元向量中确定当前待替换字向量的步骤迭代执行，直到得到各个待替换
字向量对应的待替换字替换概率。

[0205] 具体地，服务器将当前待替换字隐向量作为预设目标隐向量，并返回步骤802按照从起始到终止的顺序从待替换单元向量中确定当前待替换字向量的步骤迭代执行，直到得
到每个待替换字向量对应的待替换字替换概率。

[0206] 步骤810，基于各个待替换字向量对应的待替换字替换概率进行累乘计算，得到可替换度。

[0207] 具体地，服务器将于各个待替换字向量对应的待替换字替换概率进行累乘计算，得到可替换度。比如，可以使用如下所示的公式（6）计算可替换度。

[0208]   公式（6）

[0209] 其中， 是在输入文本q的条件下替换位置包括待替换单元起始位置B和待替换单元长度L对应的词替换为待替换单元y的概率。在一个实施例中，服务器也
可以计算各个待替换字替换概率的加权和，得到可替换度。

[0210] 在上述实施例中，通过计算替换位置上下文语义向量和待替换字向量计算得到每个待替换字对应的替换概率，进而计算得到可替换度，从而使得到的可替换度更加的准确。

[0211] 在一个实施例中，如图9所示，提供了一种文本处理模型训练方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

[0212] 步骤902，获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置。

[0213] 其中，训练样本是指训练文本处理模型时使用的样本。训练文本是指训练时使用的输入文本。训练信息是指训练时训练文本对应的替换信息。信号权重是指训练文本对应
的权重，该训练权重用于表征训练文本的展现次数，该展现次数是统计得到的。训练单元是
指训练时使用的文本单元。训练替换位置是指训练时使用的文本单元对应的替换位置。

[0214] 具体地，服务器可以直接从数据库中获取到训练样本，也可以从互联网中采集语料，通过语料提取到训练样本，还可以直接从提供训练样本的服务方获取到训练样本。

[0215] 步骤904，将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，得到初始训练单元向
量，基于初始文本向量进行正向语义提取和逆向语义提取，得到初始正向语义向量和初始
逆向语义向量，基于训练替换位置从初始正向语义向量和初始逆向语义向量中确定目标初
始正向语义向量和目标初始逆向语义向量，基于目标初始正向语义向量和目标初始逆向语
义向量进行初始上下文语义计算，得到训练替换位置的初始上下文语义向量，基于训练替
换位置的初始上下文语义向量和初始训练单元向量进行初始替换预测，得到初始可替换
度。

[0216] 其中，初始文本处理模型是指模型参数初始化的文本处理模型。初始文本处理模型是使用循环神经网络建立的。初始文本向量是指使用初始文本处理模型进行向量化后得
到的训练文本对应的向量。初始训练单元向量是指使用初始文本处理模型进行向量化后得
到的训练单元对应的向量。初始正向语义向量和初始逆向语义向量是使用初始文本处理模
型中的初始语义提取参数进行语义提取得到的向量。训练替换位置的初始上下文语义向量
是指使用初始文本处理模型计算得到的训练替换位置的上下文语义向量。初始可替换度是
指使用初始文本处理模型预测得到的训练单元对应的可替换度。

[0217] 具体地，服务器将训练样本输入到初始文本处理模型中进行训练，初始文本处理模型通过双向循环神经网络计算得到训练替换位置的上下文语义向量，然后根据训练替换
位置的上下文语义向量和初始训练单元向量使用单向循环神经网络进行替换预测，输出初
始可替换度。

[0218] 步骤906，基于初始可替换度和训练权重计算得到初始目标可替换度。

[0219] 其中，初始目标可替换度是指使用初始可替换度计算得到的目标可替换度。

[0220] 具体地，服务器使用训练权重对初始可替换度进行加权计算，得到初始目标可替换度。

[0221] 步骤908，判断初始目标可替换度是否最大化，当初始目标可替换度最大化时执行步骤910a，当初始目标可替换度未最大化时，执行步骤910b并返回步骤904执行。

[0222] 步骤910a，得到文本处理模型。

[0223] 步骤910b，当初始目标可替换度未最大化时，基于初始目标可替换度更新初始文本处理模型，得到更新文本处理模型，将更新文本处理模型作为初始文本处理模型，并返回
将训练样本输入到初始文本处理模型中的步骤携带执行，直到初始目标可替换度最大化。

[0224] 其中，判断初始目标可替换度是否最大化是指判断初始目标可替换度对应的总似然误差是否最大化。

[0225] 具体地，服务器可以使用如下所示的公式（7）来判断初始目标可替换度是否最大化。

[0226]     公式（7）

[0227] 其中，W表示训练权重。 表示初始目标可替换度。当初始目标可替换度未最大化时，基于初始目标可替换度更新初始文本处理模型，其中，可以使用梯度下
降法反向更新初始文本处理模型，得到更新文本处理模型，也可以使用其他优化算法更新
初始文本处理模型，比如，AdaGrad（自适应学习率）算法、Adam（Adaptive moment 
estimation，自适应矩估计）算法等等。将更新文本处理模型作为初始文本处理模型，并返
回将训练样本输入到初始文本处理模型中的步骤携带执行，直到初始目标可替换度最大化
时，将初始目标可替换度最大化时的模型作为训练得到的文本处理模型。

[0228] 上述文本处理模型训练方法，通过获取训练样本，将训练样本输入到初始文本处理模型中，然后初始文本处理模型将输入文本进行语义提取，得到初始正向语义向量和初
始逆向语义向量，基于替换位置使用初始正向语义向量和初始逆向语义向量计算得到训练
替换位置的初始上下文语义向量，最后使用训练替换位置的初始上下文语义向量和初始训
练单元向量进行替换预测，得到初始可替换度，基于初始可替换度和训练权重计算得到初
始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型，由于使用了替换位置
上下文语义向量进行替换预测，从而提高了替换预测的准确，然后当初始目标可替换度最
大化时，得到文本处理模型，从而提高了训练得到的文本处理模型的准确性。

[0229] 在一个实施例中，训练样本包括训练替换样本和未替换样本，训练替换样本包括训练文本、训练替换信息和替换权重，训练替换信息中包括训练待替换单元和训练替换位
置，未替换样本中包括训练文本、未替换信息和未替换权重，未替换信息中包括未替换单元
和训练替换位置；

[0230] 步骤S904，将训练样本输入到初始文本处理模型中，包括

[0231] 将训练替换样本和未替换样本输入到初始文本处理模型中，得到输出的训练替换样本对应的第一初始可替换度和未替换样本对应的第二初始可替换度。

[0232] 其中，训练文本是指训练时使用的输入文本。替换权重用于表征将训练文本在有待替换单元的情况下进行替换的权重，即是指训练替换文本对应的权重。未替换信息用于
指示训练文本待替换单元对应的词替换为自身，即保持不变。未替换权重用于表征训练文
本在有待替换单元的情况下保持不变的权重，即是指训练文本对应的权重。未替换单元是
指训练文本中替换位置的文本单元。

[0233] 具体地，服务器将训练替换样本和未替换样本输入到初始文本处理模型中，初始文本处理模型将训练文本、待替换单元和未替换单元进行初始向量化，得到初始文本向量、
初始待替换单元向量和初始未替换单元向量，基于初始文本向量进行正向语义提取和逆向
语义提取，得到初始正向语义向量和初始逆向语义向量，基于训练替换位置从初始正向语
义向量和初始逆向语义向量中确定目标初始正向语义向量和目标初始逆向语义向量，基于
目标初始正向语义向量和目标初始逆向语义向量进行初始上下文语义计算，得到训练替换
位置的初始上下文语义向量，基于训练替换位置的初始上下文语义向量和初始待替换单元
向量进行初始替换预测，得到训练替换样本对应的第一初始可替换度，并基于训练替换位
置的初始上下文语义向量和初始未替换词向量进行初始替换预测，得到未替换样本对应的
第二初始可替换度。

[0234] 步骤906，基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型，包括：

[0235] 基于第一初始可替换度和替换权重计算得到第一初始目标可替换度，并基于第二初始可替换度和未替换权重计算得到第二初始目标可替换度，基于第一初始目标可替换度
和第二初始目标可替换度得到特定初始目标可替换度，当特定初始目标可替换度最大化
时，得到文本处理模型。

[0236] 其中，第一初始目标可替换度是指对第一初始可替换度使用替换权重进行加权计算后得到的可替换度。第二初始目标可替换度是指对第二初始可替换度使用未替换权重进
行加权计算后得到的可替换度。

[0237] 具体地，服务器计算第一初始可替换度和替换权重的乘积得到第一初始目标可替换度。并计算第二初始可替换度和未替换权重的乘积得到第二初始目标可替换度，然后将
第一初始目标可替换度和第二初始目标可替换度相加，得到特定初始目标可替换度，当特
定初始目标可替换度最大化时，得到文本处理模型。在一个实施例中，当计算得到的第一初
始目标可替换度和第二初始目标可替换度都最大化时，得到文本处理模型。

[0238] 在上述实施例中，通过使用替换样本和未替换样本训练文本处理模型，从而能够使训练得到的文本处理模型提高的替换预测的准确性。

[0239] 在一个实施例中，如图10所示，步骤902，获取训练样本，包括：

[0240] 步骤1002，获取训练语料，将训练语料进行句级别划分，得到训练句。

[0241] 其中，训练语料是指采集到能够提取训练样本的语料。比如，可以是长文本、搜索日志、微博日志、查询日志等等。训练句是指提取训练样本时使用的句子文本。

[0242] 具体地，服务器从互联网采集到训练语料，然后将训练语料进行拆分，比如，将训练语料进行句级别划分，得到各个训练句。

[0243] 步骤1004，基于训练句按照预设替换关系确定替换训练匹配对，替换训练匹配对包括训练输入句和对应的训练替换句。

[0244] 其中，替换训练匹配对用于表征能够进行替换的一对文本，包括训练输入句和对应的训练替换句。训练输入句是指训练句本身，是指在训练时使用的输入文本。训练替换句
是指将训练句中的词替换为待替换单元后得到的替换文本。预设替换关系是指预先设置好
的替换关系，包括同义词替换，模板替换、正则表达式替换等等。

[0245] 具体地，服务器对每个训练句提取全部可能的替换方式，得到各个替换训练匹配对。比如，训练输入句为q，训练替换句为q’，替换方式为（q,x,y,B,L）。其中，x是指训练输入
句中的词，y是指替换训练输入句x的词。B表示x在训练输入句中的起始位置，L表示训练输
入句中的词x的长度。比如，对于字符串q=“XX总统的老婆”，假使允许“老婆”替换为“夫人”，
则q对应的替换信息为S= {(x=老婆，y=夫人，B=6，L=2)}。

[0246] 步骤1006，统计训练输入句在训练语料中的输入句出现次数，基于输入句出现次数计算保持权重。

[0247] 具体地，服务器统计出训练输入句在训练语料中的输入句出现次数，然后使用输入句出现次数计算保持权重。其中，可以使用如下所示的公式（8）计算保持权重。

[0248]     公式（8）

[0249] 其中，V表示输入句出现次数， 是指保存权重。

[0250] 步骤1008，统计训练替换句在训练语料中的替换句出现次数，基于替换句出现次数计算替换权重。

[0251] 具体地，服务器统计训练替换句在训练语料中的替换句出现次数，使用替换句出现次数计算替换权重，其中，可以使用如下所述的公式（9）计算替换权重。

[0252]     公式（9）

[0253] 其中， 是指替换权重， 是指替换句出现次数。 ，表示衰减系数，是预先设置好的。

[0254] 步骤1010，基于训练输入句和保持权重得到保持样本，基于训练替换句和替换权重得到训练替换样本。

[0255] 具体地，服务器使用训练输入句、保持信息和保持权重得到保持样本，使用训练替换句，替换信息和替换权重得到替换样本。比如，得到的保持样本可以是
，替换样本可以是 ，其中，q是指训
练输入句，x是指q中的词，y是指替换q的词。B是指待替换单元起始位置，L是指待替换单元
长度。其中，当替换句出现次数多于输入句出现次数时，输入句就倾向于替换成替换句。并
且，由于衰减系数对替换权重进行限制，只有当替换句出现次数多于输入句出现次数时，输
入句变化为q的概率才可能高于不替换的概率，从而能够使训练模型时减少低频噪音数据
的干扰，避免长尾替换概率虚高。在一个具体的实施例中，计算得到“健康码”0.5*ln v=5，
“键康码”ln v’=0.69，同时，我们有“键康”替换为“健康”的替换关系，则获取到以下两条训
练样本：

[0256]

[0257] 在上述实施例中，通过获取到保持样本和替换样本，通过保持样本和替换样本得到训练样本，然后使用训练样本训练得到文本处理模型，可以训练得到的文本处理模型更
加的准确。

[0258] 在一个实施例中，如图11所示，提供了一种搜索方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

[0259] 步骤1102，接收搜索指令，搜索指令中携带有搜索文本。

[0260] 具体地，搜索指令是指使用搜索文本进行搜索的指令，搜索文本可以是搜索词，也可以是搜索句子。该搜索文本可以是用户输入的文本，该搜索文本也可以是用户通过点击
操作点击的文本等等，该搜索文本是关联网络地址的文本，用户点击关联网络地址的文本
终端接收到搜索指令，搜索指令中携带有搜索文本，然后将搜索指令发送到关联的网络地
址。该网络地址可以是服务器的地址。

[0261] 步骤1104，根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向量化，得到
搜索文本向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向量进行正向
语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义
向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向
量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；基于替换
位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，基于可替换度使
用待替换单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文本，基于替换
文本和搜索文本查找对应的搜索结果。

[0262] 具体地，终端根据搜索指令将搜索文本发送服务器，服务器接收待搜索文本，基于搜索文本在数据库中查找对应的替换信息，该数据库中存在有各种使用替换方式进行替换
后得到的替换信息。比如，服务器可以遍历搜索文本中的每个词，查找每个词对应的待替换
单元，然后根据待替换单元和替换位置得到替换信息。然后将搜索文本和待替换单元进行
向量化，得到搜索文本向量和待替换单元向量；基于搜索文本向量进行正向语义提取和逆
向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语
义向量中确定目标正向语义向量和目标逆向语义向量；基于目标正向语义向量和目标逆向
语义向量进行上下文语义计算，得到替换位置的上下文语义向量；基于替换位置的上下文
语义向量和待替换单元向量进行替换预测，得到可替换度，基于可替换度使用待替换单元
对搜索文本中替换位置对应的文本单元进行替换，得到替换文本。在一个实施例中，服务器
可以直接将搜索文本和对应的替换信息输入到文本处理模型中进行替换预测，得到输出的
可替换度。在一个实施例中，服务器可以使用上述任意实施例中的文本处理方法基于搜索
文本和对应的替换信息进行替换预测，得到可替换度。

[0263] 服务器在可替换度超过预测可替换度阈值的情况下，使用替换文本和搜索文本查找对应的搜索结果，在可替换度未超过预测可替换度阈值的情况下，使用搜索文本查找对
应的搜索结果。然后将查找到的搜索结果返回终端中。s

[0264] 步骤1106，接收服务器返回的搜索结果，将搜索结果进行展示。

[0265] 具体地，终端接收到服务器返回的搜索结果，可以将搜索结果进行展示，比如，可以通过网页进行展示，可以通过语音提醒的方式进行展示，可以通过列表、视频等各种方式
进行展示。

[0266] 在上述搜索方法中，通过接收到搜索指令时，向服务器发送搜索文本，然后服务器通过计算搜索文本和替换信息的可替换度，确定是否进行替换，然后可以使用替换文本和
搜索文本共同查找搜索结果，从而能够使得到的搜索结果更加的准确。

[0267] 在一个具体的实施例中，如图12所示，提供一种文本处理方法，具体包括以下步骤：

[0268] 步骤1202，获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置，将输入文本和替换信息输入到文本处理模型的编码网络中。

[0269] 步骤1204，编码网络将输入文本进行字级别划分，得到各个输入字，将各个输入字向量化，得到各个输入字向量，并将待替换单元进行字级别划分，得到各个待替换字，将各
个待替换字向量化，得到各个待替换字向量。

[0270] 步骤1206，编码网络获取预设起始隐向量，并按照从起始到终止的顺序从文本向量中确定当前字向量，基于预设起始隐向量和当前字向量进行正向隐状态计算，得到当前
字向量对应的当前字正向语义向量。

[0271] 步骤1208，编码网络将当前字正向语义向量作为预设起始隐向量，并返回按照从起始到终止的顺序依次从文本向量中确定当前字向量的步骤迭代计算，直到得到文本向量
中各个字向量对应的正向语义向量。

[0272] 步骤1210，编码网络从各个字向量中确定在替换位置之前的目标字正向向量，将目标字正向向量对应的正向语义向量作为第一正向语义向量。基于待替换单元起始位置和
待替换单元长度确定目标位置，从正向语义向量中确定在目标位置之前的语义向量，得到
第二正向语义向量。

[0273] 步骤1212，编码网络获取预设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量；基于预设终止隐向量和当前字逆向向量进行逆向隐状态计算，
得到当前字逆向向量对应的当前字逆向语义向量。

[0274] 步骤1214，编码网络将当前字逆向语义向量作为预设终止隐向量，并返回按照从终止到起始的顺序依次从文本向量中确定当前字逆向向量的步骤迭代计算，直到得到文本
向量中各个字向量对应的逆向语义向量。

[0275] 步骤1216，编码网络从各个字向量中确定待替换单元起始位置对应的目标字逆向向量，将目标字逆向向量对应的逆向语义向量作为第一逆向语义向量，从逆向语义向量中
确定在目标位置之后的语义向量，得到第二逆向语义向量。

[0276] 步骤1218，编码网络基于第一正向语义向量、第二正向语义向量、第一逆向语义向量和第二逆向语义向量计算加权和，得到替换位置上下文语义向量。

[0277] 步骤1220，将替换位置上下文语义向量和待替换单元向量输入到解码网络中，解码网络获取预设目标隐向量，按照从起始到终止的顺序从待替换单元向量中确定当前待替
换字向量；基于预设目标隐向量、替换位置上下文语义向量和当前待替换字向量计算当前
待替换字向量对应的当前待替换字隐向量；基于当前待替换字隐向量进行回归计算，得到
当前待替换字向量对应的当前待替换字替换概率。

[0278] 步骤1222，解码网络将当前待替换字隐向量作为预设目标隐向量，并返回按照从起始到终止的顺序从待替换单元向量中确定当前待替换字向量的步骤迭代执行，直到得到
各个待替换字向量对应的待替换字替换概率。

[0279] 步骤1224，基于各个待替换字向量对应的待替换字替换概率进行累乘计算，得到可替换度。基于可替换度使用待替换单元对输入文本中替换位置对应的文本单元进行替
换，得到替换文本。

[0280] 本申请还提供一种应用场景，该应用场景应用上述的文本处理方法。具体地，该文本处理方法在该应用场景的应用如下：

[0281] 如图13所示，为搜索界面示意图，用户从该搜索界面的输入框中输入文本，该输入文本可以是 “XXX老婆是谁”，终端接收到搜索指令时，将输入文本可以是 “XXX老婆是谁”
发送到服务器。服务器接收到输入文本，查找到“XXX老婆是谁”对应的待替换单元为“夫人”
和替换位置包括待替换单元起始位置为3（待替换单元起始位置从0开始）和待替换单元长
度为2，此时将 “XXX老婆是谁”和替换信息输入到文本处理模型中，如图14所示，为文本处
理模型中进行替换预测的示意图。即通过编码器正向计算每个字的正向语义向量，并逆向
计算每个字的逆向语义向量。然后基于替换信息使用对应的正向语义向量和逆向语义向量
计算得到替换位置的上下文语义向量，然后解码器基于替换位置上下文语义向量和待替换
单元向量计算得到“夫”的替换概率   和“人”的替换概率
，将“夫”的替换概率和“人”替换概率进行累乘得到可替换度， 当该可
替换度超过可替换度阈值时，得到替换文本“XXX夫人是谁”，使用“XXX夫人是谁”和“XXX老
婆是谁”进行搜索，得到搜索结果，将搜索结果发送终端，终端显示搜索结果。

[0282] 本申请还另外提供一种应用场景，该应用场景应用上述的文本处理方法。具体地，该文本处理方法在该应用场景的应用如下：

[0283] 在对文本中同义词判定的过程中，获取到需要同义词判定的文本，将需要同义词判定的文本和同义词输入到文本处理模型中进行替换预测，得到可替换度，当可替换度达
到预先设定好的同义词阈值时，得到该同义词和文本中的词为同义词的判定结果。

[0284] 应该理解的是，虽然图2‑12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步
骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2‑12中的至少
一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执
行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，
而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0285] 在一个实施例中，如图15所示，提供了一种文本处理装置1500，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：文本获
取模块1502、向量化模块1504、语义向量确定模块1506、计算模块1508和替换预测模块
1510，其中：

[0286] 文本获取模块1502，用于获取输入文本和对应的替换信息，替换信息包括待替换单元和替换位置；

[0287] 向量化模块1504，用于将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量；

[0288] 语义向量确定模块1506，用于基于文本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向语义向量和逆向语义向量中确定
目标正向语义向量和目标逆向语义向量；

[0289] 计算模块1508，用于基于目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0290] 替换预测模块1510，用于基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，可替换度用于表征输入文本中替换位置对应的文本单元被待替
换单元进行替换的可能性。

[0291] 在一个实施例中，文本处理装置1500，还包括：

[0292] 模型预测模块，用于将输入文本和替换信息输入文本处理模型中，文本处理模型将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量，基于文
本向量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换
位置从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于
目标正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义
向量，基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度；文
本处理模型是基于神经网络算法使用训练文本和对应的训练替换信息进行训练得到的；

[0293] 基于可替换度使用待替换单元对输入文本中替换位置对应的文本单元进行替换，得到替换文本。

[0294] 在一个实施例中，文本处理模型包括编码网络和解码网络；模型预测模块，包括：

[0295] 编码单元，用于将输入文本和替换信息输入到编码网络中，编码网络将输入文本向量化，得到文本向量，并将待替换单元向量化，得到待替换单元向量，基于文本向量进行
正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置从正向
语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量，基于目标正向语
义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向量；

[0296] 解码单元，用于将替换位置的上下文语义向量和待替换单元向量输入到解码网络中，解码网络基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替
换度。

[0297] 在一个实施例中，向量化模块1504还用于将输入文本进行字级别划分，得到各个输入字，将各个输入字向量化，得到各个输入字向量；并将待替换单元进行字级别划分，得
到各个待替换字，将各个待替换字向量化，得到各个待替换字向量。

[0298] 在一个实施例中，替换位置包括待替换单元起始位置和待替换单元长度；

[0299] 语义向量确定模块1506，包括：

[0300] 第一正向向量确定单元，用于基于文本向量进行正向语义提取，得到正向语义向量，从正向语义向量中确定在待替换单元起始位置之前的语义向量，得到第一正向语义向
量；

[0301] 第二正向向量确定单元，用于基于待替换单元起始位置和待替换单元长度确定目标位置，从正向语义向量中确定在目标位置之前的语义向量，得到第二正向语义向量；

[0302] 第一逆向向量确定单元，用于基于文本向量进行逆向语义提取，得到逆向语义向量，从逆向语义向量中确定在待替换单元起始位置对应的语义向量，得到第一逆向语义向
量；

[0303] 第二逆向向量确定单元，用于从逆向语义向量中确定在目标位置之后的语义向量，得到第二逆向语义向量；

[0304] 计算模块1508还用于基于第一正向语义向量、第二正向语义向量、第一逆向语义向量和第二逆向语义向量计算加权和，得到替换位置的上下文语义向量。

[0305] 在一个实施例中，第一正向向量确定单元还用于获取预设起始隐向量，并按照从起始到终止的顺序从文本向量中确定当前字向量；基于预设起始隐向量和当前字向量进行
正向隐状态计算，得到当前字向量对应的当前字正向语义向量；将当前字正向语义向量作
为预设起始隐向量，并返回按照从起始到终止的顺序依次从文本向量中确定当前字向量的
步骤迭代计算，直到得到文本向量中各个字向量对应的正向语义向量；从各个字向量中确
定在替换位置之前的目标字正向向量，将目标字正向向量对应的正向语义向量作为第一正
向语义向量。

[0306] 在一个实施例中，第一逆向向量确定单元还用于获取预设终止隐向量，并按照从终止到起始的顺序从文本向量中确定当前字逆向向量；基于预设终止隐向量和当前字逆向
向量进行逆向隐状态计算，得到当前字逆向向量对应的当前字逆向语义向量；将当前字逆
向语义向量作为预设终止隐向量，并返回按照从终止到起始的顺序依次从文本向量中确定
当前字逆向向量的步骤迭代计算，直到得到文本向量中各个字向量对应的逆向语义向量；
从各个字向量中确定待替换单元起始位置对应的目标字逆向向量，将目标字逆向向量对应
的逆向语义向量作为第一逆向语义向量。

[0307] 在一个实施例中，替换预测模块1510，包括：

[0308] 替换度计算模块，用于基于替换位置上下文语义向量和待替换单元向量进行隐状态计算，得到待替换隐向量，基于待替换隐向量进行回归计算，得到可替换度。

[0309] 在一个实施例中，替换度计算模块还用于获取预设目标隐向量，按照从起始到终止的顺序从待替换单元向量中确定当前待替换字向量；基于预设目标隐向量、替换位置上
下文语义向量和当前待替换字向量计算当前待替换字向量对应的当前待替换字隐向量；基
于当前待替换字隐向量进行回归计算，得到当前待替换字向量对应的当前待替换字替换概
率；将当前待替换字隐向量作为预设目标隐向量，并返回按照从起始到终止的顺序从待替
换单元向量中确定当前待替换字向量的步骤迭代执行，直到得到各个待替换字向量对应的
待替换字替换概率；基于各个待替换字向量对应的待替换字替换概率进行累乘计算，得到
可替换度。

[0310] 一种文本处理模型训练装置1600，如图16所示，该装置包括：

[0311] 样本获取模块1602，用于获取训练样本，训练样本中包括训练文本、训练信息和训练权重，训练信息中包括训练单元和训练替换位置；

[0312] 初始模型计算模块1604，用于将训练样本输入到初始文本处理模型中，初始文本处理模型将输入文本进行初始向量化，得到初始文本向量，并将训练单元进行初始向量化，
得到初始训练单元向量，基于初始文本向量进行正向语义提取和逆向语义提取，得到初始
正向语义向量和初始逆向语义向量，基于训练替换位置从初始正向语义向量和初始逆向语
义向量中确定目标初始正向语义向量和目标初始逆向语义向量，基于目标初始正向语义向
量和目标初始逆向语义向量进行初始上下文语义计算，得到训练替换位置的初始上下文语
义向量，基于训练替换位置初始的上下文语义向量和初始训练单元向量进行初始替换预
测，得到初始可替换度。

[0313] 迭代模块1606，用于基于初始可替换度和训练权重计算得到初始目标可替换度，当初始目标可替换度最大化时，得到文本处理模型。

[0314] 在一个实施例中，迭代模块1606还用于当初始目标可替换度未最大化时，基于初始目标可替换度更新初始文本处理模型，得到更新文本处理模型，将更新文本处理模型作
为初始文本处理模型，并返回将训练样本输入到初始文本处理模型中的步骤携带执行，直
到初始目标可替换度最大化。

[0315] 在一个实施例中，训练样本包括训练替换样本和未替换样本，训练替换样本包括训练文本、训练替换信息和替换权重，训练替换信息中包括训练待替换单元和训练替换位
置，未替换样本中包括训练文本、未替换信息和未替换权重，未替换信息中包括未替换词和
训练替换位置；

[0316] 初始模型计算模块1604还用于将训练替换样本和未替换样本输入到初始文本处理模型中，得到输出的训练替换样本对应的第一初始可替换度和未替换样本对应的第二初
始可替换度；

[0317] 迭代模块1606还用于基于第一初始可替换度和替换权重计算得到第一初始目标可替换度，并基于第二初始可替换度和未替换权重计算得到第二初始目标可替换度，基于
第一初始目标可替换度和第二初始目标可替换度得到特定初始目标可替换度，当特定初始
目标可替换度最大化时，得到文本处理模型。

[0318] 在一个实施例中，样本获取模块1602还用于获取训练语料，将训练语料进行句级别划分，得到训练句；基于训练句按照预设替换关系确定替换训练匹配对，替换训练匹配对
包括训练输入句和对应的训练替换句；统计训练输入句在训练语料中的输入句出现次数，
基于输入句出现次数计算保持权重；统计训练替换句在训练语料中的替换句出现次数，基
于替换句出现次数计算替换权重；基于训练输入句和保持权重得到保持样本，基于训练替
换句和替换权重得到训练替换样本。

[0319] 一种搜索装置1700，如图17所示，该装置包括：

[0320] 指令接收模块1702，用于接收搜索指令，搜索指令中携带有搜索文本；

[0321] 搜索模块1704，用于根据搜索指令将搜索文本发送服务器，服务器接收搜索文本，基于搜索文本查找对应的替换信息，替换信息包括待替换单元和替换位置，将搜索文本向
量化，得到搜索文本向量，并将待替换单元向量化，得到待替换单元向量；基于搜索文本向
量进行正向语义提取和逆向语义提取，得到正向语义向量和逆向语义向量，基于替换位置
从正向语义向量和逆向语义向量中确定目标正向语义向量和目标逆向语义向量；基于目标
正向语义向量和目标逆向语义向量进行上下文语义计算，得到替换位置的上下文语义向
量；基于替换位置的上下文语义向量和待替换单元向量进行替换预测，得到可替换度，基于
可替换度使用待替换单元对搜索文本中替换位置对应的文本单元进行替换，得到替换文
本，基于替换文本和搜索文本查找对应的搜索结果；

[0322] 展示模块1706，用于接收服务器返回的搜索结果，将搜索结果进行展示。

[0323] 关于文本处理装置、文本处理模型训练装置以及搜索装置的具体限定可以参见上文中对于文本处理方法、文本处理模型训练方法以及搜索方法的限定，在此不再赘述。上述
文本处理装置、文本处理模型训练装置以及搜索装置中的各个模块可全部或部分通过软
件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理
器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各
个模块对应的操作。

[0324] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。
其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备可为区块链上一节
点。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有
操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机
程序的运行提供环境。该计算机设备的数据库用于存储替换信息和训练样本。该计算机设
备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现
一种文本处理方法和文本处理模型训练方法。

[0325] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显
示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的
存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机
程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过
WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现
一种搜索方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机
设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、
轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0326] 本领域技术人员可以理解，图18和19中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算
机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件
布置。

[0327] 在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0328] 在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0329] 在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备
的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计
算机设备执行上述各方法实施例中的步骤。

[0330] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read‑
Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种
形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存
储器（Dynamic Random Access Memory，DRAM）等。

[0331] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。

[0332] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来
说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护
范围。因此，本申请专利的保护范围应以所附权利要求为准。