句子分类的测试方法、装置、服务器及可读存储介质

摘要

本说明书实施例公开了一种句子分类的测试方法，对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类，使得分类后的每种句子分类中包括的所有句子对具有相同的特征参数；在每种句子分类中包括的所有句子对具有相同的特征参数的情况下，利用二分类模型对每种句子分类进行测试，会使得获取到的二分类模型相对于每种句子分类的适配度的准确度较高。

权利要求

1.一种句子分类的测试方法，包括：

获取句子测试集，其中，所述句子测试集中包括多个句子对；

对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

2.如权利要求1所述的测试方法，所述对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数，具体包括：分析每个句子对的长度和重合度，获取每个句子对的长度特征参数和重合度特征参数；

分析每个句子对是否包含特定词，获取每个句子对的特定词参数；

分析每个句子对是否为已有模型的坏案例，获取每个句子对的坏案例参数；

分析每个句子对是否经过了近义词替换，获取每个句子对的近义词替换参数；

将每个句子对的长度特征参数、重合度特征参数、特定词参数、坏案例参数和近义词替换参数作为该句子对的特征参数。

3.如权利要求2所述的测试方法，所述利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类，具体包括：利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析，得到所述句子测试集对应的多种句子分类。

4.如权利要求2所述的测试方法，所述利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类，具体包括：根据每个句子对的特征参数，获取每两个句子对之间的特征相似度；

根据每两个句子对之间的特征相似度，获取所述句子测试集对应的多种句子分类。

5.如权利要求1所述的测试方法，所述利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度，具体包括：利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获取所述二分类模型相对于每种句子分类的评价指标；

根据所述二分类模型相对于每种句子分类的评价指标，获得所述二分类模型相对于每种句子分类的适配度。

6.一种句子分类的测试装置，包括：

句子测试集获取单元，用于获取句子测试集，其中，所述句子测试集中包括多个句子对；

特征参数获取单元，用于对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

句子分类单元，用于利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

适配度获取单元，用于利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

7.如权利要求6所述的测试装置，所述特征参数获取单元，具体用于分析每个句子对的长度和重合度，获取每个句子对的长度特征参数和重合度特征参数；分析每个句子对是否包含特定词，获取每个句子对的特定词参数；分析每个句子对是否为已有模型的坏案例，获取每个句子对的坏案例参数；分析每个句子对是否经过了近义词替换，获取每个句子对的近义词替换参数；将每个句子对的长度特征参数、重合度特征参数、特定词参数、坏案例参数和近义词替换参数作为该句子对的特征参数。

8.如权利要求7所述的测试装置，所述句子分类单元，具体用于利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析，得到所述句子测试集对应的多种句子分类。

9.如权利要求7所述的测试装置，所述句子分类单元，具体用于根据每个句子对的特征参数，获取每两个句子对之间的特征相似度；根据每两个句子对之间的特征相似度，获取所述句子测试集对应的多种句子分类。

10.如权利要求6所述的测试装置，所述适配度获取单元，具体用于利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获取所述二分类模型相对于每种句子分类的评价指标；

根据所述二分类模型相对于每种句子分类的评价指标，获得所述二分类模型相对于每种句子分类的适配度。

11.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。

说明书

句子分类的测试方法、装置、服务器及可读存储介质

技术领域

[0001] 本说明书实施例涉及数据处理技术领域，尤其涉及一种句子分类的测试方法、装置、服务器及可读存储介质。

背景技术

[0002] 随着互联网技术飞速发展，语义匹配在互联网中的应用场景越来越广泛。例如，在网页搜索中，需要度量用户查询和网页标题的语义相关性；在询问推荐中，需要度量询问和其他询问之间的相似度，这些场景都会用到语义匹配。

[0003] 现有技术中在对语义匹配测试集进行测试时，直接通过模型将语义匹配测试集中的所有句子进行测试，并没有对语义匹配测试集进行分析，随着语义匹配测试集中句子的不同，其对应的模型也需要进行大量的训练才能提高模型与语义匹配测试集的适配度。

发明内容

[0004] 本说明书实施例提供了一种句子分类的测试方法、装置、服务器及可读存储介质，通过对测试集中的句子对进行分类，从而能够准确获取不同句子分类与二分类模型的适配度。

[0005] 本说明书实施例第一方面提供了一种句子分类的测试方法，包括：

[0006] 获取句子测试集，其中，所述句子测试集中包括多个句子对；

[0007] 对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

[0008] 利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

[0009] 利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

[0010] 本说明书实施例第二方面提供了一种句子分类的测试装置，包括：

[0011] 句子测试集获取单元，用于获取句子测试集，其中，所述句子测试集中包括多个句子对；

[0012] 特征参数获取单元，用于对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

[0013] 句子分类单元，用于利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

[0014] 适配度获取单元，用于利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

[0015] 本说明书实施例第三方面还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述句子分类的测试方法的步骤。

[0016] 本说明书实施例第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时上述句子分类的测试方法的步骤。

[0017] 本说明书实施例的有益效果如下：

[0018] 基于上述技术方案，对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类，使得分类后的每种句子分类中包括的所有句子对具有相同的特征参数；在每种句子分类中包括的所有句子对具有相同的特征参数的情况下，利用二分类模型对每种句子分类进行测试，会使得获取到的二分类模型相对于每种句子分类的适配度的准确度较高。

附图说明

[0019] 图1为本说明书实施例中句子分类的测试方法的流程图；

[0020] 图2为本说明书实施例中句子分类的测试装置的结构示意图；

[0021] 图3为本说明书实施例中服务器的结构示意图。

具体实施方式

[0022] 为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

[0023] 第一方面，如图1所示，本说明书实施例提供一种句子分类的测试方法，包括：

[0024] S102、获取句子测试集，其中，所述句子测试集中包括多个句子对；

[0025] S104、对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

[0026] S106、利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

[0027] S108、利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

[0028] 其中，在步骤S102中，可以从业务处理过程中收集所述句子测试集，从而获取到所述句子测试集，其中，所述业务可以为翻译业务、文本解析业务和语义分析业务等；还可以直接从文本数据库中获取所述句子测试集，所述文本数据库中存储有多篇文章。

[0029] 具体来讲，所述句子测试集中包括有多个句子对，每个句子对由两个进行匹配的句子组成，例如，所述句子测试集中的一个句子对A包括句子A1和句子A2，句子A1和句子A2表示需要进行匹配的两个句子。

[0030] 接下来执行步骤S104,在该步骤中，可以对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数。

[0031] 具体来讲，在对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数时，可以对每个句子对中的两个句子进行分析，获取每个句子对的特征参数。

[0032] 具体地，在获取每个句子对的特征参数时，可以分析每个句子对的长度和重合度，获取每个句子对的长度特征参数和重合度特征参数；分析每个句子对是否包含特定词，获取每个句子对的特定词参数；分析每个句子对是否为已有模型的坏案例，获取每个句子对的坏案例参数；分析每个句子对是否经过了近义词替换，获取每个句子对的近义词替换参数；将每个句子对的长度特征参数、重合度特征参数、特定词参数、坏案例参数和近义词替换参数中的一种或多种参数作为该个句子对的特征参数。

[0033] 其中，每个句子对的坏案例参数用于表征该句子对是否为已有模型的坏案例，每个句子对的特定词参数用于表征该句子对是否包含所述特定词，以及，每个句子对的近义词替换参数用于表征该句子对是否经过了近义词替换。

[0034] 本说明书实施例中，所述特定词可以为否定词。当然，所特定词还可以为形容词和肯定词等，本说明书实施例不作具体限制。

[0035] 例如，以句子对A包括句子A1和句子A2为例，对A1和A2进行分析，获取A1和A2的句子长度比例作为A的长度特征参数，获取A1和A2的词语重合度作为A的重合度特征参数；分析A1和A2是否包含否定词，从而获取到A对应的特征词参数；分析A1和A2是否为已有模型的坏案例，获取到A的坏案例特征参数；以及分析A1和A2是否经过了近义词替换特征，获取到A的近义词替换参数；将上述获取的A的所有特征参数或部分特征参数作为A的特征参数，根据获取A的特征参数相同的操作方式，得到每个句子对的特征参数。

[0036] 接下来执行步骤S106,在该步骤中，在得到每个句子对的特征参数之后，可以利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析，得到所述句子测试集对应的多种句子分类；也可以根据每个句子对的特征参数，获取每两个句子对之间的特征相似度；再根据每两个句子对之间的特征相似度，获取所述句子测试集对应的多种句子分类。

[0037] 具体地，在利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析时，可以通过聚类算法对所述句子测试集中的所有句子对进行聚类分析，得到所述多种句子分类，其中，所述聚类算法可以是K-Means聚类算法、均值漂移聚类算法、用高斯混合模型的最大期望聚类算法和凝聚层次聚类算法等算法中的任意一种。

[0038] 本说明书实施例中，在得到所述多种句子分类时，可以首先设定所述多种句子分类的分类数量，再根据所述分类数量，利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析，获取到所述多种句子分类，其中，所述多种句子分类的数量为所述分类数量。具体地，所述分类数量为不小于2的整数，可以为2、4、8、15和32等。当然，也可以不设定所述多种句子分类的分类数量，本说明书实施例不作具体限制。

[0039] 例如，若设定的所述分类数量为32且所述句子测试集中有10000个句子对，在获取到1000个句子对中每个句子对的特征参数之后，将所有句子对的特征参数采用K-Means聚类算法聚成32个句子分类，此时，聚类得到的32个句子分类为所述句子测试集对应的句子分类。

[0040] 本说明书实施例中，在根据每个句子对的特征参数，获取每两个句子对之间的特征相似度时，可以通过相似度算法对每两个句子对的特征参数进行相似度计算，从而获取到每两个句子对之间的特征相似度。其中，所述相似度算法可以为余弦相似度算法、欧式距离算法、皮尔逊相关性算法和斯皮尔曼等级相关系数等算法中的任意一种算法。

[0041] 具体来讲，在获取到每两个句子对之间的特征相似度之后，可以根据特征相似度的大小，对所述句子测试集中的所有句子进行分类，得到所述句子测试集对应的多种句子分类。

[0042] 接下来执行步骤S108,在该步骤中，可以利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获取所述二分类模型相对于每种句子分类的评价指标；根据所述二分类模型相对于每种句子分类的评价指标，获得所述二分类模型相对于每种句子分类的适配度。

[0043] 具体来讲，可以首先通过历史数据训练得到所述二分类模型，其中，所述历史数据包括多个句子对及其每个句子对的特征参数；在获取到所述二分类模型之后，利用所述二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的评价指标。其中，所述评价指标包括精准率、召回率、真负类比率(true negative rate，简称TNR)、ROC曲线、精确率和召回率的调和平均数(F1Score)和为ROC曲线下与坐标轴围成的面积(AUC)等指标中的一种或多种。

[0044] 本说明书实施例中，所述二分类模型可以为二分类模型或多分类模型等，本说明书不作具体限制。

[0045] 具体来讲，在利用所述二分类模型对所述多种句子分类中的每种句子分类进行测试时，针对每种句子分类，执行以下步骤：首先获取该种句子分类中的每个句子对的实际分类，所述实际分类包括正类和负类；然后利用所述二分类模型对该种句子分类中每个句子对进行预测，获取该种句子分类中每个句子对对应的预测分类；根据每个句子对的实际分类及其对应的预测分类，获取所述二分类模型相对于该种句子分类的评价指标。如此，针对每种句子分类执行上述操作，得到所述二分类模型相对于每种句子分类的评价指标。下面具体以所述评价指标包括F1Score和AUC为例。

[0046] 例如，若一种句子分类中包括3246个句子对，3246个句子对中实际分类为正类的句子对数量为1179，以及实际分类为负类的句子对数量为2067，利用二分类模型对该种句子分类中每个句子对预测，获取该种句子分类中每个句子对对应的预测分类具体如下表1所示。

[0047] 表1

[0048]

[0049]

[0050] 在实际应用过程中，一个实例是正类，并被预测为正类，记为真正类用TP表示；一个实例是正类，但被预测为负类，记为假负类用FN表示；一个实例是负类，但被预测为正类，记为假正类用FP表示；一个实例是负类，但被预测为负类，记为真负类用TN表示。由此，根据表1可知，TP＝689，FP＝490,FN＝387，TN＝1680；然后根据TP、FP、TN和FN的取值，采用对应的公式即可计算出所述二分类模型相对于该种句子分类的评价指标，若所述评价指标包括精准率和召回率，其中，精准率用precision表示，召回率用recall表示，即可知precision＝TP/(TP+FP)＝689/(689+490)；recall＝TP/(TP+FN)＝689/(689+387)。若所述评价指标还包括F1Score，则F1Score＝2TP/(2TP+FP+FN)。

[0051] 当然，若所述评价指标还包括其它指标，将表1中数据代入其指标对应的公式中，从而获取该指标对应的实际值。由此可知，通过此种方式能够获取到所述二分类模型相对于每种句子分类的评价指标。

[0052] 具体来讲，在获取到所述二分类模型相对于每种句子分类的评价指标之后，可以获取所述二分类模型相对于每种句子分类的评价指标与预设指标的比值；再根据每种句子分类对应的比值，获取每种句子分类与所述二分类模型的适配度。若某种句子分类对应的比值越大，该种句子分类与所述二分类模型的适配度越高，反之，若某种句子分类对应的比值越小，该种句子分类与所述二分类模型的适配度越高。

[0053] 本说明书实施例中，所述预设指标可以由设备或人工自行设定，所述预设指标与所述评价指标包含的指标相对应，例如所述评价指标包括的指标为AUC和F1Score,则所述预设指标也包括AUC和F1Score的指标。

[0054] 具体来讲，还可以直接根据所述二分类模型相对于每种句子分类的评价指标，获取每种句子分类与所述二分类模型的适配度；若某种句子分类的评价指标越大，该种句子分类与所述二分类模型的适配度越高，反之，若某种句子分类的评价指标越小，该种句子分类与所述二分类模型的适配度越高。

[0055] 例如，若所述评价指标包括的指标为AUC和F1Score，则所述预设指标包括AUC预设值为0.7和F1Score预设值为0.75，若一种句子分类的评价指标包括AUC的取值0.8和F1Score取值为0.9，如此获取到该种句子分类的评价指标与所述预设指标的比值包括AUC比值＝0.8/0.7和F1比值＝0.9/0.75，此时，可以直接将AUC比值和F1比值作为所述二分类模型相对于该种句子分类的适配度；也可以将AUC比值和F1比值代入匹配函数中获取适配度，其中，所述匹配函数可以用下述公式表示，S＝a1×AUC比值+a2×F1比值，公式(1)，公式(1)中S表示适配度，a1表示AUC比值的权重，a2表示F1比值的权重。

[0056] 由此可知，首先对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；然后利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类，能够使得分类后的每种句子分类中包括的所有句子对具有相同的特征参数；在每种句子分类中包括的所有句子对具有相同的特征参数的情况下，利用二分类模型对每种句子分类进行测试，会使得获取到的二分类模型相对于每种句子分类的适配度的准确度较高。

[0057] 本说明书另一实施例中，在获取所述二分类模型相对于每种句子分类的适配度之后，所述方法还包括:检测所述二分类模型相对于每种句子分类的适配度是否小于预设阈值；若检测到所述二分类模型相对于某种句子分类的适配度小于所述预设阈值，则使用另一二分类模型对该句子分类进行测试；若检测到所述二分类模型相对于某种句子分类的适配度不小于所述预设阈值，则判定该句子分类与所述二分类模型的适配度高。

[0058] 本说明书实施例中，所述预设阈值可以由人工或设备进行设定，本说明书不作具体限制。

[0059] 本说明书实施例中，若所述适配度的取值范围为[0,1](表示不小于0且不大于1)时，所述预设阈值的取值范围通常为[0.7,1)(表示不小于0.7且小于1)，当然，所述预设阈值的取值范围也可以是[0.6,1)，[0.5,0.9]等。

[0060] 例如，若所述多种句子分类包括B1、B2、B3和B4这4种句子分类，其中，B1对应的适配度为0.85，B2对应的适配度为0.7，B3对应的适配度为0.42，B4对应的适配度为0.95；若所述预设阈值为0.8，则可知0.95>0.85>0.8>0.7>0.42,如此，需要使用另一二分类模型对B2和B3进行测试，以及B1和B4与所述二分类模型的适配度较高。

[0061] 其中，若B1是短句类型，其表征所述二分类模型对短句类型的句子对的分类效果好；若B3是长句类型，其表征所述二分类模型对短句类型的句子对的分类效果非常差，需要所述另一二分类模型对B3进行测试。

[0062] 如此，通过上述方式能够确定所述二分类模型与哪种类型的句子分类适配度高，以及与哪种类型的句子分类适配度低；以及在确定出所述二分类模型与哪种类型的句子分类适配度低时，可以通过改进所述二分类模型或者重新训练处一个二分类模型来对该类型的句子分类进行测试，从而得到与该类型的句子分类适配度高的一个二分类模型。

[0063] 第二方面，基于相同的技术构思，本说明书实施例提供一种句子分类的测试装置，如图2所示，包括：

[0064] 句子测试集获取单元201，用于获取句子测试集，其中，所述句子测试集中包括多个句子对；

[0065] 特征参数获取单元202，用于对所述句子测试集中的每个句子对进行特征分析，得到每个句子对的特征参数；

[0066] 句子分类单元203，用于利用每个句子对的特征参数对所述句子测试集中的所有句子对进行分类，得到所述句子测试集对应的多种句子分类；

[0067] 适配度获取单元204，用于利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获得所述二分类模型相对于每种句子分类的适配度。

[0068] 在一种可选方式中，特征参数获取单元202，具体用于分析每个句子对的长度和重合度，获取每个句子对的长度特征参数和重合度特征参数；分析每个句子对是否包含特定词，获取每个句子对的特定词参数；分析每个句子对是否为已有模型的坏案例，获取每个句子对的坏案例参数；分析每个句子对是否经过了近义词替换，获取每个句子对的近义词替换参数；将每个句子对的长度特征参数、重合度特征参数、特定词参数、坏案例参数和近义词替换参数作为该句子对的特征参数。

[0069] 在一种可选方式中，句子分类单元203，具体用于利用每个句子对的特征参数对所述句子测试集中的所有句子对进行聚类分析，得到所述句子测试集对应的多种句子分类。

[0070] 在一种可选方式中，句子分类单元203，具体用于根据每个句子对的特征参数，获取每两个句子对之间的特征相似度；根据每两个句子对之间的特征相似度，获取所述句子测试集对应的多种句子分类。

[0071] 在一种可选方式中，适配度获取单元204，具体用于利用预先创建的二分类模型对所述多种句子分类中的每种句子分类进行测试，获取所述二分类模型相对于每种句子分类的评价指标；

[0072] 根据所述二分类模型相对于每种句子分类的评价指标，获得所述二分类模型相对于每种句子分类的适配度。

[0073] 在一种可选方式中，所述测试装置还包括：

[0074] 检测单元，用于在获取所述二分类模型相对于每种句子分类的适配度之后，检测所述二分类模型相对于每种句子分类的适配度是否小于预设阈值；

[0075] 测试单元，用于若检测到所述二分类模型相对于某种句子分类的适配度小于所述预设阈值，则使用另一二分类模型对该句子分类进行测试。

[0076] 第三方面，基于与前述实施例中句子分类的测试方法同样的发明构思，本说明书实施例还提供一种服务器，如图3所示，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现前文所述句子分类的测试方法的任一方法的步骤。

[0077] 其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围部件、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

[0078] 第四方面，基于与前述实施例中句子分类的测试方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述句子分类的测试方法的任一方法的步骤。

[0079] 本说明书是参照根据本说明书实施例的测试方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

[0080] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0081] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0082] 尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

[0083] 显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。