验证分类器的训练数据专利检索-训练数据人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

验证分类器的训练数据

阅读：754发布：2020-05-11

IPRDB可以提供验证分类器的训练数据专利检索，专利查询，专利分析的服务。并且一种用于评估和修改用于分类器的训练数据的方法、计算机程序产品和计算机系统。计算机系统将每个类别的每条训练数据应用于多个分类器。计算机系统执行针对每个类别的训练数据的评估和验证，并且如果每条训练数据的分类精度大于预定阈值，则定义针对每个类别的每条训练数据的至少一个代表性类别。计算机系统基于针对每个类别的训练数据的评估和验证的结果来修改训练数据。计算机系统执行针对代表性类别的训练数据的评估和验证。计算机系统基于针对代表性类别的训练数据的评估和验证的结果来修改训练数据。，下面是验证分类器的训练数据专利的具体信息内容。

权利要求

1.一种用于评估和修改用于分类器的训练数据的方法，所述方法包括：由计算机系统将每个类别的每条训练数据应用于多个分类器；

由所述计算机系统执行针对所述每个类别的所述训练数据的评估和验证；

如果所述每条训练数据的分类精度大于预定阈值，则由所述计算机系统定义针对所述每个类别的所述每条训练数据的至少一个代表性类别；

基于针对所述每个类别的所述训练数据的所述评估和所述验证的结果，由所述计算机系统修改所述训练数据以创建第一修改训练数据；

由所述计算机系统执行针对代表性类别的所述第一修改训练数据的评估和验证；以及基于针对所述代表性类别的所述第一修改训练数据的所述评估和所述验证的结果，由所述计算机系统修改所述第一修改训练数据以创建第二修改训练数据。

2.根据权利要求1所述的方法，用于修改所述训练数据以创建所述第一修改训练数据，还包括：响应于确定一条训练数据的分类精度低于预定值并且针对该条训练数据的代表性类别是单个类别，由所述计算机系统改变该条训练数据的类别值。

3.根据权利要求1所述的方法，用于修改所述训练数据以创建所述第一修改训练数据，还包括：响应于确定一条训练数据的分类精度低于预定值并且针对该条训练数据的代表性类别是多个，由所述计算机系统删除该条训练数据。

4.根据权利要求1所述的方法，用于修改所述第一修改训练数据以创建所述第二修改训练数据，还包括：响应于确定一个类别的分类精度低于预定值并且针对所述类别的代表性类别是多个，由所述计算机系统移除所述类别。

5.根据权利要求1所述的方法，用于修改所述第一修改训练数据以创建所述第二修改训练数据，还包括：响应于确定针对两个类别中的每一个类别的分类精度低于预定值并且所述两个类别中的一个类别的代表性类别属于所述两个类别中的另一个类别，由所述计算机系统将所述两个类别合并为一个类别。

6.根据权利要求1所述的方法，其中在执行针对所述每个类别的所述训练数据的所述评估和所述验证时执行类型I错误的分析，其中在执行针对所述代表性类别的所述训练数据的所述评估和所述验证时执行类型II错误的分析。

7.一种用于评估和修改用于分类器的训练数据的计算机程序产品，所述计算机程序产品包括一个或多个计算机可读有形存储设备和存储在所述一个或多个计算机可读有形存储设备中的至少一个计算机可读有形存储设备上的程序指令，所述程序指令可被执行以执行根据权利要求1至6中任一项所述的方法的方法。

8.一种用于评估和修改用于分类器的训练数据的系统，包括：

存储器；

处理单元，所述处理单元可操作地耦合到所述存储器，以执行根据权利要求1到6中任一项所述的方法的动作。

9.一种用于评估和修改用于分类器的训练数据的系统，所述系统包括用于执行根据权利要求1到6中任一项所述的方法的步骤的模型。

10.一种用于评估和修改用于分类器的训练数据的计算机系统，所述计算机系统包括：一个或多个处理器，一个或多个计算机可读有形存储设备，以及存储在所述一个或多个计算机可读有形存储设备中的至少一个上的、以用于由所述一个或多个处理器中的至少一个执行的程序指令，所述程序指令可被执行以：由计算机系统将每个类别的每条训练数据应用于多个分类器；

由所述计算机系统执行针对所述每个类别的所述训练数据的评估和验证；

如果所述每条训练数据的分类精度大于预定阈值，则定义针对所述每个类别的所述每条训练数据的至少一个代表性类别；

基于针对所述每个类别的所述训练数据的所述评估和所述验证的结果，由所述计算机系统修改所述训练数据以创建第一修改训练数据；

11.根据权利要求10所述的计算机系统，用于修改所述训练数据以创建所述第一修改训练数据，还包括所述程序指令，所述程序指令可被执行以：响应于确定一条训练数据的分类精度低于预定值并且针对该条训练数据的代表性类别是单个类别，由所述计算机系统改变该条训练数据的类别值。

12.根据权利要求10所述的计算机系统，用于修改所述训练数据以创建所述第一修改训练数据，还包括所述程序指令，所述程序指令可被执行以：响应于确定一条训练数据的分类精度低于预定值并且针对该条训练数据的代表性类别是多个，由所述计算机系统删除该条训练数据。

13.根据权利要求10所述的计算机系统，用于修改所述第一修改训练数据以创建所述第二修改训练数据，还包括所述程序指令，所述程序指令可被执行以：响应于确定一个类别的分类精度低于预定值并且针对所述类别的代表性类别是多个，由所述计算机系统移除所述类别。

14.根据权利要求10所述的计算机系统，用于修改所述第一修改训练数据以创建所述第二修改训练数据，还包括所述程序指令，所述程序指令可被执行以：响应于确定针对两个类别中的每一个类别的分类精度低于预定值并且所述两个类别中的一个类别的代表性类别属于所述两个类别中的另一个类别，由所述计算机系统将所述两个类别合并为一个类别。

15.根据权利要求10所述的计算机系统，其中在执行针对所述每个类别的所述训练数据的所述评估和所述验证时执行类型I错误的分析，其中在执行针对所述代表性类别的所述训练数据的所述评估和所述验证时执行类型II错误的分析。

说明书全文

验证分类器的训练数据

技术领域

[0001] 本发明一般涉及验证分类器的训练数据，并且更具体地涉及评估和修改自动应答系统的分类器的训练数据。

背景技术

[0002] 包括半结构化和非结构化数据的大量数据被称为大数据。近年来，将大数据运用于商业活动和医疗服务的技术引起了关注。特别而言，诸如认知计算和深度学习之类的技术已被应用于这些领域。认知计算提供识别自然语言、语音和图像数据的能力。通过学习大量数据，深度学习已经大大提高了机器学习的准确度。

[0003] 自动应答系统是应用那些技术的系统。自动应答系统以诸如语音或键入的文本之类的自然语言来提供对问题的答案。在这样的系统中，通过使用分类器(例如，WatsonTM自然语言分类器)基于问题的意图对问题进行分类，然后提供答案。分类器是机器学习技术之一，并且也被称为监督学习。将由包括数据部分和类别在内的监督训练数据来训练分类器，然后分类器能够将非监督数据分类为最合适的类别。对于自然语言分类，问题的意图被视为类别，并且问题的陈述被视为数据部分。而且，为了提高分类器的准确度，更优选的是训练数据量更大。然而，在上述自动应答系统的情况下，数据部分是由自然语言编写的问题陈述，因此存在以下问题：(1)收集问题陈述并不容易；(2)作为训练数据收集的问题陈述的意图通常具有专门针对特定领域的内容，因此有必要由各个领域的专家等等来单独验证和确定意图。在某些情况下，可以创建问题陈述，诸如具有不明确内容的问题陈述，包括无法通过自然语言处理正确识别的表达；(3)经常发生错误分类。例如，新添加的问题陈述未能被正确地分类为添加的意图(或类别)，并且在常规训练数据中被分类为另一意图的问题陈述被分类为添加的意图(类别)。

[0004] 众所周知，优选地，应获得更大量的数据以提高机器学习的准确度。还已知通过去除导致噪声的数据(该数据是不能被正确分类的数据或降低学习准确度的数据)来提高分类准确度。已经研究了通过去除噪声数据来提高分类器的准确度的方法。然而，在自动应答系统的情况下，仅增加分类器的精度不一定有助于改善自动应答系统的性能。

发明内容

[0005] 在一个方面，提供了一种用于评估和修改用于分类器的训练数据的方法。该方法包括由计算机系统将每个类别的每条训练数据应用于多个分类器。该方法还包括由该计算机系统执行针对每个类别的训练数据的评估和验证。该方法还包括：如果每条训练数据的分类精度大于预定阈值，则由计算机系统定义针对每个类别的每条训练数据的至少一个代表性类别。该方法还包括基于针对每个类别的训练数据的评估和验证的结果，由计算机系统修改训练数据以创建第一修改训练数据。该方法还包括由计算机系统执行针对代表性类别的第一修改训练数据的评估和验证。该方法还包括基于针对代表性类别的第一修改训练数据的评估和验证的结果，由计算机系统修改第一修改训练数据，以创建第二修改训练数据。

[0006] 在另一方面，提供了一种用于评估和修改用于分类器的训练数据的计算机程序产品。该计算机程序产品包括一个或多个计算机可读有形存储设备和存储在一个或多个计算机可读有形存储设备中的至少一个计算机可读有形存储设备上的程序指令。程序指令可以被执行以：由计算机系统将每个类别的每条训练数据应用于多个分类器；由计算机系统执行针对每个类别的训练数据的评估和验证；如果每条训练数据的分类精度大于预定阈值，则由计算机系统定义针对每个类别的每条训练数据的至少一个代表性类别；基于针对每个类别的第一修改训练数据的评估和验证的结果，由计算机系统修改训练数据以创建第一修改训练数据；由计算机系统执行针对代表性类别的训练数据的评估和验证；并且，基于针对代表性类别的第一修改训练数据的评估和验证的结果，由计算机系统修改第一修改训练数据以创建第二修改训练数据。

[0007] 在又一方面，提供了一种用于评估和修改用于分类器的训练数据的计算机系统。计算机系统包括一个或多个处理器、一个或多个计算机可读有形存储设备，以及存储在一个或多个计算机可读有形存储设备中的至少一个计算机可读有形存储设备上以用于由一个或多个处理器中的至少一个处理器执行的程序指令。程序指令可以被执行以由计算机系统将每个类别的每条训练数据应用于多个分类器。程序指令还可以被执行以由计算机系统执行针对每个类别的训练数据的评估和验证。如果每条训练数据的分类精度大于预定阈值，则程序指令还可以被执行以由计算机系统定义针对每个类别的每条训练数据的至少一个代表性类别。程序指令还可以被执行以基于针对每个类别的训练数据的评估和验证的结果，由计算机系统修改训练数据以创建第一修改训练数据。程序指令还可以被执行以由计算机系统执行针对代表性类别的第一修改训练数据的评估和验证。程序指令还可以被执行以基于针对代表性类别的第一修改训练数据的评估和验证的结果，由计算机系统修改第一修改训练数据以创建第二修改训练数据。

附图说明

[0008] 图1是示出根据本发明的一个实施例的自动应答系统的示例的图。

[0009] 图2是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期的图。

[0010] 图3是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的初始训练数据生成的阶段的图。

[0011] 图4是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的训练数据的评估和修改的阶段的图。

[0012] 图5是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的维护阶段的图。

[0013] 图6是示出根据本发明的一个实施例的用于评估和修改用于自动应答系统的分类器的训练数据的操作步骤的流程图。

[0014] 图7是示出根据本发明的一个实施例的生成聚焦于一个类别的多个训练数据集的图。

[0015] 图8是示出根据本发明的一个实施例的为类别生成多个分类器的图。

[0016] 图9是示出根据本发明的一个实施例的验证数据被应用于多个分类器并且获取分类结果的图。

[0017] 图10是示出根据本发明的一个实施例的具有类别值(类型I错误的分析)的训练数据的评估和验证的表。

[0018] 图11是示出根据本发明的一个实施例的针对代表性类别的训练数据的评估和验证(类型II错误的分析)的表。

[0019] 图12是示出根据本发明的一个实施例的用于评估和修改用于分类器的训练数据的计算设备或服务器的组件的图。

具体实施方式

[0020] 本发明的实施例公开了一种用于通过对自然语言问题的陈述进行分类并根据意图返回满意答案来确定自然语言问题的意图的方法。该方法被用来验证分类器的训练数据，并基于验证结果修改分类器的训练数据。该方法被用来促进训练数据的修订和改进。结果，本发明的方法不仅有助于提高自动应答系统所使用的分类器的准确度，而且有助于提高自动应答系统的精度。

[0021] 在本发明的实施例中，对于自动应答系统，为了使得分类器能够正确地对问题的意图进行分类并提供适当的答案，需要准备问题陈述、意图和与意图相关联的答案陈述。答案语句被配置为模板；从问题的内容以静态或动态的方式单独获取数据以完成模板，并从而执行对用户的响应。训练数据被用于由分类器进行学习。训练数据包括作为其数据部分的问题陈述和作为其类别的意图。

[0022] 在实际项目中，考虑包括1000到2000个问题陈述和大约100个意图(或类别)的训练数据。尽管在各种商业需求中训练数据的类别和大小的数量不同，但是需要用于分类的算法以实现足够的准确度。一般来说，问题陈述越多，分类越好。实际上，上限是针对问题陈述(训练数据)的总数而指定的，而存在的商业要求是，类别(意图)的数量应尽可能多；因此，如果可以在不增加针对一个类别的问题(训练数据)的数量的情况下以足够的准确度进行分类，则优先考虑增加类别而不是所讨论的类别的训练数据。

[0023] 为了实现这一点，可能的倾向于引起错误分类的不良训练数据将被处理而不是被删除。例如，通过添加新单词并重写问题陈述、通过改变问题的意图(类别)、以及通过为模糊问题陈述添加新类别，不良训练数据将被修改。关于多个类似意图(类别)，有必要适当地执行措施，诸如合并两个意图(类别)。

[0024] 本发明的实施例公开了一种用于评估和验证训练数据并且提供用于修订训练数据的辅助信息以提高分类器在机器学习中的分类准确度的方法。

[0025] 在当前技术中，错误分类的训练数据可以作为噪声被移除，错误分类的训练数据的加权被修改以使得可以正确地分类具有与其他条训练数据的特征不同的特征的训练数据。本发明与现有技术不同；本发明中的方法使用修改的训练数据来提高分类器的分类准确度。而且，本发明中的方法评估和验证训练数据并且帮助修订训练数据。

[0026] 在本发明的实施例中，使用一种学习算法。基于每个类别执行训练数据的评估和验证，以便评估被分类为类型I错误的训练数据。以这种方式，为每个待评估类别创建多个训练数据集，并且从多个训练数据集中的每一个训练数据集创建分类器。通过使用已创建的多个分类器，验证待评估类别的训练数据。不是简单的真或假确定，而是对由多个分类器输出的类别执行评估和验证。在本发明的实施例中，分析被错误分类的训练数据的特征，从而可以自动修改类别和/或提供信息以帮助考虑如何修改训练数据。通过合并在每个类别基础上执行的验证结果，执行包括被分类为类型II错误的训练数据在内的错误分类的训练数据的验证，以便提供用于考虑修改训练数据的信息。

[0027] 图1是示出根据本发明的一个实施例的自动应答系统100的图。自动应答系统100包括分类器110。分类器110接收作为自然语言的问题陈述。自动应答系统100还包括意图120。通过对自然语言问题陈述进行分类来确定意图120。自动应答系统100还包括应答创建模块130、应答模板140、应答数据150和应答数据生成外部模块160。由应答创建模块130从应答模板140、应答数据150和应答数据生成外部模块160静态地和动态地生成对应于意图
120的应答陈述。

[0028] 图2是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期200的图。生命周期200包括初始训练数据生成210的阶段210、训练数据的评估和修改的阶段220、分类模型的部署的阶段230、以及训练数据的维护的阶段240。本发明实施例所公开的方法被使用在训练数据的评估和修改的阶段220中。各阶段将在以下段落中参考图3、图4和图5进行讨论。

[0029] 图3是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的初始训练数据生成的阶段210的图。初始训练数据生成的阶段210的目标是创建初始训练数据。如图3中所示，初始训练数据生成的阶段210包括步骤310：定义类别的域。用户定义要由自动应答系统100应答的目标主题(或类别的域)并完成初始类别设计。初始训练数据生成的阶段210还包括步骤320：收集问题。用户收集关于目标主题的问题或者为每个类别自己生成问句。用户为每个类别筛选出差句子。初始训练数据生成的阶段210还包括步骤330：修改类别设计。在此步骤，用户通过合并类别来修改类别设计，在目标主题的范围内为意外问题插入新类别。将步骤320和330重复多次。初始训练数据生成的阶段210还包括步骤
340：生成初始训练数据。

[0030] 图4是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的训练数据的评估和修改的阶段220的图。训练数据的评估和修改的阶段220的目标是获得具有目标分类准确度的修改的训练数据。训练数据的评估和修改的阶段220包括步骤410：测量和评估训练数据。计算机通过创建已学习的分类模型来测量和评估训练数据，并通过一些方法——例如用于测量分类准确度的k倍交叉验证，对其进行测试。计算机检查分类结果的准确度是否符合目标。如果分类准确度满足目标，则训练数据的生命周期将进入分类模型的部署的阶段230；否则，将实现步骤420。训练数据的评估和修改的阶段220还包括步骤420：修改训练数据和类别设计。在步骤420处，以某些方式修改错误分类的训练数据，诸如修改问句、删除数据、或改变其类别、合并类别等。重复步骤410和420，直到准确度满足目标。

[0031] 在分类模型的部署的阶段230中，计算机获得由应用分类算法对整个训练数据集所学习到的分类模型，并且将其部署到自动应答系统100以进行生产。使用分类器的实际系统具有学习功能，该学习功能从读取训练数据开始，将分类算法应用于数据以生成分类模型，并且将已学习的模型部署到系统中的分类器。

[0032] 图5是示出根据本发明的一个实施例的用于认知分类器的训练数据的典型生命周期中的训练数据的维护的阶段240的图。维护训练数据的阶段240的目标是创建新的训练数据以提高准确度。训练数据的维护的阶段240包括步骤510：接收新主题的要求。自动应答系统100的利益相关者可以扩展系统可以回答的主题；因此，需要针对其他主题的新类别。训练数据的维护的阶段240还包括步骤520：分析日志。根据系统日志或来自用户的反馈，可以从自动应答系统100获得实际分类结果的准确度并且进行分析。如果实际分类结果的准确度较低，则实现步骤530。训练数据的维护的阶段240还包括步骤530：修改类别设计。修改训练数据以提高准确度。训练数据的维护的阶段240还包括步骤540：创建新的训练数据。训练数据的维护包括修改类别设计和收集针对新类别的新问句，或改变针对合并类别的问句，或改变针对错误分类的数据的类别。

[0033] 图6是示出根据本发明的一个实施例的用于评估和修改用于自动应答系统的分类器的训练数据的操作步骤的流程图。操作步骤由计算机系统或服务器实现，这将在后面的段落中参考图12详细描述。

[0034] 在步骤610处，计算机系统或服务器从所有类别的训练数据生成聚焦于一个类别的多个训练数据集。图7是示出根据本发明的一个实施例的生成聚焦于一个类别的多个训练数据集的图。例如，如图7中所示，计算机系统或服务器从所有训练数据710生成聚焦于类别X的多个训练数据集720。所有训练数据710被分成两部分：类别X的训练数据712和没有类别值X的训练数据711。将类别X的训练数据712添加到所有的多个训练数据集720，即多个训练数据集720中的类别X的训练数据722、724和726。通过随机采样或类似方法提取没有类别值X的训练数据711的一部分，然后将该部分与类别X的训练数据722、724和726合并，即子数据集1(721)、子数据集2(723)和子数据集n(725)。因此，生成n个训练数据集(多个训练数据集720)。除了随机采样之外，没有类别值X的训练数据可以被分成n条，其中k条可以被随机选择以与类别X的所有条训练数据合并。

[0035] 参见图6，在步骤620处，计算机系统或服务器为从多个训练数据集中分别地学习的类别生成多个分类器。图8是示出根据本发明的一个实施例的为类别生成多个分类器的图。例如，如图8中所示，计算机系统或服务器为类别X生成分类器1(810)、分类器2(820)和分类器n(830)；结果，生成了n个分类器。

[0036] 如先前段落中所述，每个分类器从中学习的训练数据包括聚焦类别(例如，类别X)的所有条训练数据。因此，即使在只有10至20条这样量级的特定类别的训练数据可用的情况下，对于类别X的训练数据，在不受随机拾取的其他条训练数据的影响的情况下，也可以评估和验证是否可以正确学习各条数据。

[0037] 在使用简单的n倍交叉验证方法执行除法的情况下，由于这些类别的训练数据的分散，具有少量训练数据的类别相对减少。结果，在训练数据数量不足的情况下执行学习和验证。因此，简单的n倍交叉验证方法不适用于每个类别基础的验证的目的。

[0038] 参见图6，在步骤630处，计算机系统或服务器指定具有类别(例如类别X)的类别值的训练数据作为验证数据，并将验证数据应用于多个分类器。在将验证数据应用于多个分类器之后，输出并获取针对多个分类器的类别分类的结果。其他类别的训练数据不被用作验证数据。图9是示出根据本发明的一个实施例的验证数据被应用于多个分类器的图。如图9中所示，例如，类别X的训练数据712被指定为验证数据并且被应用于分类器1(810)、分类器2(820)和直到分类器n(830)(其在步骤620生成)。在验证中不使用没有类别值X的训练数据711。将具有类别值X的k条训练数据应用于n个分类器(例如，分类器1 810、分类器2 820、以及直到分类器n 830)以执行类别分类。如图9中所示，具有类别值X的每条训练数据包括数据部分940和类别值950。用于分类器1 810的类别分类结果910、用于分类器2 820的类别分类结果920、以及用于分类器n 830的类别分类结果930被获取；通过与正确答案进行比较获得结果。

[0039] 参见图6，在步骤640处，计算机系统或服务器基于在步骤630处获取的类别分类结果，利用类别值(例如，训练数据类别X的X)执行训练数据的评估和验证。对各条训练数据执行评估，并且对整个类别X执行评估。基于评估的结果提供用于修订分类的信息。对类型I错误执行分析。具体地，计算机系统或服务器通过执行评估和验证来确定已被分类为类别X的训练数据是否被正确分类。对被错误分类为另一类别的任何条的训练数据执行分析。

[0040] 图10是示出根据本发明的一个实施例的具有类别值X(类型I错误的分析)的训练数据的评估和验证的表。如图10中所示的表示出了考虑分类器仅输出一个类别的情况的示例。

[0041] 一些分类，诸如使用神经网络和类似算法的分类算法，可以放心地返回多个类别；在这种情况下，具有最高置信度的类别应该被采用。精度和代表性类别被定义，并且下面将描述分析方法。

[0042] 精度被定义为比率(k/n)，其中n是分类器的数量，并且k是被正确分类的分类器的数量。在各条训练数据之中，如果精度超过预定标准，那么各条训练数据被认为是OK的；否则，各条训练数据是训练数据修订的候选者。例如，如图10的表中所示，“数据部分”列中的QX_#1、QX_#2和QX_#3是相关的训练数据；QX_#1、QX_#2和QX_#3具有高精度(如“精度”列中所示)并且它们是适当的训练数据。

[0043] 代表性类别是从n个分类器估计的类别。在由多个分类器输出的类别之中，已经输出并且其输出计数等于或大于预定标准的一个或多个类别被定义为一个或多个代表性类别。换句话说，如果精度等于或大于标准，那么代表性类别将与正确答案类别相同。例如，如图10的表中所示，QX_#5、QX_#6属于这一类别。

[0044] 对于具有最高两个输出计数的类别，如果它们的总和超过预定标准，那么可以将这两个类别定义为代表性类别。例如，如图10的表中所示，QX_#k属于这一类别。

[0045] 当代表性类别模糊且不容易确定时，将N/A指派给代表性类别。例如，如图10的表所示，“数据部分”列中的QX_#4对应于这种情况；它的代表性类别未被定义，这可能是由模糊的问题陈述引起的。

[0046] 通过使用精度和代表性类别，可以对类别X的训练数据执行以下分析。

[0047] 类别改变-如果分类不正确，则代表性类别是候选类别；因此，修改训练数据以改变类别。此外，可以重写问题陈述。训练数据的类别值似乎不令人满意，因此有必要将类别值改变为针对问题陈述的合适类别值。

[0048] 类别间模糊性验证：关于具有两个代表性类别的训练数据(例如，图10的表中所示的QX_#k)，其问题陈述是模糊的。在QX_#k的情况下，需要确定是应该选择类别B还是C，还是应该合并类别B和C。

[0049] 低相关性的问题的验证：如果训练数据的问题陈述是模糊的或者问题陈述与类别X没有相关性，则代表性类别无法被定义或者将类别X以外的训练数据错误分类为类别X。在这种情况下，问题陈述和意图(类别)是不合适的。

[0050] 当精度比率相对低于预定值时，那么需要改变训练数据的问句或改变类别值。如果训练数据的类别值不令人满意，那么必须将类别值改变为针对问题陈述的合适类别值。当用户不想改变类别时，用户想要改变类别中的语句。在改变问句时，会添加新单词，并从原始语句中移除一些单词。当精度比率相对较低时，如果代表性类别(如图10的表中所示)既不是N/A也不是多个，那么建议将类别改变为代表性类别；否则，需要考虑改变问题陈述或从训练数据中移除不满意的数据。

[0051] 在步骤640处，不仅可以实现训练数据的单独分析，而且可以实现多条数据的分析(诸如图10的表中所示的QX_#1到QX_#k)。对被错误分类的多条验证数据进行分析：在被错误分类的各条验证数据中，可以发现不仅存在与相同代表性类别相对应的数据，而且错误分类中涉及的类别也相同或者在每个分类器基础上比较正确和不正确的模式。在这种情况下，可以发现训练数据的问题陈述具有相同或相似的措辞或任何其他相关事实。在这种情况下，还可以考虑删除基本相同的问题陈述(训练数据)。

[0052] 此外，可以执行在每个类别基础上的分析。对类别X的分析：对于类别X的所有条训练数据，可以确定它们的精度的平均值或被认为是OK的相关数据的比率，以评估该类别。除了在已被配置的自动应答系统需要处理的问题的内容之中进行绝对评估之外，这还可以通过与其他类别的相对比较来区分强弱字段。

[0053] 在步骤650处，计算机系统或服务器基于步骤640处的评估和验证，用类别值X修改训练数据。修改训练数据包括改变类别值。响应于确定精确比率低于预定阈值并且代表性类别是单个类别，计算机系统或服务器将当前类别改变为代表性类别。例如，如图10的表中所示，关于QX_#5和QX_#6，计算机系统或服务器将它们的类别从X改变为B。

[0054] 修改训练数据包括删除训练数据。当对应训练数据的问句模糊或与类别无关时，需要删除训练数据。响应于确定精确比率相对低于预定阈值并且代表性类别是多个，计算机系统或服务器删除训练数据。注意，预定阈值不一定与改变训练数据的情况中相同。例如，如图10的表中所示，关于代表性类别为B或C的QX_#k，计算机系统或服务器删除QX_#k的训练数据。

[0055] 在步骤660处，计算机系统或服务器对所有类别重复步骤610-650。对于所有类别，重复执行步骤610-650。通过步骤660，合并所有类别的验证的所有结果。合并的验证结果在每个代表性类别的基础上被分类。

[0056] 在步骤670处，计算机系统或服务器针对代表性类别执行训练数据的评估和验证，并分析代表性类别之间的相关性。通过分析代表性类别之间的相关性，考虑用于修改训练数据的方法。通过步骤660，在每个代表性类别的基础上对所有类别的验证结果进行分类，并且因此执行类型II错误的分析。

[0057] 图11是示出根据本发明的一个实施例的针对代表性类别的训练数据的评估和验证(类型II错误的分析)的表。图11给出了针对代表性类别的训练数据的评估和验证的示例。

[0058] 即使从代表性类别的角度来看，也可以确定可以使用相同标准正确分类的训练数据，并且也可以建议针对具有不同类别值的训练数据的类别改变。

[0059] 例如，如图11的表中所示，“数据部分”列中的QZ_#1、QZ_#2和QZ_#3具有高精度(在“精度列”中所示)并且它们是适当的训练数据。在图11的表中所示，“数据部分”列中的QB_#4已被分类为类别B，并且考虑将它改变为类别Z。

[0060] 通过在步骤640和670处执行训练数据的评估和验证，类型I和类型II错误二者均被验证，其优点如下。类型I和类型II错误的评估和验证：例如，在步骤640的分析中，即使当类别Y的所有条数据已被正确地分类为类别Y，但是在每个代表性类别基础上的分类中，其他类别的许多条数据被错误分类为类别Y，应当理解，类别Y的训练数据不一定有效，然后一种用于对其进行修改的方法应该被考虑。

[0061] 对于所有类别，可以使用错误分类的模式来实现以下分类。类别间相关性的分析：在类别A和类别B的各条训练数据之中，如果被错误分类的类别A的数据倾向于被分类为类别B，并且另一方面如果被错误分类的类别B的数据倾向于被分类为类别A，那么可以建议在类别A和类别B上执行合并。对于模糊问题，可以添加另一个意图(类别)。

[0062] 当若干问题陈述在训练数据中的类别内没有令人满意的类别值时，需要创建新的类别并且需要将类别值指派给对应的训练数据。

[0063] 在步骤680处，计算机系统或服务器基于步骤670处的评估和验证来修改训练数据。修改训练数据包括移除类别。响应于确定针对某个正确类别的精度比率相对低于预定阈值并且代表性类别是多个，计算机系统或服务器删除训练数据。例如，如图11的表中所示，对于代表性类别为B或C的QA_#N，计算机系统或服务器删除QA_#N的训练数据。

[0064] 修改训练数据包括将多个类别合并为一个类别。对于若干聚焦的类别，当针对每个聚焦类别的精度比率都低于预定阈值并且代表性类别属于其他类别时，那么将那两个类别合并为一个类别。例如，当类别A的训练数据倾向于被分类为类别B并且类别B的训练数据倾向于被分类为类别A时，比改变被错误分类的所有问句更好的是，将类别A和类别B合并为单个C类别(或者仅将类别B合并到类别A)。QB_#4、QB_#5和QB_#6(如图11的表中所示)是针对这种情况的示例。

[0065] 尽管本发明的实施例公开了一种被应用于接受自然语言作为输入并返回答案的认知自动应答系统的方法，但是该方法也适用于需要修改训练数据以提高训练数据的准确度的监督学习算法。

[0066] 图12是示出根据本发明一个实施例的用于评估和修改分类器的训练数据的计算设备或服务器1200的组件的图。应该理解的是，图12仅提供了一个实现方案的图示，并不暗示关于可以在其中实现不同实施例的环境的任何限制。

[0067] 参见图12，计算设备1200包括(一个或多个)处理器1220、存储器1210和(一个或多个)有形存储设备1230。在图12中，计算设备1200的上述组件之间的通信由标号1290来标注。存储器1210包括(一个或多个)ROM(只读存储器)1211、(一个或多个)RAM(随机存取存储器)1213和(一个或多个)高速缓存1215。一个或多个操作系统1231和一个或多个计算机程序1233驻留在一个或多个计算机可读有形存储设备1230上。

[0068] 计算设备1200还包括(一个或多个)I/O接口1250。(一个或多个)I/O接口1250允许与可连接到计算设备1200的(一个或多个)外部设备1260进行输入和输出数据。计算设备1200还包括用于在计算设备1200和计算机网络之间的通信的(一个或多个)网络接口1240。

[0069] 本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

[0070] 计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

[0071] 这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

[0072] 用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

[0073] 这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

[0074] 这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

[0075] 也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

[0076] 附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

标题	发布/更新时间	阅读量
训练数据更新-专利编号CN111095234A	2020-05-11	220
训练数据集生成方法及装置-专利编号CN110147817A	2020-05-13	732
验证分类器的训练数据-专利编号CN110781293A	2020-05-11	754
训练数据处理方法及设备-专利编号CN110264391A	2020-05-13	794
一种车牌识别训练数据的合成方法-专利编号CN110399874A	2020-05-12	1029
共享面部训练数据-专利编号CN102549591A	2020-05-11	512
场景训练数据处理方法及装置-专利编号CN109830282A	2020-05-13	773
自动地生成训练数据-专利编号CN102289459A	2020-05-11	531
一种模型训练数据加载方法及装置-专利编号CN110516817A	2020-05-12	369
训练数据可视健身器材-专利编号CN207520523U	2020-05-12	755

验证分类器的训练数据

验证分类器的训练数据

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式