生成特征向量和基于特征向量进行文本分类的方法和装置专利检索-特征向量人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

生成特征向量和基于特征向量进行文本分类的方法和装置

阅读：371发布：2020-05-12

IPRDB可以提供生成特征向量和基于特征向量进行文本分类的方法和装置专利检索，专利查询，专利分析的服务。并且本发明公开了一种生成特征向量和基于特征向量进行文本分类的方法和装置，涉及计算机技术领域。该生成特征向量的方法的一具体实施方式包括：获取文本数据的特征权重矩阵和词向量矩阵，特征权重矩阵由文本数据与业务场景类别的关联权重构成；通过对特征权重矩阵与词向量矩阵进行运算以生成特征向量矩阵，特征向量矩阵由特征向量组成。该实施方式能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。，下面是生成特征向量和基于特征向量进行文本分类的方法和装置专利的具体信息内容。

权利要求

1.一种生成特征向量的方法，其特征在于，包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；

通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

2.根据权利要求1所述的方法，其特征在于，获取文本数据的特征权重矩阵的步骤包括：对文本数据进行分词操作；

对所述分词操作得到的每个词，通过计算所述每个词与业务场景类别的关联权重以得到所述文本数据的特征权重矩阵。

3.根据权利要求2所述的方法，其特征在于，利用特征选择的方法计算所述每个词与所述业务场景类别的关联权重，所述特征选择的方法包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数、数据建模、L1范数正则化、决策树。

4.根据权利要求1所述的方法，其特征在于，获取文本数据的词向量矩阵的步骤包括：对文本数据进行分词操作；

对所述分词操作得到的每个词，通过计算所述每个词的词向量以得到所述文本数据的词向量矩阵。

5.根据权利要求1所述的方法，其特征在于，所述运算为卷积运算。

6.一种基于特征向量进行文本分类的方法，其特征在于，包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；

通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成；

对所述特征向量进行训练以得到文本数据分类模型；

使用所述文本数据分类模型进行文本数据分类。

7.根据权利要求6所述的方法，其特征在于，对所述特征向量进行训练以得到文本数据分类模型的步骤包括：将所述特征向量输入待训练模型中以得到输出值；

将所述输出值与实际值进行比较并计算误差和；

根据所述误差和调整所述待训练模型的参数；

重复执行以上3个步骤，直至所述误差和小于预设的误差阈值，并将所述误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

8.一种生成特征向量的装置，其特征在于，包括：数据获取模块，用于获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；

特征运算模块，用于通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

9.根据权利要求8所述的装置，其特征在于，所述数据获取模块还用于：对文本数据进行分词操作；

对所述分词操作得到的每个词，通过计算所述每个词与所述业务场景类别的关联权重以得到所述文本数据的特征权重矩阵。

10.根据权利要求9所述的装置，其特征在于，所述数据获取模块利用特征选择的方法计算所述每个词与所述业务场景类别的关联权重，所述特征选择的方法包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数和数据建模、L1范数正则化、决策树。

11.根据权利要求8所述的装置，其特征在于，所述数据获取模块还用于：对文本数据进行分词操作；

对所述分词操作得到的每个词，通过计算所述每个词的词向量以得到所述文本数据的词向量矩阵。

12.根据权利要求8所述的装置，其特征在于，所述运算为卷积运算。

13.一种基于特征向量进行文本分类的装置，其特征在于，包括：数据获取模块，用于获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；

特征运算模块，用于通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成；

模型训练模块，用于对所述特征向量进行训练以得到文本数据分类模型；

文本分类模块，用于使用所述文本数据分类模型进行文本数据分类。

14.根据权利要求13所述的装置，其特征在于，所述模型训练模块还用于：将所述特征向量输入待训练模型中以得到输出值；

将所述输出值与实际值进行比较并计算误差和；

根据所述误差和调整所述待训练模型的参数；

重复执行以上3个步骤，直至所述误差和小于预设的误差阈值，并将所述误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5和/或6-7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5和/或6-7中任一所述的方法。

说明书全文

生成特征向量和基于特征向量进行文本分类的方法和装置

技术领域

[0001] 本发明涉及计算机技术领域，尤其涉及一种生成特征向量和基于特征向量进行文本分类的方法和装置。

背景技术

[0002] 随着大数据时代的来临，大数据分析也应运而生。网络平台通过对自身数据仓库中规模巨大的数据进行分析，可以获取有用的资源，以用于更好地指导网站建设、企业运营等等。

[0003] 以目前发展迅速的电子商务为例，随着互联网的迅速普及，线上购物占据了广大消费用户生活中很高的购物比例。如何通过对用户的消费记录、评论信息等数据进行分析来更好地提高用户的消费体验，扩大电商的市场，成为目前大量电商角逐的主战场。以对用户的评论信息进行分析为例，通过基于用户的评论信息以及相关的新闻等内容，可以根据不同的业务场景(例如：账号安全、虚假交易、恶意订单、营销风控等)对用户的评论信息进行分类，进而可以确定畅销商品和滞销商品，排除商家的不正当竞争行为或对用户的欺骗行为以对商家进行严格管控等。其中，对用户的评论信息进行分类本质上即是对文本进行分类。

[0004] 目前，常用的基于业务场景的文本分类方法，大多是基于现有的机器学习技术或者各种统计学习方法，通过对已有的标注数据进行训练，然后对线上的评论数据进行预测。现有的机器学习技术或者统计学习的方法，实现过程一般是：首先，对文本进行分词；再计算每个词与不同业务场景的相关度；然后，根据相关度选择主要特征，一般选择满足预定相关度阈值的特征或者将相关度由高到低排序后靠前的预定个数的特征作为主要特征；最后，通过对主要特征进行训练得到文本分类模型，以对线上的文本数据进行分类预测。

[0005] 在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

[0006] 一般的特征选择都是选取了排名靠前的部分主要特征作为训练模型的输入，进而训练模型以对文本数据进行分类预测。在这种情况下，因为数据量覆盖不到位，主要特征可能只适应于部分类别，导致其他类别欠拟合，从而忽略了一些其他特征，丢失了相对来说比较重要的特征，导致系统上线后性能不够理想。

发明内容

[0007] 有鉴于此，本发明实施例提供一种生成特征向量和基于特征向量进行文本分类的方法和装置，能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

[0008] 为实现上述目的，根据本发明实施例的一个方面，提供了一种生成特征向量的方法。

[0009] 一种生成特征向量的方法，包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

[0010] 可选地，获取文本数据的特征权重矩阵的步骤包括：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词与业务场景类别的关联权重以得到所述文本数据的特征权重矩阵。

[0011] 可选地，利用特征选择的方法计算所述每个词与所述业务场景类别的关联权重，所述特征选择的方法包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数、数据建模、L1范数正则化、决策树。

[0012] 可选地，获取文本数据的词向量矩阵的步骤包括：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词的词向量以得到所述文本数据的词向量矩阵。

[0013] 可选地，所述运算为卷积运算。

[0014] 根据本发明实施例的另一方面，提供了一种基于特征向量进行文本分类的方法。

[0015] 一种基于特征向量进行文本分类的方法，包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成；对所述特征向量进行训练以得到文本数据分类模型；使用所述文本数据分类模型进行文本数据分类。

[0016] 可选地，对所述特征向量进行训练以得到文本数据分类模型的步骤包括：将所述特征向量输入待训练模型中以得到输出值；将所述输出值与实际值进行比较并计算误差和；根据所述误差和调整所述待训练模型的参数；重复执行以上3个步骤，直至所述误差和小于预设的误差阈值，并将所述误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

[0017] 根据本发明实施例的又一方面，提供了一种生成特征向量的装置。

[0018] 一种生成特征向量的装置，包括：数据获取模块，用于获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；特征运算模块，用于通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

[0019] 可选地，所述数据获取模块还用于：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词与所述业务场景类别的关联权重以得到所述文本数据的特征权重矩阵。

[0020] 可选地，所述数据获取模块利用特征选择的方法计算所述每个词与所述业务场景类别的关联权重，所述特征选择的方法包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数和数据建模、L1范数正则化、决策树。

[0021] 可选地，所述数据获取模块还用于：对文本数据进行分词操作；对所述分词操作得到的每个词，通过计算所述每个词的词向量以得到所述文本数据的词向量矩阵。

[0022] 可选地，所述运算为卷积运算。

[0023] 根据本发明实施例的又一方面，提供了一种基于特征向量进行文本分类的装置。

[0024] 一种基于特征向量进行文本分类的装置，包括：数据获取模块，用于获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；特征运算模块，用于通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成；模型训练模块，用于对所述特征向量进行训练以得到文本数据分类模型；文本分类模块，用于使用所述文本数据分类模型进行文本数据分类。

[0025] 可选地，所述模型训练模块还用于：将所述特征向量输入待训练模型中以得到输出值；将所述输出值与实际值进行比较并计算误差和；根据所述误差和调整所述待训练模型的参数；重复执行以上3个步骤，直至所述误差和小于预设的误差阈值，并将所述误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

[0026] 根据本发明实施例的又一方面，提供了一种电子设备。

[0027] 一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的生成特征向量和/或基于特征向量进行文本分类的方法。

[0028] 根据本发明实施例的再一方面，提供了一种计算机可读介质。

[0029] 一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的生成特征向量和/或基于特征向量进行文本分类的方法。

[0030] 上述发明中的一个实施例具有如下优点或有益效果：通过获取文本数据的特征权重矩阵和词向量矩阵，可以得到文本数据的全部特征与业务场景类别之间的相关度大小，以及文本数据的全部特征对应的向量；然后，对特征权重矩阵和词向量矩阵进行运算以生成新的特征向量矩阵，可以得到每个特征相对于各个业务场景类别的贡献度，从而可以更好地进行特征选择，并克服了由于数据覆盖不到位导致的特征丢失的问题；通过对特征向量进行训练以得到文本数据分类模型以及使用文本数据分类模型进行文本数据分类，可以实现快速地对文本数据进行分类，节省了大量的时间和精力，且便于后期维护。根据本发明的技术方案，能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

[0031] 上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

[0032] 附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

[0033] 图1是根据本发明实施例的生成特征向量的方法的主要流程的示意图；

[0034] 图2是根据本发明实施例的基于特征向量进行文本分类的方法的主要流程的示意图；

[0035] 图3是根据本发明实施例的生成特征向量的装置的主要模块的示意图；

[0036] 图4是根据本发明实施例的基于特征向量进行文本分类的装置的主要模块的示意图；

[0037] 图5是本发明实施例可以应用于其中的示例性系统架构图；

[0038] 图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

[0039] 以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

[0040] 图1是根据本发明实施例的生成特征向量的方法的主要流程的示意图。如图1所示，本发明的生成特征向量的方法主要包括如下的步骤S101和步骤S102。

[0041] 步骤S101：获取文本数据的特征权重矩阵和词向量矩阵，特征权重矩阵由文本数据与业务场景类别的关联权重构成。

[0042] 其中，步骤S101在具体执行时，可以按照如下的步骤执行：

[0043] 步骤S1011：对文本数据进行分词操作；

[0044] 步骤S1012：对分词操作得到的每个词，通过计算每个词与业务场景类别的关联权重以得到文本数据的特征权重矩阵；

[0045] 步骤S1013：对分词操作得到的每个词，通过计算每个词的词向量以得到文本数据的词向量矩阵。

[0046] 其中，步骤S1012和步骤S1013这两个步骤的执行顺序可以根据需要设定，可以同时执行，也可以先执行步骤S1012再执行步骤S1013，也可以先执行步骤S1013再执行步骤S1012。

[0047] 对数据仓库中保存的数据，可以通过数据解析得到文本数据。

[0048] 在步骤S1011中对文本数据进行分词操作时，同时还可以去除停用词、关联词、介词等非实质内容，以减少后续生成特征权重矩阵以及词向量矩阵的工作量，提升处理效率。常用的中文分词工具例如结巴中文分词、汉语词法分析系统ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System的缩写)、简易中文分词系统SCWS(Simple Chinese Words Segmentation的缩写)，等等，均可以实现本发明的分词功能。

[0049] 需要注意的是，在对文本数据进行分词操作时，分词操作的结果不光包括具体的词语，还包括相应的符号，其中，符号例如标点符号、表情符号等，因为标点符号可以表达感情的强烈程度，同样，表情符号也可以直观地表达用户的感情。也就是说，分词操作后得到的词可以是具体的词语，也可以是符号。对于分词操作后得到的每个词，都需要用来生成特征权重矩阵以及词向量矩阵，以使得生成的特征向量矩阵包含全部的特征，以更好地实现基于业务场景的文本分类，提高基于不同业务场景的文本分类精度，以及针对不同业务场景提升用户体验。其中，业务场景指的是某项业务的一个过程或子过程，包括目标、参与方、操作流程和信息传递过程等。业务场景主要是根据业务需要或业务目标进行类别划分的，以电商行业为例，业务场景类别例如是恶意订单、虚假交易、账号安全、营销风控等。

[0050] 分词操作完成后，将根据步骤S1012和步骤S1013生成文本数据的特征权重矩阵和词向量矩阵。

[0051] 在生成文本数据的特征权重矩阵时，可以利用特征选择的方法计算分词后得到的每个词与业务场景类别的关联权重，然后将每个词与不同业务场景类别的关联权重作为一个行向量，由所有行向量组成文本数据的特征权重矩阵。特征选择的方法例如可以包括：卡方检验、信息增益、相关系数、基尼系数、数据建模、L1范数正则化、决策树等用于计算变量之间线性相关程度的方法。在具体实现时，可以使用上述中的任一种特征选择的方法。

[0052] 在本发明的实施例中，特征选择的方法例如是卡方检验。卡方检验是用途非常广的一种假设检验方法，就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趋于符合，若两个值完全相等时，卡方值就为0，表明理论值完全符合。

[0053] 在利用卡方检验法计算每个词与业务场景类别的关联权重时，假设某个词与某个业务场景类别不相关，那么，不相关的数值越大，即说明这个词与这个业务场景的关联权重就越大。据此，即可得到这个词与不同的业务场景类别之间的关联权重，亦即得到了文本数据的特征权重矩阵的一个行向量。对分词操作后得到的每个词，均采用此方法计算其与业务场景类别的关联权重，最后，即可得到文本数据的特征权重矩阵。

[0054] 同样地，在生成文本数据的词向量矩阵时，可以先对每个词生成词向量，然后将每个词向量作为矩阵的一个行向量，进而由这些词向量组成文本数据的词向量矩阵。在对每个词生成词向量时，可以利用独热编码(One-Hot Encode，又叫哑编码)的方式来生成，也可以使用现成的词向量生成工具(例如：word2vec)对词进行训练以生成词向量。其中，在利用独热编码的方式生成词向量时，首先统计文本数据中所有词的个数；然后，为这些词建立索引并按索引进行排序；最后，为每个词生成一个除了本身位置为1外其他位置皆为0的向量。

[0055] 根据上述的内容，即可生成文本数据的特征权重矩阵和词向量矩阵。

[0056] 步骤S102：通过对特征权重矩阵与词向量矩阵进行运算以生成特征向量矩阵，特征向量矩阵由特征向量组成。

[0057] 根据特征权重矩阵，可以得到文本数据的全部特征与业务场景类别之间的相关度大小；根据词向量矩阵，可以得到文本数据的全部特征对应的向量。通过将特征权重矩阵与词向量矩阵进行运算，可以得到每个特征相对于各个业务场景类别的贡献度，从而可以更好地进行特征选择。

[0058] 其中，两个矩阵的运算为卷积运算。根据分词后得到的词对应的每个业务场景的特征权重矩阵，以及生成的词向量矩阵，按照一一对应的方法对每个词向量进行卷积，生成一个新的特征向量矩阵。其中，在进行卷积运算时，可以利用特征权重矩阵作为map，逐步卷积由词向量组成的张量，进而生成最后的特征向量矩阵。

[0059] 根据本发明的实施例，在进行特征权重矩阵和词向量矩阵的卷积运算时，可以使用卷积神经网络CNN(Convolutional Neural Network)中的二维卷积(将词向量并排拼接)，也可以使用类似长短期记忆网络LSTM(Long Short-Term Memory)中的序列，做一维卷积(将词向量全部拼接为一行)。

[0060] 根据步骤S101和步骤S102，即可结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

[0061] 根据如上所述的方法生成特征向量后，可以根据需要，通过对特征向量进行模型训练以得到文本分类模型，进而对文本数据进行分类。

[0062] 本发明的实施例还提供了一种基于特征向量进行文本分类的方法。图2是根据本发明实施例的基于特征向量进行文本分类的方法的主要流程的示意图。

[0063] 如图2所示，本发明实施例的基于特征向量进行文本分类的方法在根据步骤S101和步骤S102生成特征向量后，还包括步骤S103和步骤S104。

[0064] 步骤S103：对特征向量进行训练以得到文本数据分类模型。

[0065] 根据本发明的实施例，步骤S103在具体执行时可以按照以下的步骤：

[0066] 步骤S1031：将特征向量输入待训练模型中以得到输出值；

[0067] 步骤S1032：将输出值与实际值进行比较并计算误差和；

[0068] 步骤S1033：根据误差和调整待训练模型的参数；

[0069] 步骤S1034：重复执行以上3个步骤，直至误差和小于预设的误差阈值，并将误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

[0070] 下面结合具体实施例介绍步骤S103的实现过程。

[0071] 首先，根据应用场景的需要选择待训练模型。常用的机器学习模型例如有：朴素贝叶斯模型、逻辑回归(Logistic Regression)模型、线性回归模型、最近邻算法(KNN，k-NearestNeighbor)模型、决策树模型、支持向量机(SVM，Support Vector Machine)模型、K均值(K-Means)聚类模型等等。通过对每种模型的适用场景以及优缺点进行分析，可以筛选出需要的待训练模型。本发明的实施例中，选择的待训练模型是支持向量机模型。支持向量机模型准确率高，为避免过拟合提供了很好的理论保证，而且即使数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好，在动辄超高维的文本分类问题中特别受欢迎。该模型可以解决高维问题，即大型特征空间；能够处理非线性特征的相互作用；无需依赖整个数据；可以提高泛化能力，等等。

[0072] 然后，将步骤S102中得到的特征向量不断地输入到待训练模型中，并获取模型的输出值。之后，将每个词对应的输出值与其实际值(即：该词对应的类别标签)进行比较以获取误差，并求得所有词对应的输出值与实际值的误差和。最后，判断误差和是否小于预定的误差阈值，如果误差和小于误差阈值，则将满足误差和小于预设的误差阈值的待训练模型作为文本数据分类模型；否则，根据误差和自动调整待训练模型的参数，并重复执行前面介绍的步骤，将步骤S102中得到的特征向量不断地输入到调整后的待训练模型中，获取模型的输出值，再与实际值进行比较计算误差和，直至得到的误差和小于预定的误差阈值，将满足误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

[0073] 根据前面介绍的机器学习过程，对特征向量进行训练得到文本数据分类模型之后，还可以对模型中的某些参数进行人工调整以实现参数寻优，本发明中，将不能通过训练自动调整，需要人工设定的参数定义为超参数。对超参数进行调整的过程如下：首先，从训练模型的文本数据中取出部分数据，作为参数寻优的验证数据集；其次，将验证数据集中的文本数据输入之前得到的文本数据分类模型中，并采用例如有输入建议提示的风格搜索等的方法，对超参数进行调整，以得到效果更好的文本数据分类模型。

[0074] 最后，可以将得到的文本数据分类模型保存起来，以用于进行文本数据分类。

[0075] 步骤S104：使用文本数据分类模型进行文本数据分类。

[0076] 根据步骤S101至步骤S104，通过将文本数据的特征权重矩阵和词向量矩阵进行运算生成特征向量，并对特征向量进行训练以得到文本分类模型，进而对文本数据进行分类，即可结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验。

[0077] 图3是根据本发明实施例的生成特征向量的装置的主要模块的示意图。如图3所示，本发明实施例的生成特征向量的装置300主要包括数据获取模块301和特征运算模块302。

[0078] 数据获取模块301用于获取文本数据的特征权重矩阵和词向量矩阵，特征权重矩阵由文本数据与业务场景类别的关联权重构成；

[0079] 特征运算模块302用于通过对特征权重矩阵与词向量矩阵进行运算以生成特征向量矩阵，特征向量矩阵由特征向量组成。

[0080] 根据本发明的实施例，数据获取模块301还可以用于：

[0081] 对文本数据进行分词操作；

[0082] 对分词操作得到的每个词，通过计算每个词与业务场景类别的关联权重以得到文本数据的特征权重矩阵。

[0083] 具体地，数据获取模块301利用特征选择的方法计算每个词与业务场景类别的关联权重，其中，特征选择的方法可以包括以下中的一种：卡方检验、信息增益、相关系数、基尼系数、数据建模、L1范数正则化、决策树。

[0084] 根据本发明的实施例，数据获取模块301还可以用于：

[0085] 对文本数据进行分词操作；

[0086] 对分词操作得到的每个词，通过计算每个词的词向量以得到文本数据的词向量矩阵。

[0087] 并且，特征权重矩阵和词向量矩阵之间的运算例如为卷积运算。

[0088] 图4是根据本发明实施例的基于特征向量进行文本分类的装置的主要模块的示意图。如图4所示，本发明实施例的基于特征向量进行文本分类的装置400主要包括数据获取模块301、特征运算模块302、模型训练模块303和文本分类模块304。

[0089] 数据获取模块301用于获取文本数据的特征权重矩阵和词向量矩阵，特征权重矩阵由文本数据与业务场景类别的关联权重构成；

[0090] 特征运算模块302用于通过对特征权重矩阵与词向量矩阵进行运算以生成特征向量矩阵，特征向量矩阵由特征向量组成；

[0091] 模型训练模块303用于对特征向量进行训练以得到文本数据分类模型；

[0092] 文本分类模块304用于使用文本数据分类模型进行文本数据分类。

[0093] 根据本发明的实施例，模型训练模块303还可以用于：

[0094] 将特征向量输入待训练模型中以得到输出值；

[0095] 将输出值与实际值进行比较并计算误差和；

[0096] 根据误差和调整待训练模型的参数；

[0097] 重复执行以上3个步骤，直至误差和小于预设的误差阈值，并将误差和小于预设的误差阈值的待训练模型作为文本数据分类模型。

[0098] 根据本发明实施例的技术方案，通过获取文本数据的特征权重矩阵和词向量矩阵，可以得到文本数据的全部特征与业务场景类别之间的相关度大小，以及文本数据的全部特征对应的向量；然后，对特征权重矩阵和词向量矩阵进行运算以生成新的特征向量矩阵，可以得到每个特征相对于各个业务场景类别的贡献度，从而可以更好地进行特征选择，并克服了由于数据覆盖不到位导致的特征丢失的问题；通过对特征向量进行训练以得到文本数据分类模型以及使用文本数据分类模型进行文本数据分类，可以实现快速地对文本数据进行分类，节省了大量的时间和精力，且便于后期维护。根据本发明的技术方案，能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验；且能自动根据业务场景对数据进行分类，节省人力和物力。

[0099] 图5示出了可以应用本发明实施例的生成特征向量和/或基于特征向量进行文本分类的方法或生成特征向量和/或基于特征向量进行文本分类的装置的示例性系统架构500。

[0100] 如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

[0101] 用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

[0102] 终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

[0103] 服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

[0104] 需要说明的是，本发明实施例所提供的生成特征向量和/或基于特征向量进行文本分类的方法一般由服务器505执行，相应地，生成特征向量和/或基于特征向量进行文本分类的装置一般设置于服务器505中。

[0105] 应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

[0106] 下面参考图6，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

[0107] 如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

[0108] 以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

[0109] 特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

[0110] 需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

[0111] 附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0112] 描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块和特征运算模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据获取模块还可以被描述为“用于获取文本数据的特征权重矩阵和词向量矩阵的模块”。

[0113] 作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取文本数据的特征权重矩阵和词向量矩阵，所述特征权重矩阵由所述文本数据与业务场景类别的关联权重构成；通过对所述特征权重矩阵与所述词向量矩阵进行运算以生成特征向量矩阵，所述特征向量矩阵由特征向量组成。

[0114] 根据本发明实施例的技术方案，通过获取文本数据的特征权重矩阵和词向量矩阵，可以得到文本数据的全部特征与业务场景类别之间的相关度大小，以及文本数据的全部特征对应的向量；然后，对特征权重矩阵和词向量矩阵进行运算以生成新的特征向量矩阵，可以得到每个特征相对于各个业务场景类别的贡献度，从而可以更好地进行特征选择，并克服了由于数据覆盖不到位导致的特征丢失的问题；通过对特征向量进行训练以得到文本数据分类模型以及使用文本数据分类模型进行文本数据分类，可以实现快速地对文本数据进行分类，节省了大量的时间和精力，且便于后期维护。根据本发明的技术方案，能够结合文本数据的全部特征，实现基于业务场景的文本分类，提高了基于不同业务场景的文本分类精度，便于针对不同业务场景提升用户体验；且能自动根据业务场景对数据进行分类，节省人力和物力。

[0115] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

标题	发布/更新时间	阅读量
基于干扰特征向量数据集的1比1人脸特征向量比对方法-专利编号CN107657216A	2020-05-11	538
生物体特征向量提取装置以及生物体特征向量提取方法-专利编号CN104346619B	2020-05-11	346
人脸特征向量构建-专利编号CN103198292A	2020-05-11	840
特征向量补偿装置和特征向量补偿方法-专利编号CN101051461A	2020-05-11	137
生成特征向量和基于特征向量进行文本分类的方法和装置-专利编号CN110119445A	2020-05-12	369
基于干扰特征向量数据集的1比N人脸特征向量比对方法-专利编号CN107704809A	2020-05-12	795
生物体特征向量提取装置以及生物体特征向量提取方法-专利编号CN104346619A	2020-05-13	731
特征向量生成装置，搜索装置，特征向量生成方法和搜索方法-专利编号CN1773507A	2020-05-12	885
特征向量降维方法和装置-专利编号CN110046670A	2020-05-13	85
一种心电图特征向量提取方法-专利编号CN110141245A	2020-05-13	872

生成特征向量和基于特征向量进行文本分类的方法和装置

生成特征向量和基于特征向量进行文本分类的方法和装置

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式