会员体验
专利管家（专利管理）
工作空间（专利管理）
风险监控（情报监控）
数据分析（专利分析）
侵权分析（诉讼无效）
联系我们
交流群
官方交流：
QQ群： 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 电脑零配件 / 向量处理 / 一种基于改进的文本空间向量表示的热点发现方法

一种基于改进的文本空间向量表示的热点发现方法

阅读：109发布：2021-02-26

IPRDB可以提供一种基于改进的文本空间向量表示的热点发现方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于改进的文本空间向量表示的热点发现方法一种基于改进的文本空间向量表示的热点发现方法，该方法包括：使用改进的文本空间向量表示方法来搭建向量模型，使得网络文本变成可以被计算机识别和处理的向量模型，从而可以进一步进行热点发现。同时提供了一个实现热点发现的舆情监控系统。，下面是一种基于改进的文本空间向量表示的热点发现方法专利的具体信息内容。

1.一种基于改进的文本空间向量表示的热点发现方法，其特征在于，该方法包括：对文本信息构建特征向量模型；

使用了改进的文本空间向量表示方法。

2.如权利要求1所述的方法，其特征在于，所述对文本信息构建特征向量模型方法具体包括：对数据库结构化数据进行分词处理，以词为一维，文档为一维建立二维空间向量；

计算每个词在文档中的词频放入二维空间向量中。

3.一个实现热点发现的舆情监控系统，其特征在于，该装置包括：舆情获取模块，用于获取网络上了的大量舆情信息，收集到数据库，以便后期处理；

预处理模块，用于对数据库中的大量网页进行去噪音处理，去重，并且存入结构化数据库；

分词模块，用于对中文文本的自然语言处理，把文本分为一个个带词性的词，从而使得系统以词为最小识别单位进行处理；

聚类模块，用于在构建完特征向量库之后，对具有相同特征的文档进行归类，从而实现热点发现。

4.如权利要求4所述的装置，其特征在于，所述舆情获取模块包括：配置模块，用于设定爬虫抓取网页的范围，通过设定网站入口列表，爬取深度，轮询爬取时间来确定爬虫爬取的范围；

爬取模块，用于与指定网站建立连接，按照配置模块中的爬取深度及轮询爬取时间来抓取网页，保存到服务器数据库中。

5.如权利要求4所述的装置，其特征在于，所述预处理模块包括：网页去噪模块，用于对网页进行有用信息提取，使用正则表达式对网页内容进行匹配，提取出结构化信息保存至数据库；

去重模块，对抓取到的网页进行排重处理。

6.如权利要求4所述的装置，其特征在于，所述分词模块包括：使用分词系统对中文文本进行文本拆分，以词为最小单位，为后续自然语言处理做准备工作。

7.如权利要求4所述的装置，其特征在于，所述聚类模块包括：使用聚类算法对特征向量库中的特征向量进行处理，把相似度高的文本聚为一类，从而实现热点发现。

说明书全文

一种基于改进的文本空间向量表示的热点发现方法

技术领域

[0001] 本发明涉及文本挖掘技术，自然语言处理特别涉及一种基于改进的文本空间向量表示的热点发现方法和舆情控制系统。

背景技术

[0002] 数据挖掘是从巨量数据中发现有效的、新颖的、潜在有用的并且最终可理解的模式的非平凡过程。数据挖掘就是为了解决当今拥有大量数据，但缺乏有效分析手段的困境而出现的研究领域。目前，已经在包括生物信息学，自然语言处理等许多方面发挥了巨大的作用。互联网舆情分析，主要是基于网络上发布的文本信息内容进行，因此离不开文本挖掘技术。
[0003] 在文本挖掘技术中主要关注文本特征提取和文本分类技术。特征提取是文本分类的基础，好的特征提取方法不仅能改变文本处理的正确率，更重要的是能缩小处理文本的向量维数，增加效率，提高系统的整体性能。但是，目前在中文处理系统中并没有把特征的提取和优化作为重点来研究，只是试图从处理（分类或聚类）算法着手来提高分类的正确性，虽然有些系统达到了比较好的效果，但是，它们必须是建立在大量训练样本的条件下实现的，而对于网络上大量的随机信息并不太适合。近几年，特征提取系统和方法在文本处理中得到了广泛的应用，加快了文本处理的发展。、在目前所采用的文档表示方法中，存在一个共同的不合人意的地方是文档特征向量具有惊人的维数，使特征子集的选取成为文本挖掘过程中必不可少的一个环节。特征提取即进行维数压缩的工作，这样做的目的主要是提高程序效率和运行速度，同时提高分类精度，快速筛选出针对该类的特征项集合。 [0004] 特征提取的主要方法有两种：一是独立评估方法，基于词间关系相互独立的基本假设(正交假设)，对特征进行权值调整有多种标准:互信息、期望交叉熵、信息增益等。基本思想是对特征集中的每个特征进行独立的评估。通过构造一个算法，对每个特征进行权值调整，然后按权值大小排序，根据权阀值或预定的特征数目选取最佳特征子集作为特征提取的结果。二是综合评估方法，文本中出现的词往往存在一定的相关性，即出现斜交情况，在某种程度上会影响计算的结果。因此，可以采用一种综合评估方法对这些高维的、彼此间不独立的原始特征集中进行变换，得到较少的描述这些特征的综合指标。综合评估方法是从高维的、彼此间不独立的原始特征集中找出较少的描述这些特征的综合指标。这些综合指标之间相互独立，并且可用得到的综合指标对特征集进行选择。90年代以来，众多的统计方法和机器学习方法应用于自动文本分类，文本分类技术的研究引起了研究人员的极大兴趣。目前在国内也已经开始对中文文本分类进行研究，并在信息检索、Web文档自动分类、数字图书馆、自动文摘、分类新闻组、文本过滤、单词语义辨析以及文档的组织和管理等多个领域得到了初步的应用。近年来文本分类技术取得了很大的进展，提出了多种特征抽取方法和分类方法，如回归模型、支持向量机、最大熵模型等，研究了一些相当成功的分类系统，建立了OHSUMED，Reuters等开放的分类语料库。分类是重要的数据挖掘方法，在文本分类中，几乎存在着和一般分类同样多的方法。在众多的文本分类算法中，比较常用的有Rocchio算法、朴素贝叶斯分类算法、K-近邻算法、决策树算法、神经网络算法和支持向量机算法。
[0005] 采用文本挖掘技术，能够实现互联网文本的相似搜索与消重、热点发现与追踪和关联分析与趋势分析。其中，热点发现是指在各种信息来源中追踪那些讨论目标热点的相关信息片段，发现信息片断集合中的各个未知热点，并能在线检测出新热点。关联分析是从海量数据中挖掘关联规则，同时，利用趋势分析技术，分析网络舆论等随时间的发展趋势情况，以便实现对舆论环境的监测与不良倾向的预警。
[0006]

发明内容

[0007] 提供一种基于改进的文本空间向量表示的热点发现方法，该方法包括对文本信息构建特征向量模型以及一种使用了改进的文本空间向量表示方法。其中文本信息构建特征向量模型方法具体包括对数据库结构化数据进行分词处理，以词为一维，文档为一维建立二维空间向量并计算每个词在文档中的词频放入二维空间向量中。
[0008] 改进的文本空间向量表示方法：其中， 表示第i个特征词的权重， 表示词t在文档d中的出现频率，N表示总的文档数， 表示包含t的文档数。
[0009] 本发明提供了一个实现热点发现的舆情监控系统，该装置包括： 舆情获取模块，用于获取网络上了的大量舆情信息，收集到数据库，以便后期处理。包括配置模块，用于设定爬虫抓取网页的范围，通过设定网站入口列表，爬取深度，轮询爬取时间来确定爬虫爬取的范围，以及爬取模块，用于与指定网站建立连接，按照配置模块中的爬取深度及轮询爬取时间来抓取网页，保存到服务器数据库中；预处理模块，包括网页去噪模块，用于对网页进行有用信息提取，使用正则表达式对网页内容进行匹配，提取出结构化信息保存至数据库，以及去重模块，对抓取到的网页进行排重处理；
分词模块，用于对中文文本的自然语言处理，把文本分为一个个带词性的词，从而使得系统以词为最小识别单位进行处理；
聚类模块，用于在构建完特征向量库之后，对具有相同特征的文档进行归类，从而实现热点发现。

附图说明

[0010] 图1为舆情获取模块示意图；图2为预处理模块示意图；
图3为聚类模块示意图。
相关专利内容
标题 发布/更新时间 阅读量
表面法线向量处理机制-专利编号CN110853093A 2020-05-13 468
向量处理系统-专利编号CN85106496A 2020-05-11 370
向量归约处理器-专利编号CN108694055A 2020-05-11 285
向量归约处理器-专利编号CN108694055B 2020-05-11 778
微处理器向量处理方法-专利编号CN1349159A 2020-05-12 610
微处理器向量处理方法-专利编号CN1142484C 2020-05-12 110
处理向量指令-专利编号CN108834427A 2020-05-11 971
并行向量处理引擎结构-专利编号CN101833441A 2020-05-13 457
并行向量处理引擎结构-专利编号CN101833441B 2020-05-13 635
向量处理方法、向量处理单元和微处理器-专利编号CN109388427A 2020-05-12 959
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据，专利查询、专利分析。

电话：13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧，开发出来的一款特色产品，也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品，极大的减少了用户重复工作量，提升工作效率，降低无效或侵权分析的准入门槛。

立即试用

向量处理热门专利
热门文章

IPRDB

最新中国发明专利 最新美国发明专利 技术领域 专利库 专利分类库 国际专利分类库

热门服务

会员版试用 API 数据接口 找代理 知嘟嘟专利交易 排行榜 大学排行榜 专利百科

关于我们

平台介绍 战略合作 网站地图

友情链接

知嘟嘟专利交易 国家知识产权局 中国商标网

联系方式


©2019-2023 上海吉码数字技术有限公司 版权所有，并保留所有权利 沪ICP备20016256号-6 沪公网安备31011702005475号