轻量级智能网页内容解析方法

摘要

本发明为网页内容解析提供了一种通用的轻量级智能解析方法，可以对文章类(如新闻、博客、论坛等)网页进行有效的内容解析。步骤如下：首先，下载网页HTML源码并将其转换成结构化数据模型；其次，分析结构化数据模型，收集用于定位主体内容的数据；再次，利用收集的数据，对数据模型进行进一步分析，定位主体内容(如新闻内容、博客文章、论坛主题和回复等)所在的位置；最终，分析获取的主体内容模型，去除无用信息，得到主体内容。此外，通过交互式界面，用户可对解析结果进行合并、编辑、保存、索引，相当于为用户建立了网页内容资料库，供后期的检索使用。这种方式，有效的将分析技术、存在特性、人工干预加以结合，提供更加贴近用户的功能。

权利要求

1.一种轻量级智能网页内容解析方法，其特征在于：

1)从因特网获取网页的HTML源码，但并不获取网页中引用的图片、脚本资源，其目的是获取网页的文本数据；

2)利用HTML源码的结构化、层次化特性，构建数据对象，同时对不完整的HTML源码进行补充，确保每个标签都是完整闭合，便于后续对标签所包含数据的分析；

3)遵循网页构建时候的基本特征和开发者的常规习惯，利用新闻、博客、论坛等文章类型网页的基本特征，系统自动从根节点开始递归，自上而下对每个HTML标签所包含的数据信息、文本信息、非文本信息、超链信息所占比例进行统计、比较，以纯文本信息量及相关比例为依据，确认最可能的文章标题、主体内容的父节点；

4)对于获取到的父节点，整理其所包含的文字信息，去除菜单、导航等和文章内容无关的数据，最终获取当前网页的有效文字信息，即主要内容和标题，并以自定义格式保存；

5)所有网页都采取同样的解析方式，并且保存为自定义格式时，均不包含原有网页的HTML结构和排版信息，整个解析过程自动完成，不需要人工干预；

6)保存的网页主体内容，作为文字数据材料，可供用户处理，进行查看、编辑、合并、索引、格式转换，乃至编辑成册；

7)通过任务调度功能，可以定制任务，定时更新结果。

说明书

轻量级智能网页内容解析方法

技术领域

[0001] 本发明涉及网页内容解析领域。

背景技术

[0002] 在网页内容解析系统中，需要对网页的内容进行过滤，仅保留有用的主体内容，并去除无用的信息，如广告、菜单、导航等。然而传统的解决方式是根据某网页中的HTML源码的结构，通过分析并确认主体内容的位置来进行解析。其前提是，知道某网页的源码特点和主体内容的确定位置。但是，不同的网页具有不同的源码结构和特点，这种解析方式仅能对已知的具体网页进行解析，应用范围有限。而且，网页结构一旦调整，该功能也将失效。 发明内容

[0003] 本发明的目的是提供一种通用的针对文章类网页(新闻、博客、论坛等带有明显主体内容的网页)进行内容解析方法，通过分析该类网页所具有的共性和在创建时所必然具有的某些特征，结合HTML源码的结构特点来定位主体内容的位置，并获取其内容。从而为一般用户提供一快速、有效的轻量级的网页内容解析工具。

[0004] 为了达到上述目的，本发明设定了一种主体内容定位算法。首先，下载并将网页HTML源码转换成结构化数据模型；其次，分析数据模型，收集用于主体内容定位的数据；再次，利用收集的数据，对数据模型进行分析，定位主体内容(如新闻内容、博客文章、论坛主题和回复等)所在的位置；最终，分析所确定的主体内容模型，去除无用信息，获取有关的主体内容。此外，通过交互 式界面作为补充，用户可对已解析成功的结果进行进一步的合并、编辑、保存、索引。相当于为用户提供了一网页内容资料库，供后期的检索使用。这种方式，有效的将分析技术、存在特性、人工干预加以结合，提供更加贴近用户的功能。 附图说明

[0005] 图1为本发明的工作流程示意图。

具体实施方式

[0006] 下面结合附图1对本发明所述的技术方案做进一步详细描述。

[0007] 图1为智能网页内容解析所涉及的各个模块的方框图，其包括客户端和服务器端两部分，支持多个客户端连接服务器端。客户端包括网页选取和内容编辑两个部分。其中网页选取主要用于触发网页内容解析任务，内容编辑主要用于成功解析网页后，对多个网页解析的结果，进行合并、编辑、保存。服务器端主要包括任务调度系统、网页内容下载/解析、内容中心模块。

[0008] 这个网页内容解析过程主要步骤如下：

[0009] 1)用户选择网页并生成任务；

[0010] 2)任务调度系统处理任务：

[0011] a.下载网页的HTML源码；

[0012] b.构建数据模型；

[0013] 由于HTML适用广泛而且语法不是非常严格，因此构建模型需要以下几个步骤： [0014] i.获取编码类型并进行相应的转换；

[0015] ii.对HTML源码进行补全，方便构建对象；

[0016] iii.过滤某些不规则字符，避免解析过程中出现异常；

[0017] iv.解析源码，构建对象；

[0018] c.进行内容解析，获取主体内容；

[0019] i.遍历节点，进行数据数据信息、文本信息、非文本信息、超链信息所占比例统计；

[0020] ii.对所有节点的统计信息，根据相互父子、兄弟关系，比较纯文本信息量、所占比例等统计数据，确认最可能的文章标题、主要内容的父节点；

[0021] iii.将获取的父节点所包含文字数据提出，并保存如自定义格式中。