一种网络应用流量自动化配置识别系统

摘要

本发明提出的是一种网络应用流量自动化配置识别系统，该系统包括应用部署模块，流量过滤规则获取模块，应用分析模块；应用部署模块产生的结果作为应用分析模块的数据源，流量过滤规则获取模块产生应用分析模块所需的流量过滤规则文件；应用分析模块使用应用部署模块产生的结果和流量过滤规则获取模块产生的结果对应用进行分析，产生最终的应用协议识别规则文件。本发明的有益效果：本发明通过自动下载并分析运行应用，使网络应用协议识别规则配置的过程自动化和精准化，提升了规则配置过程的效率，节省了人力成本，并弥补人工分析的疏忽和不足。

权利要求

1.一种网络应用流量自动化配置识别系统，其特征是包括应用部署模块，流量过滤规则获取模块，应用分析模块；应用部署模块产生的结果作为应用分析模块的数据源，流量过滤规则获取模块产生应用分析模块所需的流量过滤规则文件；应用分析模块使用应用部署模块产生的结果和流量过滤规则获取模块产生的结果对应用进行分析，产生最终的应用协议识别规则文件；

所述应用部署模块负责从网络中收集需要分析的应用，具体包括如下步骤：

1‑1、配置应用市场下载参数，构造应用下载请求，下载应用安装包；

1‑2、下载完毕，将应用安装包存入分析源文件夹；

1‑3、如果有不在应用市场下载的应用，直接将不在应用市场下载的应用存入分析源文件夹；

所述流量过滤规则获取模块预先对用来分析应用的移动终端操作系统进行抓包分析，从DNS、TCP、HTTP中提取IP及URL特征，作为用来对后续分析中流量过滤的基准数据；

所述流量过滤规则获取模块负责生成流量过滤规则文件，流量过滤规则文件中按域名、IP、URL存储需要过滤的流量匹配特征，用来在应用分析中过滤掉非应用协议流量；

所述流量过滤规则文件中按域名、IP、URL存储需要过滤的流量匹配特征，具体包括如下步骤：

2‑1、在移动终端产生流量的流经点开启抓包进程，抓取移动终端产生的所有报文；

2‑2、远程控制移动终端，重启移动终端；

2‑3、对移动终端运行中产生的报文进行实时解析，区分出DNS协议、TCP协议、HTTP协议；

2‑4、从DNS协议中提取域名和IP，存入流量过滤规则文件；

2‑5、从HTTP协议中提取域名、URL及IP，存入流量过滤规则文件；

2‑6、从TCP协议中提取IP，如果使用SSL协议，则另外提取域名信息，存入流量过滤规则文件；

2‑7、在移动终端运行过程中，操控移动终端，触发系统预先内置的各个应用的运行，使产生流量；

所述应用分析模块负责对应用进行静态分析和动态分析，生成最终与具体应用相对应的应用协议识别规则文件；

所述对应用进行静态分析和动态分析，生成最终与具体应用相对应的应用协议识别规则文件，具体包括如下步骤：

3‑1、对应用进行解包，提取每个应用的应用名、包名、内置的域名IP数据，作为后续应用协议流量识别的协议名称特征信息；

3‑2、使用adb命令将应用安装到移动终端并控制运行，使应用产生流量；

3‑3、对抓取的所有流量进行解析，提取归纳用到的HOST、URL、IP数据；

3‑4、根据预先准备的识别配置文件模板，将3‑3步从流量中提取的HOST、URL、IP数据和应用解包提取的应用名、包名数据生成与具体应用相对应的应用协议识别规则文件；

所述对抓取的所有流量进行解析，提取归纳用到的HOST、URL、IP数据，具体为：根据流量过滤规则获取模块产生的流量过滤规则文件内保存的域名、IP、URL，将移动终端操作系统自身的流量过滤掉，并对剩余流量进行DNS，HTTP，HTTPS解析，提取归纳用到的HOST、URL、IP数据。

2.根据权利要求1所述的一种网络应用流量自动化配置识别系统，其特征是所述远程控制移动终端，重启移动终端具体通过使用adb命令远程控制移动终端，重启移动终端。

说明书

一种网络应用流量自动化配置识别系统

技术领域

[0001] 本发明涉及一种网络应用流量自动化配置识别系统，属于网络通信技术领域。

背景技术

[0002] 随着互联网技术的迅速发展，网络应用越来越丰富，网络中存在的应用数量达到数千万级，各类应用层出不穷，每天都有大量地应用出现，从网络流量中准确并及时地分辨出不同应用对保护网络安全和应用监管具有重要意义。

[0003] 目前在网络安全及互联网数据分析相关领域，基本都采用人工收集并分析应用的方式来识别不同应用的流量，但人力的增加无法跟上应用数量增加的速度，很多时候只能对重点应用和大型应用进行覆盖，触角无法延伸到大量隐蔽在互联网各个角落的应用。

[0004] 为解决这一问题，很多厂商采用将未能识别出具体应用的流量识别为IP或域名从而粗略地识别应用的办法，但此类方法无法将同一应用的所有流量数据归并整合，更不能对具体应用识别名称进行直观的展示；因此迫切需要一种自动化的方法，来对海量应用流量的识别来进行配置，并及时应用到流量识别系统中。

[0005] 目前普遍采用的人工收集分析并配置网络应用识别规则的方法，受限于人力，无法覆盖数量迅速增加的应用种类，而将网络流量识别到IP及域名的方法，则无法收敛到具体应用，精确度不够。

发明内容

[0006] 本发明提出的是一种网络应用流量自动化配置识别系统，其目的旨在提供一种能够从海量的网络流量中准确识别出具体网络应用流量的网络应用协议识别规则，达到网络应用协议识别配置的自动化及精准化。

[0007] 本发明的技术解决方案：一种网络应用流量自动化配置识别系统，该系统包括应用部署模块，流量过滤规则获取模块，应用分析模块；应用部署模块产生的结果作为应用分析模块的数据源，流量过滤规则获取模块产生应用分析模块所需的流量过滤规则文件；应用分析模块使用应用部署模块产生的结果和流量过滤规则获取模块产生的结果对应用进行分析，产生最终的应用协议识别规则文件。

[0008] 进一步地，所述应用部署模块负责从网络中收集需要分析的应用，具体包括如下步骤：

[0009] 1‑1、配置应用市场下载参数，构造应用下载请求，下载应用安装包；

[0010] 1‑2、下载完毕，将应用安装包存入分析源文件夹。

[0011] 进一步地，所述应用部署模块负责从网络中收集需要分析的应用，具体还包括如下步骤：

[0012] 1‑3、如果有不在应用市场下载的应用，直接将不在应用市场下载的应用存入分析源文件夹。

[0013] 进一步地，所述流量过滤规则获取模块预先对用来分析应用的移动终端操作系统进行抓包分析，从DNS、TCP、HTTP中提取IP及URL特征，作为用来对后续分析中流量过滤的基准数据。

[0014] 进一步地，所述流量过滤规则获取模块负责生成流量过滤规则文件，流量过滤规则文件中按域名、IP、URL存储需要过滤的流量匹配特征，用来在应用分析中过滤掉非应用协议流量。

[0015] 进一步地，所述流量过滤规则文件中按域名、IP、URL存储需要过滤的流量匹配特征，具体包括如下步骤：

[0016] 2‑1、在移动终端产生流量的流经点开启抓包进程，抓取移动终端产生的所有报文；

[0017] 2‑2、远程控制移动终端，重启移动终端；

[0018] 2‑3、对移动终端运行中产生的报文进行实时解析，区分出DNS协议、TCP协议、HTTP协议；

[0019] 2‑4、从DNS协议中提取域名和IP，存入流量过滤规则文件；

[0020] 2‑5、从HTTP协议中提取域名、URL及IP，存入流量过滤规则文件；

[0021] 2‑6、从TCP协议中提取IP，如果使用SSL协议，则另外提取域名信息，存入流量过滤规则文件；

[0022] 2‑7、在移动终端运行过程中，操控移动终端，触发系统预先内置的各个应用的运行，使产生流量。

[0023] 进一步地，所述远程控制移动终端，重启移动终端具体通过使用adb命令远程控制移动终端，重启移动终端。

[0024] 进一步地，所述应用分析模块负责对应用进行静态分析和动态分析，生成最终与具体应用相对应的应用协议识别规则文件。

[0025] 进一步地，所述对应用进行静态分析和动态分析，生成最终与具体应用相对应的应用协议识别规则文件，具体包括如下步骤：

[0026] 3‑1、对应用进行解包，提取每个应用的应用名、包名、内置的域名IP数据，作为后续应用协议流量识别的协议名称特征信息；

[0027] 3‑2、使用adb命令将应用安装到移动终端并控制运行，使应用产生流量；

[0028] 3‑3、对抓取的所有流量进行解析，提取归纳用到的HOST、URL、IP数据；

[0029] 3‑4、根据预先准备的识别配置文件模板，将3‑3步从流量中提取的HOST、URL、IP数据和应用解包提取的应用名、包名数据生成与具体应用相对应的应用协议识别规则文件。

[0030] 进一步地，所述对抓取的所有流量进行解析，提取归纳用到的HOST、URL、IP数据，具体为：根据流量过滤规则获取模块产生的流量过滤规则文件内保存的域名、IP、URL，将移动终端操作系统自身的流量过滤掉，并对剩余流量进行DNS、HTTP、HTTPS解析，提取归纳用到的HOST、URL、IP数据。

[0031] 本发明的有益效果：

[0032] 本发明通过自动下载并分析运行应用，使网络应用协议识别规则配置的过程自动化和精准化，提升了规则配置过程的效率，节省了人力成本，并弥补人工分析的疏忽和不足。

附图说明

[0033] 附图1为一种网络应用流量自动化配置识别系统的整体示意图。

[0034] 附图2为本发明中应用分析模块的运行流程示意图。

具体实施方式

[0035] 一种网络应用流量自动化配置识别系统，该系统包括应用部署模块，流量过滤规则获取模块，应用分析模块；应用部署模块产生的结果作为应用分析模块的数据源，流量过滤规则获取模块产生应用分析模块所需的流量过滤规则文件；应用分析模块使用应用部署模块产生的结果和流量过滤规则获取模块产生的流量过滤规则文件对应用进行分析，产生最终的应用协议识别规则文件。

[0036] 所述应用部署模块、流量过滤规则获取模块、应用分析模块各自的运行过程独立但产生的结果相互依赖，应用部署模块产生的结果作为应用分析模块的数据源，流量过滤规则获取模块产生应用分析模块所需的流量过滤规则文件，而应用分析模块则使用其它两个模块产生的结果对应用进行分析，产生最终的应用协议识别规则文件。

[0037] 所述应用部署模块负责从网络中收集需要分析的应用，具体包括如下步骤：

[0038] 1‑1、配置应用市场下载参数，构造应用下载请求，下载应用安装包；

[0039] 1‑2、下载完毕，将应用安装包存入分析源文件夹；

[0040] 1‑3、如果有不在应用市场下载的应用，直接将不在应用市场下载的应用存入分析源文件夹。

[0041] 所述流量过滤规则获取模块预先对用来分析应用的移动终端操作系统进行抓包分析，从DNS、TCP、HTTP中提取IP及URL特征，作为用来对后续分析中的流量过滤的基准数据。

[0042] 所述流量过滤规则获取模块负责生成流量过滤规则文件，流量过滤规则文件中按域名、IP、URL存储需要过滤的流量匹配特征，用来在应用分析中过滤掉非应用协议流量，具体包括如下步骤：

[0043] 2‑1、在移动终端产生流量的流经点开启抓包进程，抓取移动终端产生的所有报文；

[0044] 2‑2、远程控制移动终端，重启移动终端；优选使用adb命令远程控制移动终端，重启移动终端；

[0045] 2‑3、对移动终端运行中产生的报文进行实时解析，区分出DNS协议、TCP协议、HTTP协议；

[0046] 2‑4、从DNS协议中提取域名和IP，存入流量过滤规则文件；

[0047] 2‑5、从HTTP协议中提取域名、URL及IP，存入流量过滤规则文件；

[0048] 2‑6、从TCP协议中提取IP，如果使用SSL协议，则另外提取域名信息，存入流量过滤规则文件；

[0049] 2‑7、在移动终端运行过程中，操控移动终端，触发系统预先内置的各个应用的运行，使产生流量。

[0050] 所述应用分析模块包括静态分析和动态分析，具体包括根据用来分析应用的移动终端情况，对所有分析源文件夹内的应用，即应用部署模块中步骤1‑2部分在分析源文件夹中存入的应用安装包，依次进行静态分析和动态分析，每个应用独立分析，直至所有应用分析完毕或分析过程被结束；对每个应用提取应用标识以及流量特征，最终根据分析的情况生成应用协议识别规则文件。

[0051] 所述应用分析模块负责对应用进行静态分析和动态分析，生成最终与具体应用相对应的应用协议识别规则文件，具体包括如下步骤：

[0052] 3‑1、对应用进行解包，提取每个应用的应用名、包名、内置的各类域名IP数据，作为后续应用协议流量识别的协议名称特征信息；

[0053] 3‑2、使用adb命令将应用安装到移动终端并控制运行，使应用产生流量；

[0054] 3‑3、对抓取的所有流量进行解析，获取各个数据流对应的承载协议以及服务端IP地址、DNS和HTTPS协议中的域名、HTTP协议中的URL，然后根据流量过滤规则获取模块产生的过滤规则文件内保存的域名、IP、URL，对提取出的域名、IP、URL进行匹配，去除与过滤规则文件中数据匹配的数据，即将移动终端操作系统自身的流量过滤掉，过滤完剩余的HOST、URL、IP数据即为属于该应用的数据；

[0055] 3‑4、根据预先准备的识别配置文件模板，将3‑3步从流量中提取的HOST、URL、IP数据和应用解包提取的应用名、包名等数据，生成与具体应用相对应的应用协议识别规则文件。

[0056] 所述动态分析包括分析流量和对应用进行控制。

[0057] 实施例1

[0058] 一种网络应用流量自动化配置识别系统，该系统由应用部署模块、流量过滤规则获取模块、应用分析模块组成；所述应用部署模块、流量过滤规则获取模块、应用分析模块各自的运行过程独立但结果相互依赖。

[0059] 所述应用部署模块，负责从网络中收集需要分析的应用，包括如下步骤：

[0060] 第一步，配置应用市场下载参数，构造应用下载请求，下载应用安装包；

[0061] 第二步，下载完毕，将应用安装包存入分析源文件夹。

[0062] 所述流量过滤规则获取模块，负责生成流量过滤规则文件，用来在应用分析中过滤掉非应用协议流量，包括如下步骤：

[0063] 第一步，在移动终端使用的WiFi热点开启抓包，抓取该移动终端产生的所有报文；

[0064] 第二步，使用adb命令远程控制移动终端，重启移动终端；

[0065] 第三步，解析移动终端运行中产生的报文，区分出DNS、TCP、HTTP协议；

[0066] 第四步，从DNS协议中提取域名和IP，存入流量过滤规则文件；

[0067] 第五步，从HTTP协议中提取域名、URL及IP，存入流量过滤规则文件；

[0068] 第六步，从TCP协议中提取IP，如果使SSL协议，则另外提取域名相关信息，存入流量过滤规则文件；

[0069] 第七步，在移动终端运行过程中，模块同时操控移动终端，触发系统内置应用的运行，使产生流量。

[0070] 所述应用分析模块，负责对应用进行静态分析和动态分析，生成最终的与具体应用相对应的应用协议识别规则文件，包括如下步骤：

[0071] 第一步，事先在移动终端使用的WiFi热点开启抓包，抓取该移动终端产生的所有报文；

[0072] 第二步，在静态分析中，对应用进行解包；

[0073] 第三步，从解包后的文件中，提取每个应用的应用名、包名；

[0074] 第四步，开始对应用动态分析，使用adb命令将应用安装到移动终端；

[0075] 第五步，使用命令控制移动终端，使运行目标应用，产生流量；

[0076] 第六步，对流量根据过滤规则进行过滤，将移动终端系统自身的流量过滤掉，过滤规则是由流量过滤规则获取模块提前分析产生的；

[0077] 第七步，对过滤后的流量根据承载协议进行区分，并分别解析DNS，HTTP，HTTPS协议；

[0078] 第八步，从承载协议中提取HOST、URL、IP数据；

[0079] 第九步，根据识别配置文件模板，将从流量中提取的HOST、URL、IP数据和应用解包提取的应用名、包名等数据，生成与具体应用相对应的应用协议识别规则文件。

[0080] 以上实施过程通过系统自动完成，具备高效、精准的特点，提升了识别规则配置过程的效率，节省了人力成本。