一种调度数据网设备的自动测试系统及测试方法转让专利

申请号 : CN201510342761.X

文献号 : CN104980317B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李芹黄鑫何晓阳胡婷李文猛

申请人 : 南京南瑞集团公司国家电网公司

摘要 :

本发明公开了一种调度数据网设备的自动测试系统及测试方法,测试仪表自动化用例执行平台的执行接口与自动化测试网络工装接口1连接;测试仪表的控制接口与自动化测试网络工装的接口2连接;被测调度数据网设备的控制接口与自动化测试网络工装的接口3连接;测试仪表自动化库和被测设备自动化库分别通过逻辑接口4和逻辑接口5被自动化用例执行平台调用。本发明整合了测试仪表操作、被测设备控制、测试日志存档以及测试版本的维护等各个分散的环节,实现对调度数据网路由器、交换机的自动化测试,解决了传统手动测试中存在的差异性、效率低和测试周期长的问题,实现了测试的标准性、一致性和公平性,并且大大提高了工作效率。

权利要求 :

1.一种调度数据网设备的自动化测试系统,其特征在于:包括测试仪表、测试仪表自动化库、自动化测试网络工装、被测设备自动化库和自动化用例执行平台,所述自动化用例执行平台通信接口与自动化测试网络工装交换机的接口1连接;所述测试仪表的控制接口与自动化测试网络工装交换机的接口2连接;所述被测调度数据网设备的控制接口与自动化测试网络工装交换机的接口3连接;所述测试仪表自动化库和被测设备自动化库分别通过逻辑接口4和逻辑接口5被自动化用例执行平台调用数据;

所述测试仪表,用于进行相关参数配置后,由自动化用例执行平台控制,调用测试仪表自动化库,自动产生测试场景,通过其测试端口向被测调度数据网设备发送协议报文和数据报文,完成测试仪表与被测调度数据网设备之间的协议交互和数据互通;

所述自动化用例执行平台,用于进行相关参数配置后,通过其逻辑接口4调用测试仪表自动化库的自动化测试用例,通过逻辑接口5调用被测设备自动化库的自动化测试用例对应的设备配置文件,并按测试用例的测试逻辑顺序执行相应的命令,实现测试数据的自动收集和测试数据的自动分析;

所述自动化测试网络工装交换机,用于进行相关参数配置后,通过其接口1接收来自动化用例执行平台的测试仪表控制报文,并将其通过接口2发送给测试仪表;并通过接口1接收来自测试用例执行平台的被测设备控制文件,并将其通过接口3发送给被测调度数据网设备;

所述测试仪表自动化库,用于汇聚调度数据网自动化测试用例,自动仿真特定的测试场景,由自动化用例执行平台通过逻辑接口4进行调用,并控制测试仪表进行执行;

所述被测设备自动化库,用于汇聚调度数据网自动化测试用例所对应的设备配置文件,由自动化用例执行平台通过逻辑接口5进行调用,对被测设备进行控制;

所述被测调度数据网设备,用于进行相关参数配置后,通过其控制接口接收自动化用例执行平台下发的配置文件进行设备配置,向测试仪表发送相应的协议报文和数据报文。

2.根据权利要求1所述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表进行相关配置包括:配置端口模拟设备的数量和IP地址、配置端口模拟设备的路由协议、配置端口模拟流量的发送速率以及测试时间;所述测试仪表的相关路由协议配置包括:RIP协议、OSPF协议、ISIS协议、BGP协议、MPLS协议、LDP协议、RIPng协议、OSPFv3协议、BGP4+协议、ISISv6协议。

3.根据权利要求2所述的一种调度数据网设备的自动化测试系统,其特征在于:所述自动化用例执行平台的配置包括:配置测试仪表控制接口IP地址、配置测试仪表测试端口、配置执行过程日志文件的存储路径、配置测试仪表自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试仪表自动化测试用例执行结束后报告的存储路径。

4.根据权利要求3所述的一种调度数据网设备的自动化测试系统,其特征在于:所配置自动化测试网络工装交换机的VLAN配置:测试仪表、被测调度数据网设备和自动化用例执行平台划分在同一VLAN内。

5.根据权利要求4所述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表自动化库配置的自动化测试用例包括:性能测试用例和功能测试用例;所述测试仪表自动化库配置的性能测试用例包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量;所述测试仪表自动化库的性能测试用例配置其测试流量负载为:端口100%线速,其流量发送时间为:60s。

6.根据权利要求5所述的一种调度数据网设备的自动化测试系统,其特征在于:所述被测试调度数据网设备的自动化库的配置文件包括:性能配置文件和功能配置文件;所述被测调度数据网设备的自动化库的性能配置文件包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量。

7.根据权利要求5所述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表自动化库配置的功能测试用例包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。

8.根据权利要求6所述的一种调度数据网设备的自动化测试系统,其特征在于:所述被测调度数据网设备的自动化库的功能配置文件包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。

9.一种调度数据网设备的自动化测试方法,其特征在于:所述方法包括性能测试方法和功能测试方法,

所述调度数据网设备的性能测试方法包括以下步骤:

1)、自动化用例执行平台在测试床文件中配置被测调度数据网设备的相关路由协议的的路由容量参数、邻居容量参数,路由协议包括RIP、OSPF、ISIS、BGP、RIPng、OSPFv3、BGP4+;

2)、自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化库的自动化测试用例和被测设备自动化库对应配置文件的调用路径、配置测试报告的存储路径;

3)、自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的性能测试用例,根据测试用例中的仪表配置文件配置测试仪表的端口模拟的路由协议、构建流量,设置流量的负载为100%,测试时间为60s;

4)、自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的性能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关性能测试的配置;

5)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口与被测调度数据网设备的端口进行ARP学习;

6)、测试仪表在自动化用例执行平台的控制下,进行路由容量测试时,与被测调度数据网设备建立相关协议的邻居,双向发布被测调度数据网设备支持的相关协议的路由容量;

进行路由邻居容量测试时,与被测调度数据网设备建立相关协议的邻居,建立的邻居的数量为被测调度数据网所支持的邻居容量,每个邻居发布10条路由;

7)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口向被测调度数据网设备端口发送目的地址为已发布路由的流量,60s后停止流量发送,自动化用例执行平台获取流量统计信息并进行结果判定,如果流量的发送数据包数量大于零,并且流量的发送数据包的数量等于流量的接收数据包的数量,判定测试结果为通过,反之则判定测试结果为失败;

8)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;

9)、自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;

10)、自动化用例执行平台生成相应路由容量、邻居容量自动化性能测试用例的测试报告,并将其存储到设定的路径下;

所述调度数据网设备的功能测试方法包括以下步骤:

(1)自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化库的自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试报告的存储路径;

(2)自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的功能测试用例,根据测试用例中的仪表配置文件配置测试仪表的端口模拟的路由协议、构建测试流量,配置流量的发送速率和发送时间;

(3)自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的功能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关功能测试的配置;

(4)自动化用例执行平台通过自动化测试网络工装交换机分别控制测试仪表和被测调度数据网设备按自动化测试用例的流程进行交互式功能验证,并根据设定的判定规则进行结果判断;

(5)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;

(6)自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;

(7)自动化用例执行平台生成相应的路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形、VPN NAT功能的自动化功能测试用例的测试报告,并将其存储到设定的路径下。

说明书 :

一种调度数据网设备的自动测试系统及测试方法

技术领域

[0001] 本发明涉及一种网络设备测试技术,尤其涉及一种调度数据网设备的自动测试系统及测试方法。

背景技术

[0002] 调度数据网设备涉及到的IPv4路由协议主要有RIP、OSPF、ISIS、BGP、MPLS、LDP等,IPv6路由协议的应用也在建设过程中。调度数据网设备传统的测试方法为采用手动测试,由于涉及到的路由协议类型多、设备种类多、测试项目多,因此测试的工作量大,对测试人员的数量和技术程度的要求也高,而且不同测试人员由于对标准的理解不同,在测试过程中还可能产生一定的偏差。
[0003] 目前网络设备的测试仪表主要是采用TESTCENTER,其自动化控制软件ITEST,集成了TESTCENTER支撑库,通过编制特定的自动化脚本,可控制仪表按特定的步骤运行。该发明采用ITEST、TESTCENTER、服务器、网络工装交换机和自动化测试用例构建的调度自动化测试系统,解决了测试的一致性、公平性问题。
[0004] 通过对不同类型的调度数据网设备进行的手动测试和自动测试系统测试的大量比对,采用调度数据网设备自动测试系统及其测试方法(性能、功能测试用例),大大缩减了测试人员的工作量,提高了工作效率,并且消除了不同测试人员可能产生的测试偏差。

发明内容

[0005] 为了解决现有技术中的问题,本发明提供一种调度数据网设备的自动测试系统及测试方法,能够实现调度数据网设备的自动化测试,使得测试过程无需人工干预,测试结果自动分析,测试报告自动生成和存储,消除测试偏差,达到测试的一致性和公平性,大大提高了工作效率。
[0006] 为了解决上述问题,本发明所采取的技术方案是:
[0007] 一种调度数据网设备的自动化测试系统,其特征在于:包括测试仪表、测试仪表自动化库、自动化测试网络工装、被测设备自动化库和自动化用例执行平台,所述测试仪表自动化用例执行平台通信接口的与自动化测试网络工装交换机的接口1连接;所述测试仪表的控制接口与自动化测试网络工装交换机的接口2连接;所述被测调度数据网设备的控制接口与自动化测试网络工装交换机的接口3连接;所述测试仪表自动化库和被测设备自动化库分别通过逻辑接口4和逻辑接口5被自动化用例执行平台调用数据;
[0008] 所述测试仪表,用于进行相关参数配置后,由自动化测试用例执行平台控制,调用测试仪表的自动化库,自动产生测试流量,通过其测试端口向被测调度数据网设备发送协议报文和数据报文,完成测试仪表与被测调度数据网设备之间的协议交互和数据互通;
[0009] 所述自动化测试用例执行平台,用于进行相关参数配置后,通过其逻辑接口4调用测试仪表自动化库的自动化测试用例,通过逻辑接口5调用被测设备自动化库的自动化测试用例对应的设备配置文件,并按测试用例的测试逻辑顺序执行相应的命令,实现测试数据的自动收集和测试数据的自动分析;
[0010] 所述自动化测试网络工装交换机,用于进行相关参数配置后,通过其接口1接收来自动化测试用例执行平台的测试仪表控制报文件,并将其通过接口2发送给测试仪表;并通过接口1接收来自测试用例执行平台的被测设备控制文件,并将其通过接口3发送给被测调度数据网设备;
[0011] 所述测试仪表自动化库,用于汇聚调度数据网自动化测试用例,用于自动化仿真特定的测试场景,由自动化用例执行平台通过逻辑接口4进行调用,并控制测试仪表进行执行;
[0012] 所述被测设备自动化库,用于汇聚调度数据网自动化测试用例所对应的设备配置文件,由自动化用例执行平台通过逻辑接口5进行调用,控制被测设备进行执行;
[0013] 所述被测调度数据网设备,用于进行相关参数配置后,通过其控制接口接收自动化用例执行平台下发的配置文件进行设备配置,向测试仪表发送相应的协议报文和数据报文。
[0014] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表进行相关配置包括:配置端口模拟设备的数量和IP地址、配置端口模拟设备的路由协议、配置端口模拟流量的发送速率以及测试时间;所述测试仪表的相关路由协议配置包括:RIP协议、OSPF协议、ISIS协议、BGP协议、MPLS协议、LDP协议、RIPng协议、OSPFv3协议、BGP4+协议、ISISv6协议。
[0015] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述自动化用例执行平台的配置包括:配置测试仪表控制接口IP地址、配置测试仪表测试端口、配置执行过程日志文件的存储路径、配置测试仪表自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试仪表自动化测试用例执行结束后报告的存储路径。
[0016] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所配置自动化测试网络工装交换机的VLAN配置:测试仪表、被测调度数据网设备和自动化用例执行平台划分在同一VLAN内。
[0017] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表自动化库配置的自动化测试用例包括:性能测试用例和功能测试用例;所述测试仪表自动化库配置的性能测试用例包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量;所述测试仪表自动化库的性能测试用例配置其测试流量负载为:端口100%线速,其流量发送时间为:60s。
[0018] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述被测试调度数据网设备的自动化库的配置文件包括:性能配置文件和功能配置文件;所述被测调度数据网设备的自动化库的性能配置文件包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量。
[0019] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述测试仪表自动化库配置的功能测试用例包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。
[0020] 前述的一种调度数据网设备的自动化测试系统,其特征在于:所述被测调度数据网设备的自动化库的功能配置文件包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。
[0021] 一种调度数据网设备的自动化测试方法,其特征在于:所述方法包括性能测试方法和功能测试方法,
[0022] 所述调度数据网设备的性能自动化测试方法包括以下步骤:
[0023] 1)、自动化用例执行平台在测试床文件中配置被测调度数据网设备的相关路由协议的路由容量参数、邻居容量参数,路由协议包括RIP、OSPF、ISIS、BGP、RIPng、OSPFv3、BGP4+;
[0024] 2)、自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化库的自动化测试用例和被测设备自动化库对应配置文件的调用路径、配置测试报告的存储路径;
[0025] 3)、自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的性能测试用例,根据测试用例中的仪表配置文件配置测试仪表的端口模拟的路由协议、构建流量,设置流量的负载为100%,测试时间为60s;
[0026] 4)、自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的性能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关性能测试的配置;
[0027] 5)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口与被测调度数据网设备的端口进行ARP学习;
[0028] 6)、测试仪表在自动化用例执行平台的控制下,进行路由容量测试时,与被测调度数据网设备建立相关协议的邻居,发布被测调度数据网设备支持的相关协议的路由容量;进行路由邻居容量测试时,与被测调度数据网设备建立相关协议的邻居,建立的邻居的数量为被测调度数据网所支持的邻居容量,每个邻居发布10条路由;
[0029] 7)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口向被测调度数据网设备端口发送目的地址为已发布路由的流量,60s后停止流量发送,自动化用例执行平台获取流量统计信息并进行结果判定,如果流量的发送数据包数量大于零,并且流量的发送数据包的数量等于流量的接收数据包的数量,判定测试结果为通过,反之则判定测试结果为失败;
[0030] 8)、自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;
[0031] 9)、自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;
[0032] 10)、自动化用例执行平台生成相应路由容量、邻居容量自动化性能测试用例的测试报告,并将其存储到设定的路径下;
[0033] 所述调度数据网设备的功能自动化测试方法包括以下步骤:
[0034] (1)自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化库的自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试报告的存储路径;
[0035] (2)自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的功能测试用例,根据测试用例中的仪表配置文件配置测试仪表的端口模拟的路由协议、构建测试流量,配置流量的发送速率和发送时间;
[0036] (3)自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的功能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关功能测试的配置;
[0037] (4)自动化用例执行平台通过自动化测试网络工装交换机分别控制测试仪表和被测调度数据网设备按自动化测试用例的流程进行交互式功能验证,并根据设定的判定规则进行结果判断;
[0038] (5)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;
[0039] (6)自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;
[0040] (7)自动化用例执行平台生成相应的路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形、VPN NAT功能的自动化功能测试用例的测试报告,并将其存储到设定的路径下。
[0041] 本发明相对于传统的手动测试,具有如下优势:
[0042] (1)测试具有一致性:调度数据网设备涉及的路由协议众多,不同设备制造商对于协议理解的不同,在设计时采取的方式也不同,对于标准中规定的方法,不同测试人员也会产生理解上的偏差,因此采用手动测试难免会出现测试差异;本发明提供的自动化测试系统及方法,测试用例设计固定后,所执行的流程一致,因此测试具有一致性,能够为专业检测机构或设备制造商提供有效检测手段和工具。
[0043] (2)提高测试效率:调度数网设备的测试,特别是性能测试,被测设备的配置量大,因此传统的手动测试时,等待设备配置占用了大量的测试时间;采用本发明的自动测试系统进行测试时,测试过程无需人工干预,全天任何时段均可进行测试,大大提高了测试效率。
[0044] (3)保证测试的公正性:本发明提供的调度数据网设备自动测试系统,自动生成结果的测试报告,自动存储,无需人工干预,因此很好的保证了测试的公正性。

附图说明

[0045] 图1是本发明提供的调度数据网设备自动测试测试系统实施的系统框图;
[0046] 图2是本发明的调度数据网设备自动测试测试系统的性能测试方法实例的流程图;
[0047] 图3是本发明的调度数据网设备自动测试测试系统的功能测试方法实例的流程图。

具体实施方式

[0048] 下面结合附图对本发明作进一步描述。
[0049] 如图 1所示,种调度数据网设备的自动化测试系统,其特征在于:包括测试仪表、测试仪表自动化库、自动化测试网络工装、被测设备自动化库和自动化用例执行平台,所述测试仪表自动化用例执行平台通信接口的与自动化测试网络工装交换机的接口1连接;所述测试仪表的控制接口与自动化测试网络工装交换机的接口2连接;所述被测调度数据网设备的控制接口与自动化测试网络工装交换机的接口3连接;所述测试仪表自动化库和被测设备自动化库分别通过逻辑接口4和逻辑接口5被自动化用例执行平台调用数据;
[0050] 所述测试仪表,用于进行相关参数配置后,由自动化测试用例执行平台控制,调用测试仪表的自动化库,自动产生测试流量,通过其测试端口向被测调度数据网设备发送协议报文和数据报文,从而实现测试仪表与被测调度数据网设备之间的协议交互和数据互通,完成调度数据网设备的性能、功能测试;
[0051] 所述自动化测试用例执行平台,用于进行相关参数配置后,通过其逻辑接口4调用测试仪表自动化库的自动化测试用例,通过逻辑接口5调用被测设备自动化库(自动化测试用例对应的配置文件)来实现对测试仪表和被测调度数据网设备的控制,并按测试用例的测试逻辑顺序执行相应的命令,实现测试数据的自动收集和测试数据的自动分析;
[0052] 所述自动化测试网络工装交换机,用于进行相关参数配置后,通过其接口1接收来自动化测试用例执行平台的测试仪表控制报文件,并将其通过接口2发送给测试仪表;并通过接口1接收来自测试用例执行平台的被测设备控制文件,并将其通过接口3发送给被测调度数据网设备;
[0053] 所述测试仪表自动化库,用于汇聚调度数据网自动化测试用例,用于自动化仿真特定的测试场景,由自动化用例执行平台通过逻辑接口4进行调用,并控制测试仪表进行执行;
[0054] 所述被测设备自动化库,用于汇聚调度数据网自动化测试用例所对应的设备配置文件,由自动化用例执行平台通过逻辑接口5进行调用,控制被测设备进行执行;
[0055] 所述被测调度数据网设备,用于进行相关参数配置后,通过其控制接口接收自动化用例执行平台下发的配置文件进行设备配置,向测试仪表发送相应的协议报文和数据报文。
[0056] 所述测试仪表进行相关配置包括:配置端口模拟设备的数量和IP地址、配置端口模拟设备的路由协议、配置端口模拟流量的发送速率以及测试时间。
[0057] 所述测试仪表的相关路由协议配置包括:RIP协议、OSPF协议、ISIS协议、BGP协议、MPLS协议、LDP协议、RIPng协议、OSPFv3协议、BGP4+协议、ISISv6协议。
[0058] 所述自动化用例执行平台的配置包括:配置测试仪表控制接口IP地址、配置测试仪表测试端口、配置执行过程日志文件的存储路径、配置测试仪表自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试仪表自动化测试用例执行结束后报告的存储路径。
[0059] 所配置自动化测试网络工装交换机的VLAN配置:测试仪表、被测调度数据网设备和自动化用例执行平台划分在同一VLAN内。
[0060] 所述测试仪表自动化库配置的自动化测试用例包括:性能测试用例和功能测试用例。
[0061] 所述测试仪表自动化库配置的性能测试用例包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量。
[0062] 所述测试仪表自动化库的性能测试用例配置其测试流量负载为:端口100%线速,其流量发送时间为:60s。
[0063] 所述测试仪表自动化库配置的功能测试用例包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。
[0064] 所述被测试调度数据网设备的自动化库的配置文件包括:性能配置文件和功能配置文件。
[0065] 所述被测调度数据网设备的自动化库的性能配置文件包括:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量。
[0066] 所述被测调度数据网设备的自动化库的功能配置文件包括:路由协议的MD5认证OSPF、ISIS、BGP,路由协议的负载均衡OSPF、ISIS,BGP MED属性,QoS分类/整形,VPN NAT功能。
[0067] 本发明还公开了一种调度数据网设备自动测试方法,所述方法应用于所述的调度数据网自动测试系统中,所述方法包括性能测试方法和功能测试方法。其中,测试仪表自动化库包括调度数据网性能自动化测试性能用例:RIP路由容量、OSPF路由容量、ISIS路由容量、BGP路由容量、RIPng 路由容量、OSPFv3路由容量、ISISv6路由容量、BGP4+路由容量、OSPF邻居容量、ISIS邻居容量、BGP邻居容量;还包括调度数据网功能自动化测试性能用例:路由协议的MD5认证(OSPF、ISIS、BGP)、路由协议的负载均衡(OSPF、ISIS)、BGP MED属性、QoS分类/整形、VPN NAT功能。
[0068] 如图2所示,所述调度数据网设备的性能自动化测试方法包括以下步骤:
[0069] (a)自动化用例执行平台在测试床文件中配置被测调度数据网设备的相关路由协议(RIP、OSPF、ISIS、BGP、RIPng、OSPFv3、BGP4+)的路由容量参数、邻居容量参数;
[0070] (b)自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试报告的存储路径;
[0071] (c)自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的性能测试用例,根据测试用例中的仪表配置文件(*.xml)配置测试仪表的端口模拟的路由协议、构建流量,设置流量的负载为100%,测试时间为60s;
[0072] (d)自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的性能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关性能测试的配置;
[0073] (e)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口与被测调度数据网设备的端口进行ARP学习;
[0074] (f)测试仪表在自动化用例执行平台的控制下,进行路由容量测试时,与被测调度数据网设备建立相关协议的邻居,发布被测调度数据网设备支持的相关协议的路由容量;进行路由邻居容量测试时,与被测调度数据网设备建立相关协议的邻居,建立的邻居的数量为被测调度数据网所支持的邻居容量,每个邻居发布10条路由;
[0075] (g)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表的端口向被测调度数据网设备端口发送目的地址为已发布路由的流量,60s后停止流量发送,自动化用例执行平台获取流量统计信息并进行结果判定,如果流量的发送数据包数量大于零,并且流量的发送数据包的数量等于流量的接收数据包的数量,判定测试结果为通过,反之则判定测试结果为失败;
[0076] (h)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;
[0077] (i)自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;
[0078] (j)自动化用例执行平台生成相应路由容量、邻居容量自动化性能测试用例的测试报告,并将其存储到设定的路径下。
[0079] 如图3所示,所述调度数据网设备的功能自动化测试方法包括以下步骤:
[0080] (1)自动化用例执行平台配置执行过程日志文件的存储路径、配置测试仪表自动化测试用例和被测设备自动化库配置文件的调用路径、配置测试报告的存储路径;
[0081] (2)自动化用例执行平台通过自动化测试网络工装交换机调用测试仪表自动化库的功能测试用例,根据测试用例中的仪表配置文件(*.xml)配置测试仪表的端口模拟的路由协议、构建测试流量,配置流量的发送速率和发送时间;
[0082] (3)自动化用例执行平台通过自动化测试网络工装交换机调用被测设备自动化库的功能测试用例配置文件,通过自动化测试网络工装交换机以SSHv2会话控制方式对被测设备进行相关功能测试的配置;
[0083] (4)自动化用例执行平台通过自动化测试网络工装交换机分别控制测试仪表和被测调度数据网设备按自动化测试用例的流程进行交互式功能验证,并根据设定的判定规则进行结果判断;
[0084] (5)自动化用例执行平台通过自动化测试网络工装交换机控制测试仪表释放测试端口,清空测试仪表的配置;
[0085] (6)自动化用例执行平台通过自动化测试网络工装交换机调用被测试设备自动化库配置文件,控制被测调度数据网设备清除所有的配置,恢复到初始状态;
[0086] (7)自动化用例执行平台生成相应的路由协议的MD5认证(OSPF、ISIS、BGP)、路由协议的负载均衡(OSPF、ISIS)、BGP MED属性、QoS分类/整形、VPN NAT功能等自动化功能测试用例的测试报告,并将其存储到设定的路径下。
[0087] 其中,所述步骤(4)中,在自动化用例执行平台的控制下,进行ISIS/OSPF/BGP路由协议的MD5认证功能自动化测试时,测试仪表配置固定的MD5认证密码,被测调度数据网设备第1次试图与测试仪表建立邻居时,不配置MD5认证功能,第2次试图与测试仪表建立邻居时,配置错误的MD5认证密码,第3次试图与测试仪表建立邻居时,配置正确的MD5认证密码,每次检查测试仪表的邻居建立情况,并通过发送数据流量进行验证,自动化用例执行平台获取流量统计信息并进行结果判定,如果流量的发送数据包数量大于零,并且流量的发送数据包的数量等于流量的接收数据包的数量,判定测试结果为通过,反之则判定测试结果为失败;
[0088] 其中,所述步骤(4)中,在自动化用例执行平台的控制下,进行OSPF/ISIS路由协议的负载均衡功能自动化测试时,测试仪表的两个端口与被测设备建立相同协议的邻居并发布相同的路由,测试仪表的第3个端口发送目的地址为已发布路由的流量,负载为100%端口线速,自动化测试平台通过自动化测试网络工装交换机获取测试仪表的端口流量统计信息并进行结果判断,如果两个流量接收端口接收到的数据包大于零,并且两个流量接收端口接收到的数据包的比率ratio变量的范围在0.95 1.05之间,则判定测试结果为通过,反之~则判定测试结果为失败;
[0089] 其中,所述步骤(4)中,在自动化用例执行平台的控制下,进行BGP MED属性功能自动化测试时,测试仪表的两个端口与被测设备建立EBGP邻居并发布相同的路由,路由设置不同的MED值,测试仪表的第3个端口发送目的地址为已发布路由的流量,负载为100%端口线速,自动化测试平台通过自动化测试网络工装交换机获取测试仪表的端口流量统计信息并进行结果判断,如果发布路由MED值小的端口接收到的数据包大于零,并且等于发送的数据包流量,则判定测试结果为通过,反之则判定测试结果为失败;
[0090] 其中,所述步骤(4)中,在自动化用例执行平台的控制下,进行QoS分类/整形自动化测试时,测试仪表的1个端口构建8条流量发送给被测调度数据网设备,负载均为10Mbit/s,自动化测试平台通过逻辑端口5调用被测设备的策略配置文件并下发到被测设备,自动化测试平台通过自动化测试网络工装交换机获取测试仪表的接收端口流量统计信息并进行结果判断,如果8条流量接收的速率分别为1Mbit/s、2Mbit/s、3Mbit/s、4Mbit/s、5Mbit/s、6Mbit/s、7Mbit/s、8Mbit/s左右,误差比率ratio变量的范围在0.95 1.05之间,则判定测~试结果为通过,反之则判定测试结果为失败;
[0091] 其中,所述步骤(4)中,在自动化用例执行平台的控制下,进行VPN NAT功能自动化测试时,自动化测试平台通过逻辑端口5调用被测设备的NAT穿通VPN的配置文件并下发到被测设备,同时通过逻辑接口4控制测试仪表的3个端口分别绑定3个不同的VPN,在两个端口构建源IP地址变化相同的流量,负载为20fps,发送时间1s,自动化测试平台通过自动化测试网络工装交换机获取测试仪表第3个端口的抓包数据并进行结果判断,如果来自不同VPN的源IP地址相同的报文的源端口号不同,则判定测试结果为通过,反之则判定测试结果为失败。
[0092] 以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。