测试用例生成方法、装置、设备及存储介质转让专利
申请号 : CN202110511428.2
文献号 : CN112988606B
文献日 : 2021-07-23
发明人 : 吕真 , 杨旭 , 罗璇 , 李路遥
申请人 : 成都爱瑞无线科技有限公司
摘要 :
权利要求 :
1.一种测试用例生成方法,其特征在于,所述方法包括:获取预设的用例集合中的每个测试用例;
将所述每个测试用例所包含的测试参数的取值输入至已训练完成的用例失败预测模型中,以获得所述每个测试用例的失败预测概率;
根据所述预设的用例集合中的所述每个测试用例的失败预测概率计算每个测试参数的不同取值的失败预测概率;以及根据所述每个测试参数的不同取值的失败预测概率生成目标测试用例集合,其中选择失败预测概率超过预设门限值的测试参数的取值生成所述目标测试用例集合。
2.如权利要求1所述的测试用例生成方法,其特征在于,所述方法包括:通过如下方式得到所述用例失败预测模型:
收集预定时间范围内的历史用例测试数据,其中所述历史用例测试数据至少包括每个用例所包含的测试参数的取值,以及每个用例的测试结果;以及基于所述历史用例测试数据对预设的原始模型进行训练,以获得所述用例失败预测模型。
3.如权利要求2所述的测试用例生成方法,其特征在于,所述预设的原始模型为三层神经网络模型,其中所述三层神经网络模型具有输入层、隐藏层和输出层。
4.如权利要求1所述的测试用例生成方法,其特征在于,根据所述预设的用例集合中的所述每个测试用例的失败预测概率计算每个测试参数的不同取值的失败预测概率的步骤包括:
根据所述每个测试参数的不同取值对所述预设的用例集合中的每个用例进行分类,以获得分别与每个测试参数的特定取值或特定取值范围相对应的关联用例集合,其中,针对每个测试参数,与其特定取值或特定取值范围相对应的关联用例集合中的全部用例中的该测试参数的取值均是该特定取值或均在该特定取值范围内。
5.如权利要求4所述的测试用例生成方法,其特征在于,根据所述预设的用例集合中的所述每个测试用例的失败预测概率计算每个测试参数的不同取值的失败预测概率的步骤包括:
将所述每个测试用例的失败预测概率大于预设门限值的测试用例标记为预测失败的用例。
6.如权利要求5所述的测试用例生成方法,其特征在于,计算每个测试参数的不同取值的失败预测概率的步骤包括:针对一测试参数的每个特定取值或特定取值范围,将与所述特定取值或特定取值范围对应的关联用例集合中被标记为预测失败的用例数量与该关联用例集合中的用例总数量的比值作为所述测试参数的所述特定取值或特定取值范围的失败预测概率。
7.如权利要求1所述的测试用例生成方法,其特征在于,所述测试用例是用于无线通信物理层的测试用例。
8.一种测试用例生成装置,其特征在于,所述装置包括:获取模块,用于获取预设的用例集合中的每个测试用例;
预测模块,用于将所述每个测试用例所包含的测试参数的取值输入至已训练完成的用例失败预测模型中,以获得所述每个测试用例的失败预测概率;
计算模块,用于根据所述预设的用例集合中的所述每个测试用例的失败预测概率计算每个测试参数的不同取值的失败预测概率;以及生成模块,用于根据所述每个测试参数的不同取值的失败预测概率生成目标测试用例集合,其中选择失败预测概率超过预设门限值的测试参数的取值生成所述目标测试用例集合。
9.一种计算机设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法中的步骤。
说明书 :
测试用例生成方法、装置、设备及存储介质
技术领域
背景技术
层软件测试配置参数多,协议相比4G LTE(长期演进)配置更加灵活,导致需要用大量的测
试用例做覆盖测试,测试效率较低。
的用例个数较少,但是人工配置用例产出效率较低,一定测试时间内覆盖有限;后者可以批
量生成测试用例,提高覆盖率,但是由于是无差别的随机生成测试用例,用例有效性较低,
即平均发现一个缺陷需要的用例个数较多。
发明内容
参数生成用于物理层软件测试的用例,以提升用例有效性并且兼顾覆盖率。
入至已训练完成的用例失败预测模型中,以获得所述每个测试用例的失败预测概率;以及
基于所述每个测试用例的失败预测概率生成目标测试用例集合。
数的不同取值的失败预测概率;以及根据所述每个测试参数的不同取值的失败预测概率生
成所述目标测试用例集合。
所包含的测试参数的取值,以及每个用例的测试结果;以及基于所述历史用例测试数据对
预设的原始模型进行训练,以获得所述用例失败预测模型。
所述预设的用例集合中的每个用例进行分类,以获得分别与每个测试参数的特定取值或特
定取值范围相对应的关联用例集合,其中,针对每个测试参数,与其特定取值或特定取值范
围相对应的关联用例集合中的全部用例中的该测试参数的取值均是该特定取值或均在该
特定取值范围内。
大于预设门限值的测试用例标记为预测失败的用例。
合中被标记为预测失败的用例数量与该关联用例集合中的用例总数量的比值作为所述测
试参数的所述特定取值或特定取值范围的失败预测概率。
试用例集合。
试参数的取值输入至已训练完成的用例失败预测模型中,以获得所述每个测试用例的失败
预测概率;生成模块,用于基于所述每个测试用例的失败预测概率生成目标测试用例集合。
一实施例所述的方法中的步骤。
规模,更快发现软件缺陷的目的。
附图说明
具体实施方式
本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例,都属于本发明保护的范围。
的对象在适当情况下可以互换。在本发明的描述中,“多个”的含义是两个或两个以上,除非
另有明确具体地限定。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排
它的包含。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体
相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件电路或集成电路中
实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实
体。
于在软件测试(例如物理层软件测试)的工作开展前,对待测试软件的功能模块的缺陷进行
预测的情况。该方法可以由本发明第二实施例提供的测试用例生成装置来执行,该装置可
以由软件和/或硬件的方式实现,该装置可以被集成在各种用户终端或服务器上。
层特性参数的取值列表,以测试PUSCH信道为例,其物理层特性参数的取值列表包括
grpHopEnable:0,rxAntennaNumber:1,addDmrsPos:1,NumberOfPrb:50,Modulation:
16QAM,layerNumber:1,CdmGrpIdxWodata:1,ILbrm:0,PTRS:0,HARQbitNumber:1。
失败预测模型是通过以下步骤S21‑S22预先训练得到。
试结果(即,通过或失败)。在本实施例中,预定时间范围可以由测试人员根据测试要求设
置,优选地,所述预定时间范围可以为24小时内。在本实施例中,所述历史用例测试数据是
收集得到的大批量的用于不同测试对象的历史用例测试数据。
所述三层神经网络模型具有输入层、隐藏层和输出层。根据测试对象不同,预设的原始模型
被训练成不同的用例失败预测模型用于后续预测使用。所述三层神经网络模型的输入层包
含了根据该测试对象(例如物理信道测试)而预设的所有物理层特性参数,其权值相同;隐
藏层分为五层,每层的丢弃(dropout)概率均为20%,每层的节点数分别为200,100,100,
100,20;输出层则输出用例的失败预测概率。具体的,根据测试对象的要求,所述输入层输
入收集得到的大批量的历史用例测试数据中每个历史用例所测试到的所有物理层特性参
数取值列表与该用例测试结果(通过或失败)。以测试PUSCH信道为例,输入层的输入参数包
括:grpHopEnable:0,rxAntennaNumber:1,addDmrsPos:1,NumberOfPrb:50,Modulation:
16QAM,layerNumber:1,CdmGrpIdxWodata:1,ILbrm:0,PTRS:0,HARQbitNumber:1,Result:
PASS。在输入全部所述参数后训练所述预设模型,并保留训练结果供预测使用。
预测模型中,获得所述每个新用例的失败预测概率。
理层特性参数的不同取值的失败预测概率生成所述目标测试用例集合。
同取值对所述新用例集合中的每个用例进行分类,以获得分别与每个物理层特性参数的特
定取值或特定取值范围相对应的关联用例集合,其中,针对每个物理层特性参数,与其特定
取值或特定取值范围相对应的关联用例集合中的全部用例中的该物理层特性参数的取值
均是该特定取值或均在该特定取值范围内。例如,所有物理层特性参数“rxAntennaNumber”
的取值等于1的用例会归入物理层特性参数取值分类为“1ant”的关联用例集合中,又例如
所有物理层特性参数“NumberOfPrb”的取值小于100的用例会归入物理层特性参数取值分
类为“NumberOfPrbSmaller100”的关联用例集合中。随后当用例失败预测模型获得每个新
用例的失败预测概率之后,设置一个失败预测概率的门限值,超过预设的所述门限值的用
例会被标记为预测失败的用例。针对物理层特性参数的每个特定取值或特定取值范围,将
与所述特定取值或特定取值范围对应的关联用例集合中被标记为预测失败的用例数量与
该关联用例集合中的用例总数量的比值作为所述测试参数的所述特定取值或特定取值范
围的失败预测概率。
到的所有物理层特性参数的取值(feature),即,包括参数0至参数17;区域2示出了针对每
个物理层特性参数的每个特定取值或特定取值范围的失败预测概率,例如,对应于参数0
(featureld:0)的失败预测概率为72.2957%,同时以代表每个物理层特性参数的每个特定
取值或特定取值范围的区块颜色的深浅表示出失败预测概率的高低,即,区块颜色越深,失
败预测概率越高。
所述目标测试用例集合。例如,当第一物理层特性参数的取值A、第二物理层特性参数的取
值B,和第三物理层特性参数的取值C的失败预测概率均超过一门限值,可以手动生成同时
含有该三个物理层特性参数取值A、B、C的用例,或者利用随机生成用例工具设置参数来固
定生成含有物理层特性参数取值A、B、C,同时其他参数随机的用例。如此可以达到使用更小
的测试用例规模,更快发现软件功能模块(对应于不同物理层特性参数)缺陷的目的。
于将所述每个测试用例所包含的测试参数的取值输入至已训练完成的用例失败预测模型
中,以获得所述每个测试用例的失败预测概率;生成模块40,用于基于所述每个测试用例的
失败预测概率生成目标测试用例集合。所述装置100进一步包括:计算模块30,用于根据所
述预设的用例集合中的所述每个测试用例的失败预测概率计算每个测试参数的不同取值
的失败预测概率。
测试数据,将其导入用例失败预测模型中供其训练。假设场景A包括,64QAM、多用户、PUSCH
携带HARQ信息,且HARQ长度大于11bit,满足此场景A的用例错误较多,当向用例失败预测模
型输入新用例运行后,会得到满足以上场景条件的用例失败预测概率较高,进而会得到涉
及上述物理层特性参数的取值的失败预测概率较高。随后通过选择失败预测概率较高的上
述物理层特性参数的取值生成用于物理层软件测试的用例以提高用例的有效性。
层特性参数的取值的失败概率,能够更有针对性地生成测试用例,以进一步提高用例有效
性。此外,本发明用于物理层软件测试的用例生成方法及装置能够帮助质量管理人员度量
物理层软件的质量,例如,相同的用例集合可以用于支持功能相似的产品,而对于相同的用
例集合,不同的产品由于质量不同,可能得出差异很大的特性参数失败概率表现。
350。其中,该计算机设备200的处理器310用于提供计算和控制能力。该计算机设备200的存
储器320包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机
程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备200的网络接口330用于与外部的计算机设备通过网络连接通信。该计算机程序被
处理器310执行时以实现一种测试用例生成方法。该计算机设备200的显示屏340可以是液
晶显示屏或者电子墨水显示屏,该计算机设备200的输入装置350可以是显示屏340上覆盖
的触摸层,也可以是计算机设备200外壳上设置的按键、轨迹球或触控板,还可以是外接的
键盘、触控板或鼠标等。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
骤:获取预设的用例集合中的每个测试用例;将所述每个测试用例所包含的测试参数的取
值输入至已训练完成的用例失败预测模型中,以获得所述每个测试用例的失败预测概率;
以及基于所述每个测试用例的失败预测概率生成目标测试用例集合。
测试用例;将所述每个测试用例所包含的测试参数的取值输入至已训练完成的用例失败预
测模型中,以获得所述每个测试用例的失败预测概率;以及基于所述每个测试用例的失败
预测概率生成目标测试用例集合。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
例的说明只是用于帮助理解本发明的技术方案及其核心思想;本领域的普通技术人员应当
理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征
进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例的
技术方案的范围。