提升大规模样本测试效率的自动化测试方法及系统

摘要

本发明特别涉及一种提升大规模样本测试效率的自动化测试方法及系统，其中该方法包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。通过样本标签，深入挖掘样本测试结果之间的关联，提出了标签依赖关系以及测试结果依赖关系，在样本测试之前予以判断，从而直接为有依赖关系的样本赋予测试结果，在实际执行时，可跳过一部分样本的测试，大幅节约测试时间，提高测试效率。

权利要求

1.一种提升大规模样本测试效率的自动化测试方法，其特征在于：包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；

为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；

对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果；

标签的依赖关系，即后置标签的产生依托于前置标签、或标签对应的样本测试结果有一定的关联性；

测试结果的依赖关系，即前置样本的测试结果大概率代表了后置样本的测试结果。

2.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：按如下步骤对样本进行测试：S101、从总样本集中挑选出包括所有组标签的第一层级标签的样本，构建第一样本集，余下的样本构成第一未测试样本集；

S102、对第一样本集进行测试得到测试结果；

S103、遍历第一未测试样本集中的样本，若该样本的标签与第一样本集中的样本标签仅有一个相异，则将该样本添加至第二样本集中，余下的样本构成第二未测试样本集；

S104、遍历第二样本集中的样本，若该样本与第一样本集中的某个样本的测试结果存在依赖关系，则将后者的测试结果作为该样本的测试结果；否则直接进行测试得到测试结果；

S105、依照步骤S103和S104类推，直至所有样本测试完毕。

3.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：按如下步骤对样本进行测试：遍历总样本集中的样本得到待测试样本集；

按顺序对待测试样本集中的样本进行测试，测试步骤如下：S201、根据待测试样本的标签判断其有无具有依赖关系的前置样本，若有则执行步骤S202，否则执行步骤S204；

S202、判断前置样本有无测试结果，若没有测试结果，则将该样本添加至待测试样本集的末尾并执行步骤S205，若有测试结果，则执行步骤S203；

S203、判断前置样本和该样本的测试结果有无依赖关系，若有则将前置样本的测试结果作为该样本的测试结果并执行步骤S205；否则执行步骤S204；

S204、对该样本进行测试得到测试结果后执行步骤S205；

S205、返回步骤S201测试下一个待测试样本直至待测试样本集测试完毕。

4.如权利要求3所述的提升大规模样本测试效率的自动化测试方法，其特征在于：所述的步骤S201中，包括如下步骤：获取待测试样本的标签；

分别获取每个标签所在组中比该标签层级更高且具有依赖关系的其他标签得到每个标签的前置标签；

根据每个标签的前置标签的自由组合匹配得到的多个样本即为前置样本。

5.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：所述的样本为嵌入了隐形水印的屏摄图或截屏图，包括如下任意一组或任意多组的标签及其依赖关系：第一组标签表达的是压缩依赖关系：

，其中，original代表原图，dingding、weixin、feishu分别代表钉钉、微信、飞书压缩；

第二组标签表达的是剪裁依赖关系：

其中，full代表完整屏幕，cut代表部分屏；

第三组标签表达的是水印强度依赖关系： ，ki代表设置的水印强度。

6.如权利要求1所述的提升大规模样本测试效率的自动化测试方法，其特征在于：所述的为样本添加标签包括：根据标签按“前缀_组1标签_组2标签_…_组n标签”的格式对样本进行重命名，组i标签代表的是第i组标签中的某个标签。

7.一种提升大规模样本测试效率的自动化测试系统，其特征在于，包括：标签配置模块，根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；

标签添加模块，用于为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；

样本测试模块，用于对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果；

标签的依赖关系，即后置标签的产生依托于前置标签、或标签对应的样本测试结果有一定的关联性；

测试结果的依赖关系，即前置样本的测试结果大概率代表了后置样本的测试结果。

8.如权利要求7所述的提升大规模样本测试效率的自动化测试系统，其特征在于：所述的样本测试模块包括样本分发单元、监控及存储单元、多个测试终端；监控及存储单元用于监测各测试终端的运行状态并保存测试结果，测试终端根据样本分发单元发送的测试指令对样本进行测试；样本分发单元根据样本之间的依赖关系判断样本是否需要测试，并根据测试终端的运行状态将需要测试的样本发送到空闲的测试终端上进行测试。

9.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1‑6中任一项所述的提升大规模样本测试效率的自动化测试方法。

10.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1‑6中任一项所述的提升大规模样本测试效率的自动化测试方法。

说明书

提升大规模样本测试效率的自动化测试方法及系统

技术领域

[0001] 本发明涉及大规模样本测试技术领域，特别涉及一种提升大规模样本测试效率的自动化测试方法及系统。

背景技术

[0002] 为了验证算法的效果，常需要准备大量样本，根据算法对样本的处理结果来评估算法的效果。比如我司屏幕拍摄泄密溯源取证系统，通过在屏幕上添加不可见的隐形水印，当屏幕被拍摄或截屏泄露后，可根据泄露的图片溯源出水印信息，从而确定泄露源。隐形水印提取成功与否，是衡量该系统的一个重要指标，该系统在不断的升级和迭代中，我们就需要对水印提取算法进行测试。

[0003] 在当前的测试过程中，常规的做法如图1所示，首先通过人工对样本进行拆分，拆分后得到多个样本子集，其次，通过多个测试线程和样本提取服务终端来分别对拆分后的样本子集进行测试，最后统计多个样本提取服务终端的测试结果。这种测试方法存在诸多不足：其一，人工对样本进行拆分，拆分的不够均匀，很容易出现样本提取服务终端闲置的情况；其二，所有的样本都会被测试，对于某些测试耗时较多的算法来说，完成所有测试需要消耗大量的时间。因此急需一种可以提升大规模样本测试效率的测试方法来避免上述不足。

发明内容

[0004] 本发明的首要目的在于提供一种提升大规模样本测试效率的自动化测试方法，能够高效快速的实现大规模样本的测试。

[0005] 为实现以上目的，本发明采用的技术方案为：一种提升大规模样本测试效率的自动化测试方法，包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。

[0006] 本发明的另一个目的在于提供一种提升大规模样本测试效率的自动化测试系统，能够高效快速的实现大规模样本的测试。

[0007] 为实现以上目的，本发明采用的技术方案为：一种提升大规模样本测试效率的自动化测试系统，包括：标签配置模块，根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；标签添加模块，用于为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；样本测试模块，用于对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。

[0008] 与现有技术相比，上述方法及系统存在以下技术效果：通过样本标签，深入挖掘样本测试结果之间的关联，提出了标签依赖关系以及测试结果依赖关系两种关系，并且可以在样本测试之前予以判断，从而直接为有依赖关系的样本赋予测试结果，在实际执行时，可跳过一部分样本的测试，大幅节约测试时间，提高测试效率。

附图说明

[0009] 图1是现有技术中常规的大规模样本测试流程图；

[0010] 图2是本发明总的流程图；

[0011] 图3是本发明中对样本进行测试的实施例一的步骤流程图；

[0012] 图4是本发明中对样本进行测试的实施例一的样本处理流程图；

[0013] 图5是本发明中对样本进行测试的实施例二的步骤流程图；

[0014] 图6是本发明中对样本进行测试的实施例二的样本处理流程图；

[0015] 图7是本发明的结构示意图。

具体实施方式

[0016] 下面结合图2至图7，对本发明做进一步详细叙述。

[0017] 参阅图2，本发明中公开了一种提升大规模样本测试效率的自动化测试方法，包括如下步骤：根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；具有依赖关系的标签，反应的是样本之间的关联性；同时为样本添加标签，需要注意的是，这两个步骤执行时没有先后顺序，可以按任意顺序执行，但这两个步骤执行完毕后才能对样本进行测试。标签是否具有依赖关系，主要取决于这些标签所涉及样本的测试结果之间是否有关联、或者标签本身的定义是否具有关联性。

[0018] 我们结合实际的使用场景进行详细说明，所述的样本为嵌入了隐形水印的屏摄图或截屏图，具体以屏摄图为例。

[0019] 测试的样本都是人工拍摄获得的，此时拍摄到的原图就构成一个样本，一般的泄密场景下，泄密者常通过通讯工具将屏摄原图发送出去，经过通讯工具传输后的屏摄图一般都会被压缩，因此我们常需要评估算法提取压缩后屏摄图的能力。当屏摄原图经过不同的通讯工具传输时，会得到不同的压缩样本，假设屏摄原图我们打的标签是original，那么经过钉钉、微信、飞书等常用通讯软件传输后的图片我们分别添dingding、weixin、feishu作为其标签。那么这四个标签就构成一组标签，且dingding、weixin、feishu这三个标签依赖于original这个标签，用公式表示如下：

[0020]

[0021] 并且在测试结果上，如果具有original标签的屏摄原图水印提取失败，那么经过压缩后的图片水印提取大概率也会失败。

[0022] 同时，我们有时候还会测试屏摄原图经过剪裁导致屏幕区域不完整的情况下，算法提取水印的能力，因此还会为包括完整屏幕区域的屏摄原图打上full的标签，对此图按一定要求进行剪裁后，得到部分屏图片，此时为其打上cut的标签，这两个标签的依赖关系为 。理论上来说，full标签的图片水印提取失败，对该图进行剪裁得到的图片水印提取大概率也会失败。

[0023] 上面两个方案中，后置标签的产生本来就依托于前置标签，因此他们直接构成依赖关系，这种依赖关系，可能是一对一，比如full和cut，也可以是一对多，比如original和dingding、weixin、feishu，这里仅展示了两个层级，实际还可以有更多层级。

[0024] 同样地，还有水印强度 ，k的下标越小，水印强度越强，其提取成功率越高，此时，我们通过设置不同的水印强度，拍摄得到的屏摄原图就会被添加上水印强度这个标签，这些标签之间的产生不依赖彼此，但是这些标签对应的样本测试结果有一定的关联性，比如在设置屏幕隐形水印的水印强度为k2的情况下拍摄得到的屏摄原图，算法已经提取不了隐形水印，那么对于其他更小的水印强度，也大概率提取不了隐形水印，因此，不同的水印强度之间也形成了标签依赖，且它们的依赖关系为单向多层级的关系，即。

[0025] 本发明优选的实施例中，包括如下任意一组或任意多组的标签及其依赖关系：第一组标签表达的是压缩依赖关系，第二组标签表达的是剪裁依赖关系，第三组标签表达的是水印强度依赖关系，这个针对的样本为嵌入了隐形水印的屏摄图或截屏图。对于其他样本，应该有设置不同的标签和不同的依赖关系，这里就不再详细阐述，只需要按照上面所述的思路按实际情况设置即可。

[0026] 属于同一组的标签，本身具有互斥性，比如上面所示意的三组标签，每一组标签中的各标签在某个样本上只会有一个，所以为样本添加标签时，针对任一组标签最多只有一个标签添加至某个样本上。

[0027] 完成上述两个步骤的执行后，我们就可以对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。测试结果的依赖关系，可以理解为前置样本的测试结果大概率代表了后置样本的测试结果，比如本案中对屏摄图进行水印提取算法，如果屏摄原图都提取失败了，那么压缩后的样本也大概率会提取失败，因此，已测试样本是原图且提取失败，那么该样本的压缩图与原图之间就存在标签和测试结果均存在依赖关系。

[0028] 对于本发明中所提及的隐形水印算法测试来说，这样可以节约非常多的时间，时间的节约主要体现在如下几个方面：其一，样本测试时，不用刻意调整样本的测试顺序，不用刻意拆分样本，更加快捷方便；其二，设置标签依赖只需要简单的设置，几秒钟即可完成操作，然后根据标签依赖关系和测试结果依赖关系，只需要添加简单的控制逻辑就能跳过很多样本的测试工作，节约了大量不必要的测试过程，这个方面节约的时间非常多。

[0029] 为了更简单的体现出样本及其标签，本发明中所述的为样本添加标签包括：根据标签按“前缀_组1标签_组2标签_…_组n标签”的格式对样本进行重命名，组i标签代表的是第i组标签中的某个标签。这里的前缀可以包括其他的信息，比如拍摄手机型号、拍摄参数、拍摄时间等，可以理解为没有依赖关系的标签。

[0030] 下面我们以屏摄图为例进行详细说明。

[0031] （1）我们先设置不同的水印强度 拍摄得到三张屏摄原图，分别命名如下：

[0032] P001：前缀_original_full_k1；

[0033] P002：前缀_original_full_k2；

[0034] P003：前缀_original_full_k3；

[0035] （2）对上述原图分别进行剪裁得到如下三个样本：

[0036] P004：前缀_original_cut_k1；

[0037] P005：前缀_original_cut_k2；

[0038] P006：前缀_original_cut_k3；

[0039] （3）对原图分别用不同的压缩算法进行自动压缩得到如下九个样本：

[0040] P007：前缀_dingding_full_k1；

[0041] P008：前缀_dingding_full_k2；

[0042] P009：前缀_dingding_full_k3；

[0043] P010：前缀_weixin_full_k1；

[0044] P011：前缀_weixin_full_k2；

[0045] P012：前缀_weixin_full_k3；

[0046] P013：前缀_feishu_full_k1；

[0047] P014：前缀_feishu_full_k2；

[0048] P015：前缀_feishu_full_k3；

[0049] （4）为了方便看出各样本之间的关系，我们用表格的形式整理如下：

[0050]水印强度\标签 原图 部分屏 钉钉压缩 微信压缩 飞书压缩
k1 P001 P004 P007 P010 P013
k2 P002 P005 P008 P011 P014
k3 P003 P006 P009 P012 P015

[0051] （5）对样本进行测试，按照传统的测试方法，我们需要对所有的15个样本都进行测试。但按照本发明中的测试思路，如果P001水印提取失败，那么其他所有样本都可以不用测试，直接认定为水印提取失败；如果P003水印提取失败，那么P006、P009、P012、P015也不用测试了，也可以直接认定为水印提取失败。

[0052] 利用算法提取样本图中的隐形水印，提取成功的时间会相对来说短一点，提取失败消耗的时间会长很多，下表展示的是我们的利用某个算法对屏摄图样本进行水印提取的耗时。

[0053]

[0054] 从上表我们可以看出，取证成功和取证失败所消耗的时间差异很大，对于成千上万的样本来说，我们通过一定的策略不再测试大概率取证失败的样本，一方面样本测试数量减少了，另一方面减少了取证失败所消耗时间，从整体上来说，可以大大提高大规模样本的测试效率，减少算法评估时间。

[0055] 我们有多种方案可以实现上述策略，本发明中提供两种较为优选的实施方式以供参考。

[0056] 参阅图3和图4，实施例一，按如下步骤对样本进行测试：S101、从总样本集中挑选出包括所有组标签的第一层级标签的样本，构建第一样本集，余下的样本构成第一未测试样本集，以前面的15个样本为例，我们挑选出包括original、cut、k1三个标签的所有样本构建第一样本集，其包括样本P001，其余14个样本构成第一未测试样本集。

[0057] S102、对第一样本集进行测试得到测试结果，即利用待评估算法提取样本P001中的水印，得到提取结果。

[0058] S103、遍历第一未测试样本集中的样本，若该样本的标签与第一样本集中的样本标签仅有一个相异，则将该样本添加至第二样本集中，余下的样本构成第二未测试样本集。同样，以前面的样本为例，这里我们构建的第二样本集包括样本P002、P003、P004、P007、P010、P013，第二未测试样本集包括样本P005、P006、P008、P009、P011、P012、P014、P015。

[0059] S104、遍历第二样本集中的样本，若该样本与第一样本集中的某个样本的测试结果存在依赖关系，则将后者的测试结果作为该样本的测试结果；否则直接进行测试得到测试结果。由于第一样本集中只有一个样本P001，且第二样本集中的6个样本都与样本P001存在标签依赖，因此我们只需要判断第二样本集中6个样本与样本P001的测试结果有无依赖关系。如果样本P001测试结果是水印提取失败，那么第二样本集中6个样本的测试结果就样本P001存在结果依赖，可以直接将这6个样本的测试结果设置为水印提取失败；如果样本P001测试结果是水印提取成功，那么第二样本集中6个样本的测试结果就样本P001就不存在结果依赖，此时需要对这6个样本进行测试，得到水印提取结果。为了进行后续的进一步描述，我们假设样本的测试结果如下表，对号表示水印提取成功，叉号表示水印提取失败。

[0060] 水印强度\标签 原图 部分屏 钉钉压缩 微信压缩 飞书压缩k1 P001√ P004× P007√ P010√ P013×
k2 P002√        
k3 P003×        

[0061] S105、依照步骤S103和S104类推，直至所有样本测试完毕。依照步骤类推，即进行如下操作：遍历第二未测试样本集，得到第三样本集和第三未测试样本集，很明显，第二未测试样本集中每个样本与第二样本集中任一样本之间的标签仅有一个差异，因此，第二未测试样本集中的所有样本也同属于第三样本集，第三未测试样本集为空。对于第三样本集中的样本，根据之前的描述，只要测试P008、P011两个样本，其余六个样本不用测试，直接认定为水印提取失败。至此，由于第三未测试样本集为空，所有样本测试完毕，流程结束。总共有6个样本跳过了检测，节约了约一半的时间。

[0062] 通过上述步骤S101 S105，可以很方便的按照依赖关系实现样本的合理测试，通过~构建不同层级的样本集，实现前置样本的优先检测，这样后置样本在检测时，就能直接判断，非常的方便和实用。

[0063] 参阅图5和图6，实施例二，按如下步骤对样本进行测试：遍历总样本集中的样本得到待测试样本集；按顺序对待测试样本集中的样本进行测试，测试步骤如下：S201、根据待测试样本的标签判断其有无具有依赖关系的前置样本，若有则执行步骤S202，否则执行步骤S204；S202、判断前置样本有无测试结果，若没有测试结果，则将该样本添加至待测试样本集的末尾并执行步骤S205，之所以这样做是因为待测试样本的测试结果可能依赖于前置样本，若直接对待测试样本进行测试，则达不到节约时间的效果，所以将其放在待测试样本集的最后，按顺序检测时，会再遍历到该样本时再进行检测；若有测试结果，则执行步骤S203；S203、判断前置样本和该样本的测试结果有无依赖关系，若有则将前置样本的测试结果作为该样本的测试结果并执行步骤S205；否则执行步骤S204；S204、对该样本进行测试得到测试结果后执行步骤S205；S205、返回步骤S201测试下一个待测试样本直至待测试样本集测试完毕。通过该步骤，可以随机对样本进行测试，只不过测试时，具有依赖关系的后置样本会向后顺延，直到其前置样本经过检测以后，再判断后置样本是否需要检测。这个方案也能方便的实现我们所需的结果，实现起来也很方便和快速。

[0064] 进一步地，所述的步骤S201中，包括如下步骤：获取待测试样本的标签；分别获取每个标签所在组中比该标签层级更高且具有依赖关系的其他标签得到每个标签的前置标签；根据每个标签的前置标签的自由组合匹配得到的多个样本即为前置样本。同样以上面的例子来进行说明，假设待测试样本为P015，其标签包括feishu、full、k3，feishu的前置标签为original，k3的前置标签为k2和k1，那么根据每个标签的前置标签的自由组合匹配，可以得到如下标签组合：original_full_k3（即样本P003）、feishu_full_k2（即样本P014）、feishu_full_k1（即样本P013），需要注意的是，是根据每个标签的前置标签只有组合，也就是所得到的前置样本的标签与待测试样本的标签，只有一个相异，original_full_k2（即样本P002）不是P015的直接前置样本。这里之所以只考虑直接的前置样本，是因为非直接的前置样本数量较多，会影响整个算法的执行速度。

[0065] 通过上述两个方案，我们可以方便的实现根据标签和结果依赖关系实现样本的快速检测或跳过，可大幅降低测试时间，实现起来也不复杂。

[0066] 参阅图7，本发明还公开了一种提升大规模样本测试效率的自动化测试系统，包括：标签配置模块，根据标签之间的关联为标签添加依赖关系，具有依赖关系的标签构成一组标签；标签添加模块，用于为样本添加标签，针对任一组标签最多只有一个标签添加至某个样本上；样本测试模块，用于对样本进行测试得到测试结果，测试过程中，若待测试样本和某个已测试样本的标签和测试结果均存在依赖关系，则将该已测试样本的测试结果作为待测试样本的测试结果。该系统就是为了实现对应的测试方法的，其优点与测试方法的优点一致，这里就不再详细赘述。

[0067] 进一步地，所述的样本测试模块包括样本分发单元、监控及存储单元、多个测试终端；监控及存储单元用于监测各测试终端的运行状态并保存测试结果，测试终端根据样本分发单元发送的测试指令对样本进行测试；样本分发单元根据样本之间的依赖关系判断样本是否需要测试，并根据测试终端的运行状态将需要测试的样本发送到空闲的测试终端上进行测试。测试终端可以设置多个，这样样本分发单元就能根据各测试终端的运行状态来合理的自动分配测试任务，让每个测试终端都不会出现闲置，进一步提高测试效率和速度。

[0068] 针对上述的实施例一，样本分发单元用于执行步骤S101 S105，并且在执行步骤~S102时，样本分发单元根据测试终端的运行状态将第一样本集中的样本有序地发送至空闲的测试终端上进行测试直至测试完毕；在执行步骤S104时，遍历第二样本集中的样本，若该样本与第一样本集中的某个样本的测试结果存在依赖关系，则将后者的测试结果作为该样本的测试结果并将测试结果发送至监控及存储单元中保存；否则根据测试终端的运行状态将该样本发送至空闲的测试终端上进行测试。

[0069] 针对上述的实施例二，样本分发单元用于执行步骤S201 S205，并且在执行步骤~S204时，样本分发单元根据测试终端的运行状态将该样本发送至空闲的测试终端上进行测试，得到测试结果后执行步骤S205。

[0070] 本发明还公开了一种计算机可读存储介质和一种电子设备，其中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的提升大规模样本测试效率的自动化测试方法。一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如前所述的提升大规模样本测试效率的自动化测试方法。