用于二分类分割网络难样本挖掘的方法及系统转让专利

申请号 : CN202110111499.3

文献号 : CN112733860B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王克贤杭天欣郑钧友陈红新马元巍潘正颐侯大为

申请人 : 上海微亿智造科技有限公司

摘要 :

本发明提供一种提升二分类分割网准确率和召回率的方法及系统,该方法包括:设定裁剪后获得难样本的尺寸以及难样本数number;输入原图、标记图和模型预测的结果图;获取过检目标和漏检目标的边缘点;计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;初始化样本个数k=0;获得裁剪原图、裁剪标注图和裁剪结果图;计算裁剪标注图上漏检目标的像素面积,占整个漏检目标像素面积的比例a,和裁剪结果图上过检目标的像素面积,占整个过检目标的像素面积的比例b;判断a是否大于The或者b是否大于The;判断k是否大于等于number;判断i是否大于等于TotalNumber。本发明能够针对性的裁剪增加难样本数量,提升分割网的准确率和召回率。

权利要求 :

1.一种用于二分类分割网络难样本挖掘的方法,其特征在于,所述方法包括:步骤1:设定裁剪后获得难样本的尺寸:宽width、高height,难样本个数number,像素面积比值The,将宽width、高height分别转换成能被32整除的整数,且转换后的整数分别与原来的宽width和高height之间差的绝对值最小;

步骤2:输入难样本的原图、标记图和模型预测的结果图;

步骤3:通过遍历算法,比较标记图和结果图之间的差异,获取过检目标和漏检目标的边缘点;

步骤4:根据获取的所述边缘点,计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;

步骤5:初始化样本个数k=0;

步骤6:通过获得的所述外接矩形坐标,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结果图,使裁剪后获得的难样本包含漏检目标或者包含过检目标;

步骤7:计算裁剪标注图上漏检目标的像素面积,占标注图上整个漏检目标像素面积的比例a,计算裁剪结果图上过检目标的像素面积,占结果图上过检目标的像素面积的比例b;

步骤8:判断a是否大于The或者b是否大于The;

步骤9:判断k是否大于等于number;

步骤10:判断i是否大于等于TotalNumber。

2.根据权利要求1所述的方法,其特征在于,所述步骤3包括:通过遍历算法,寻找标记图上每一个目标,在结果图上相同位置,是否有目标,若没有目标,则标记图上这个目标为漏检;

结果图上的目标,在标记图上相同的位置没有目标,则结果图上这个目标为过检;

获得漏检目标、过检目标后,用边缘提取算法获取目标边缘点。

3.根据权利要求1所述的方法,其特征在于,所述步骤4包括:根据获取的所述边缘点,找出所有边缘点中最小的横、纵坐标值min_x,min_y做为外接矩形左上角的点;

找出所有边缘点中最大的横、纵坐标值max_x,max_y值做为外接矩形右下角的点,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0。

4.根据权利要求1所述的方法,其特征在于,所述步骤8包括:当a>The或者b>The时,保存裁剪原图和裁剪标注图为难样本,k=k+1;

当a

5.根据权利要求1所述的方法,其特征在于,所述步骤9包括:当k>=number时,i=i+1;

当k

6.根据权利要求1所述的方法,其特征在于,所述步骤10包括:当i

当i>=TotalNumber,结束。

7.一种用于二分类分割网络难样本挖掘的系统,其特征在于,所述系统包括:模块M1:设定裁剪后获得难样本的尺寸:宽width、高height,难样本个数number,像素面积比值The,将宽width、高height分别转换成能被32整除的整数,且转换后的整数分别与原来的宽width和高height之间差的绝对值最小;

模块M2:输入难样本的原图、标记图和模型预测的结果图;

模块M3:通过遍历算法,比较标记图和结果图之间的差异,获取过检目标和漏检目标的边缘点;

模块M4:根据获取的所述边缘点,计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;

模块M5:初始化样本个数k=0;

模块M6:通过获得的所述外接矩形坐标,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结果图,使裁剪后获得的难样本包含漏检目标或者包含过检目标;

模块M7:计算裁剪标注图上漏检目标的像素面积,占标注图上整个漏检目标像素面积的比例a,计算裁剪结果图上过检目标的像素面积,占结果图上过检目标的像素面积的比例b;

模块M8:判断a是否大于The或者b是否大于The;

模块M9:判断k是否大于等于number;

模块M10:判断i是否大于等于TotalNumber。

8.根据权利要求7所述的系统,其特征在于,所述模块M3包括:通过遍历算法,寻找标记图上每一个目标,在结果图上相同位置,是否有目标,若没有目标,则标记图上这个目标为漏检;

结果图上的目标,在标记图上相同的位置没有目标,则结果图上这个目标为过检;

获得漏检目标、过检目标后,用边缘提取算法获取目标边缘点。

9.根据权利要求7所述的系统,其特征在于,所述模块M4包括:根据获取的所述边缘点,找出所有边缘点中最小的横、纵坐标值min_x,min_y做为外接矩形左上角的点;

找出所有边缘点中最大的横、纵坐标值max_x,max_y值做为外接矩形右下角的点,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0。

10.根据权利要求7所述的系统,其特征在于,所述模块M8包括:当a>The或者b>The时,保存裁剪原图和裁剪标注图为难样本,k=k+1;

当a

说明书 :

用于二分类分割网络难样本挖掘的方法及系统

技术领域

[0001] 本发明涉及深度学习技术领域,具体地,涉及一种用于二分类分割网络难样本挖掘的方法及系统。

背景技术

[0002] 随着深度学习的不断发展,深度学应用领域也越来越多,语义分割一直是深度学习的一个热门分支,使用的非常广泛,例如,自动驾驶目标分割,医疗影像病灶分割,工业领
域缺陷分割、生物领域的细胞检测等等。在而分割的过程中,网络有可能会产生误分割,即
过检(网络将背景误分割为目标)和漏检(网络将目标误分割为背景),这种使网络产生误分
割的样本,称为难样本,在难样本中,难样本会使分割网的准确率和召回率降低。
[0003] 在减少难样本误分割,提升分割网准确率和召回率的过程中,现在主要方法采用更复杂网络结构、FocalLoss、在线难样本挖掘等方法。
[0004] 针对上述现有技术,使用更复杂网络结构的方法,往往训练时间更长,推理时间更长,硬件成本更高;FocalLoss、在线难样本挖掘方法,在训练样本标签不准确,有错标、漏标
的情况下,可能会使训练结果相对于不使用这些方法的结果更差。

发明内容

[0005] 针对现有技术中的缺陷,本发明的目的是提供用于二分类分割网络难样本挖掘的方法及系统,能够通过在原图、标注图和模型预测结果图上,针对性的裁剪以增加难样本数
量,从而提升分割网的准确率和召回率。
[0006] 根据本发明提供的一种用于二分类分割网络难样本挖掘的方法及系统,所述方案如下:
[0007] 第一方面,提供了一种用于二分类分割网络难样本挖掘的方法,所述方法包括:
[0008] 设定裁剪后获得难样本的尺寸:宽width、高height,难样本个数number,像素面积比值The,将宽width、高height转成离32的倍数最近的整数;
[0009] 输入难样本的原图、标记图和模型预测的结果图;
[0010] 通过遍历算法,比较标记图和结果图之间的差异,获取过检目标和漏检目标的边缘点;
[0011] 根据获取的所述边缘点,计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;
[0012] 初始化样本个数k=0;
[0013] 通过获得的所述外接矩形坐标,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结
果图,使裁剪后获得的难样本包含漏检目标或者包含过检目标;
[0014] 计算裁剪标注图上漏检目标的像素面积,占标注图上整个漏检目标像素面积的比例a,计算裁剪结果图上过检目标的像素面积,占结果图上过检目标的像素面积的比例b;
[0015] 判断a是否大于The或者b是否大于The;
[0016] 判断k是否大于等于number;
[0017] 判断i是否大于等于TotalNumber。
[0018] 优选的,所述通过遍历算法,比较标记图和结果图之间的差异,获取过检目标和漏检目标的边缘点包括:
[0019] 通过遍历算法,寻找标记图上每一个目标,在结果图上相同位置,是否有目标,若没有目标,则标记图上这个目标为漏检;
[0020] 结果图上的目标,在标记图上相同的位置没有目标,则结果图上这个目标为过检;
[0021] 获得漏检目标、过检目标后,用边缘提取算法获取目标边缘点。
[0022] 优选的,所述根据获取的所述边缘点,计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber包括:
[0023] 根据获取的所述边缘点,找出所有边缘点中最小的横、纵坐标值min_x,min_y做为外接矩形左上角的点;
[0024] 找出所有边缘点中最大的横、纵坐标值max_x,max_y值做为外接矩形右下角的点,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0。
[0025] 优选的,所述判断a是否大于The或者b是否大于The包括:
[0026] 当a>The或者b>The时,保存裁剪原图和裁剪标注图为难样本,k=k+1;
[0027] 当a
[0028] 优选的,所述判断k是否大于等于number包括:
[0029] 当k>=number时,i=i+1;
[0030] 当k
[0031] 优选的,所述判断i是否大于等于TotalNumber包括:
[0032] 当i
[0033] 当i>=TotalNumber,结束。
[0034] 第二方面,提供了一种用于二分类分割网络难样本挖掘的系统,所述系统包括:
[0035] 模块M1:设定裁剪后获得难样本的尺寸:宽width、高height,样本个数number,像素面积比值The,将宽width、高height转成离32的倍数最近的整数;
[0036] 模块M2:输入难样本的原图、标记图和模型预测的结果图;
[0037] 模块M3:通过遍历算法,比较标记图和结果图之间的差异,获取过检目标和漏检目标的边缘点;
[0038] 模块M4:根据获取的所述边缘点,计算出过检目标和漏检目标的外接矩形坐标,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;
[0039] 模块M5:初始化样本个数k=0;
[0040] 模块M6:通过获得的所述外接矩形坐标,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图
和裁剪结果图,使裁剪后获得的难样本包含漏检目标或者包含过检目标;
[0041] 模块M7:计算裁剪标注图上漏检目标的像素面积,占标注图上整个漏检目标像素面积的比例a,计算裁剪结果图上过检目标的像素面积,占结果图上过检目标的像素面积的
比例b;
[0042] 模块M8:判断a是否大于The或者b是否大于The;
[0043] 模块M9:判断k是否大于等于number;
[0044] 模块M10:判断i是否大于等于TotalNumber。
[0045] 优选的,所述模块M3包括:
[0046] 通过遍历算法,寻找标记图上每一个目标,在结果图上相同位置,是否有目标,若没有目标,则标记图上这个目标为漏检;
[0047] 结果图上的目标,在标记图上相同的位置没有目标,则结果图上这个目标为过检;
[0048] 获得漏检目标、过检目标后,用边缘提取算法获取目标边缘点。
[0049] 优选的,所述模块M4包括:
[0050] 根据获取的所述边缘点,找出所有边缘点中最小的横、纵坐标值min_x,min_y做为外接矩形左上角的点;
[0051] 找出所有边缘点中最大的横、纵坐标值max_x,max_y值做为外接矩形右下角的点,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0。
[0052] 优选的,所述模块M8包括:
[0053] 当a>The或者b>The时,保存裁剪原图和裁剪标注图为难样本,k=k+1;
[0054] 当a
[0055] 与现有技术相比,本发明具有如下的有益效果:
[0056] 1、与现有的提升分割网召回率和准确率的方法相比,避免了使用更复杂的网络,从而在提升网络召回率和准确率的基础上,提升了训练速度和预测速度,节省了硬件成本,
同时也使网络受不准确的标注影响减小;
[0057] 2、通过在原图、标注图和模型预测结果图上,针对性的裁剪以增加难样本数量,从而提升分割网的准确率和召回率,并且不会增加网络结构的复杂度,对不准确的样本适应
性更强。

附图说明

[0058] 通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
[0059] 图1为本发明的整体流程图。

具体实施方式

[0060] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术
人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明
的保护范围。
[0061] 本发明实施例提供了一种用于二分类分割网络难样本挖掘的方法,参照图1所示,该方法包括下列步骤:首先设定裁剪后获得难样本的尺寸:宽width、高height,样本个数
number,像素面积比值The,将宽width、高height转成离32的倍数最近的整数。
[0062] 其次,通过过遍历算法,寻找标记图上每一个目标,在结果图上相同位置,是否有目标,假设没有目标,则标记图上这个目标为漏检;结果图上的目标,在标记图上相同的位
置没有目标,则结果图上这个目标为过检;获得漏检目标、过检目标后,用边缘提取算法获
取目标边缘点。
[0063] 再根据获取的所述边缘点,找出所有边缘点中最小的横、纵坐标值min_x,min_y做为外接矩形左上角的点,找出所有边缘点中最大的横、纵坐标值max_x,max_y值做为外接矩
形右下角的点,计算外接矩形总数TotalNumber,初始化外接矩形个数i=0;
[0064] 获得外接矩形坐标后,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结果图,使
裁剪后获得的难样本包含漏检目标或者包含过检目标。再计算裁剪标注图上漏检目标的像
素面积,占标注图上整个漏检目标像素面积的比例a;以及计算裁剪结果图上过检目标的像
素面积,占结果图上过检目标的像素面积的比例b。
[0065] 最后,判断a是否大于The或者b是否大于The:当a>The或者b>The时,保存裁剪原图和裁剪标注图为难样本,k=k+1;当a标,计算难样本的剪裁起始点坐标,以转换后的整数,在原图、标注图和模型预测的结果图
上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结果图,使裁剪后获得的难样本包含漏
检目标或者包含过检目标。
[0066] 判断k是否大于等于number:当k>=number时,i=i+1;当k和模型预测的结果图上进行裁剪,从而获得裁剪原图、裁剪标注图和裁剪结果图,使裁剪后
获得的难样本包含漏检目标或者包含过检目标。
[0067] 判断i是否大于等于TotalNumber,当i
[0068] 当i>=TotalNumber,结束。
[0069] 本发明实施例提供了一种用于二分类分割网络难样本挖掘的方法,通过结果图和标记图,确定漏检目标和过检目标的外接矩形的坐标,并通过控制裁剪起始坐标的取值范
围,以及像素面积比值The,从而保证难样本中包含漏检目标或者过检目标,又因为裁剪起
始点坐标有一定的随机性,所以获得每一个难样本都不一样,从而使难样本具有多样性,更
多数量的难样本,使难样本在样本集中所占的权重更大,使网络更加关注于难样本中的过
检目标和漏检目标,从而提升网络的召回率和准确率;在裁剪生成的难样本中挑选合格的
难样本的时候,还可以去掉标签不准确的难样本,从而使网络受不准确的标注影响减小,提
升网络召回率和准确率。
[0070] 本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供
的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌
入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单
元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可
以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实
现方法的软件模块又可以是硬件部件内的结构。
[0071] 以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影
响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相
互组合。