一种批量化学术图像自动分割标注装置和方法转让专利
申请号 : CN202110940037.2
文献号 : CN113392819B
文献日 : 2022-03-08
发明人 : 王帅 , 唐文忠 , 冯浩楠 , 钱程
申请人 : 北京航空航天大学
摘要 :
权利要求 :
1.一种批量化学术图像自动分割标注方法,其特征在于,包括以下步骤:S101:读取图像,若图像读取失败,则需要进行图像格式的转换,转换成统一的格式后再进行读取;
S102:将图像转化为灰度图,并根据设定阈值进一步转化为二值图;
S103:在二值图上寻找闭合轮廓,从而获得初始轮廓信息;
S104:对每一个闭合轮廓做外接矩形,以外接矩形的面积为依据进行轮廓的筛选,得到符合要求的轮廓信息;
S105:对选定的轮廓进行整合,得到最终合适的轮廓,从而确定最终的分割区域;
S106:依据最终确定的分割区域对图像进行分割,输出各分割区域的位置信息并形成标注文件保存下来;
S107:将各分割区域输入到卷积神经网络中进行自动分类,生成类别标签,从而完善标注文件;
所述S102步骤,将灰度图根据设定阈值转化为二值图,具体的阈值化公式如下:其中I(x,y)表示灰度图在(x,y)处像素的值,σ为设定的分割阈值,所述分割阈值为接近于白色的值,σ=200,当灰度值大于等于σ时置为0,即黑色;当灰度值小于σ时置为255,即白色;
所述S104步骤,以外接矩形的面积为依据进行轮廓的筛选,包括依据所述外接矩形的最大面积和最小面积的过滤筛选;具体为,首先对外接矩形的最大面积进行判断,对子图外接矩形的面积进行限定,设置子图外接矩形最大面积占比为整图的1/81,否则就不会进行下面的分割和标注,其次对外接矩形的最小面积进行判断,基于子图外接矩形最大面积确定相对的面积占比,设置子图外接矩形最大面积的1/8为可以接受的最小轮廓外接矩形面积,只选取在这个范围之内的轮廓;
所述S105步骤,在一个与原图尺寸一致的纯色填充图上做每一个选中轮廓的外接矩形,并在其内部进行填充,制作成掩膜,并将连通的区域进行限制为矩形,从而得到对应与原图的最终的分割区域。
2.根据权利要求1所述的方法,其特征在于,所述S101步骤,若图像为非三通道RGB图像,需要将其拓展为标准的三通道RGB图像。
3.根据权利要求1所述的方法,其特征在于,所述S102步骤,使用加权平均法将原始图像转化为灰度图,具体公式如下:
其中I(x,y)表示灰度图在(x,y)处像素的值,I_R(x,y)、I_G(x,y)和I_B(x,y)分别表示原始图像RGB三个通道的取值,其前面的系数是从人体生理学角度提出的一种权值。
4.根据权利要求1所述的方法,其特征在于,所述S103步骤,在二值图上进行轮廓的扫描,扫描的方式按照从上到下,从左到右的顺序,当找到是边界起始点的时候判断轮廓类型,随后不断更新当前点,然后绕着该点逆时针旋转找下一点并且不断更新像素值;在轮廓的存储上只存储拐点的信息,压缩水平方向,垂直方向和对角线方向的元素,只保留该方向上的重点坐标,即只保留外接矩形的四个顶点。
5.根据权利要求1所述的方法,其特征在于,所述S106步骤,依据掩膜对原图上的像素进行扫描,仅保留掩膜内的框定区域,其他区域全部都置为黑色,将一整张图像划分为各个子图,同时记录下每个区域的位置坐标,保存成JSON格式的标注文件一并输出。
6.一种批量化学术图像自动分割标注装置,其特征在于,包括:图像获取模块,用于读取图像,若图像读取失败,则需要进行图像格式的转换,转换成统一的格式后再进行读取;
阈值处理模块,用于将图像转化为灰度图,并根据设定阈值进一步转化为二值图;
边缘提取模块,用于在二值图上寻找闭合轮廓,从而获得初始轮廓信息;
边缘过滤模块,用于对每一个闭合轮廓做外接矩形,以外接矩形的面积为依据进行轮廓的筛选,得到符合要求的轮廓信息;
边缘修补模块,用于对选定的轮廓进行整合,得到最终合适的轮廓,从而确定最终的分割区域;
图像分割模块,用于依据最终确定的分割区域对图像进行分割,输出各分割区域的位置信息并形成标注文件保存下来;
类别标注模块,用于将各分割区域输入到卷积神经网络中进行自动分类,生成类别标签,从而完善标注文件;
所述阈值处理模块,将灰度图根据设定阈值转化为二值图,具体的阈值化公式如下:其中I(x,y)表示灰度图在(x,y)处像素的值,σ为设定的分割阈值,所述分割阈值为接近于白色的值,σ=200,当灰度值大于等于σ时置为0,即黑色;当灰度值小于σ时置为255,即白色;
所述边缘过滤模块,以外接矩形的面积为依据进行轮廓的筛选,包括依据所述外接矩形的最大面积和最小面积的过滤筛选;具体为,首先对外接矩形的最大面积进行判断,对子图外接矩形的面积进行限定,设置子图外接矩形最大面积占比为整图的1/81,否则就不会进行下面的分割和标注,其次对外接矩形的最小面积进行判断,基于子图外接矩形最大面积确定相对的面积占比,设置子图外接矩形最大面积的1/8为可以接受的最小轮廓外接矩形面积,只选取在这个范围之内的轮廓;
所述边缘修补模块,在一个与原图尺寸一致的纯色填充图上做每一个选中轮廓的外接矩形,并在其内部进行填充,制作成掩膜,并将连通的区域进行限制为矩形,从而得到对应与原图的最终的分割区域。
说明书 :
一种批量化学术图像自动分割标注装置和方法
技术领域
图类型繁多等特点,提出的一种能批量化处理,尽量去除文字等干扰因素,只保留子图像,
同时根据内容对子图像进行分类的图像自动分割和标注方法。
背景技术
性,往往只对图像中的某一部分或某些特定的区域感兴趣,为了便于识别和分析,需要将这
些感兴趣的区域提取出来。而图像分割就是依据灰度、彩色、空间纹理、几何形状等特征把
图像划分成若干个几何上互不相交的区域,使得这些特征在同一区域内表现出一致性或相
似性,而在不同区域间表现出明显的不同。但是图像分割技术发展至今仍然没有形成一个
统一的技术规范,在不同的实际需求和应用场景下,图像分割的具体方式都需要进行相应
的调整,所以图像分割技术还是需要持续的进行研究。
像是体现研究成果的载体,特别是在生物医学领域,论文作者往往将多张不同类型的图像
通过组合、拼接、排列等方式整合为一张复合图像进行呈现,导致之后在进行图像匹配分析
时存在大量的误匹配,即不同类型的子图相互之间存在大量的干扰。要避免这一现象的发
生,关键在于将各张子图从一张复合图像中分割出来。
术图像而言,这些方法尚存在一定的局限性或者应用上难以达到令人满意的效果。
识别出来,其次才是对识别区域的分析标注。为了加大内容区域和背景的辨别程度,需要对
学术图像进行二值化的处理,而常用的经验阈值并不能良好的区分内容区域和背景,就拿
生物医学领域论文中经常出现的条带图来说,有的条带图背景很浅,比较接近于整张图像
背景,所以对于学术图像的阈值选取需要重新确定。
域描绘检测出来,但是有时学术图像并不具备较高的分辨率,也就是说有的学术图像可能
并不是很清晰,会存在一些噪声点导致图像的质量下降,而边缘检测法会将所有有内容的
区域都检测出来,其中会包含一些噪声点或者出现一些零零散散的区域,而这些的存在就
是干扰,会导致分割效果的下降。所以需要对检测出来的边缘轮廓进行合理的筛查,这样才
能过滤掉一些如噪点之类的会对有效内容区域进行干扰的因素,从而提高学术图像分割的
质量和准确度。另外,目前还缺乏对于学术图像的标注数据集,对于分割后的图像进行自动
分类也有助于构建学术图像数据集,对于数据集也是一种补充。
发明内容
方法对于学术图像存在误检、错检的情况提出相应的改进措施。具体技术方案如下:
后绕着该点逆时针旋转找下一点并且不断更新像素值;在轮廓的存储上只存储拐点的信
息,压缩水平方向,垂直方向和对角线方向的元素,只保留该方向上的重点坐标。
而得到对应与原图的最终的分割区域。
位置坐标,保存成JSON格式的标注文件一并输出。
背景,而部分难以区分的条带图的背景在转化为灰度图之后比较浅,容易和背景进行混淆,
故取接近于白色的值为二值化阈值,这样不但保证了不遗漏内容区域,同时又留有回旋的
余地,之后也通过实验验证了这种阈值设定方法的有效性。其次是对边缘轮廓的筛选策略,
边缘检测算法在识别内容区域的同时还会将一些干扰因素如图像噪点、不需要的文字等进
行识别,经过分析,图像的有效内容往往会在整张图像中重点显示,故这些有效内容往往会
在整张图像中占有较大的比例,而文字的情况则多是对有效内容区域的注释,这些注释又
只占有效内容区域的一小部分,同样可以应用比例将其过滤掉,所以最后就只剩下有效内
容区域,也就是划分子图的区域。通过对轮廓进行筛选,有效的提高了图像分割的准确率,
并通过实验进行了验证。此外,最后加入的图像自动分类工作使得整个处理过程更加完整,
标注信息更加的全面,为日后进一步的分析研究工作提供了便利。
附图说明
具体实施方式
张子图,而将这些子图分割出来,最简单的矩形框标注就能胜任,故在实施中也是采用矩形
框来确定分割和形成标注的。另外,目前对于学术图像的分割与标注还停留在纯人工的方
式,且学术图像数量庞大,人为手动的进行分割标注会浪费掉大量的时间,此方法无需进行
预先的训练就能够获得较为满意的分割效果,且支持大批量的学术图像一次性输入,方便
快捷。如图1所示,一种批量化学术图像自动分割标注方法,包括以下步骤:
标准,其中R、G、B分别代表红色、绿色和蓝色这三个通道,将这三个通道合成在一起便可以
得到一张彩色图像。有些学术图像并非通常意义上的三通道RGB图像,而是只有一个通道的
图像,对于这些图像需要将其拓展成标准的三通道图像,之后才能进行处理。
眼对绿色的敏感最高,对蓝色敏感最低);
变成原先白色背景的图像会转换为黑色背景的图像,原因在于之后寻找轮廓时在较暗的环
境中寻找较亮的部分会比在较亮的环境中寻找较暗的部分更加的精确。
径),在本例中只寻找外部轮廓,随后不断更新当前点,然后绕着该点逆时针旋转找下一点
并且不断更新像素值。在轮廓的存储上只存储拐点的信息,压缩水平方向,垂直方向和对角
线方向的元素,只保留该方向上的重点坐标,对于本例采用的矩形轮廓只需要四个点来保
存信息。
如图5所示,将序号和文字数字符号说明的矩形方框过滤掉,仅剩下包含图片的矩形方框;
面积。基于这个过滤思路,该步骤能进一步细分成两步,首先是对子图外接矩形的最大面积
进行判断,然后是对子图外接矩形最小面积进行判断。
开来,而且这些分割的区域大小都近似相同,且数量巨多。所以需要对子图外接矩形的面积
进行限定,在本例中设置为子图外接矩形最大面积占比为整图的1/81,否则就不会进行下
面的分割和标注。
干扰体现在轮廓上就是一些十分零碎的点或者碎片,所以是基于子图外接矩形最大面积来
确定相对的面积占比,在本例中设置为子图外接矩形最大面积的1/8为可以接受的最小轮
廓外接矩形面积,只选取在这个范围之内的轮廓,这样就会大幅度的降低干扰因素的影响。
而得到对应与原图的最终分割的区域,这个做法可以将一些之前操作没有过滤掉的不合理
情况进行整合,方便后续的处理。
记录下每个区域的位置坐标,保存成JSON格式的标注文件一并输出。
染色图、条带图、示意图、造影图和其他。这些类别的图像差异明显,能够通过CNN学习到良
好的特征,通过自行建立的小型数据集训练分类模型,最终也是得到了不错的结果,一同完
善了标注文件的类别信息。
改、等同替换、改进等,均应包含在本发明的保护范围之内。