本发明属于医学影像技术领域，涉及一种图像语义分割分块预测的拼接方法、设备和存储介质。该方法包括如下步骤：将待分割2D或3D图像的四周进行边缘补零扩充；对扩充后的图形进行分割；各分块分别进行分割预测；将各分块的预测结果图像进行边缘抛弃，保留核心区域；对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。本发明可以让原图像和分块区域的分割预测结果都保持在分割预测准确率较高的图像内部区域；显著降低各分块边缘拼接痕迹明显的问题；可以改进原图外边缘预测结果；且本发明同时适用于对2D、3D图像的分块预测拼接问题。
1.一种图像语义分割分块预测的拼接方法，适于在计算设备中执行，其特征在于：包括如下步骤：(1)将待分割2D或3D图像的四周进行边缘补零扩充；其中，对于2D图像四周进行边缘补零扩充，所述的待分割图像的原始长宽尺寸为C×R，其中x轴为长度方向，y轴为宽度方向；在x轴方向将待分割图像两侧边缘分别补零扩充p1个像素，
1≤p1≤C/2；在y轴方向将待分割图像两侧边缘分别补零扩充p2个像素，1≤p2≤R/2；扩充后图像的长宽尺寸为(C＋2p1)×(R＋2p2)；
对于3D图像四周进行边缘补零扩充，所述的待分割图像的原始长宽高尺寸为C×R×H，其中x轴为长度方向，y轴为宽度方向，z轴为高度方向；在x轴方向将图像两侧边缘各补零扩充p1个像素1≤p1≤C/2；在y轴方向将图像两侧边缘各补零扩充p2个像素，1≤p2≤R/2；在z轴方向将图像两侧边缘各补零扩充p3个像素，1≤p3≤H/2；扩充后图像的长、宽、高尺寸为(C＋2p1)×(R＋2p2)×(H＋2p3)；
对于2D图像，采用连续有重叠的分块方式对步骤（1）得到的四周边缘补零扩充后的图像进行分割；分割后得到各分块的长宽大小为M×N，其中M>2p1,N>2p2；其中分块步长为s，在x和y轴方向的步长大小分别为s1=(M‑2p1)和s2=(N‑2p2)，且s=s1×s2=(M‑2p1)×(N‑2p2)；
对于3D图像，采用连续有重叠的分块方式对步骤（1）得到的四周边缘补零扩充后的图像进行分割；经分割后得到各分块的长宽高大小为M×N×K，其中M>2p1,N>2p2,K>2p3；其中分块步长为s，在x、y、z轴方向的步长大小分别为s1=(M‑2p1)、s2=(N‑2p2)、s3=(K‑2p3)，且s=s1×s2×s3=(M‑2p1)×(N‑2p2)×(K‑2p3)；
(4)将各分块的预测结果图像进行边缘抛弃，保留核心区域；
(5)对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
2.根据权利要求1所述的图像语义分割分块预测的拼接方法，其特征在于：步骤（2）中，对于2D图像，在分块过程中若待分割图像的剩余面积不足一个完整分块时：（i）沿x轴方向移动时，若剩余图像在x轴方向的长度小于M，则以末端反向取M×N；
（ii）沿y轴方向移动时，若剩余图像在y轴方向的宽度小于N，则以末端反向取M×N；
（iii）若剩余图像在x轴方向的长度小于M且在y轴方向的宽度小于N，则以末端位置反向取M×N。
3.根据权利要求1所述的图像语义分割分块预测的拼接方法，其特征在于：所述的步骤（2）中，对于3D图像，在分块过程中若待分割图像的剩余体积不足一个完整分块时，以末端位置反向取M×N×K。
4.根据权利要求1所述的图像语义分割分块预测的拼接方法，其特征在于：步骤（4）中，对于2D图像，所述的边缘抛弃包括如下步骤：将每个分块的分割预测结果图像，在x轴方向两侧各抛弃p1个像素边缘，在y轴方向两侧各抛弃p2个像素边缘；保留分块的核心区域，边缘抛弃后各分块的长宽尺寸为(M‑2p1)×(N‑2p2)。
5.根据权利要求1或4所述的图像语义分割分块预测的拼接方法，其特征在于：对于2D图像，对于在分块过程中待分割图像的剩余面积或体积不足一个完整分块的分割后的图像进行边缘抛弃时，将生成的结果与其它核心块重叠的部分也一并抛弃，保留最终核心区域。
6.根据权利要求1所述的图像语义分割分块预测的拼接方法，其特征在于：对于3D图像，所述的边缘抛弃包括如下步骤：
将每个分块的分割预测结果图像，在x轴方向两侧各抛弃p1个像素边缘；
在y轴方向两侧各抛弃p2个像素边缘，在z轴方向两侧各抛弃p3个像素边缘；
保留分块的核心区域，边缘抛弃后各分块的长宽高尺寸为(M‑2p1)×(N‑2p2)×(K‑
优选地，在分块过程中，若剩余图像不满足取块条件时，则以末端位置反向取M×N×K；
对此分块进行预测之后，对预测结果先进行边缘抛弃，再将剩余区域与其它核心块重叠的部分也一并抛弃，保留最后的核心区域。
存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于执行上述权利要求1‑6中任一所述的图像语义分割分块预测的拼接方法的指令。
8.一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述权利要求1‑6中任一所述的图像语义分割分块预测的拼接方法。
一种图像语义分割分块预测的拼接方法、设备和存储介质
技术领域
[0001] 本发明属于医学影像技术领域，涉及一种图像语义分割分块预测的拼接方法、设备和存储介质。
背景技术
[0002] 在训练深度学习网络做图像语义分割时，由于训练机器的内存和GPU显存存在物理限制，遇到大尺寸图像时通常需要对图像进行合理的分块后再对各分块逐一进行网络训练和网络预测。以显微镜高分辨率组织病理图像或高分辨率遥感图像为例，若训练模型的输入尺寸大小为256×256，而测试图像的尺寸远大于模型的输入尺寸(如3348×3392)，这时则需要对测试图像进行分块。而在用训练好的网络对测试图像进行图像语义分割的分块预测时，需要对各分块的预测结果进行某种方式的拼接来合成完整的全图预测结果。不同的分块方法需要用不同的拼接方法，目前常用的分块方法总体来说有以下两种：
[0003] 1、连续无重叠的分块方式：对图像进行连续分块，相邻分块之间无重叠。在逐块预测完之后按分块顺序直接拼接。这种连续无重叠分块拼接方式通常会在分块交界处因为多块预测边界误差而出现明显的拼接痕迹。
[0004] 2、连续有重叠的分块方式：对图像进行连续分块，但相邻分块之间有重叠。在逐块预测完之后主要需要对重叠区域的点用最大概率胜出法或主观规则判定法进行分割结果的类别决定，并最终完成拼接。其中最大概率胜出法是对重叠区域内的每个点的交叉块预测结果选取最大概率的分类结果；而主观规则判定法是提前主观确认在重叠区域内的点出现不同分类结果的时候优先确认以哪种分类结果为准。
[0005] 综上可见，大尺寸图像分块方法及分块预测后的拼接方法对最终全图预测结果有着重要影响，分块预测结果的拼接常存在图像拼接边缘不平滑、拼接不连续等拼接痕迹明显的问题。目前来说，对于特大尺寸的图像进行分块拼接时，通常采用连续有重叠的分块方式以期尽量减弱拼接痕迹，但此方法中如何对分块重叠区域的拼接处理仍是一个困难的问题。
发明内容
[0006] 本发明的目的在于为克服上述现有技术的缺陷而提供一种图像语义分割分块预测的拼接方法、设备和存储介质。
[0007] 本发明针对连续有重叠的分块方式在进行拼接的时候如何减少拼接痕迹提出一种边缘抛弃的技术方案。
[0008] 为实现上述目的，本发明采用以下技术方案：
[0009] 一种图像语义分割分块预测的拼接方法，适于在计算设备中执行，包括如下步骤：
[0010] (1)将待分割2D或3D图像的四周进行边缘补零扩充；
[0011] (2)对扩充后的图形进行分割；
[0012] (3)对各分块分别进行分割预测；
[0013] (4)将各分块的预测结果图像进行边缘抛弃，保留核心区域；
[0014] (5)对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
[0015] 在本发明进一步优选地，步骤(1)中，对于2D图像四周进行边缘补零扩充，所述的待分割图像的原始长宽尺寸为C×R，其中x轴为长度方向，y轴为宽度方向；在x轴方向将待分割图像两侧边缘分别补零扩充p1个像素，1≤p1≤C/2；在y轴方向将待分割图像两侧边缘分别补零扩充p2个像素，1≤p2≤R/2；扩充后图像的长宽尺寸为(C+2p1)×(R+2p2)。
[0016] 步骤(1)中，对于3D图像四周进行边缘补零扩充，所述的待分割图像的原始长宽高尺寸为C×R×H，其中x轴为长度方向，y轴为宽度方向，z轴为高度方向；在x轴方向将图像两侧边缘各补零扩充p1个像素1≤p1≤C/2；在y轴方向将图像两侧边缘各补零扩充p2个像素，1≤p2≤R/2；在z轴方向将图像两侧边缘各补零扩充p3个像素，1≤p3≤H/2；扩充后图像的长、宽、高尺寸为(C+2p1)×(R+2p2)×(H+2p3)。
[0017] 所述的步骤(2)中，对于2D图像，采用连续有重叠的分块方式对步骤(1)得到的四周边缘补零扩充后的图像进行分割；分割后得到各分块的长宽大小为M×N，其中M>2p1,N>2p2；其中分块步长为s，在x和y轴方向的步长大小分别为s1＝M‑2p1和s2＝N‑2p2，且s＝s1×s2＝(M‑2p1)×(N‑2p2)；
[0018] 进一步优选地，对于2D图像，在分块过程中若待分割图像的剩余面积不足一个完整分块时：
[0019] (i)沿x轴方向移动时，若剩余图像在x轴方向的长度小于M，则以末端反向取M×N；
[0020] (ii)沿y轴方向移动时，若剩余图像在y轴方向的宽度小于N，则以末端反向取M×N；
[0021] (iii)若剩余图像在x轴方向的长度小于M且在y轴方向的宽度小于N，则以末端位置反向取M×N。
[0022] 所述的步骤(2)中，对于3D图像，采用连续有重叠的分块方式对步骤(1)得到的四周边缘补零扩充后的图像进行分割；经分割后得到各分块的长宽高大小为M×N×K，其中M>2p1,N>2p2,K>2p3；其中分块步长为s，在x、y、z轴方向的步长大小分别为s1＝(M‑2p1)、s2＝(N‑2p2)、s3＝(K‑2p3)，且s＝s1×s2×s3＝(M‑2p1)×(N‑2p2)×(K‑2p3)。
[0023] 优选地，所述的步骤(2)中，对于3D图像，在分块过程中若待分割图像的剩余体积不足一个完整分块时，以末端位置反向取M×N×K。
[0024] 步骤(4)中，对于2D图像，所述的边缘抛弃包括如下步骤：将每个分块的分割预测结果图像，在x轴方向两侧各抛弃p1个像素边缘，在y轴方向两侧各抛弃p2个像素边缘；保留分块的核心区域，边缘抛弃后各分块的长宽尺寸为(M‑2p1)×(N‑2p2)。
[0025] 进一步优选地，对于2D图像，在分块过程中若待分割图像的剩余面积不足一个分块时，对预测结果进行边缘抛弃，并将生成的结果与其它核心块重叠的部分也一并抛弃，保留最后的核心区域。
[0026] 其中，对于3D图像，所述的边缘抛弃包括如下步骤：
[0027] 将每个分块的分割预测结果图像，在x轴方向两侧各抛弃p1个像素边缘；
[0028] 在y轴方向两侧各抛弃p2个像素边缘，在z轴方向两侧各抛弃p3个像素边缘；
[0029] 保留分块的核心区域，边缘抛弃后各分块的长宽高尺寸为(M‑2p1)×(N‑2p2)×(K‑2p3)；
[0030] 优选地，在分块过程中，若剩余图像不满足取块条件时，则以末端位置反向取M×N×K；对此分块进行预测之后，对预测结果先进行边缘抛弃，再将剩余区域与其它核心块重叠的部分也一并抛弃，保留最后的核心区域。
[0031] 本发明还提供一种计算设备，包括：
[0032] 一个或多个处理器；
[0033] 存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于执行上述图像语义分割分块预测的拼接方法的指令。
[0034] 本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述图像语义分割分块预测的拼接方法。
[0035] 本发明具有以下有益效果：
[0036] (1)本方案提出先对待进行分割预测的图像进行边缘扩充再进行分块，并对分块预测结果进行边缘抛弃的拼接方式，可以让原图像和分块区域的分割预测结果都保持在分割预测准确率较高的图像内部区域。这种抛弃预测结果较差的边缘区域的方法可以显著降低各分块边缘拼接痕迹明显的问题；
[0037] (2)本方案避免了传统连续有重叠的分块预测结果在拼接过程中需要对重叠区域进行误差较大的最大概率胜出判定或者进行需要主观干预的主观规则判定；
[0038] (3)本方法不仅可以有效降低图像内部拼接时的拼接痕迹问题，还因为对原图外边缘进行了扩充预测后再抛弃的做法，可以改进原图外边缘预测结果；
[0039] (4)本发明提出的方法同时适用于2D图像和3D图像的分块预测拼接问题。
附图说明
[0040] 图1为本发明一个示例实施例中对2D图像语义分割分块预测拼接方法示意图。
[0041] 图2为本发明一个示例实施中2D图像语义分割分块预测拼接方法流程图。
具体实施方式
[0042] 以下结合附图和实施例进一步说明本发明。
[0043] 在一个示例实施例中，如图2的流程图所示，提供一种2D图像语义分割分块预测的拼接方法，包括如下步骤：
[0044] 步骤210，将待分割2D图像的四周进行边缘补零扩充，待分割图像的原始长宽尺寸为C×R，其中x轴为长度方向，y轴为宽度方向；在x轴方向将待分割图像两侧边缘分别补零扩充p1个像素，1≤p1≤C/2；在y轴方向将待分割图像两侧边缘分别补零扩充p2个像素，1≤p2≤R/2；扩充后图像的长宽尺寸为(C+2p1)×(R+2p2)；
[0045] 步骤220，采用连续有重叠的分块方式对步骤210得到的四周边缘补零扩充后的图像进行分割；分割后得到各分块的长宽大小为M×N，其中M>2p1,N>2p2；其中分块步长为s，在x和y轴方向的步长大小分别为s1＝(M‑2p1)和s2＝(N‑2p2)，且必须满足s＝s1×s2＝(M‑2p1)×(N‑2p2)；
[0046] 进一步优选地，对于2D图像，在分块过程中待分割图像的剩余面积不足一个分块时：
[0047] (i)沿x轴方向移动时，若剩余图像在x轴方向的长度小于M，则以末端反向取M×N；
[0048] (ii)沿y轴方向移动时，若剩余图像在y轴方向的宽度小于N，则以末端反向取M×N；
[0049] (iii)若剩余图像在x轴方向的长度小于M且在y轴方向的宽度小于N，则以末端位置反向取M×N；
[0050] 步骤230，对各分块进行分割预测；
[0051] 步骤240，然后将各分块的预测结果图像进行边缘抛弃，保留核心区域；其中，边缘抛弃包括如下步骤：将每个分块的分割预测结果图像，在x轴方向两侧各抛弃p1个像素边缘，在y轴方向两侧各抛弃p2个像素边缘；保留分块的核心区域，边缘抛弃后各分块的长宽尺寸为(M‑2p1)×(N‑2p2)。
[0052] 在一个示例实施例中，对于2D图像，在分块过程中若剩余待分割图像的剩余面积不足分割出一个完整分块时，对预测结果进行边缘抛弃，并将生成的结果与其它核心块重叠的部分也一并抛弃，保留最后的核心区域；
[0053] 步骤250，对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
[0054] 如图1所示的示例实施例中，以2D图像分块拼接为例，假设原图长宽大小为R×C＝6×6，设定分块大小M×N＝4×4。首先对原图四周通过边缘补零的方式进行扩充，本实施例中以图像左右边缘各扩充像素数p1＝1，上下边缘各扩充像素数p2＝1为例，图像尺寸由R×C＝6×6变为(R+2p1)×(C+2p2)＝8×8；然后采用连续有重叠的分块方式对图像进行分块，分块步长s为(M‑2p1)×(N‑2p2)＝2×2；将每个分块进行分割预测的结果图像进行左右边缘各抛弃p1＝1个像素，上下边缘各抛弃p2＝1个像素得到核心区域，其大小为(M‑2p1)×(N‑2p2)＝2×2。最后把得到的9块2×2的分割预测结果的核心区域按分块顺序依次拼接合成得到跟原图尺寸一致的R×C＝6×6的最终预测结果图。
[0055] 在另一个示例实施例中，提供一种3D图像语义分割分块预测的拼接方法，包括如下步骤：
[0056] 步骤310，对于3D图像四周进行边缘补零扩充，待分割图像的原始长宽高尺寸为C×R×H，其中x轴为长度方向，y轴为宽度方向，z轴为高度方向；在x轴方向将图像两侧边缘各补零扩充p1个像素1≤p1≤C/2；在y轴方向将图像两侧边缘各补零扩充p2个像素，1≤p2≤R/2；在z轴方向将图像两侧边缘各补零扩充p3个像素，1≤p3≤H/2；扩充后图像的长、宽、高尺寸为(C+2p1)×(R+2p2)×(H+2p3)；
[0057] 步骤320，采用连续有重叠的分块方式对步骤310得到的四周边缘补零扩充后的3D图像进行分割；经分割后得到各分块的长宽高大小为M×N×K，其中M>2p1,N>2p2,K>2p3；其中分块步长为s，在x、y、z轴方向的步长大小分别为s1＝(M‑2p1)、s2＝(N‑2p2)、s3＝(K‑2p3)，且必须满足s＝s1×s2×s3＝(M‑2p1)×(N‑2p2)×(K‑2p3)；
[0058] 在一个示例实施例中，如果分块过程中待分割图像的剩余体积不足一个完整分块时，以末端位置反向取M×N×K；
[0059] 步骤330，对各分块进行分割预测；
[0060] 步骤340，然后将各分块的预测结果图像进行边缘抛弃，保留核心区域；其中，边缘抛弃包括如下步骤：将每个分块的分割预测结果图像在x轴方向两侧各抛弃p1个像素边缘，在y轴方向两侧各抛弃p2个像素边缘，在z轴方向两侧各抛弃p3个像素边缘；保留分块的核心区域，边缘抛弃后各分块的长宽高尺寸为(M‑2p1)×(N‑2p2)×(K‑2p3)；对于在分块过程中剩余图像不满足取块条件时以末端位置反向取M×N×K分块进行预测之后，对预测结果先进行边缘抛弃，再将剩余区域与其它核心块重叠的部分也一并抛弃，保留最后的核心区域；
[0061] 步骤350，对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
[0062] 本发明还提供一种计算设备，包括：
[0063] 一个或多个处理器；
[0064] 存储器；以及
[0065] 一个或多个程序，其中上述一个或多个程序存储在上述存储器中并被配置为由一个或多个处理器执行，上述的一个或多个程序包括用于执行图像语义分割分块预测的拼接方法的指令，该方法包括如下步骤：
[0066] 将待分割2D或3D图像的四周进行边缘补零扩充；
[0067] 对扩充后的图形进行分割；
[0068] 对各分块分别进行分割预测；
[0069] 将各分块的预测结果图像进行边缘抛弃，保留核心区域；
[0070] 对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
[0071] 本发明还提供一种存储一个或多个程序的计算机可读存储介质，上述的一个或多个程序包括指令，上述指令适于由存储器加载并执行上述图像语义分割分块预测的拼接方法，该方法包括如下步骤：
[0072] 将待分割2D或3D图像的四周进行边缘补零扩充；
[0073] 对扩充后的图形进行分割；
[0074] 对各分块分别进行分割预测；
[0075] 将各分块的预测结果图像进行边缘抛弃，保留核心区域；
[0076] 对所有保留的核心区域按分块顺序进行拼接，合成全图预测结果图。
[0077] 应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD‑ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
[0078] 以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
[0079] 本领域的技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0080] 如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0081] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0082] 上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
