医疗影像处理方法及装置、电子设备及存储介质转让专利

申请号 : CN201811033736.3

文献号 : CN109242845B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王允直李嘉辉胡志强

申请人 : 北京市商汤科技开发有限公司

摘要 :

本发明实施例公开了一种医疗影像处理方法及装置、电子设备及存储介质。所述医疗影像处理方法,包括:获取医疗影像中目标的第一掩码图像;获取多个所述目标的相邻边界所在区域的第二掩码图像;结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标。

权利要求 :

1.一种医疗影像处理方法,其特征在于,包括:获取医疗影像中目标的第一掩码图像;

获取多个所述目标的相邻边界所在区域的第二掩码图像;

结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标;

所述获取多个所述目标的相邻边界所在区域的第二掩码图像,包括:根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图;扫描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应的局部极小值;根据所述局部极小值对应的像素,生成所述第二掩码图像。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图,包括:对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;

基于所述第一图像,确定不同所述连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图。

3.根据权利要求1所述的方法,其特征在于,所述根据所述局部极小值对应的像素,生成所述第二掩码图像,包括:从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;

以所述第一像素为中心进行第二膨胀操作,得到包含预定个数像素的重叠区域;

根据所述重叠区域,生成所述第二掩码图像。

4.根据权利要求1所述的方法,其特征在于,所述结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标,包括:

根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;

根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标。

5.根据权利要求4所述的方法,其特征在于,所述根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像,包括:将所述第一掩码图像和所述第二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。

6.根据权利要求4所述的方法,其特征在于,所述根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标,包括:

根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二置信度;

根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像;

根据所述第四掩码图像 分离所述医疗影像中的所述目标。

7.根据权利要求6所述的方法,其特征在于,所述根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像,包括:根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第一连通区域相邻的第二连通区域内的像素值为第二取值;

确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;

根据所述第一权重,得到第一概率值;

根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像中的第一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的像素值为第一取值;

确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第二权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;

根据所述第二权重,得到第二概率值;

若所述第一概率值大于所述第二概率值,则所述第一像素添加到所述第一连通区域;

若所述第二概率值大于所述第一概率值,则所述第一像素添加到所述第二连通区域。

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取预先设置的第一特征;

根据从所述医疗影像中分离的所述目标的第二特征;

根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。

9.根据权利要求1至8任一项所述的方法,其特征在于,所述获取医疗影像中目标的第一掩码图像,包括:利用第一网络获得所述医疗影像的第一特征图像;

利用第二网络获得所述医疗影像的第二特征图像;

融合所述第一特征图像和所述第二特征图像,得到第三特征图像;

基于所述第三特征图像得到所述第一掩码图像;

和/或,

所述获取多个所述目标的相邻边界所在区域的第二掩码图像,包括:利用所述第一网络获得所述医疗影像的第四特征图像;

利用所述第二网络获得所述医疗影像的第五特征图像;

融合所述第四特征图像和所述第五特征图像,得到第六特征图像;

基于所述第六特征图像得到所述第二掩码图像。

10.根据权利要求9所述的方法,其特征在于,所述第一网络为残差网络;

所述第二网络为深度层聚合网络。

11.一种医疗影像处理装置,其特征在于,包括:第一获取模块,用于获取医疗影像中目标的第一掩码图像;

第二获取模块,用于获取多个所述目标的相邻边界所在区域的第二掩码图像;

第一分离模块,用于结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标;

所述第二获取模块,用于根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图;扫描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应的局部极小值;根据所述局部极小值对应的像素,生成所述第二掩码图像。

12.根据权利要求11所述的装置,其特征在于,所述第二获取模块,具体用于对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;基于所述第一图像,确定不同所述连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图。

13.根据权利要求11所述的装置,其特征在于,所述第二获取模块,具体用于从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;以所述第一像素为中心进行第二膨胀操作,得到包含预定个数像素的重叠区域;根据所述重叠区域,生成所述第二掩码图像。

14.根据权利要求11所述的装置,其特征在于,所述第一分离模块,具体用于根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标。

15.根据权利要求14所述的装置,其特征在于,所述第一分离模块,具体用于将所述第一掩码图像和所述第二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。

16.根据权利要求14所述的装置,其特征在于,所述第一分离模块,具体用于根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二置信度;根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像;根据所述第四掩码图像 分离所述医疗影像中的所述目标。

17.根据权利要求16所述的装置,其特征在于,所述第一分离模块,具体用于根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第一连通区域相邻的第二连通区域内的像素值为第二取值;确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;根据所述第一权重,得到第一概率值;根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像中的第一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的像素值为第一取值;确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第二权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;根据所述第二权重,得到第二概率值;若所述第一概率值大于所述第二概率值,则所述第一像素添加到所述第一连通区域;若所述第二概率值大于所述第一概率值,则所述第一像素添加到所述第二连通区域。

18.根据权利要求11任一项所述的装置,其特征在于,所述装置还包括:第三获取模块,用于获取预先设置的第一特征;

第二分离模块,用于根据从所述医疗影像中分离的所述目标的第二特征;

修正模块,用于根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。

19.根据权利要求11至18任一项所述的装置,其特征在于,所述第一获取模块,具体用于利用第一网络获得所述医疗影像的第一特征图像;利用第二网络获得所述医疗影像的第二特征图像;融合所述第一特征图像和所述第二特征图像,得到第三特征图像;基于所述第三特征图像得到所述第一掩码图像;

和/或,

所述第二获取模块,具体用于利用所述第一网络获得所述医疗影像的第四特征图像;

利用所述第二网络获得所述医疗影像的第五特征图像;融合所述第四特征图像和所述第五特征图像,得到第六特征图像;基于所述第六特征图像得到所述第二掩码图像。

20.根据权利要求19所述的装置,其特征在于,所述第一网络为残差网络;

所述第二网络为深度层聚合网络。

21.一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现权利要求1至10任一项提供的方法。

22.一种电子设备,其特征在于,包括:存储器,用于存储信息;

处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现权利要求1至10任一项提供的方法。

说明书 :

医疗影像处理方法及装置、电子设备及存储介质

技术领域

[0001] 本发明涉及信息技术领域,尤其涉及一种医疗影像处理方法及装置、电子设备及存储介质。

背景技术

[0002] 医疗影像可为对就诊者的身体部分进行图像,通过采集的图像,医疗人员可以观察到就诊者身体表层以外的特征,或者,放大观察到肉眼观察不到的微观特征,从而进行诊
断。
[0003] 为了进一步方便医疗人员诊断,会使用电子设备对采集的医疗影像进行加工处理,从而获得更加便于医疗人员观测的图像或者给出诊断辅助信息。但是在相关技术中存
在着医疗影像的加工处理效果依然不佳,例如,医疗影像中目标的分割效果不精确等问题。

发明内容

[0004] 本发明实施例期望提供一种医疗影像处理方法及装置、电子设备及存储介质
[0005] 本发明的技术方案是这样实现的:
[0006] 一种医疗影像处理方法,包括:
[0007] 获取医疗影像中目标的第一掩码图像;
[0008] 获取多个所述目标的相邻边界所在区域的第二掩码图像;
[0009] 结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标。
[0010] 基于上述方案,所述获取多个所述目标的相邻边界所在区域的第二掩码图像,包括:
[0011] 根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图;
[0012] 扫描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应的局部极小值;
[0013] 根据所述局部极小值对应的像素,生成所述第二掩码图像。
[0014] 基于上述方案,所述根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图,包括:
[0015] 对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;
[0016] 基于所述第一图像,确定不同所述连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图。
[0017] 基于上述方案,所述根据所述局部极小值对应的像素,生成所述第二掩码图像,包括:
[0018] 从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;
[0019] 以所述第一像素为中心进行第二膨胀操作,得到包含预定个数像素的重叠区域;
[0020] 根据所述重叠区域,生成所述第二掩码图像。
[0021] 基于上述方案,所述结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标,包括:
[0022] 根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;
[0023] 根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标。
[0024] 基于上述方案,所述根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像,包括:
[0025] 将所述第一掩码图像和所述第二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。
[0026] 基于上述方案,所述根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标,包括:
[0027] 根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二置信度;
[0028] 根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像;
[0029] 根据所述第四掩码图形分离所述医疗影像中的所述目标。
[0030] 基于上述方案,所述根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像,包括:
[0031] 根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第一连通区域相邻的第二连通区域内的像素值为第二
取值;
[0032] 确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素
随机游走当前停留的像素;
[0033] 根据所述第一权重,得到第一概率值;
[0034] 根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像中的第一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的像素值为第一
取值;
[0035] 确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第二权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素
随机游走当前停留的像素;
[0036] 根据所述第二权重,得到第二概率值;
[0037] 若所述第一概率值大于所述第二概率值,则所述第一像素添加到所述第一连通区域;若所述第二概率值大于所述第一概率值,则所述第一像素添加到所述第二连通区域。
[0038] 基于上述方案,所述方法还包括:
[0039] 获取预先设置的第一特征;
[0040] 根据从所述医疗影像中分离的所述目标的第二特征;
[0041] 根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。
[0042] 基于上述方案,所述获取医疗影像中目标的第一掩码图像,包括:
[0043] 利用第一网络获得所述医疗影像的第一特征图像;
[0044] 利用第二网络获得所述医疗影像的第二特征图像;
[0045] 融合所述第一特征图像和所述第二特征图像,得到第三特征图像;
[0046] 基于所述第三特征图像得到所述第一掩码图像;
[0047] 和/或,
[0048] 所述获取多个所述目标的相邻边界所在区域的第二掩码图像,包括:
[0049] 利用所述第一网络获得所述医疗影像的第四特征图像;
[0050] 利用所述第二网络获得所述医疗影像的第五特征图像;
[0051] 融合所述第四特征图像和所述第五特征图像,得到第六特征图像;
[0052] 基于所述第六特征图像得到所述第二掩码图像。
[0053] 基于上述方案,所述第一网络为残差网络;
[0054] 所述第二网络为深度层聚合网络。
[0055] 一种医疗影像处理装置,包括:
[0056] 第一获取模块,用于获取医疗影像中目标的第一掩码图像;
[0057] 第二获取模块,用于获取多个所述目标的相邻边界所在区域的第二掩码图像;
[0058] 第一分离模块,用于结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标。
[0059] 基于上述方案,所述第二获取模块,用于根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图;扫
描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应的局部
极小值;根据所述局部极小值对应的像素,生成所述第二掩码图像。
[0060] 基于上述方案,所述第二获取模块,具体用于对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;基于所述第一图像,确定不同所述连通区域中每一
个像素到背景的距离,获得与所述第一掩码图像对应的距离图。
[0061] 基于上述方案,所述第二获取模块,具体用于从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;以所述第一像素为中心进行第二膨胀操作,得到
包含预定个数像素的重叠区域;根据所述重叠区域,生成所述第二掩码图像。
[0062] 基于上述方案,所述第一分离模块,具体用于根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;根据所述第一掩码图像及所述第三掩码图像,分离所述医疗
影像中的所述目标。
[0063] 基于上述方案,所述第一分离模块,具体用于将所述第一掩码图像和所述第二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。
[0064] 基于上述方案,所述第一分离模块,具体用于根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二置信度;
根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻
的所述连通区域内,得到第四掩码图像;根据所述第四掩码图形分离所述医疗影像中的所
述目标。
[0065] 基于上述方案,所述第一分离模块,具体用于根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第一连通
区域相邻的第二连通区域内的像素值为第二取值;确定在所述第一标记图像中第一像素转
移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第二置信
度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;根据所述第一权重,得
到第一概率值;根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像中的第
一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的像素值
为第一取值;确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第二
权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像
素随机游走当前停留的像素;根据所述第二权重,得到第二概率值;若所述第一概率值大于
所述第二概率值,则所述第一像素添加到所述第一连通区域;若所述第二概率值大于所述
第一概率值,则所述第一像素添加到所述第二连通区域。
[0066] 基于上述方案,所述装置还包括:
[0067] 第三获取模块,用于获取预先设置的第一特征;
[0068] 第二分离模块,用于根据从所述医疗影像中分离的所述目标的第二特征;
[0069] 修正模块,用于根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。
[0070] 基于上述方案,所述第一获取模块,具体用于利用第一网络获得所述医疗影像的第一特征图像;利用第二网络获得所述医疗影像的第二特征图像;融合所述第一特征图像
和所述第二特征图像,得到第三特征图像;基于所述第三特征图像得到所述第一掩码图像;
[0071] 和/或,
[0072] 所述第二获取模块,具体用于利用所述第一网络获得所述医疗影像的第四特征图像;利用所述第二网络获得所述医疗影像的第五特征图像;融合所述第四特征图像和所述
第五特征图像,得到第六特征图像;基于所述第六特征图像得到所述第二掩码图像。
[0073] 基于上述方案,所述第一网络为残差网络;
[0074] 所述第二网络为深度层聚合网络。
[0075] 一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现前述任一技术方案提供的医疗影像处理方法。
[0076] 一种电子设备,包括:
[0077] 存储器,用于存储信息;
[0078] 处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够前述任一技术方案提供的医疗影像处理方法。
[0079] 本发明实施例提供的技术方案,不仅会获取医疗影像中目标的第一掩码图像;还会获取多个目标相邻边界所在区域第二掩码图像;如此,结合第一掩码图像和第二掩码图
像来进行医疗影像中的目标分割,可以使得原本边界相邻的目标或者原本有部分重叠的目
标被分割开来,而不再是视为一个目标被提取;如此,至少提升了统计分离的目标的数目的
精确度,并由此可以提升基于目标的统计数目得到的各种特征值等;故大大提升了目标分
离的精确度。

附图说明

[0080] 图1为本发明实施例提供的第一种医疗影像处理方法的流程示意图;
[0081] 图2为本发明实施例提供的一种原始医疗影像、第一掩码图像及第二掩码图像的变化示意图;
[0082] 图3为本发明实施例提供的第二种医疗影像处理方法的流程示意图;
[0083] 图4为本发明实施例距离扫描的示意图;
[0084] 图5为本发明实施例提供的第三种医疗影像处理方法的流程示意图;
[0085] 图6为本发明实施例提供的一种目标分离的效果示意图;
[0086] 图7为本发明实施例提供的一种医疗影像处理装置的结构示意图;
[0087] 图8为本发明实施例提供的另一种目标分离的效果示意图;
[0088] 图9为本发明实施例提供的一种掩码图像的示意图;
[0089] 图10为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

[0090] 以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
[0091] 如图1所示,本实施例提供一种医疗影像处理方法,包括:
[0092] 步骤S110:获取医疗影像中目标的第一掩码图像;
[0093] 步骤S120:获取多个所述目标的相邻边界所在区域的第二掩码图像;
[0094] 步骤S130:结合所述第一掩码和所述第二掩码,分离所述医疗影像中的所述目标。
[0095] 本实施例提供的医疗影像处理方法,可应用于各种电子设备中。
[0096] 所述医疗影像可为利用理疗成像原理采集的各种影像,例如,电子计算机断层扫描(Computed Tomography,CT)或核磁共振图像等。在另一些实施例中所述医疗影像还可以
是医疗显微镜下拍摄的图像等。若所述目标为细胞核,则所述医疗影像可为:苏木精‑伊红
染色法(hematoxylin and eosin staining,H&E)的组织染色影像。所述组织染色影像可除
了上述以细胞核为目标的染色图像,还可以是各种需要观察的目标的染色图像,总之,所述
可通过各种染色剂突出目标与背景之间区别的医疗影像。通过染色剂的染色,可以使得目
标与背景之间的色彩参数的差异化增大,例如,使得色彩的深浅度增大、对比度增大等;如
此,医疗影像可以清晰的区分出目标和背景。
[0097] 在一些实施例中,所述目标为所述图像中的成像目标。但是在医疗成像时,可能无法进对目标进行成像,可能会采集到目标之外的物体的成像,所述目标的之外的成像或空
白成像区域在本实施例中都可以视为背景。
[0098] 所述目标可为细胞内的细胞核;所述背景可包括:细胞核以外的细胞质和/或细胞膜;所述细胞质又可以分为细胞质基质及细胞器。所述细胞器可包括:内质网、线粒体、高尔
基体、核糖体及溶酶体。
[0099] 在另一些实施例中,所述目标可为线粒体。
[0100] 在本实施例中,所述目标可为核状结构或柱状结构。核状结构可为:在三维直角坐标系中的三个轴上尺寸差异在预设范围内的结构,例如,在三个轴上的尺寸比值不大于2或
1.5,例如,所述核状结构可包括细胞核。柱状结构可为:在上那位直角坐标系中的某一个轴
上的尺寸明显大于其他两个轴上尺寸的结构;例如,其中一个轴上尺寸是另外链各个轴上
尺寸的N倍,所述N可为不小于1.5或2的正整数,所述柱状结构可包括线粒体。
[0101] 在本实施例中,一个所述医疗影像中可能有多个目标,这个多个目标之间的相对位置可分为以下几种:
[0102] 接触,两个目标的边界挨着但是没有重叠部分;
[0103] 分离;两个目标边界之间有间距;
[0104] 重叠:包括,部分重叠和完全重叠;部分重叠,则两个目标的各自有一部分重合;完全重叠,则至少一个目标被另一个目标完全覆盖。
[0105] 在本实施例中,为了更好的将医疗影像中的相邻或重叠的目标进行分离,在本实施例中,不仅会获取医疗影像中目标的第一掩码图像,还会获取医疗影像中目标的边界所
在区域的第二掩码图像。
[0106] 所述第一掩码图像可为一个二值化图像;所述二值化图像包含的像素个数,可与原始的医疗影像的像素个数相同;所述二值化图像中的像素值分为两种,一种用于标记所
述目标所对应的像素,另一种用于标记所述目标以外的背景所对应的像素。例如,两种像素
值分别为“0”及“1”;若对应的坐标属于目标,则该坐标的像素值为“1”;若对应的像素值坐
标属于背景,则该坐标的像素值为“0”。如此,根据该第一掩码图像就可以知道原始的医疗
影像中哪些属于目标的像素。如此,第一掩码图像为用于标记处目标在原始医疗影像中所
对应像素的图像。
[0107] 在一些实施例中,所述第一掩码图像还可为如图9所示,像素值为“0”表示该像素属于背景;像素值为正整数,表示该像素属于目标。像素值为正整数且像素值相同的像素属
于同一个目标。
[0108] 在本实施例中,还会提取每一个目标都有边界,但是多个目标之间边界,若有多个目标且这几个目标距离很近,就会产生相邻的边界。例如,目标A和目标B相邻分布,则目标A
和目标B中各有一部分边界是与对方相邻,这一部分边界称之为相邻边界;这种相邻边界实
质上可包括:两个目标接触部分的边界、重叠部分的边界;或者两个目标之间距离很近是间
距小于预设距离一段的边界。
[0109] 例如,目标A包括边界1、边界2及边界3;边界1与目标B重叠、接触或者与目标B的边界4靠的很近,则此时,边界1和边界4均可为前述的相邻边界。
[0110] 在本实施例中,不仅会获取单个目标的第一掩码图像,同时还会获取多个目标之间相邻边界所在区域的第二掩码图像。
[0111] 同样的,在本实施例中,所述第二掩码图像同样可为二值化图像;该第二掩码图像中包含的像素值仅为两种,其中一种像素值赋给相邻边界所在区域的坐标;另一种像素值
赋给剩余坐标。
[0112] 如此,通过第二掩码图像的引入,可以使得具有接触或重叠或者间距很近的两个目标或两个以上的目标的相邻边界对应的像素值。
[0113] 图2中从左至右依次原始医疗影像、第一掩码图像及第二掩码图像。
[0114] 在一些实施例中,在步骤S130中会结合第一掩码图像和第二掩码图像进行目标的分离,故至少不会产生仅根据第一掩码图像进行对象的分离中将有接触或有重叠的两个目
标被视为一个目标进行分离的现象,从而提升了目标的分离精确度。
[0115] 例如,对所述第一掩码图像和第二掩码图像进行比对或者做差值处理,得到第三掩码图像。实质上第三掩码图像相当于,通过基于第一掩码图像和第二掩码图像做目标的
边界收缩处理得到的,至少有重叠的目标的边界分离到不同的像素中。如此,至少减少将有
部分重叠的两个或多个目标视为一个目标进行分离,从而确保分离的目标的个数精准度,
同时通过多个目标的相邻边界收缩处理,而非时多个目标的所有边界做收缩处理,从而尽
可能的降低了因为边界收缩处理导致的目标的特征损失,以确保分离的目标的特征的完整
性和精准性。
[0116] 在一些实施例中,所述从所述医疗影像中分离所述目标包括:确定目标在医疗影像所对应的坐标。此处的像素可以包括:平面空间内的二维像素和三维空间内的三维像素;
这种三维像素又可以称之为体素。例如,当前医疗影像是一种三维图像,则构成该三维图像
是三维像素。例如,一个三维医疗影像有n张xoy平面内的二维图像;这n张二维图像是同一
个目标在z轴上不同坐标点的二维图像。如此对于该三维医疗影像而言,二维图像中的一个
像素对应了一个体素。
[0117] 所述方法还包括:
[0118] 根据所述目标的分离结果,获得所述目标的特征。
[0119] 所述根据所述目标的分离结果,获得所述目标的特征,包括以下至少之一统计医疗影像中目标的个数;
[0120] 确定医疗影像中目标的几何特征,所述几何特征可包括:目标的形状和/或尺寸。所述尺寸可包括:长、宽、高、面积及体积中的一个或多个。
[0121] 根据所述目标的外轮廓在所述医疗影像占用的坐标,确定出所述目标的形态;
[0122] 获得不同目标之间的尺寸比值,例如,获得医疗影像中最大尺寸的细胞核与最小尺寸的细胞核的尺寸比值;获得医疗影像中相邻两个细胞核之间的尺寸比值。
[0123] 例如,通过统计目标在图像中对应的坐标的个数,例如,在平面图像坐标系中第一方向上占用的坐标的个数和/或在第二方向上占用的坐标的个数,表征所述目标的尺寸。在
在立体图像坐标系中第一方向上占用的坐标的个数,在第二方向上占用的坐标的个数、及
在第三方向上占用的向所坐标的个数的至少其中之一,表征所述目标的尺寸。所述第一方
向垂直于所述第二方向;所述第三方向垂直于所述第二方向;所述第一方向垂直于所述第
三方向;所述目标的尺寸包括以下至少之一:目标的最大尺寸、最小尺寸、平均尺寸;而这些
尺寸的确定的前提是,精确分割单个目标;以平均尺寸为例,若目标的个数统计不精确,显
然会直接影响目标的平均尺寸的精确度。
[0124] 以细胞为例;在第一时刻,以细胞中的细胞核为目标,根据细胞核的分离结果,可以统计出单张医疗影像中的细胞核的数目、细胞核的尺寸、细胞核的形状。在第二时刻,以
细胞中的细胞膜为目标,根据细胞膜的分离结果,可以统计出单张医疗影像中细胞的尺寸;
结合细胞的尺寸和细胞核的尺寸,可以得到细胞核与细胞之间的尺寸比。
[0125] 如图3所示,所述步骤S120可包括:
[0126] 步骤S121:根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图;
[0127] 步骤S122:扫描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应的局部极小值;
[0128] 步骤S123:根据所述局部极小值对应的像素,生成所述第二掩码图像。
[0129] 在本实施例中,第一掩码图像是通过神经网络等通过特征提取得到的。所述第一掩码图像可为前述的二值化图像,如此,连通区域内所包含像素的像素值是不同于归属于
背景所包含像素(简称背景像素)的像素值的。
[0130] 在一些实施例中,会确定连通区域内每一个像素与背景之间的距离,例如,确定每一个像素与其最近的背景像素的距离,即距离图中的距离为连通区域内每一个像素与背景
的最近距离。
[0131] 在另一些实施例中,确定出连通区域每一个像素不同方向上背景像素之间建立的平均距离。
[0132] 总之,所述距离图包含的距离值有多种,不局限于一个连通区域内单个像素与背景之间的最小距离或平均距离。
[0133] 在距离图中一个连通区域内中心像素与背景之间的距离通常是最大的,故会中心像素位置处出现峰值,即所述极大值。
[0134] 如此,通过距离图中扫描(即像素值)的遍历,就可以简便得到连通区域内的局部极大值。若一个连通区域内有两个或两个以上的局部极大值,则可以通过预设距离梯度值
进行距离值扫描,从而知道两个局部极大值向下下降的边界处,该边界处即为所述局部极
小值。
[0135] 如图4所示,横轴可为像素坐标,纵轴可为距离值,垂直于所述纵轴的横线可为预设距离梯度值的扫描线。
[0136] 该局部极小值有非常大的概率即为两个目标的边界或边界邻近位置。
[0137] 在本实施例中,确定出所述局部极小值对应的像素,根据该像素生成第二掩码图像。例如,从距离图中选择出像素值等于或略大于所述局部极小值的像素;这些像素可以称
之为局部极小值所对应的像素。将这些局部极小值所对应像素的像素值设置为“1”,将剩余
像素的像素值设置为“0”,则生成了一张二值化的所述第二掩码图像。该第二掩码图像中两
个目标的重叠区域的像素值为“1”。
[0138] 在一些实施例中,也可以将局部极小值所对应像素的像素值设置为“0”,将剩余像素的像素值设置为“1”,如此,也会生成一张二值化的所述第二掩码图像,在该第二掩码图
像中两个目标的重叠区域的像素值为“0”。
[0139] 在一些实施例中,所述步骤S121可包括:
[0140] 对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;
[0141] 基于所述第一图像,确定不同所述连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图。
[0142] 在本实施例中,可根据所述第一根据目标在医疗影像中的呈现形态可以进行边界的膨胀操作,所述边界的膨胀操作,可以称之为边界的外扩操作。例如,利用预设参数,对目
标的边界进行膨胀操作,例如,向外扩展N个像素;所述N可为正整数;例如,N的取值可为3到
5之间。如此,单一目标的边界向外扩展了N个像素。
[0143] 原本接触、相邻或者间隔小于或等于N个像素的两个相邻的目标之间就会产生接触或重叠。
[0144] 结合第一掩码图像中各坐标的像素值,是可以知道每一个目标的中心像素的坐标的,在本实施例中,该中心像素的坐标可称之为中心像素。
[0145] 在本实施例中,一个所述连通区域可对应于一个或多个目标。在本实施例中对所述连通区域的边界进行膨胀。在一些实施例中,一个连通区域的边界可包括:围绕在连通区
域内部的内边界,以及组成连通区域外围的外边界。在本实施例中,对所述第一掩码图像内
连通区域的边界进行第一膨胀操作,包括:
[0146] 第一掩码图像中连通区域的内边界和/或外边界进行第一膨胀操作。
[0147] 若对内边界进行膨胀操作,则会使得连通区域向内扩张,从而使得连通区域内包括的背景像素被囊括到连通区域内。
[0148] 若对外边界进行膨胀操作,则会使得连通区域向外扩展,使得连通区域的中心像素与外边界之间的距离增大。
[0149] 通过这种膨胀操作可以使得相邻或者距离很近的两个相邻目标重叠,或者,使得原本重叠的两个目标的重叠区域增大;如此,可以减少遗漏;从而通过后续基于距离图的分
割,减少边界相邻的两个目标或者距离很近的两个目标被判断为一个目标的概率,从而再
次提升目标分割精确度。
[0150] 在得到所述第一图像之后,将第一图像转换为距离图像,然后基于距离图像进行不同目标的分割。
[0151] 若进行所述连通区域的膨胀的过程中,进行了所述连通区域的内边界膨胀,还有助于消除误差。若目标的采集对象为一个实心对象,则目标对应的连通区域也应该是实心
的,不存在内边界的。但是可能由于图像采集引入的误差、第一掩码图像在提取过程中引入
的误差,使得连通区域存在着内边界。此时,可以通过所述第一膨胀操作消除所述连通区域
的内边界,从而再次提升目标特征提取的精确度。
[0152] 在一些实施例中,所述步骤S123可包括:
[0153] 从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;
[0154] 以所述第一像素为中心进行第二膨胀操作,得到包含预定个数像素的重叠区域;
[0155] 根据所述重叠区域,生成所述第二掩码图像。
[0156] 在一些实施例中,可以直接根据所述第一像素生成所述第二掩码图像。但是此时,距离值等于所述局部极小值的像素所连成的边界线可能仅为一个像素,在有的地方还可能
会出现断开的现象。而一个像素形成的重叠边界的容差率太小,可能会导致后续重叠区域
对应的第二掩码图像的提取失败,或者,精确度大大的降低。在本实施例中会对所述第一像
素进行第二膨胀操作。第一像素通过第二膨胀操作之后,会使得重叠区域包含的像素在特
定方向上增多。例如,以第一像素向第一维度的左右两个方向均扩展2至8个像素,例如,均
扩张5个像素,如此,使得重叠区域在第一维度上具有2*N+1个像素。所述N为第二膨胀操作
左右两个方向上膨胀的像素个数。
[0157] 确定了重叠区域之后,可以将重叠区域所包含像素的像素值设置为区别于背景所包含像素的像素值,从而生成所述第二掩码图像。
[0158] 在一些实施例中,所述步骤S130可包括:
[0159] 根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;
[0160] 根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标。
[0161] 在本实施例中,第三掩码图像可为:直接根据第一掩码图像和第二掩码图像做特定的运算得到的。例如,将第一掩码图像第xy个像素的像素值与第二掩码图像的第xy个像
素的像素值进行差值运算,得到第三掩码图像中的第xy个像素的像素值。此处的xy可表示
对像素的像素坐标。故在本实施例中,所述步骤S130可包括:将所述第一掩码图像和所述第
二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。
[0162] 在另一些实施例中,若所述第一掩码图像和所述第二掩码图像都为由“0”及“1”构成的二值化图像。对其中一个取反,使得其中一个掩码图像中原来像素值“0”替换为“1”,将
原来像素值为“1”替换为“0”。然后其中一个取反之后的掩码图像与另一个掩码图像进行与
处理的,得到所述第三掩码图像。
[0163] 根据所述第一掩码图像和所述第二掩码图像获得所述第三掩码图像的方式有多种,具体实现不局限于任意一种。
[0164] 在本实施例中根据所述第三掩码图像分离所述医疗影像中的目标,如此至少减少了分离后的目标个数与实际目标个数的差异值;从而提升了目标的特征提取精确度。
[0165] 在一些实施例中,所述根据所述第一掩码图像及所述第三掩码图像,分离所述医疗影像中的所述目标,包括:
[0166] 根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二置信度;
[0167] 根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像;
[0168] 根据所述第四掩码图形分离所述医疗影像中的所述目标。
[0169] 在本实施例中,结合所述第一掩码图像和所述第三掩码图像得到置信度图像。其中,所述第一掩码图像和所述第二掩码图像中相同像素坐标的像素值相同,则在置信度图
该像素坐标的像素值为第一置信度,若第三掩码图像中对应于第一掩码图像中目标所在区
域的像素,却被通过前述操作视为了重叠区域,则置信度为第二置信度,此处第一置信度高
于所述第二置信度。所述第一置信度和所述第二置信度均可为非0正数。置信度图中背景所
包含像素的像素值均可为0。
[0170] 在本实施例中,结合所述第一置信度和所述第二置信度的标记,将重叠区域的像素重新划分到连通区域,如此,将原本应该归属到某一个目标的像素又重新添加回到一个
与目标对应的连通区域中;如此,在统计目标的尺寸或平均尺寸时,可以减少因为边界拆分
引入的误差,可以提升目标的尺寸或平均尺寸的精确度。
[0171] 所述根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠区域相邻的所述连通区域内,得到第四掩码图像,包括:
[0172] 根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第一连通区域相邻的第二连通区域内的像素值为第二
取值;
[0173] 确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素
随机游走当前停留的像素;
[0174] 根据所述第一权重,得到第一概率值;
[0175] 根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像中的第一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的像素值为第一
取值;
[0176] 确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应的第二权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述第一像素
随机游走当前停留的像素;
[0177] 根据所述第二权重,得到第二概率值;
[0178] 若所述第一概率值大于所述第二概率值,则所述第一像素添加到所述第一连通区域;若所述第二概率值大于所述第一概率值,则所述第一像素添加到所述第二连通区域。
[0179] 例如,所述第一标记图像中将对应于目标的相邻两个连通区域内的像素值设置成了不同像素值,以该第一标记图像中两个连通区域的像素值作为计算所述第一概率值的参
数。第二标记图像中两个相邻连通区域内的像素值正好相反,如此,以第二标记图像中两个
连通区域的像素值作为第二概率值的计算参数得到第二概率值。第一概率值和第二概率值
采用的同样的计算函数,若得到的第一概率值高于第二概率值,可认为第一像素归属于第
一连通区域的概率更大,则将该第一像素添加到第一连通区域内,若第二概率值高于第一
概率值,可认为第一像素归属于第二连通区域的概率更大,则将该第一像素添加到第二连
通区域内。
[0180] 在本发明实施例中所述第一权重和所述第二权重可以通常权重,所述第一权重和所述第二权重的计算方式相同。
[0181] 例如,所述第一像素可以向若干个方向随机游走,例如,以第一像素所在像素坐标为中心,向东西南北四个方向随机游走;即以每个90度为一个游走方向。再例如,以第一像
素所在像素坐标为中心,以每个45度为一个游走方向进行随机游走。然后计算第一像素游
走到第二像素所在位置的权重。根据第一像素和第二像素的像素值进行所述权重。例如,将
第二像素的像素值减去第一像素的像素值的平方,即为所述第一权重或所述第二权重。若
第一像素可以向X个方向游走,则可以满足如下函数关系。
[0182] W1*p1+W2*p2+……Wx*Px=1。
[0183] 其中,Wx表示x方向的权重;px表示x方向上的转移概率。
[0184] 若i表示第一像素,j表示对应游走的x方向的第二像素;则所述Wx的计算公式可如下:
[0185] Wij=(Pixeli‑Pixelj)2;或者,Wij=(Pixeli‑Pixelj)3;或者,Wij=(Pixeli‑Pixelj)。
[0186] 此处仅是计算所述第一权重和所述第二权重的计算距离,具体实现不局限于此。
[0187] 所述转移概率的计算根据随机游走的计算方式,具体的实现方式有很多种,此处就不再赘述了。
[0188] 如此,第一标记图像和第二标记图像中第一连通区域和第二连通区域内的像素值不同,如此,得到的第一概率值和第二概率值可能是不同。
[0189] 如图5所示,所述方法还包括:
[0190] 步骤S210:获取预先设置的第一特征;
[0191] 步骤S220:根据从所述医疗影像中分离的所述目标的第二特征;
[0192] 步骤S230:根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。
[0193] 所述第一特征为所述目标的预设特征,例如,所述目标的形态特征、尺寸特征等。
[0194] 所述第二特征是通过对医疗影像的处理分离得到的。
[0195] 在步骤S230中根据第一特征和第二特征,修正从所述医疗影像分离的所述目标。
[0196] 例如,计算医疗影像中提取的各个目标的第二特征与第一特征的相似度,若计算出的相似度低于相似度阈值,则认为该从医疗影像中分离的目标为误判目标,将该目标对
应的图像区域的标签修正为背景的标签。
[0197] 如此,通过第一特征和第二特征的比对,可以实现再次精确提取的目标的特征。
[0198] 参考图6所示,基于第一掩码图像和第二掩码图像,将重叠的两个目标进行重叠区域的分割,从而获得两个面积缩小的连通区域;然后重叠区域的像素重新判定,判定该像素
属于哪一个连通区域。此处,一个连通区域相当于一个目标。然后通过前述第一特征和第二
特征的比对处理等,进行分离的目标修正;如此,将误判为目标的重新恢复成背景。
[0199] 在一些实施例中,所述步骤S110可包括:
[0200] 所述获取医疗影像中目标的第一掩码图像,包括:
[0201] 利用第一网络获得所述医疗影像的第一特征图像;
[0202] 利用第二网络获得所述医疗影像的第二特征图像;
[0203] 融合所述第一特征图像和所述第二特征图像,得到第三特征图像;
[0204] 基于所述第三特征图像得到所述第一掩码图像;
[0205] 和/或,所述步骤S120可包括:
[0206] 利用所述第一网络获得所述医疗影像的第四特征图像;
[0207] 利用所述第二网络获得所述医疗影像的第五特征图像;
[0208] 融合所述第四特征图像和所述第五特征图像,得到第六特征图像;
[0209] 基于所述第六特征图像得到所述第二掩码图像。
[0210] 在本实施例中利用至少两个网络分别得到用于生成掩码图像的特征图,在融合特征图得到掩码图像,如此,相对于单一网络提取特征图生成所述掩码图像,可以提升第一掩
码图像和/或第二掩码图像的鲁棒性和精准度。
[0211] 在本实施例中,所述第一网络和所述第二网络可为不同的神经网。
[0212] 例如,在一些实施例中所述第一网络为残差网络;所述第二网络为深度层聚合网络。在本实施例中,残差网络和深度层聚合网络都非单一方向级联网络,残差网络和深度层
聚合网络除了会将前一个网络层的输出引入到当前网络层以外,还会将前几个网络层的输
出引入到当前网络层,如此,可以更好的实现特征的提取,减少单一级联网络层的误差累计
的问题;从而提升特征提取的精确度。
[0213] 在另一些实施例中,所述第一网络可为全卷积网络,所述第二网络可为部分卷积网络。
[0214] 如图7所示,本实施例提供一种医疗影像处理装置,包括:
[0215] 第一获取模块110,用于获取医疗影像中目标的第一掩码图像;
[0216] 第二获取模块120,用于获取多个所述目标的相邻边界所在区域的第二掩码图像;
[0217] 第一分离模块130,用于结合所述第一掩码图像和所述第二掩码图像,分离所述医疗影像中的所述目标。
[0218] 在一些实施例中,所述第一获取模块110、第二获取模块120、第一分离模块130均可为程序模块,程序模块被处理器执行后,可以执行第一掩码图像、第二掩码图像的获取,
并基于第一掩码图像及第二掩码图像分离出医疗影像中的目标。
[0219] 在另一些实施例中,所述第一获取模块110、第二获取模块120、第一分离模块130可对应于硬件和软件的结合模块,例如,复杂可编程电路或现场可编程电路。
[0220] 在还有一些实施例中,所述第一获取模块110、第二获取模块120、第一分离模块130可对应于纯硬件电路,例如,专用集成电路。
[0221] 在一些实施例中,所述第二获取模块120,用于根据所述第一掩码图像,确定与目标对应的不同连通区域中每一个像素到背景的距离,获得与所述第一掩码图像对应的距离
图;扫描所述距离图的距离,确定出所述距离图中局部极大值和相邻两个局部极大值对应
的局部极小值;根据所述局部极小值对应的像素,生成所述第二掩码图像。
[0222] 在一些实施例中,所述第二获取模块120,具体用于对所述第一掩码图像内连通区域的边界进行第一膨胀操作,得到第一图像;基于所述第一图像,确定不同所述连通区域中
每一个像素到背景的距离,获得与所述第一掩码图像对应的距离图。
[0223] 在一些实施例中,所述第二获取模块120,具体用于从所述距离图中选取出距离值与所述局部极小值在预设差值内的第一像素;以所述第一像素为中心进行第二膨胀操作,
得到包含预定个数像素的重叠区域;根据所述重叠区域,生成所述第二掩码图像。
[0224] 在一些实施例中,所述第一分离模块130,具体用于根据所述第一掩码图像和所述第二掩码图像,生成第三掩码图像;根据所述第一掩码图像及所述第三掩码图像,分离所述
医疗影像中的所述目标。
[0225] 在一些实施例中,所述第一分离模块130,具体用于将所述第一掩码图像和所述第二掩码图像的同坐标的像素值相减,得到所述第三掩码图像。
[0226] 在一些实施例中,所述第一分离模块130,具体用于根据所述第一掩码图像,确定所述第三掩码图像的连通区域的第一置信度和相邻所述连通区域对应的重叠区域的第二
置信度;根据所述第一置信度和所述第二置信度,将所述重叠区域的像素划分到所述重叠
区域相邻的所述连通区域内,得到第四掩码图像;根据所述第四掩码图形分离所述医疗影
像中的所述目标。
[0227] 在一些实施例中,所述第一分离模块130,具体用于根据所述第一置信度,生成第一标记图像;其中,所述第一标记图像中的第一连通区域内的像素值为第一取值;与所述第
一连通区域相邻的第二连通区域内的像素值为第二取值;确定在所述第一标记图像中第一
像素转移到第二像素所在位置时对应的第一权重,其中,所述第一像素为置信度为所述第
二置信度的像素;所述第二像素为所述第一像素随机游走当前停留的像素;根据所述第一
权重,得到第一概率值;根据所述第一置信度,生成第二标记图像,其中,所述第一标记图像
中的第一连通区域内的像素值为第二取值;与所述第一连通区域相邻的第二连通区域内的
像素值为第一取值;确定在所述第一标记图像中第一像素转移到第二像素所在位置时对应
的第二权重,其中,所述第一像素为置信度为所述第二置信度的像素;所述第二像素为所述
第一像素随机游走当前停留的像素;根据所述第二权重,得到第二概率值;若所述第一概率
值大于所述第二概率值,则所述第一像素添加到所述第一连通区域;若所述第二概率值大
于所述第一概率值,则所述第一像素添加到所述第二连通区域。
[0228] 在一些实施例中,所述装置还包括:
[0229] 第三获取模块,用于获取预先设置的第一特征;
[0230] 第二分离模块,用于根据从所述医疗影像中分离的所述目标的第二特征;
[0231] 修正模块,用于根据所述第一特征和所述第二特征,修正从所述医疗影像中分离后的所述目标。
[0232] 在一些实施例中,所述第一获取模块110,具体用于利用第一网络获得所述医疗影像的第一特征图像;利用第二网络获得所述医疗影像的第二特征图像;融合所述第一特征
图像和所述第二特征图像,得到第三特征图像;基于所述第三特征图像得到所述第一掩码
图像;
[0233] 和/或,
[0234] 所述第二获取模块120,具体用于利用所述第一网络获得所述医疗影像的第四特征图像;利用所述第二网络获得所述医疗影像的第五特征图像;融合所述第四特征图像和
所述第五特征图像,得到第六特征图像;基于所述第六特征图像得到所述第二掩码图像。
[0235] 在一些实施例中,所述第一网络为残差网络;
[0236] 所述第二网络为深度层聚合网络。
[0237] 以下结合上述任意实施例提供几个示例:
[0238] 示例1:
[0239] 通过大量的样本数据增强来提高输入图像的多样性,避免网络过拟合。
[0240] 训练神经网络,结构提取特征,包括残差网络和深度层聚合(deep  layer aggregation,DLA)。利用类似U‑Net网络对特征上采样。网络输出两个通道,包括:输出一个
细胞核的掩码图像的通道,和另一个输出细胞核边界重叠部分的掩码图像的通道。
[0241] 利用随机游走算法和分水岭算法对两个通道的输出进行后处理,分开邻近的细胞核。
[0242] 通过一个随机森林分类器排除掉一些误检,提高准确率。
[0243] 增加图像多样性的实现方式可如下:
[0244] 利用随机切割,随机旋转,随机翻转,颜色扰动,亮度对比度扰动,限制对比度自适应直方图均衡,高斯噪声等方式进行数据增强,增加输入图像的多样性。
[0245] 用ImageNet数据集的均值和方差对病理图片进行归一化。
[0246] 同时产生细胞核掩码和细胞核边界重叠部分掩码,例子见图2。细胞核掩码通过将属于细胞核所在像素的像素值设置为1,属于背景所在像素的像素值设置为0得到。
[0247] 细胞核边界重叠部分掩码通过以下步骤得到:
[0248] (1)首先将细胞核进行形态学膨胀获取多个所述目标的边界位置所在区域的第二掩码图像作;
[0249] (2)利用分水岭算法得到分水岭边界;
[0250] (3)将边界进行形态学膨胀获取多个所述目标的边界位置所在区域的第二掩码图像作得到最终结果。
[0251] 利用类似UNet的全卷积网络进行训练和预测。网络包括两个部分,一个编码器和一个解码器。分别用在ImageNet数据集上预训练过的残差网络和DLA网络作为编码器,相对
应的解码器分别为UNet的解码器部分和(Iterative Deep Aggregation,IDA)网络。训练时
为了避免数据不均衡的问题,采用交叉熵损失函数和IOU损失函数的和作为网络的损失函
数。
[0252] 在测试/推理时,融合残差网络和DLA网络的预测结果作为输出的结果。
[0253] 通过将网络得到的概率图取阈值,可以得到一个预测的细胞核的掩码图像和一个细胞核重叠边界部分的掩码图像。
[0254] 首先,将两个掩码相减得到一个标记掩码;
[0255] 然后,计算出每个像素点到最近边界的相对距离,利用阈值去掉离边界较近的像素点。理想情况下不同细胞核在标记掩码上是互不相连的。
[0256] 随后,将细胞核的掩码图像和标记掩码图像作为随机森林或者分水岭算法的输入,得到的分割结果。
[0257] 最后,提取每个分割出来的细胞核的形态学特征,所述形态学特征包括大小,形状,与邻近细胞核的大小比例等其中的饿一个或多个。
[0258] 用这些特征训练一个随机森林模型,目的是进一步去掉一些神经网络模型产生的误检细胞核区域。
[0259] 参考图8所示,通过全卷积网络得到细胞核的掩码图像和细胞和边界重叠区域的掩码图像;然后利用分水岭/随机游走算法得到分离后的目标的特征,然后利用随机森林分
类器对分离后的目标进行处理,去除误判的目标。
[0260] 图9可为一张融合了第一掩码图像和第二掩码图像得到的第三掩码图像的示意图。
[0261] 如图10所示,本申请实施例提供了一种电子设备,包括:
[0262] 存储器,用于存储信息;
[0263] 处理器,与所述存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现前述一个或多个技术方案提供的医疗影像处理方法,例如,如图1、图3或图5
所示的方法中的一个或多个。
[0264] 该存储器可为各种类型的存储器,可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储,例如,存储计算机可执行指令等。所述计算机可执行指令可为各种程
序指令,例如,目标程序指令和/或源程序指令等。
[0265] 所述处理器可为各种类型的处理器,例如,中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
[0266] 所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
[0267] 在一些实施例中,所述终端设备还可包括:通信接口,该通信接口可包括:网络接口、例如,局域网接口、收发天线等。所述通信接口同样与所述处理器连接,能够用于信息收
发。
[0268] 在一些实施例中,所述终端设备还包括人机交互接口,例如,所述人机交互接口可包括各种输入输出设备,例如,键盘、触摸屏等。
[0269] 本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行代码;所述计算机可执行代码被执行后,能够实现前述一个或多个技术方案提供的医
疗影像处理方法,例如,如图1、图3或图5所示的方法中的一个或多个。
[0270] 所述存储介质包括:移动存储设备、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所述存储介质可为非瞬间存储介质。
[0271] 本申请实施例提供一种计算机程序产品,所述程序产品包括计算机可执行指令;所述计算机可执行指令被执行后,能够实现前述任意实施提供的图像处理方法,例如,如图
1至图3所示的方法中的一个或多个。
[0272] 在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为
一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或
可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部
分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合
或通信连接,可以是电性的、机械的或其它形式的。
[0273] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单
元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0274] 另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述
集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0275] 本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序
在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读
存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或
者光盘等各种可以存储程序代码的介质。
[0276] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵
盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。