基于深度学习的结构不变的病理图像颜色标准化方法

摘要

本发明公开了一种基于深度学习的结构不变的病理图像颜色标准化方法，该方法包括：构建模型训练集；在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；搭建深度学习模型；将原图的灰度图像和模板图像的Lab色彩空间图像输入网络，训练深度学习模型，得到标准化后的a和b通道图像；在将原图像L通道和标准化后a和b通道结合，得到标准化后的RGB通道图像。本发明使用深度学习模型结合自动上色的原理，利用灰度图像的结构信息和模板图像的颜色信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。

权利要求

1.基于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，包括下述步骤：获取病理图像作为模型的训练集，并将高分辨率的病理图像切割成设定像素的小图像；

在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；

搭建深度学习模型，所述深度学习模型是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最终得到RGB通道的原图像标准化后的图像；

所述深度学习模型为全卷积神经网络，包括卷积层，激活层和反卷积层，该全卷积神经网络分为上下两个分支：上分支用于提取模板图像的特征；下分支用于提取原图像的特征，然后用上分支的特征与下分支的特征进行结合，用上分支模板图像的特征指引下分支生成与模板图像颜色风格相符的a，b通道图像；

上分支输入的是Lab颜色通道的模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一，最后一个卷积块不进行下采样, 下分支是U‑net结构的变体，去掉了U‑net结构的长链接，并且只用了3次下采样，和3次上采样；在上下采样之间添加了一个卷积块，负责对上下分支融合后的信息进行学习；输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同分辨率的特征图，然后把上下分支下采样后的特征图串联，并经过一个卷积块进行学习，最后通过上采样恢复到和输入图像相同大小的分辨率，输出原图像标准化后a，b通道的图像；

将原图像转化成灰度图像，将模板图像转化成Lab色彩空间模板图像，并将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，得到训练好的深度学习模型；

将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，得到原图像标准化后的a和b通道的图像，将原图像L通道图像和标准化后a和b通道图像结合，得到原图像新的Lab空间图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的RGB通道图像。

2.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述病理图像的染色方法为：

采用苏木精染色剂和伊红染色剂对病理图像进行染色，在40X或者20X下成像，切割成的小图像分辨率大小为512*512像素，最后所得的总训练图像数大于2000张。

3.根据权利要求2所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所有训练集中的病理图像都来源于同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。

4.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述模板图像作为标准化的模板，训练集中所有待标准化的原图像都通过深度学习模型被转化成模板图像的染色风格，实现颜色标准化。

5.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述深度学习模型结合原图像的结构信息和模板图像的颜色和结构信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。

6.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述深度学习模型激活层的激活函数为Relu，公式为：f(x)＝max(0，x)所述深度学习模型的损失函数为：

其中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值。

7.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，具体为：

所述深度学习模型由pytorch架构搭建，训练时使用的优化器为自适应矩估计Adam，初‑4 ‑4

始的学习率为10 ，学习率衰减率为0.96，权重衰减为10 ，训练epoch为1000。

8.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，Lab转化RGB公式如下：

其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表转换后得到的R,G,B值。

9.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，输入原图像的灰度图和目标图像，经过网络后生成标准化后的a和b通道图像，再与原图像的L通道进行结合，然后将新的Lab空间图像转换成RGB图像，生成标准化后的病理图像，L通道表征图像的亮度信息，包含了图片完整的结构信息，网络生成的a、 b信息表征了标准化后的实际颜色分布信息，由此保证被标准化病理图像的结构不变。

说明书

基于深度学习的结构不变的病理图像颜色标准化方法

技术领域

[0001] 本发明属于图像处理的技术领域，具体涉及一种基于深度学习的结构不变的病理图像颜色标准化方法。

背景技术

[0002] 随着医疗技术的革新，肿瘤的细胞级成像可以通过一系列处理呈现在病理图像中，病理图像已经成为肿瘤诊断和预后的重要参考。但是在病理图像成像过程中，组织样本
的制备和数字化会导致颜色变化，不仅在病理医生阅片时造成干扰，更对计算机的病理图
像分析带来了难以估量的误差。所以对病理图像的进行标准化，将所得的病理图像标准化
到某一个颜色分布有着非常重要的临床意义。

[0003] 现有的基于传统数学优化算法的标准化方法主要有两种，灰度直方图匹配，颜色转换和光谱匹配。但他们都有一些的缺点。灰度直方图匹配很难保持标准化前后图像的结
构信息不变。颜色转换需要通过利用染色外观矩阵进行染色分离，而染色外观矩阵时根据
使用者经验评估得到的，不等的外观矩阵会得到不一样的分离结果。在不同使用医院等机
构使用时，受染色过程和扫描成像设备的影响，染色外观矩阵往往需要取不同的值以适应
当前的应用场景。但计算染色外观矩阵过程较为繁琐，往往是直接使用相关文献的染色外
观矩阵，这样的染色外观矩阵往往和当前应用场景不匹配，会导致染色分离结果不准确。光
谱匹配算法一般都利用非负矩阵分解进行染色分离。非负矩阵分解是一个迭代过程，有两
个缺点：1.分离结果容易落入局部最小，2.为了计算出较为精确的值，需要较长的迭代时
间。因此需要设计一种能够保留图像结构不变，易于实现，鲁棒性强并且运算时间更短的方
法。

[0004] 现有的基于深度学习的标准化方法主要思路都是将原图像映射到模板图像的染色风格上。深度学习确定参数的过程是一个学习的过程，需要大量的数据对模型进行训练，
并且一般对与训练时出现过的数据较为接近的数据有较好的拟合能力，但如果遇见一些从
未见过的染色风格的数据，往往结果不如人意。这就使得在应用深度学习进行病理图像标
准化的过程中对输入模型的数据有了一定的要求。首先，训练的数据往往需要涵盖各种染
色风格，而且实际应用的时候尽量保证不要出现没有遇见过的染色风格。但实际上我们很
难保证训练时可以涵盖所有的染色风格，也没办法预测实际应用时会遇到什么样的染色风
格。因此需要设计一种更容易训练，且能够适应各种染色风格的深度学习算法。

发明内容

[0005] 本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的结构不变的病理图像颜色标准化方法，使用深度学习模型结合自动上色的原理，利用灰度图
像的结构信息和模板图像的颜色信息，将原图像的颜色风格转化成模板图像的颜色风格，
实现病理图像的颜色标准化。

[0006] 为了达到上述目的，本发明采用以下技术方案：

[0007] 基于深度学习的结构不变的病理图像颜色标准化方法，包括下述步骤：

[0008] 获取病理图像作为模型的训练集，并将高分辨率的病理图像切割成设定像素的小图像；

[0009] 在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；

[0010] 搭建深度学习模型，所述深度学习模型是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最
终得到RGB通道的原图像标准化后的图像；

[0011] 将原图像转化成灰度图像，将模板图像转化成Lab色彩空间模板图像，并将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，得到训练好的深度学
习模型；

[0012] 将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，得到原图像标准化后的a和b
通道的图像，将原图像L通道图像和标准化后a和b通道图像结合，得到原图像新的Lab空间
图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的病理图像。

[0013] 作为优选的技术方案，所述病理图像的染色方法为：

[0014] 采用苏木精染色剂和伊红染色剂对病理图像进行染色，在40X或者20X下成像，切割成的小图像分辨率大小为512*512像素，最后所得的总训练图像数大于2000张。

[0015] 作为优选的技术方案，所有训练集中的病理图像都来源于同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。

[0016] 作为优选的技术方案，所述模板图像作为标准化的模板，训练集中所有待标准化的原图像都通过深度学习模型被转化成模板图像的染色风格，实现颜色标准化。

[0017] 作为优选的技术方案，所述深度学习模型结合原图像的结构信息和模板图像的颜色和结构信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标
准化。

[0018] 作为优选的技术方案，所述深度学习模型为全卷积神经网络，包括卷积层，激活层和反卷积层，该全卷积神经网络网络分为上下两个分支：上分支用于提取模板图像的特征；
下分支用于提取原图像的特征，然后用上分支的特征与下分支的特征进行结合，用上分支
模板图像的特征指引下分支生成与模板图像颜色风格相符的a，b通道图像；

[0019] 上分支输入的是模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图
像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一；最后一
个卷积块不进行下采样；下分支是U‑net结构的变体，去掉了U‑net结构的长链接，并且只用
了3次下采样，和3次上采样；在上下采样之间添加了一个卷积块，负责对上下分支融合后的
信息进行学习；输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同
分辨率的特征图，然后把上下分支的特征图串联，通过上采样恢复到和输入图像相同大小
的分辨率，输出原图像标准化后a，b通道的图像。

[0020] 作为优选的技术方案，所述深度学习模型激活层的激活函数为Relu，

[0021] 公式为：f(x)＝max(0，x)

[0022] 所述深度学习模型的损失函数为：

[0023]

[0024] 其中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值；

[0025] 作为优选的技术方案，所述将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，具体为：

[0026] 所述深度学习模型由pytorch架构搭建，训练时使用的优化器为自适应矩估计‑4 ‑4
Adam，初始的学习率为10 ，学习率衰减率为0.96，权重衰减为10 ，训练epoch为1000。

[0027] 作为优选的技术方案，Lab转化RGB公式如下：

[0028]

[0029]

[0030]

[0031]

[0032]

[0033] 其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表R,G,B转换后得到的R,G,B值。

[0034] 作为优选的技术方案，输入原图像的灰度图和目标图像，经过网络后生成标准化后的a和b通道图像，再与原图像的L通道进行结合，生成标准化后的RGB图像，L通道表征图
像的亮度信息，包含了图片完整的结构信息，网络生成的a.b信息表征了标准化后的实际颜
色分布信息，由此保证被标准化病理图像的结构不

[0035] 本发明与现有技术相比，具有如下优点和有益效果：

[0036] (1)本发明专利利用深度学习网络进行病理图像的标准化，用L通道图像与深度学习模型输出的a和b通道图像结合生成最后的标准化图片，由于L通道包含了图片所有的结
构信息，这就避免了标准化过程中的结构形变问题。

[0037] (2)本发明深度学习模型具有强大的学习能力，比单纯的数学标准化方法更加鲁棒。模型的所有超参数在训练阶段学习，应用时只需要加载训练好的模型，对新的需要标准
化的图像进行预测即可，可以快速得到标准化后的图片。

[0038] (3)本发明所有的训练图像都可以取自方法使用者所在的机构，避免了使用他人经验估计得出的染色外观矩阵带来的不匹配的问题，使得训练好的模型更加切合当前的应
用场景。

[0039] (4)本发明与现有的基于风格迁移的深度学习算法更加容易实现，其一：本发明方法的网络结构简单，其二：现有的基于风格迁移原理的深度学习算法训练的时候需要至少
两种不同染色风格的图片进行训练，而本发明方法只需要一种风格的染色图片，甚至可以
只在同一张病理图片上进行训练。其三：基于风格迁移的方法只能学习将训练阶段出现过
的风格迁移到目的风格，将训练好的模型部署到实际应用中时，如果遇到训练时没有遇见
过的染色风格，标准化的结果会比较差。本发明将原图像的灰度图进行自动上色，并不受原
图像颜色风格的影响，训练好的模型可以适应各种染色风格。

附图说明

[0040] 图1示出了本应用使用的深度学习模型的示意图；

[0041] 图2示出了本发明标准化方法的流程图；

[0042] 图3示出了本发明方法深度学习模型训练的示意图。

具体实施方式

[0043] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

[0044] 实施例

[0045] 如图2所示，本实施例提供的一种基于深度学习的结构不变的病理图像颜色标准化方法，包括如下步骤：

[0046] S100：构建模型训练集；

[0047] 训练集中病理图像染色方法为苏木精伊红染色，成像应该在40X或者20X下成像。将获取的高分辨率病理图像切割成的小图像，像素大小为512*512像素。为了保证模型可以
拟合，最后从切割得到的图像中选取2000张作为训练集。本实施例中，所用的高分辨率病理
图像都应来源自同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。
并且要保证最后用作训练集的图像染色质量良好，病理结构清晰。

[0048] S200：选取模板图片；

[0049] 选取一张图像作为模板图像，其余的图像作为原图像。模板图像是标准化的模板，所有的原图像经过深度学习模型后都会被转换成模板图像的染色风格。为了保证模板图像
的质量的同时不引入额外的误差，模板图像应在训练集中选取，并且要保证模板图像染色
质量好，病理结构清晰，且与原图像大小保持一致。

[0050] S300：搭建深度学习模型；

[0051] 所述深度学习模型的作用就是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最终得到RGB通
道的原图像标准化后的图像。利用将原图像转化成灰度图像后再自动上色的原理实现病理
图像的标准化。该深度学习模型旨在结合原图像的结构信息和模板图像的颜色和结构信
息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。模型由
‑4
pytorch架构搭建，训练时使用的优化器为自适应矩估计(Adam)，初始的学习率为10 ，学习
‑4
率衰减率为0.96，权重衰减为10 ，训练epoch为1000。

[0052] 本实施例所构建的深度学习模型如图1所示，该深度学习模型不包含全连接层，由卷积层，反卷积层构成和激活层组成。所述深度学习模型为全卷积神经网络，网络分为上下
两个分支：上分支负责提取模板图像的特征；下分支负责提取原图像的特征，然后用上分支
的特征与下分支的特征进行结合，用上分支模板图像的特征指引下分支生成与模板图像颜
色风格相符的a，b通道图像。

[0053] 上分支输入的是模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图
像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一。最后一
个卷积块不进行下采样。下分支是U‑net结构的变体，去掉了U‑net结构的长链接，并且只用
了3次下采样，和3次上采样。在上下采样之间添加了一个卷积块，负责对上下分支融合后的
信息进行学习。输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同
分辨率的特征图，然后把上下分支的特征图串联，通过上采样恢复到和输入图像相同大小
的分辨率，输出原图像标准化后a，b通道的图像。

[0054] 所述激活层的激活函数为Relu，公式为：

[0055] f(x)＝max(0，x)

[0056] 所述深度学习模型的损失函数采用交叉熵损失函数：

[0057]

[0058] 公式中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值。

[0059] 所述深度学习模型的输出是ab通道的信息，本实施例将原图像转化成Lab色彩空间图像，用其中的ab通道作为y值，计算模型的损失函数。

[0060] S400：将原图像转化成灰度图像，将模板图像转化成Lab色彩空间图像，并将灰度图像和Lab色彩空间的模板图像输入深度学习模型中进行训练，得到训练好的深度学习模
型。

[0061] 其中，L通道代表了图像的亮度，也就是包含了图像所有的结构信息，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量。该深度学习模型的训练流程图如图3所示，将原
图像转化成灰度图像，结合模板图像Lab通道，模型可以学习到原图像的所有结构信息和模
板图像所有的色彩信息，使得生成的图像具有模板图像的颜色信息。

[0062] S500：将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，并将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，可以得到原图像标
准化后的a和b通道的图像，将原图像L通道和标准化后a和b通道结合，得到原图像新的Lab
空间图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的RGB通道图像。

[0063] 更进一步的，Lab转化RGB公式如下：

[0064]

[0065]

[0066]

[0067]

[0068]

[0069] 其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表R,G,B转换后得到的R,G,B值。

[0070] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，
均应为等效的置换方式，都包含在本发明的保护范围之内。