甲状腺细胞病理数字图像识别器训练方法、图像处理方法

摘要

本申请实施例提供一种甲状腺细胞病理数字图像识别器训练方法、图像识别方法、训练设备、图像识别装置、计算机可读存储介质，甲状腺细胞病理数字图像识别器包括分类器和目标检测器，该训练方法包括：获取用于训练甲状腺细胞病理数字图像识别器的第一图像集；利用对应于第一图像集的第一损失值训练分类器；响应于根据标签确定输入分类器的图像块是第一类图像块，利用第二损失值训练目标检测器。本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法可以实现在只标注图像块的类型或内容而未标注阳性细胞的位置的情况下，对甲状腺细胞病理数字图像识别器进行训练，使得甲状腺细胞病理数字图像识别器不但能判断图像中是否有阳性细胞，还能够对图像中阳性细胞进行定位。

权利要求

1.一种甲状腺细胞病理数字图像识别器训练方法，其中，所述甲状腺细胞病理数字图像识别器包括分类器和目标检测器，所述方法包括：第一图像集获取步骤，获取用于训练所述甲状腺细胞病理数字图像识别器的第一图像集；其中，所述第一图像集包括携带有标签的图像块，所述标签用于指示所述图像块包含的内容，所述第一图像集包括第一类图像块和第二类图像块，所述第一类图像块的内容包括阳性细胞，所述第二类图像块的内容只包括阴性细胞和阴性环境；

分类器第一训练步骤，利用对应于所述第一图像集的第一损失值训练所述分类器；所述分类器被配置为接收所述携带有标签的图像块并输出对应于图像块的第一特征图和分类置信度；分类置信度用于指示输入所述分类器的图像块是第一类图像块或第二类图像块；所述对应于所述第一图像集的第一损失值根据分类置信度和所述图像块携带的标签确定；

目标检测器训练步骤，响应于根据所述标签确定输入所述分类器的图像块是第一类图像块，利用第二损失值训练所述目标检测器；所述目标检测器被配置为接收所述分类器输出的第一特征图并输出第二特征图；所述第二特征图的元素对应于所述图像块中的候选区域，其数值对应于候选区域中包含阳性细胞的概率；所述第二损失值根据由候选区域生成的子图像块输入所述分类器得到的分类置信度和所述第二特征图的元素确定。

2.根据权利要求1所述的方法，还包括：

子图像块生成步骤，将对应于第一类图像或第二类图像块的第一特征图输入所述目标检测器，得到所述第二特征图，对所述第二特征图中的元素根据数值大小进行排序并进行非极大值抑制，得到top‑M个元素，根据对应于所述top‑M个元素的候选区域生成top‑M个子图像块；

分类器第二训练步骤，利用对应于所述top‑M个子图像块的第一损失值训练所述分类器；其中，所述对应于所述top‑M个子图像块的第一损失值根据将所述top‑M个子图像块输入所述分类器得到的分类置信度和对应于所述top‑M个子图像块的图像块携带的标签确定。

3.根据权利要求2所述的方法，其中，

所述分类器第一训练步骤，包括：

将对应于所述top‑M个子图像块的图像块输入所述分类器，通过所述分类器对所述对应于所述top‑M个子图像块的图像进行线性变换和非线性变换，得到一个第一特征图，对所述一个第一特征图中各通道的矩阵取均值，得到对应于top‑M个子图像块相对应的图像块的特征向量；

所述方法还包括：

级联特征向量生成步骤，根据所述top‑M个子图像块和与所述对应于top‑M个子图像块相对应的图像块的特征向量生成级联特征向量；

分类器第三训练步骤，利用对应于所述级联特征向量的第一损失值训练所述分类器；

其中，所述对应于所述级联特征向量的第一损失值根据将所述级联特征向量输入所述分类器得到的分类置信度和对应于所述级联特征向量的图像块携带的标签确定。

4.根据权利要求3所述的方法，其中，所述分类器包括骨干卷积神经网络、第一全连接层、第二全连接层和第三全连接层；

所述分类器第一训练步骤包括：利用对应于所述第一图像集的第一损失值优化所述骨干卷积神经网络和所述第一全连接层的参数；

所述分类器第二训练步骤包括：利用对应于所述top‑M个子图像块的第一损失值优化所述骨干卷积神经网络和所述第三全连接层的参数；

所述分类器第三训练步骤包括：利用对应于所述级联特征向量的第一损失值优化所述骨干卷积神经网络和所述第二全连接层的参数；

所述目标检测器训练步骤包括：将由候选区域生成的子图像块输入所述骨干卷积神经网络后取均值得到对应于子图像块的特征向量，将所述对应于子图像块的特征向量输入第三全连接层并进行非线性变换得到分类置信度。

5.根据权利要求1所述的方法，其中，所述分类器包括骨干卷积神经网络、第一全连接层、第二全连接层和第三全连接层；所述阳性细胞包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞；所述分类器第一训练步骤包括：将携带有标签的图像块输入所述骨干卷积神经网络，通过所述骨干卷积神经网络对所述图像块进行线性变换和非线性变换，得到对应于所述图像块的第一特征图；

对所述对应于所述图像块的第一特征图中各通道的矩阵取均值，得到对应于所述图像块的特征向量；

将所述对应于所述图像块的特征向量输入所述第一全连接层，对所述第一全连接层的输出进行非线性变换，得到第一置信度向量；其中，所述第一置信度向量中的元素是用于指示所述图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的分类置信度；

根据所述第一置信度向量中的元素和所述图像块携带的标签确定所述对应于所述第一图像集的第一损失值，根据所述对应于所述第一图像集的第一损失值利用反向传播算法优化所述骨干卷积神经网络和所述第一全连接层的参数。

6.根据权利要求5所述的方法，其中，所述目标检测器训练步骤包括：

响应于根据所述图像块携带的标签，确定所述图像块中的内容包括以下任意之一：滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞，执行以下步骤：将所述对应于所述图像块的第一特征图输入所述目标检测器，通过所述目标检测器对所述对应于所述图像块的第一特征图进行线性变换和非线性变换，得到至少一个第二特征图；

对所述至少一个第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到多个元素，根据对应于所述多个元素的候选区域生成多个子图像块；

将所述多个子图像块输入所述骨干卷积神经网络后取均值，得到多个特征向量；其中所述多个特征向量与所述多个子图像块一一对应；

将所述多个特征向量输入所述第三全连接层，对所述第三全连接层的输出进行非线性变换，得到多个第二置信度向量；其中，第二置信度向量中的元素是用于指示所述图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的分类置信度；

根据所述第二置信度向量中的元素、对应于所述子图像块的图像块携带的标签和所述至少一个第二特征图中的元素的数值确定所述第二损失值，根据所述第二损失值利用反向传播算法优化所述目标检测器的参数。

7.根据权利要求6所述的方法，还包括：

子图像块生成步骤，将对应于第一类图像或第二类图像块的第一特征图输入所述目标检测器，得到所述第二特征图，对所述第二特征图中的元素根据数值大小进行排序并进行非极大值抑制，得到top‑M个元素，根据对应于所述top‑M个元素的候选区域生成top‑M个子图像块；

分类器第二训练步骤，包括：

将所述top‑M个子图像块中的一个子图像块输入所述骨干卷积神经网络，通过所述骨干卷积神经网络对所述一个子图像块进行线性变换和非线性变换，得到对应于所述一个子图像块的第一特征图；

将所述对应于所述一个子图像块的第一特征图中各通道的矩阵取均值，得到对应于所述一个子图像块的特征向量；

将所述对应于所述一个子图像块的特征向量输入所述第三全连接层，对所述第三全连接层的输出进行非线性变换，得到第三置信度向量；其中，所述第三置信度向量中的元素是用于指示所述图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的分类置信度；

根据所述第三置信度向量中的元素和对应于所述top‑M个子图像块的图像块携带的标签确定对应于所述top‑M个子图像块的第一损失值，根据所述对应于所述top‑M个子图像块的第一损失值利用反向传播算法优化所述骨干卷积神经网络和所述第三全连接层的参数。

8.根据权利要求7所述的方法，其中，

所述分类器第一训练步骤，包括：

将对应于所述top‑M个子图像块的图像块输入所述分类器，通过所述分类器对所述对应于所述top‑M个子图像块的图像进行线性变换和非线性变换，得到一个第一特征图；

对所述一个第一特征图中各通道的矩阵取均值，得到对应于top‑M个子图像块相对应的图像块的特征向量；

所述方法还包括：

级联特征向量生成步骤，包括：

从所述top‑M个子图像块中选取top‑T个子图像块；

将所述top‑T个子图像块输入所述分类器，通过所述分类器对所述top‑T个子图像块进行线性变换和非线性变换，得到top‑T个第一特征图；

对所述top‑T个第一特征图中各通道的矩阵取均值，得到top‑T个特征向量；

对所述top‑T个特征向量和所述对应于top‑M个子图像块相对应的图像块的特征向量进行级联，得到级联特征向量；

分类器第三训练步骤，包括：

将所述级联特征向量输入所述第二全连接层，对所述第二全连接层的输出进行非线性变换，得到第四置信度向量；其中，所述第四置信度向量中的元素是用于指示所述图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的分类置信度；

根据所述第四置信度向量中的元素和对应于所述级联特征向量的图像块携带的标签确定对应于所述级联特征向量的第一损失值，根据所述对应于所述级联特征向量的第一损失函数值利用反向传播算法优化所述目标检测器和所述第二全连接层的参数。

9.一种图像识别方法，其中，所述方法由甲状腺细胞病理数字图像识别器执行，所述甲状腺细胞病理数字图像识别器包括分类器和目标检测器，所述甲状腺细胞病理数字图像识别器由权利要求1至8任意一项所述的训练方法训练得到，所述方法包括：获取图像块；其中，所述图像块包括第一类图像块和第二类图像块，所述第一类图像块的内容包括阳性细胞，所述第二类图像块的内容只包括阴性细胞和阴性环境；

将所述图像块输入所述分类器，得到第一特征图；其中，所述第一特征图对应于输入所述分类器的图像块；

将所述第一特征图输入所述目标检测器，得到至少一个第二特征图；

根据所述第一特征图和所述至少一个第二特征图，确定分类器置信度；

对所述至少一个第二特征图的全部元素进行归一化并进行非极大值抑制后，取数值大于第一设定值的元素对应的候选区域作为图像块中包含阳性细胞的区域。

10.根据权利要求9所述的方法，其中，所述分类器包括骨干卷积神经网络和全连接层，所述将所述图像块输入所述分类器，得到第一特征图，包括：将一个所述图像块输入所述骨干卷积神经网络，得到一个第一特征图；

所述根据所述第一特征图和所述至少一个第二特征图，确定分类器置信度，包括：对所述一个第一特征图中各通道的矩阵取均值，得到一个特征向量；

对所述至少一个第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到top‑T个元素，根据对应于所述top‑T个元素的候选区域生成top‑T个子图像块；

将所述top‑T个子图像块输入所述骨干卷积神经网络，得到top‑T个第一特征图；

对所述top‑T个第一特征图中各通道的矩阵取均值，得到top‑T个特征向量；

对所述top‑T个特征向量和所述一个特征向量进行级联，得到级联特征向量；

将所述级联特征向量输入全连接层，得到分类器置信度；其中，所述分类器置信度是用于指示所述图像块中的内容包括阳性细胞、或阴性细胞和阴性环境的概率。

11.一种训练设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至8任一项所述的甲状腺细胞病理数字图像识别器训练方法。

12.一种图像识别装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求9至10任一项所述的图像识别方法。

13.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8任一项所述的甲状腺细胞病理数字图像识别器训练方法或者如权利要求9至10任一项所述的图像识别方法。

说明书

甲状腺细胞病理数字图像识别器训练方法、图像处理方法

技术领域

[0001] 本申请涉及数字图像处理领域，具体涉及一种甲状腺细胞病理数字图像识别器训练方法、图像识别方法。

背景技术

[0002] 细针穿刺细胞法是医生诊断结节良恶性的重要手段。它的过程是，医生使用针头刺入病变区域内，通过提插针方式将病灶内的细胞或小组织块切割下来，制片染色后制成细胞玻片，在显微镜下阅片并完成病理诊断。但从细胞玻片内寻找阳性细胞，并判定病变类型，是一项十分具有挑战性的工作，对病理医生的专业能力要求高，而且病理医生也容易出现阅片疲劳。因此，有必要将细胞玻片制成细胞玻片数字图像，然后利用数字图像处理技术，对细胞玻片数字图像中的阳性细胞进行定位并分类，并且给出全片切片图像的诊断建议，从而有效提高医生的诊断效率，并减少医生的错判率。

[0003] 然而，要利用数字图像处理技术对图像中的阳性细胞进行定位，需要利用大量标注了阳性细胞位置的样本对识别器进行训练，标注成本高昂。

发明内容

[0004] 有鉴于此，本申请实施例提供一种甲状腺细胞病理数字图像识别器训练方法、图像识别方法、训练设备、图像识别装置、计算机可读存储介质，可以实现在只标注图像块的类型或内容而未标注阳性细胞的位置的情况下，对甲状腺细胞病理数字图像识别器进行训练，使得甲状腺细胞病理数字图像识别器不但能判断图像中是否有阳性细胞，还能够对图像中阳性细胞进行定位。

[0005] 第一方面，本申请实施例提供一种甲状腺细胞病理数字图像识别器训练方法，其中，甲状腺细胞病理数字图像识别器包括目标检测器和分类器，该方法包括：

[0006] 第一图像集获取步骤，获取用于训练甲状腺细胞病理数字图像识别器的第一图像集；其中，第一图像集包括携带有标签的图像块，标签用于指示图像块包含的内容，第一图像集包括第一类图像块和第二类图像块，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境；

[0007] 分类器第一训练步骤，利用对应于第一图像集的第一损失值训练分类器；分类器被配置为接收携带有标签的图像块并输出对应于图像块的第一特征图和分类置信度；分类置信度用于指示输入分类器的图像块是第一类图像块或第二类图像块；对应于第一图像集的第一损失值根据分类置信度和图像块携带的标签确定；

[0008] 目标检测器训练步骤，响应于根据标签确定输入分类器的图像块是第一类图像块，利用第二损失值训练目标检测器；目标检测器被配置为接收分类器输出的第一特征图并输出第二特征图；第二特征图的元素对应于图像块中的候选区域，其数值对应于候选区域中包含阳性细胞的概率；第二损失值根据由候选区域生成的子图像块输入分类器得到的分类置信度、对应于子图像块的图像块携带的标签和第二特征图的元素确定。

[0009] 第二方面，本申请实施例提供一种图像识别方法，其中，该方法由甲状腺细胞病理数字图像识别器执行，甲状腺细胞病理数字图像识别器包括分类器和目标检测器，该方法包括：

[0010] 获取图像块；其中，图像块包括第一类图像块和第二类图像块，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境；

[0011] 将图像块输入分类器，得到第一特征图；其中，第一特征图对应于输入分类器的图像块，分类置信度用于指示输入分类器的图像块是第一类图像块或第二类图像块；

[0012] 将第一特征图输入目标检测器，得到至少一个第二特征图；

[0013] 根据第一特征图和至少一个第二特征图，确定分类置信度；

[0014] 对至少一个第二特征图的全部元素进行归一化并进行非极大值抑制后，取数值大于第一设定值的元素对应的候选区域作为图像块中包含阳性细胞的区域。

[0015] 第三方面，本申请实施例提供一种训练设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如第一方面的甲状腺细胞病理数字图像识别器训练方法。

[0016] 第四方面，本申请实施例提供一种图像识别装置，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如第二方面的图像识别方法。

[0017] 第五方面，本申请实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面的甲状腺细胞病理数字图像识别器训练方法或者如第二方面图像识别方法。

[0018] 本申请实施例包括：甲状腺细胞病理数字图像识别器训练方法、图像识别方法、训练设备、图像识别装置、计算机可读存储介质。根据本申请实施例提供的方案，图像块携带的标签只标注图像块的类型而未标注图像块中阳性细胞的位置，利用该图像块对分类器进行训练，并利用分类器的输出对目标检测器进行训练，使得甲状腺细胞病理数字图像识别器不但能够通过分类器对图像块的类型进行分类，还能通过目标检测器对图像块中的阳性细胞进行定位。

附图说明

[0019] 附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

[0020] 下面结合附图和实施例对本申请进一步地说明；

[0021] 图1是为由细胞玻片制成的细胞玻片数字图像；

[0022] 图2是从细胞玻片数字图像中划取得图像块；

[0023] 图3是本申请一实施例提供的甲状腺细胞病理数字图像识别器的模块结构示意图；

[0024] 图4是从图像块中框选的候选区域；

[0025] 图5是本申请一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0026] 图6是本申请一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0027] 图7是本申请一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0028] 图8本申请另一实施例提供的甲状腺细胞病理数字图像识别器的模块结构示意图；

[0029] 图9本申请实施例提供的甲状腺细胞病理数字图像识别器的工作流程示意图；

[0030] 图10是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0031] 图11是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0032] 图12是本申请一实施例提供的目标检测器结构及工作流程示意图；

[0033] 图13是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0034] 图14是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0035] 图15是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0036] 图16是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0037] 图17是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0038] 图18是本申请另一实施例提供的甲状腺细胞病理数字图像识别器训练方法的步骤流程图；

[0039] 图19是本申请一实施例提供的训练设备的结构示意图；

[0040] 图20是本申请一实施例提供的图像识别装置的结构示意图。

具体实施方式

[0041] 下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0042] 在本申请的描述中，如果有描述到第一、第二、第三、第四只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

[0043] 在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且，本申请提供的实施例可以在不冲突的情况下相互结合。

[0044] 除非另有定义，限定，设置、安装、连接等词语应做广义理解，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

[0045] 下面结合附图，对本申请实施例作进一步阐述。

[0046] 细针穿刺细胞法是医生诊断结节良恶性的重要手段。它的过程是，医生使用针头刺入病变区域内，通过提插针方式将病灶内的细胞或小组织块切割下来，制片染色后制成细胞玻片，在显微镜下阅片并完成病理诊断。但从细胞玻片内寻找阳性细胞，并判定病变类型，是一项十分具有挑战性的工作，对病理医生的专业能力要求高，而且病理医生也容易出现阅片疲劳。因此，有必要将细胞玻片制成细胞玻片数字图像，然后利用数字图像处理技术，对细胞玻片数字图像中的阳性细胞进行定位并分类，并且给出全片切片图像的诊断建议，从而有效提高医生的诊断效率，并减少医生的错判率。

[0047] 然而，要利用数字图像处理技术对图像中的阳性细胞进行定位，需要利用大量标注了阳性细胞位置的样本对识别器进行训练，标注成本高昂。

[0048] 为了解决图像块中的阳性细胞的定位问题并降低标注成本，本申请实施例提供了一种训练方法，该训练方法用于训练本申请实施例提供的甲状腺细胞病理数字图像识别器，该甲状腺细胞病理数字图像识别器包括分类器和目标检测器。在推理过程中，通过分类器对图像块的类型进行分类从而判断病变的类型，通过目标检测器确定包含阳性细胞的候选区域从而对图像块中的阳性细胞进行定位；在训练过程中，通过利用分类器的输出对目标检测器进行训练，可以实现在只标注图像块的类型而未标注图像块中阳性细胞的位置的情况下完成对目标检测器的训练，使得目标检测器可以通过确定包含阳性细胞的候选区域从而对图像块中的阳性细胞进行定位。图1为由细胞玻片制成的细胞玻片数字图像。由于细胞病理数字图像的大小通常为万级分辨率，在一些情况下，需要将细胞玻片数字图像划分为若干如图2所示的图像块，由本申请实施例提供的甲状腺细胞病理数字图像识别器判断图像块中是否包含阳性细胞从而判断病变是否为恶性，并且给出阳性细胞在图像块中的定位，根据定位的阳性细胞对病变类型进行核实。

[0049] 实施例一

[0050] 图3是本申请实施例提供的甲状腺细胞病理数字图像识别器的模块结构示意图，该甲状腺细胞病理数字图像识别器包括分类器和目标检测器。分类器被配置为接收图像块并对接收的图像块进行线性变换和非线性变换后输出第一特征图和分类置信度；其中，图像块可能是第一类图像块或第二类图像块，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境；其中，第一特征图与输入分类器的图像块相对应，即第一特征图对应于输入该分类器的图像块，分类置信度用于指示输入分类器的图像块是第一类图像块或第二类图像块。目标检测器被配置为接收第一特征图并对接收的第一特征图进行线性变换和非线性变换后输出第二特征图；其中，第二特征图中的元素对应于图像块中的候选区域，即第二类特征图中的每个元素在第二类特征图中的位置对应于一个候选区域在图像块中的坐标以及候选区域的大小，第二特征图中的元素的数值对应于候选区域中包含阳性细胞的概率。在一些实施例中，候选区域是如图4所示在图像块中框选的区域。

[0051] 参照图5，本实施例中针对上述甲状腺细胞病理数字图像识别器的训练方法，包括但不限于步骤S110、步骤S120和步骤S130：

[0052] 步骤S110：获取用于训练甲状腺细胞病理数字图像识别器的第一图像集；其中第一图像集包括携带有标签的图像块，该标签用于指示图像块包含的内容。

[0053] 该步骤可称为第一图像集获取步骤。第一图像集包括第一类图像块和第二类图像块，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境。

[0054] 步骤S120：利用对应于第一图像集的第一损失值训练分类器。

[0055] 该步骤可称为分类器第一训练步骤。

[0056] 例如，第一损失值可以是交叉熵损失函数的输出值或均方误差损失函数的输出值。在一些实施例中，对应于第一图像集的第一损失函数为如下的交叉熵损失函数：

[0057]

[0058] 其中， 是对应于第一图像集的第一损失值，log的底数是e， 是第一图像集中的图像块I的标签， 表示图像块I为第一类图像块， 表示图像块I为第二类图像块，pi表示图像块I是第一类图像块的分类置信度，即图像块I是第一类图像块的概率。

[0059] 在一些实施例中，图像块所携带的标签用于指示图像块包含的内容，第一类图像块的内容包括阳性细胞，其中阳性细胞包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞等；第二类图像块的内容只包括阴性细胞和阴性环境，其中阴性细胞包括良性滤泡结节细胞、红细胞、淋巴细胞、吞噬细胞、囊壁细胞等，阴性环境包括血液、玻璃切片的灰尘、空白等各种环境。需要注意的是，第二类图像块的内容不包括阳性细胞。在这些实施例中，对应于第一图像集的第一损失函数为如下的交叉熵损失函数：

[0060]

[0061] 其中， 是对应于第一图像集的第一损失值，N为样本的数量即第一图像集中图像块的数量，n表示第n个图像块，K为类别的数量， 为第n个图像块I的标签，若图像块I的类别标签为c则 否则 为图像块I属于类别c的分类置信度，即图像块I属于类别c的概率，也即第一置信度向量中的元素。

[0062] 在这些实施例中，当图像块的内容不包括阳性细胞或只包括阴性细胞和/或阴性环境时图像块的类别为阴性，此时c＝0，该图像块是第二类图像块；

[0063] 当图像块的内容包括滤泡性肿瘤细胞时图像块的类别为滤泡性肿瘤，此时c＝1，该图像块是第一类图像块；

[0064] 当图像块的内容包括嗜酸性肿瘤细胞时图像块的类别为嗜酸性肿瘤，此时c＝2，该图像块是第一类图像块；

[0065] 当图像块的内容包括甲状腺乳头癌细胞时图像块的类别为甲状腺乳头癌，此时c＝3，该图像块是第一类图像块；

[0066] 当图像块的内容包括甲状腺髓样癌细胞时图像块的类别为甲状腺髓样癌，此时c＝4，该图像块是第一类图像块；

[0067] 当图像块的内容包括意义不明确的非典型性细胞时图像块的类别为非典型，此时c＝5，该图像块是第一类图像块。

[0068] 在一些实施例中，分类器包括骨干卷积神经网络和第一全连接层，步骤S120可以包括：将携带有标签的图像块输入骨干卷积神经网络，通过骨干卷积神经网络对图像块进行线性变换和非线性变换，得到对应于图像块的第一特征图；对对应于图像块的第一特征图中各通道的矩阵取均值(对矩阵取均值是指对矩阵中的全部元素进行求和后除以矩阵元素个数)，得到对应于图像块的特征向量；将对应于图像块的特征向量输入第一全连接层，对第一全连接层的输出进行非线性变换，得到第一置信度向量；其中，第一置信度向量中的元素为分类置信度，分类置信度是用于指示图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的概率，该分类置信度可以用于指示输入分类器的图像块是第一类图像块或第二类图像块；根据第一置信度向量中的元素和图像块携带的标签确定对应于第一图像集的第一损失函数的输出值，根据第一损失函数，式(2)，的输出值利用反向传播算法优化骨干卷积神经网络和第一全连接层的参数。对应于第一图像集的第一损失函数的输出值就是对应于第一图像集的第一损失值。

[0069] 步骤S130：响应于根据标签确定输入分类器的图像块是第一类图像块，利用第二损失值训练目标检测器。

[0070] 该步骤可称为目标检测器训练步骤。

[0071] 目标检测器被配置为接收分类器输出的第一特征图并输出第二特征图；第二特征图的元素对应于图像块中的候选区域，其数值对应于候选区域中包含阳性细胞的概率；第二损失值根据由候选区域生成的子图像块输入分类器得到的分类置信度和第二特征图的元素确定。

[0072] 在利用分类器的输出以及第二损失函数训练目标检测器之前，需要根据图像块所携带的标签判断当前输入分类器的图像块是否第一类图像块，如果判断判断结果为是，则利用该图像块输入分类器后生成的第一特征图和分类置信度对目标检测器进行训练；如果判断结果为否，则不利用该图像块输入分类器后生成的第一特征图和分类置信度训练目标检测器。

[0073] 在一些实施例中，目标检测器是一个卷积神经网络，步骤S130可以包括：根据图像块所携带的标签判断当前输入分类器的图像块是否第一类图像块，若是，则执行以下步骤：将对应于该图像块的第一特征图输入目标分类器，通过目标分类器对对应于该图像块的第一特征图进行线性变换和非线性变换，得到第二特征图；对第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到多个元素，根据对应于上述多个元素的候选区域生成多个子图像块；将上述多个子图像块分别输入分类器，得到分别对应上述多个子图像块的分类置信度；根据对应上述多个子图像块的分类置信度、对应于上述多个子图像块的图像块所携带的标签和第二特征图中的元素的数值确定第二损失函数的输出值，根据第二损失函数的输出值利用反向传播算法优化目标检测器的参数。第二损失函数的输出值就是第二损失值。

[0074] 在另一些实施例中，步骤S130可以包括：将分类器输出的第一特征图输入目标检测器，通过目标检测器对对分类器输出的第一特征图进行线性变换和非线性变换，得到至少一个第二特征图；对至少一个第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到多个元素，根据对应于多个元素的候选区域生成多个子图像块；将多个子图像块输入骨干卷积神经网络后取均值，得到多个特征向量；其中多个特征向量与多个子图像块一一对应；将特征向量输入第三全连接层，对第三全连接层的输出进行非线性变换，得到第二置信度向量；其中，第二置信度向量中的元素为分类置信度；根据第二置信度向量中的元素和第二特征图中的元素的数值确定第二损失函数的输出值，根据第二损失函数的输出值利用反向传播算法优化目标检测器的参数。第二损失函数的输出值就是第二损失值。

[0075] 在一些实施例中，第二损失函数的子函数如下：

[0076]

[0077] 其中，n表示第n个图像块，R'i表示第i个子图像块，M表示子图像块的数量， 为子图像块R'i属于类别c的分类置信度， 是第二特征图中与子图像块R'i对应的元素的数值，Wd代表目标检测器的参数。在 中，max表示去集合中的最大值。当即子图像块R'i属于类别c的分类置信度小于子图像块R'j属于类别c的分类置信度时，该损失函数的优化目标是使 即优化的结果是使得目标检测器输出
的第二特征图的元素数值

[0078] 第二损失函数可以写成如下形式：

[0079]

[0080] 其中，Ldect的值是第二损失值，第一图像集中第一类图像块的数量。可以理解的是，式(4)是式(3)的叠加。

[0081] 在这些实施例中，当子图像块的内容不包括阳性细胞或只包括阴性细胞和/或阴性环境时子图像块的类别为阴性，此时c＝0，该子图像块对应的图像块是第二类图像块；当子图像块的内容包括滤泡性肿瘤细胞时图像块的类别为滤泡性肿瘤，此时c＝1，该子图像块对应的图像块是第一类图像块；当子图像块的内容包括嗜酸性肿瘤细胞时子图像块的类别为嗜酸性肿瘤，此时c＝2，该子图像块对应的图像块是第一类图像块；当子图像块的内容包括甲状腺乳头癌细胞时子图像块的类别为甲状腺乳头癌，此时c＝3，该子图像块对应的图像块是第一类图像块；当子图像块的内容包括甲状腺髓样癌细胞时子图像块的类别为甲状腺髓样癌，此时c＝4，该子图像块对应的图像块是第一类图像块；当子图像块的内容包括意义不明确的非典型性细胞时子图像块的类别为非典型，此时c＝5，该子图像块对应的图像块是第一类图像块。

[0082] 为了进一步提高分类器的分类精度，如图6所示，本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法还可以包括以下步骤：

[0083] 步骤S210：将对应于第一类图像或第二类图像块的第一特征图输入目标检测器，得到第二特征图，对第二特征图中的元素根据数值大小进行排序并进行非极大值抑制，得到top‑M个元素，根据对应于top‑M个元素的候选区域生成top‑M个子图像块；

[0084] 该步骤可称为子图像块生成步骤。在该步骤中，无论是第一类图像块还是第二类图像块生成的第一特征图都会输入到目标检测器中以生成top‑M个子图像块。

[0085] 步骤S220：利用对应于top‑M个子图像块的第一损失值训练分类器；

[0086] 该步骤可称为分类器第二训练步骤，其中，对应于top‑M个子图像块的第一损失值根据将top‑M个子图像块输入分类器得到的分类置信度和对应于top‑M个子图像块的图像块携带的标签确定。在一些实施例中，分类器还包括第三全连接层，步骤S220可以包括：

[0087] 将top‑M个子图像块中的一个子图像块输入骨干卷积神经网络，通过骨干卷积神经网络对这一个子图像块进行线性变换和非线性变换，得到对应于这一个子图像块的第一特征图；

[0088] 将对应于这一个子图像块的第一特征图中各通道的矩阵取均值，得到对应于这一个子图像块的特征向量；

[0089] 将对应于这一个子图像块的特征向量输入第三全连接层，对第三全连接层的输出进行非线性变换，得到第三置信度向量；其中，第三置信度向量中的元素为分类置信度；重复上述步骤，直至top‑M个子图像块全部经历上述步骤；

[0090] 根据第三置信度向量中的元素和对应于top‑M个子图像块的图像块携带的标签确定对应于top‑M个子图像块的第一损失函数，式(5)，的输出值，根据对应于top‑M个子图像块的第一损失函数，式(5)，的输出值利用反向传播算法优化骨干卷积神经网络和第三全连接层的参数。对应于top‑M个子图像块的第一损失函数的输出值就是对应于top‑M个子图像块的第一损失值。

[0091] 在一些实施例中，对应于top‑M个子图像块的第一损失函数为如下的交叉熵损失函数：

[0092]

[0093] 其中， 是对应于top‑M个子图像块的第一损失值，Mtop为子图像块的数量即top‑M个，n表示第n个子图像块，K为类别的数量， 为第n个子图像块R'i对应的图像块I的标签，若子图像块R'i对应的图像块I的类别标签为c则 否则 为子图像块I属于类别c的分类置信度，即子图像块I属于类别c的概率，也即第三置信度向量中的元素。

[0094] 在这些实施例中，当子图像块对应的图像块的内容不包括阳性细胞或只包括阴性细胞和/或阴性环境时子图像块的类别为阴性，此时c＝0；

[0095] 当子图像块对应的图像块的内容包括滤泡性肿瘤细胞时，子图像块的类别为滤泡性肿瘤，此时c＝1；

[0096] 当子图像块对应的图像块的内容包括嗜酸性肿瘤细胞时，子图像块的类别为嗜酸性肿瘤，此时c＝2；

[0097] 当子图像块对应的图像块的内容包括甲状腺乳头癌细胞时，子图像块的类别为甲状腺乳头癌，此时c＝3；

[0098] 当子图像块对应的图像块的内容包括甲状腺髓样癌细胞时，子图像块的类别为甲状腺髓样癌，此时c＝4；

[0099] 当子图像块对应的图像块的内容包括意义不明确的非典型性细胞时，子图像块的类别为非典型，此时c＝5。

[0100] 在一些实施例中，可以反复执行步骤120和步骤S130后再开始执行步骤S210和步骤S220，以进一步提高将第一类图像块输入目标检测器而得到的top‑M个子图像块中包含阳性细胞的可能性。

[0101] 为了提高分类器的鲁棒性(Robustness)，以及进一步提高甲状腺细胞病理数字图像识别器的识别精度，如图7所示，本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法中，分类器第一训练步骤，包括：

[0102] 步骤S310：将对应于top‑M个子图像块的图像块输入分类器，通过分类器对对应于top‑M个子图像块的图像进行线性变换和非线性变换，得到一个第一特征图，对上述一个第一特征图中各通道的矩阵取均值，得到对应于top‑M个子图像块相对应的图像块的特征向量；

[0103] 可以理解的是，因为第一图像集中所有的图像块都会在步骤S120(分类器第一训练步骤)中输入到分类器，并通过分类器对所有这些图像块进行线性变换和非线性变换，因此对应于top‑M个子图像块的图像块当然也会在步骤S120(分类器第一训练步骤)中输入到分类器并生成第一特征图。

[0104] 本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法，还可以包括以下步骤：

[0105] 步骤S320：根据Top‑M个子图像块和与对应于top‑M个子图像块相对应的图像块的特征向量生成级联特征向量；

[0106] 该步骤可称为级联特征向量生成步骤。在一些实施例中，步骤S320可以包括：从top‑M个子图像块中选取top‑T个子图像块；将top‑T个子图像块输入分类器，通过分类器对top‑T个子图像块进行线性变换和非线性变换，得到top‑T个第一特征图；对top‑T个第一特征图中各通道的矩阵取均值，得到top‑T个特征向量；对top‑T个特征向量和一个特征向量进行级联，得到级联特征向量。例如，对n个向量 进行级联，相当于将这n个向量头尾相连，生成一个向量

[0107] 在一些实施例中，top‑T个子图像块对应于对第二特征图中的元素根据数值大小进行排序并进行非极大值抑制得到的top‑M个元素中数值最大的top‑T个元素。

[0108] 步骤S330：利用对应于级联特征向量的第一损失值训练分类器。

[0109] 该步骤可称为分类器第三训练步骤，其中，对应于级联特征向量的第一损失值根据将级联特征向量输入分类器得到的分类置信度和对应于级联特征向量的图像块携带的标签确定。

[0110] 在一些实施例中，分类器还包括第二全连接层，步骤S330可以包括：

[0111] 将级联特征向量输入第二全连接层，对第二全连接层的输出进行非线性变换，得到第四置信度向量；其中，第四置信度向量中的元素是分类置信度；

[0112] 根据第四置信度向量中的元素和对应于第四置信度向量的图像块携带的标签确定对应于级联特征向量的第一损失函数，式(6)，的输出值，根据对应于级联特征向量的第一损失函数的输出值利用反向传播算法优化目标检测器和第二全连接层的参数，对应于第四置信度向量的图像块即对应于级联特征向量的图像块，也即对应于top‑M个子图像块的图像块。对应于级联特征向量的第一损失函数的输出值就是对应于级联特征向量的第一损失值。

[0113] 在一些实施例中，对应于级联特征向量的第一损失函数为如下的交叉熵损失函数：

[0114]

[0115] 其中， 是对应于级联特征向量的第一损失值，N为样本的数量即第一图像集中图像块的数量，n表示第n个图像块，K为类别的数量， 为对应于级联特征向量的第n个图像块I的标签，若级联特征向量concat对应的图像块I的类别标签为c则 否则为级联特征向量concat属于类别c的分类置信度，即子图像块I属于类别c的概率，也即第四置信度向量中的元素。

[0116] 在这些实施例中，当级联特征向量对应的图像块的内容不包括阳性细胞或只包括阴性细胞和/或阴性环境时，级联特征向量的类别为阴性，此时c＝0；

[0117] 当级联特征向量对应的图像块的内容包括滤泡性肿瘤细胞时，级联特征向量的类别为滤泡性肿瘤，此时c＝1；

[0118] 当级联特征向量对应的图像块的内容包括嗜酸性肿瘤细胞时，级联特征向量的类别为嗜酸性肿瘤，此时c＝2；

[0119] 当子级联特征向量对应的图像块的内容包括甲状腺乳头癌细胞时，级联特征向量的类别为甲状腺乳头癌，此时c＝3；

[0120] 当级联特征向量对应的图像块的内容包括甲状腺髓样癌细胞时，级联特征向量的类别为甲状腺髓样癌，此时c＝4；

[0121] 当级联特征向量对应的图像块的内容包括意义不明确的非典型性细胞时，级联特征向量的类别为非典型，此时c＝5。

[0122] 需要注意的是，在一些实施例中，分类器的第一全连接层、第二全连接层和第三全连接层的参数和结构不同，即第一全连接层、第二全连接层和第三全连接层是三个不同的全连接层；在另一些实施例中，分类器的第一全连接层和第三全连接层的参数和结构可以完全相同，即第一全连接层和第三全连接层是同一个全连接层。因为第二全连接层对应于级联特征向量，而级联特征向量的维数高于特征向量，所以第二全连接层的参数和结构必然不同于第一全连接层和第三全连接层。

[0123] 需要注意的是，在一般情况下，本申请实施例提供的所有步骤的执行次数不受限制，即各个步骤都可以根据需要单独地或结合其他步骤地重复执行。

[0124] 实施例二：

[0125] 本实施例提供的甲状腺细胞病理数字图像识别器结构如图，该甲状腺细胞病理数字图像识别器包括分类器和目标检测器，分类器包括骨干卷积神经网络和全连接层。在一些实施例中，骨干卷积神经网络可以是ResNet50等卷积神经网络；在另一些实施例中，骨干卷积神经网络可以是根据需要设计的卷积神经网络。

[0126] 在本实施例提供的甲状腺细胞病理数字图像识别器训练方法包括以下步骤：

[0127] 第一图像集获取步骤，获取用于训练甲状腺细胞病理数字图像识别器的第一图像集；其中，第一图像集包括携带有标签的图像块，标签用于指示图像块包含的内容，第一图像集包括第一类图像块和第二类图像块(即某个图像块可能是第一类图像块，也可能是第二类图像块)，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境；在一些实施例中，阳性细胞包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞；阴性细胞包括良性滤泡结节细胞、红细胞、淋巴细胞、吞噬细胞、囊壁细胞等，阴性环境包括血液、玻璃切片的灰尘、空白等各种环境；

[0128] 分类器第一训练步骤，利用对应于第一图像集的第一损失值训练分类器；分类器被配置为接收携带有标签的图像块并输出对应于图像块的第一特征图和分类置信度；分类置信度用于指示输入分类器的图像块是第一类图像块或第二类图像块；对应于第一图像集的第一损失值根据分类置信度和图像块携带的标签确定；

[0129] 目标检测器训练步骤，响应于根据标签确定输入分类器的图像块是第一类图像块，利用第二损失值训练目标检测器；目标检测器被配置为接收分类器输出的第一特征图并输出第二特征图；第二特征图的元素对应于图像块中的候选区域，其数值对应于候选区域中包含阳性细胞的概率；第二损失值根据由候选区域生成的子图像块输入分类器得到的分类置信度和第二特征图的元素确定。

[0130] 下面结合图9对本实施例提供的甲状腺细胞病理数字图像识别器训练方法进行描述。

[0131] 在本实施例中，如图10所示，分类器第一训练步骤包括以下子步骤：

[0132] 步骤S121：将携带有标签的图像块输入骨干卷积神经网络，通过骨干卷积神经网络对图像块进行线性变换(卷积)和非线性变换(非线性激活)，得到对应于图像块的第一特征图；

[0133] 在本实施例中，第一特征图记为F1∈RC×H×W，即第一特征图F1有C个通道，每个通道对应一个H×W的矩阵。

[0134] 步骤S122：对对应于图像块的第一特征图中各通道的矩阵取均值，得到对应于图像块的特征向量；

[0135] 在本实施例中，对应于图像块的特征向量记为F12∈RC×1，对矩阵取均值是指对矩阵中的全部元素进行求和后除以矩阵元素个数。

[0136] 步骤S123：将对应于图像块的特征向量输入全连接层，对全连接层的输出进行非线性变换，得到第一置信度向量；

[0137] 在本实施例中，对全连接层的输出进行非线性变换是指对全连接层的输出加SoftMax函数激活；第一置信度向量记为 其元素 是用于指示图像块中的内容只包括阴性细胞和阴性环境的概率(分类置信度)， 分别是用于指示图像块中的内容包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞的概率(分类置信度)。

[0138] 在一些实施例中，全连接层的数量可以为多个，即全连接层包括第一全连接层、第二全连接层和第三全连接层，其中步骤S123中的全连接层为第一全连接层.[0139] 步骤S124：根据第一置信度向量中的元素和图像块携带的标签确定对应于第一图像集的第一损失函数的输出值，根据对应于第一图像集的第一损失函数的输出值利用反向传播算法优化骨干卷积神经网络和全连接层的参数。

[0140] 在本实施例中，对应于第一图像集的第一损失函数与实施例一中式(2)一致。在一些实施例中，步骤S124中的全连接层为第一全连接层。对应于第一图像集的第一损失函数的输出值就是对应于第一图像集的第一损失值。

[0141] 在本实施例中，如图11所示，目标检测器训练步骤包括以下子步骤：

[0142] 步骤S131：根据图像块携带的标签，判断图像块中的内容是否包括以下任意之一：滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞；

[0143] 若否，结束该使用当前图像块进行训练的目标检测器训练步骤；若是，执行以下步骤：

[0144] 步骤S132：将对应于图像块的第一特征图输入目标检测器，通过目标检测器对对应于图像块的第一特征图进行线性变换(卷积)和非线性变换(ReLU函数激活)，得到至少一个第二特征图；

[0145] 在本实施例中，目标检测器是一个卷积神经网络，其结构如图12所示；第二特征图的数量为三个，分别记为 和 其中第二特征图 有6个通道，每个通道对应一个 的矩阵；第二特征图 有6个通道，每个通道对应一个的矩阵；第二特征图 有6个通道，每个通道对应一个 的矩阵。在一些实施例中，目标检测器输出的第二特征图的数量可以是一个或多个，只需对应地减少或增加目标检测器的卷积神经网络的层数即可。

[0146] 步骤S133：对至少一个第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到多个元素，根据对应于多个元素的候选区域生成多个子图像块；

[0147] 步骤S134：将多个子图像块输入骨干卷积神经网络后取均值，得到多个第二特征向量；其中每个第二特征向量分别对应于多个子图像块中的一个；

[0148] 将多个子图像块输入骨干卷积神经网络后取均值：将多个子图像块输入骨干卷积神经网络，通过骨干卷积神经网络对子图像块进行卷积(线性变换)和激活(非线性变换)，得到多个第二特征图，对对应于子图像块的第一特征图中各通道的矩阵取均值。对矩阵取均值是指对矩阵中的全部元素进行求和后除以矩阵元素个数。

[0149] 步骤S135：将多个第二特征向量输入全连接层，对全连接层的输出进行非线性变换，得到第二置信度向量；

[0150] 在本实施例中，对全连接层的输出进行非线性变换是指对全连接层的输出加SoftMax函数激活；第二置信度向量记为 其元素 是分类置信度，其中c的取值为0时 是用于指示图像块中的内容只包括阴性细胞和阴性环境的概率；c的取值为1至5时，分别是用于指示图像块中的内容包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞的概率。在一些实施例中，步骤S135中的全连接层为第三全连接层。

[0151] 步骤S136：根据第二置信度向量中的元素第二特征图中的元素的数值确定第二损失函数的输出值，根据第二损失函数的输出值利用反向传播算法优化目标检测器的参数。

[0152] 第二损失函数的输出值即第二损失值。

[0153] 可以理解的是，第二置信度向量与第二特征向量一一对应，第二特征向量与第二特征图一一对应，第二特征图与子图像块一一对应，子图像块与生产该子图像块的图像块相对应。在本实施例中，第二损失函数与实施例一中的式(3)一致。

[0154] 为了进一步提高分类器的分类精度，如图6所示，本实施例中提供的甲状腺细胞病理数字图像识别器训练方法，还可以包括以下步骤：

[0155] 子图像块生成步骤，将对应于第一类图像或第二类图像块的第一特征图输入目标检测器，得到第二特征图，对第二特征图中的元素根据数值大小进行排序并进行非极大值抑制，得到top‑M个元素，根据对应于top‑M个元素的候选区域生成top‑M个子图像块；

[0156] 需要注意的是，在该步骤中，无论是第一类图像块还是第二类图像块生成的第一特征图都会输入到目标检测器中以生成top‑M个子图像块。

[0157] 分类器第二训练步骤，利用对应于top‑M个子图像块的第一损失值训练分类器；其中，对应于top‑M个子图像块的第一损失值根据将top‑M个子图像块输入分类器得到的分类置信度和对应于top‑M个子图像块的图像块携带的标签确定。

[0158] 在本实施例中，如图13所示,分类器第二训练步骤包括以下子步骤：

[0159] 步骤S221：将top‑M个子图像块中的一个子图像块输入骨干卷积神经网络，通过骨干卷积神经网络对一个子图像块进行线性变换(卷积)和非线性变换(激活)，得到对应于一个子图像块的第一特征图；

[0160] 步骤S222：将对应于一个子图像块的第一特征图中各通道的矩阵取均值，得到对应于一个子图像块的特征向量；

[0161] 步骤S223：将对应于一个子图像块的特征向量输入全连接层，对全连接层的输出进行非线性变换，得到第三置信度向量；

[0162] 在本实施例中，对全连接层的输出进行非线性变换是指对全连接层的输出加SoftMax函数激活；第三置信度向量记为 其元素 是分类置信度，其中c的取值为0时 是用于指示图像块中的内容只包括阴性细胞和阴性环境的概率；c的取值为1至5时，分别是用于指示图像块中的内容包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞的概率。在一些实施例中，步骤S223中的全连接层为第三全连接层。

[0163] 步骤S224：根据第三置信度向量中的元素和对应于top‑M个子图像块的图像块携带的标签确定对应于top‑M个子图像块的第一损失函数的输出值，根据对应于top‑M个子图像块的第一损失函数的输出值利用反向传播算法优化骨干卷积神经网络和全连接层的参数。

[0164] 对应于top‑M个子图像块的第一损失函数的输出值就是对应于top‑M个子图像块的第一损失值。在本实施例中，对应于top‑M个子图像块的第一损失函数与实施例一中的式(5)一致。在一些实施例中，步骤S224中的全连接层为第三全连接层。

[0165] 为了进一步提高甲状腺细胞病理数字图像识别器的识别精度和进一步提高分类器的鲁棒性，如图7所示，本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法中，

[0166] 分类器第一训练步骤，包括：将对应于top‑M个子图像块的图像块输入分类器，通过分类器对对应于top‑M个子图像块的图像进行线性变换和非线性变换，得到一个第一特征图，对一个第一特征图中各通道的矩阵取均值，得到对应于top‑M个子图像块相对应的图像块的特征向量；

[0167] 可以理解的是，因为第一图像集中所有的图像块都会在分类器第一训练步骤中输入到分类器，并通过分类器对所有这些图像块进行线性变换和非线性变换，因此对应于top‑M个子图像块的图像块当然也会在分类器第一训练步骤中输入到分类器并生成第一特征图。

[0168] 本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法,还包括：

[0169] 级联特征向量生成步骤，根据Top‑M个子图像块和与对应于top‑M个子图像块相对应的图像块的特征向量生成级联特征向量；

[0170] 分类器第三训练步骤，利用级联特征向量和对应于级联特征向量的图像块中携带的标签以及对应于级联特征向量的第一损失函数训练分类器；

[0171] 在本实施例中，如图14所示，级联特征向量生成步骤可以包括以下子步骤：

[0172] 步骤S321：从top‑M个子图像块中选取top‑T个子图像块；

[0173] 在本实施例中，top‑T个子图像块对应于对第二特征图中的元素根据数值大小进行排序并进行非极大值抑制得到的top‑M个元素中数值最大的top‑T个元素。

[0174] 步骤S322：将top‑T个子图像块输入分类器，通过分类器对top‑T个子图像块进行卷积(线性变换)和激活(非线性变换)，得到top‑T个第一特征图；

[0175] 步骤S323：对top‑T个第一特征图中各通道的矩阵取均值，得到top‑T个特征向量；

[0176] 在本实施例中，对矩阵取均值是指对矩阵中的全部元素进行求和后除以矩阵元素个数。

[0177] 步骤S324：对top‑T个特征向量和对应于top‑M个子图像块相对应的图像块的特征向量进行级联，得到级联特征向量；

[0178] 例如，对n个向量 进行级联，相当于将这n个向量头尾相连，生成一个向量

[0179] 在本实施例中，如图15所示，分类器第三训练步骤可以包括以下子步骤：

[0180] 步骤S331：将级联特征向量输入全连接层，对全连接层的输出进行非线性变换，得到第四置信度向量；

[0181] 在本实施例中，对全连接层的输出进行非线性变换是指对全连接层的输出加concat 6×1SoftMax函数激活；第四置信度向量记为y ∈R ，其元素 是分类置信度，其中c的取值为0时 是用于指示图像块中的内容只包括阴性细胞和阴性环境的概率；c的取值为1至5时， 分别是用于指示图像块中的内容包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞的概率。在一些实施例中，步骤S331中的全连接层为第二全连接层。

[0182] 步骤S332：根据第四置信度向量中的元素和对应于级联特征向量的图像块携带的标签确定对应于级联特征向量的第一损失函数的输出值，根据对应于级联特征向量的第一损失函数的输出值利用反向传播算法优化目标检测器和全连接层的参数。

[0183] 对应于级联特征向量的第一损失函数的输出值就是对应于级联特征向量的第一损失值。

[0184] 在本实施例中，对应于级联特征向量的第一损失函数与实施例一中的式(6)一致。在一些实施例中，步骤S332中的全连接层为第二全连接层。

[0185] 有益效果1：通过利用分类器的输出对目标检测器进行训练，可以实现在只标注图像块的类型而未标注图像块中阳性细胞的位置的情况下完成对目标检测器的训练，使得目标检测器可以通过确定包含阳性细胞的候选区域从而对图像块中的阳性细胞进行定位。

[0186] 有益效果2：在判断输入分类器的图像块是第一类图像块的情况下，才利用与该图像块对应的分类器的输出对目标检测器进行训练，这是因为对于细胞病理数字图像，甲状腺细胞病理数字图像识别器不但要能够区分良性滤泡结节和阳性细胞(恶性细胞)，还有能够区分阴性环境(阴性背景)和阳性细胞(恶性细胞)，对于第二类图像块，可能会包含滤泡结节细胞、红细胞、淋巴细胞、吞噬细胞、囊壁细胞等阴性细胞和包括血液、玻璃切片的灰尘、空白等各种阴性环境；在判断输入分类器的图像块是第一类图像块的情况下，才利用与该图像块对应的分类器的输出对目标检测器进行训练，可以保证用于训练目标检测器的图像块中包含阳性细胞，在该情况下，若通过目标检测器获得的候选区域中含有阳性细胞，则第二损失函数的输出值小(或称获得的奖励大)，反之，若通过目标检测器获得的候选区域中不含有阳性细胞，则第二损失函数的输出值大(或称获得的奖励小)。若将第二类图像块也用于训练目标检测器，那么即使通过目标检测器获得的候选区域中只含有阴性细胞和阴性环境，第二损失函数的输出值也小，从而使得训练后的目标检测器倾向于给出只含有阴性细胞和阴性环境，因此不能得到在判断输入分类器的图像块是第一类图像块的情况下，才利用与该图像块对应的分类器的输出对目标检测器进行训练所获得的效果；再者，对于细胞病理数字图像，由同一块细胞玻片制成的若干图像块中，可能只有少量的图像块为第一类图像块，而大量的图像块为第二类图像块，因而将第二类图像块也用于训练目标检测器的不良影响更为明显。

[0187] 有益效果3：将图像块输入目标检测器以生成top‑M个子图像块，利用top‑M个子图像块对分类器进行训练，可以达到增加训练样本数量，从而进一步提高分类器的分类精度的效果。值得注意的是，当将第一类图像块输入目标检测器以生成top‑M个子图像块时，由于目标检测器定位阳性细胞的精度问题，可能会有一些子图像块中不包含阳性细胞，但这些不包含阳性细胞的子图像块对应的图像块所携带的标签指示图像块是阳性，这时相当于用了错误的标注样本对分类器进行训练，因此本领域技术人员一般不会利用输入目标检测器生成的子图像块对分类器进行训练，以避免用标注错误的样本训练分类器。然而，在本申请实施例中，已经对目标检测器输出的第二特征图中的元素进行排序并取非极大值抑制，从而得到最可能包含有阳性细胞的top‑M个子图像块，即使该top‑M个子图像块中存在不包含阳性细胞的子图像块，这些不包含阳性细胞的子图像块所占比例也比较小，其使得分类器向错误的方向收敛的程度也很小，而且，随着目标检测器训练步骤(步骤S130)在后续反复执行，目标检测器定位阳性细胞的精度越来越高，top‑M个子图像块中存在不包含阳性细胞的子图像块的可能性和比例也越来越小，即在本申请实施例中用错误标注的子图像块对分类器训练的代价随着训练进行越来越小，最终的效果是使得分类器的分类精度越来越高。

[0188] 有益效果4：“将图像块输入目标检测器以生成top‑M个子图像块，并利用top‑M个子图像块对分类器进行训练”和“判断输入分类器的图像块是第一类图像块的情况下，才利用与该图像块对应的分类器的输出对目标检测器进行训练”两者结合时，会带来额外的有益效果：因为只有在输入分类器的图像块是第一类图像块的情况下，才利用与该图像块对应的分类器的输出对目标检测器进行训练，即只用对应于包含阳性细胞图像块的第一特征图和分类置信度对目标检测器进行训练，这使得目标检测器倾向于定位阳性细胞，目标检测器会寻找与阳性细胞最相似的区域；因此，当将第二类图像块(只包含阴性细胞和环境的图像块)输入目标检测器并生成子图像块时，这些子图像块中包含的阴性细胞是良性滤泡结节这类与阳性细胞形态最相似或最接近的阴性细胞；用这些包含与阳性细胞形态最相似或最接近的阴性细胞的子图像块对分类器进行训练，可以有效提高分类器区分真正的阳性细胞和与阳性细胞形态最相似或最接近的阴性细胞的能力。

[0189] 有益效果5：将对应于Top‑M个子图像块的特征向量和与对应于top‑M个子图像块相对应的图像块的特征向量进行级联生成级联特征向量，并利用该级联特征向量对分类器进行训练，可以提高分类器的鲁棒性(Robustness)和分类精度，原因如下：细胞病理数字图像的图像块中可能包含阳性细胞、阴性细胞和阴性环境等内容，对应于图像块的特征向量中可能会将阳性细胞、阴性细胞和阴性环境的特征都包含在内，此时只用对应于图像块的特征向量对分类器进行训练会引入较多干扰；而由于Top‑M个子图像块是经过非极大值抑制后产生的，其内容倾向于包含阳性细胞或与阳性细胞最接近的细胞(例如良性滤泡结节细胞)，即排除了大部分的阴性细胞和阴性环境的影响和干扰；因此，使用级联特征向量对分类器进行训练，可以在图像块的全局特征的基础上结合Top‑M个子图像块的局部特征，很大程度上排除图像块中非相关内容的干扰，从而提高分类器的鲁棒性(Robustness)和分类精度。

[0190] 有益效果6：在一些实施例中，第一全连接层、第二全连接层和第三全连接层的参数和结构不同，即第一全连接层、第二全连接层和第三全连接层是三个不同的全连接层，这样设置可以避免不同的训练步骤之间互相干扰。由于第一全连接层的参数是利用第一图像集中的图像块进行优化的，且第二特征图中的元素对应的候选区域有不同的大小，而对应于较大候选区域的子图像块的特征与图像块的特征更加接近，因此如果直接用经由第一全连接层产生的分类置信度对目标检测器进行训练，则会使得目标检测器训练过程中对应于较大候选区域的子图像块产生的第一损失函数输出值较小(对应于较大候选区域的子图像块产生奖励较大)，从而使得训练后的目标检测器输出的第二特征图中对应于较大候选区域的元素的数值大于对应于较小候选区域的元素的数值，即目标检测器倾向于框选较大的区域。然而，细胞病理数字图像中，阳性细胞可能以单个细胞的形式存在，也可能以构成不同大小的团块的形式存在；有鉴于此，本申请实施例提供的训练方法中，在分类器第一训练步骤中优化第一全连接层，在分类器第二训练步骤中优化第三全连接成，而用于训练目标检测器的分类置信度经由第三全连接层产生，其中第一全连接层和第三全连接层的结构和参数相互独立，这样的设置可以隔离不同训练步骤对全连接层的影响，避免目标检测器倾向于框选较大的区域，从而使得目标检测器可以更精确地以不同大小的候选区域框选出以单个细胞形式或构成不同大小团块的形式存在的阳性细胞。

[0191] 有益效果7：在一些实施例中，目标检测器输出的第二特征图为多个；此时，同一个第二特征图中的元素对应的候选区域的大小一致，不同的第二特征图中的元素对应的候选区域的大小不同；这样可以更方便而直观地利用候选区域框选不同大小的阳性细胞团块或单独的阳性细胞。

[0192] 实施例三

[0193] 本实施例提供的甲状腺细胞病理数字图像识别器如图3所示，该甲状腺细胞病理数字图像识别器包括分类器和目标检测器。分类器被配置为接收图像块并对接收的图像块进行线性变换和非线性变换后输出第一特征图和分类置信度；其中，图像块包括第一类图像块和第二类图像块，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境；其中，第一特征图与输入分类器的图像块相对应，即第一特征图对应于输入该分类器的图像块，分类置信度用于指示输入分类器的图像块是第一类图像块或第二类图像块。目标检测器被配置为接收第一特征图并对接收的第一特征图进行线性变换和非线性变换后输出第二特征图；其中，第二特征图中的元素对应于图像块中的候选区域，即第二类特征图中的每个元素在第二类特征图中的位置对应于一个候选区域在图像块中的坐标以及候选区域的大小，第二特征图中的元素的数值对应于候选区域中包含阳性细胞的概率。在一些实施例中，候选区域是如图4所示在图像块中框选的区域。

[0194] 如图16所示，本实施例提供的图像识别方法，由甲状腺细胞病理数字图像识别器执行，该图像识别方法包括以下步骤：

[0195] 步骤S1000：获取图像块；获取的图像块包括第一类图像块和第二类图像块；

[0196] 其中，第一类图像块的内容包括阳性细胞，第二类图像块的内容只包括阴性细胞和阴性环境。在一些实施例中，阳性细胞包括滤泡性肿瘤细胞、嗜酸性肿瘤细胞、甲状腺乳头癌细胞、甲状腺髓样癌细胞、意义不明确的非典型性细胞；阴性细胞包括良性滤泡结节细胞、红细胞、淋巴细胞、吞噬细胞、囊壁细胞，阴性环境包括血液、玻璃切片的灰尘、空白等各种环境。

[0197] 步骤S2000：将图像块输入分类器，通过分类器对图像块进行线性变换和非线性变换后输出第一特征图；

[0198] 在该步骤中，第一特征图对应于输入分类器的图像块；

[0199] 步骤S3000：将第一特征图输入目标检测器，通过目标检测器对第一特征图进行线性变换和非线性变换，得到至少一个第二特征图；

[0200] 步骤S4000：根据第一特征图和至少一个第二特征图，确定分类器置信度；

[0201] 步骤S5000：对至少一个第二特征图的全部元素进行归一化并进行非极大值抑制后，取数值大于第一设定值的元素对应的候选区域作为图像块中包含阳性细胞的区域。

[0202] 可以理解的是，由于第二特征图中的元素的数值需要高于第一设定值时才会输出其对应的候选区域作为图像块中包含阳性细胞的区域，当图像块是第一类图像块时，第二特征图中的元素的数值才会高于第一设定值，在此情况下会输出候选区域作为图像块中包含阳性细胞的区域，而当图像块是第二类图像块时，第二特征图中的元素的数值不会高于第一设定值，在此情况下不会输出候选区域作为图像块中包含阳性细胞的区域。

[0203] 在一些实施例中，如图8所示，甲状腺细胞病理数字图像识别器中的分类器包括骨干卷积神经网络和全连接层；如图17所示，步骤S2000可以包括以下子步骤：

[0204] 步骤S2001：将一个图像块输入骨干卷积神经网络，通过骨干卷积神经网络对上述的一个图像块进行线性变换和非线性变换，得到一个第一特征图；

[0205] 在一些实施例中，通过骨干卷积神经网络对上述的一个图像块进行线性变换和非线性变换，相当于通过骨干卷积神经网络对上述的一个图像块进行卷积和激活。

[0206] 在一些实施例中，如图18所示，步骤S4000可以包括以下子步骤：

[0207] 步骤S4001：对上述的一个第一特征图中各通道的矩阵取均值，得到一个特征向量；

[0208] 对矩阵取均值是指对矩阵中的全部元素进行求和后除以矩阵元素个数。

[0209] 步骤S4002：对至少一个第二特征图中的全部元素根据数值大小进行排序并进行非极大值抑制，得到top‑T个元素，根据对应于top‑T个元素的候选区域生成top‑T个子图像块；

[0210] 步骤S4003：将top‑T个子图像块输入骨干卷积神经网络，得到top‑T个第一特征图；

[0211] 步骤S4004：对top‑T个第一特征图中各通道的矩阵取均值，得到top‑T个特征向量；

[0212] 步骤S4005：对top‑T个特征向量和一个特征向量进行级联，得到级联特征向量；

[0213] 步骤S4006：将级联特征向量输入全连接层，得到分类器置信度。

[0214] 例如，对n个向量 进行级联，相当于将这n个向量头尾相连，生成一个向量

[0215] 在一些实施例中，分类器置信度是用于指示图像块中的内容包括阳性细胞、或阴性细胞和阴性环境的概率。在另一些实施例中，分类器置信度是用于指示图像块中的内容包括滤泡性肿瘤细胞、或嗜酸性肿瘤细胞、或甲状腺乳头癌细胞、或甲状腺髓样癌细胞、或意义不明确的非典型性细胞、或阴性细胞和阴性环境的概率。

[0216] 可以理解的是，本实施例(实施例三)中的甲状腺细胞病理数字图像识别器可以由实施例一和实施例二提供的甲状腺细胞病理数字图像识别器训练方法进行训练获得。可以理解的是，本实施例(实施例三)中目标检测器、骨干卷积神经网络和全连接层的结构、动作或处理过程、输入输出可以与实施例一和实施例二中目标检测器、骨干卷积神经网络和全连接层的结构结构、动作或处理过程、输入输出一致。本实施例(实施例三)中全连接层，可以是实施例一和实施例二中的第一全连接层、第二全连接层或第三全连接层中的任意之一；特别地，本实施例(实施例三)中全连接层，可以是实施例一和实施例二中的第二全连接层。

[0217] 本申请实施例提供的图像识别方法，不但能通过分类器对图像块的类型进行分类从而判断病变的类型，还能通过目标检测器确定包含阳性细胞的候选区域从而对图像块中的阳性细胞进行定位，使得医生可以在获得本申请实施例提供的图像识别方法输出病变类型后，利用目标检测器框选的阳性细胞区域进一步核实和确认病变类型。再者，利用图像块和top‑T个子图像块生成级联特征向量，并利用该级联特征向量生成分类器置信度，可以提高分类器的鲁棒性(Robustness)和分类精度。

[0218] 需要说明的是，本申请实施例的图像识别方法的具体实施方式及对应的技术效果，可对应参照上述甲状腺细胞病理数字图像识别器训练方法的具体实施方式及对应的技术效果；反之亦然，即甲状腺细胞病理数字图像识别器训练方法的具体实施方式及对应的技术效果，可对应参照图像识别方法的具体实施方式及对应的技术效果。

[0219] 如图19所示，本申请实施例提供一种训练设备，该训练设备包括：存储器1210、控制处理器1220及存储在存储器1210上并可在控制处理器1220上运行的计算机程序。

[0220] 控制处理器1220和存储器1210可以通过总线或者其他方式连接。

[0221] 实现上述实施例的模型训练方法所需的非暂态软件程序以及指令存储在存储器1210中，当被控制处理器1220执行时，执行上述实施例中的甲状腺细胞病理数字图像识别器训练方法，例如，执行以上描述的图5中的方法步骤S110至方法步骤S130、图6中的方法步骤S210至方法步骤S220、图7中的方法步骤S310至方法步骤S330、图10中的方法步骤S121至方法步骤S124、图11中的方法步骤S131至方法步骤S136、图13中的方法步骤S221至方法步骤S224、图14中的方法步骤S321至方法步骤S324、图15中的方法步骤S331至方法步骤S332。

[0222] 如图20所示，本申请实施例提供一种图像识别装置，该装置包括：存储器1310、控制处理器1320及存储在存储器1310上并可在控制处理器1320上运行的计算机程序。

[0223] 控制处理器1320和存储器1310可以通过总线或者其他方式连接。

[0224] 实现上述实施例的图像处理方法所需的非暂态软件程序以及指令存储在存储器1310中，当被控制处理器1320执行时，执行上述实施例中的图像处理方法，例如，执行以上描述的图16中的方法步骤S1000至方法步骤S2000、图17中的方法步骤S2001、图18中的方法步骤S4001至方法步骤S4005。

[0225] 以上所描述的设备和装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

[0226] 此外，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令可以用于使计算机执行本申请实施例提供的甲状腺细胞病理数字图像识别器训练方法或者图像识别方法，例如，执行以上描述的图5中的方法步骤S110至方法步骤S130、图6中的方法步骤S210至方法步骤S220、图7中的方法步骤S310至方法步骤S330、图10中的方法步骤S121至方法步骤S124、图11中的方法步骤S131至方法步骤S136、图13中的方法步骤S221至方法步骤S224、图14中的方法步骤S321至方法步骤S324、图15中的方法步骤S331至方法步骤S332，或者执行以上描述的图16中的方法步骤S1000至方法步骤S2000、图17中的方法步骤S2001、图18中的方法步骤S4001至方法步骤S4005。

[0227] 本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD‑ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

[0228] 以上是对本申请的若干实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。