一种诱导多能干细胞菌落质量自动评估方法及装置

摘要

本申请提供了一种诱导多能干细胞菌落质量自动评估方法及装置，通过自适应伽马变换进行图像预处理，解决图像采集过程中由于客观原因导致的图像亮度、对比度不佳的问题，并且基于iPSCs菌落的旋转不变性，利用图像旋转、镜像、仿射变换进行数据集扩增，且通过融合7种不同来源的特征信息以获得更加全面的iPSCs菌落图像的特征值信息提高分类性能，提高菌落质量评估性能，并降维算法执行特征学习，节约了成本，便于推广应用。

权利要求

1.一种诱导多能干细胞菌落质量自动评估方法，其特征在于，所述诱导多能干细胞菌落质量自动评估方法包括以下步骤：采集待测菌落的菌落图像；其中，所述待测菌落包括多个诱导多能干细胞，每个诱导多能干细胞对应菌落图像上一图像像素点；所述采集待测菌落的菌落图像具体包括：利用多能无血清培养基和多孔板培养待测菌落；其中，所述待测菌落包括多个诱导多能干细胞；

使用活细胞成像系统拍摄所述待测菌落的明场图像，并将显微镜设置多倍放大倍率以及将通道设置为明场，采用自动聚焦和自动扫描模式扫描多孔板，得到所述待测菌落的明场图像；标记所述待测菌落的明场图像，并对标记后的所述待测菌落的明场图像的图像尺寸做规范化处理，得到所述待测菌落的菌落图像；

获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像；

增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量；

所述增强所述待测菌落的修正图像，得到待测菌落的增强图像具体包括：确定所述修正图像的质量等级；

对不同质量等级的修正图像采用对应的图像变换操作，得到不同质量等级的增强图像；其中，不同质量等级的增强图像的数量相等或相近；

确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图；

所述确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图具体包括：

第一深度卷积神经网络通过若干卷积模块、ReLU激活函数和分段卷积方法，捕捉每个增强图像的浅层细节信息，得到每个增强图像的第一一维特征向量；其中，每个卷积模块包含三个卷积层和一个最大池化层；

第二深度卷积神经网络使用ReLU作为激活函数，利用并行卷积来捕捉每个增强图像中的局部细节特征，得到每个增强图像的第二一维特征向量；

深度残差网络利用残差结构来捕获每个增强图像的深度语义特征，得到每个增强图像的第三一维特征向量；

利用传统机器学习中的若干特征描述符提取每个增强图像中对应特征描述符的局部细节特征；

将每个增强图像的第一一维特征向量、第二一维特征向量、第三一维特征向量以及若干局部细节特征构成的若干特征图利用主成分分析算法降维处理后融合，得到所述待测菌落的特征图；

识别所述待测菌落的特征图，得到所述待测菌落的质量等级。

2.根据权利要求1所述的诱导多能干细胞菌落质量自动评估方法，其特征在于，所述获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像具体包括：获取预设灰度参考阈值以及所述菌落图像上所有图像像素点的灰度值；

若某图像像素点的灰度值大于所述预设灰度参考阈值，选取第一伽马变换参数作为目标伽马变换参数，并通过图像伽马变换方法修正该图像像素点的像素值；

若某图像像素点的灰度值小于所述预设灰度参考阈值，选取第二伽马变换参数作为目标伽马变换参数，并通过图像伽马变换方法修正该图像像素点的像素值；

若某图像像素点的灰度值等于所述预设灰度参考阈值，保持该图像像素点的像素值不变；

获取所述待测菌落的修正图像。

3.根据权利要求2所述的诱导多能干细胞菌落质量自动评估方法，其特征在于，所述图像伽马变换方法表示为：

s＝crγ，r∈[0，1]；

其中，s是某图像像素点经伽马变换后的修正像素值，r是某图像像素点的原始像素值，c是常系数，γ是伽马变换参数，该伽马变换参数包括第一伽马变换参数和第二伽马变换参数。

4.根据权利要求1所述的诱导多能干细胞菌落质量自动评估方法，其特征在于，所述图像变换操作包括45°旋转、135°旋转、水平镜像、仿射变换中一种或多种。

5.根据权利要求4所述的诱导多能干细胞菌落质量自动评估方法，其特征在于，所述对不同质量等级的修正图像采用对应的图像变换操作，得到不同质量等级的所述待测菌落的增强图像具体包括：

若某修正图像的质量等级为良好，则对该修正图像依次执行45°旋转、135°旋转、水平镜像、仿射变换四种图像变换操作，得到第一增强图像；

若某修正图像的质量等级为中等，则对该修正图像依次执行45°旋转、135°旋转、水平镜像三种图像变换操作，得到第二增强图像；

若某修正图像的质量等级为差，则对该修正图像只执行一次仿射变换的图像变换操作，得到第三增强图像；

其中，所述第一增强图像、第二增强图像以及第三增强图像的数量相等或相近。

6.根据权利要求1所述的诱导多能干细胞菌落质量自动评估方法，其特征在于，所述识别所述待测菌落的特征图，得到所述待测菌落的质量等级具体包括：利用SVM分类器识别所述待测菌落的特征图，确定所述待测菌落的质量等级为良好、中等以及差中一种。

7.一种实现权利要求1‑6任一项所述的诱导多能干细胞菌落质量自动评估方法的诱导多能干细胞菌落质量自动评估装置，其特征在于，所述诱导多能干细胞菌落质量自动评估装置包括：

图像修正模块用于获取待测菌落的菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像；

图像增强模块用于增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量；

图像多源特征提取模块用于确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图；

分类器用于识别所述待测菌落的特征图，得到所述待测菌落的质量等级。

说明书

一种诱导多能干细胞菌落质量自动评估方法及装置

技术领域

[0001] 本申请涉及生物影像学技术领域，特别涉及一种诱导多能干细胞菌落质量自动评估方法及装置。

背景技术

[0002] 诱导多能干细胞(induced pluripotent stem cells，iPSCs)作为再生医学发展的基础，它的质量制约着它在医学和生物领域的发展。成熟的诱导多能干细胞菌落质量存
在“好”，“坏”差异，但要通过形态学方法实现高效率的自动评估将面临以下挑战：差异小区
分困难、对比度亮度不均衡、人工评估成本高等。

[0003] 因此，现有技术还有待改进和提高。

发明内容

[0004] 基于此，有必要针对现有评估技术中图像差异小且对比度亮度不均衡导致iPSCs菌落质量评估性能低的技术问题，提供一种诱导多能干细胞菌落质量自动评估方法及装
置。

[0005] 为了解决上述技术问题，本申请所采用的技术方案如下：

[0006] 第一方面，本申请提供一种诱导多能干细胞菌落质量自动评估方法，所述诱导多能干细胞菌落质量自动评估方法包括以下步骤：

[0007] 采集待测菌落的菌落图像；其中，所述待测菌落包括多个诱导多能干细胞，每个诱导多能干细胞对应菌落图像上一图像像素点；

[0008] 获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像；

[0009] 增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量；

[0010] 确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图；

[0011] 识别所述待测菌落的特征图，得到所述待测菌落的质量等级。

[0012] 可选地，所述采集待测菌落的菌落图像具体包括：

[0013] 利用多能无血清培养基和多孔板培养待测菌落；其中，所述待测菌落包括多个诱导多能干细胞；

[0014] 使用活细胞成像系统拍摄所述待测菌落的明场图像，并将显微镜设置多倍放大倍率以及将通道设置为明场，采用自动聚焦和自动扫描模式扫描多孔板，得到所述待测菌落
的明场图像；

[0015] 标记所述待测菌落的明场图像，并对标记后的所述待测菌落的明场图像的图像尺寸做规范化处理，得到所述待测菌落的菌落图像。

[0016] 可选地，所述获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正所述菌落图像对应的图像像素点的灰度值，得到所述待测菌落的修正图像具体
包括：

[0017] 获取预设灰度参考阈值以及所述菌落图像上所有图像像素点的灰度值；

[0018] 若某图像像素点的灰度值大于所述预设灰度参考阈值，选取第一伽马变换参数作为目标伽马变换参数，并通过图像伽马变换方法修正该图像像素点的像素值；

[0019] 若某图像像素点的灰度值小于所述预设灰度参考阈值，选取第二伽马变换参数作为目标伽马变换参数，并通过图像伽马变换方法修正该图像像素点的像素值；

[0020] 若某图像像素点的灰度值等于所述预设灰度参考阈值，保持该图像像素点的像素值不变；

[0021] 获取所述待测菌落的修正图像。

[0022] 可选地，所述图像伽马变换方法表示为：

[0023] s＝crγ，r∈[0，1]；

[0024] 其中，s是某图像像素点经伽马变换后的修正像素值，r是某图像像素点的原始像素值，c是常系数，γ是伽马变换参数，该伽马变换参数包括第一伽马变换参数和第二伽马
变换参数。

[0025] 可选地，所述增强所述待测菌落的修正图像，得到待测菌落的增强图像具体包括：

[0026] 确定所述修正图像的质量等级；

[0027] 对不同质量等级的修正图像采用对应的图像变换操作，得到不同质量等级的增强图像；其中，不同质量等级的增强图像的数量相等或相近。

[0028] 可选地，所述图像变换操作包括45°旋转、135°旋转、水平镜像、仿射变换中一种或多种。

[0029] 可选地，所述对不同质量等级的修正图像采用对应的图像变换操作，得到不同质量等级的所述待测菌落的增强图像具体包括：

[0030] 若某修正图像的质量等级为良好，则对该修正图像依次执行45°旋转、135°旋转、水平镜像、仿射变换四种图像变换操作，得到第一增强图像；

[0031] 若某修正图像的质量等级为中等，则对该修正图像依次执行45°旋转、135°旋转、水平镜像三种图像变换操作，得到第二增强图像；

[0032] 若某修正图像的质量等级为差，则对该修正图像只执行一次仿射变换的图像变换操作，得到第三增强图像；

[0033] 其中，所述第一增强图像、第二增强图像以及第三增强图像的数量相等或相近。

[0034] 可选地，所述确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图具体包括：

[0035] 第一深度卷积神经网络通过若干卷积模块、ReLU激活函数和分段卷积方法，捕捉每个增强图像的浅层细节信息，得到每个增强图像的第一一维特征向量；其中，每个卷积模
块包含三个卷积层和一个最大池化层；

[0036] 第二深度卷积神经网络使用ReLU作为激活函数，利用并行卷积来捕捉每个增强图像中的局部细节特征，得到每个增强图像的第二一维特征向量；

[0037] 深度残差网络利用残差结构来捕获每个增强图像的深度语义特征，得到每个增强图像的第三一维特征向量；

[0038] 利用传统机器学习中的若干特征描述符提取每个增强图像中对应特征描述符的局部细节特征；

[0039] 将每个增强图像的第一一维特征向量、第二一维特征向量、第三一维特征向量以及若干局部细节特征构成的若干特征图利用主成分分析算法降维处理后融合，得到所述待
测菌落的特征图。

[0040] 可选地，所述识别所述待测菌落的特征图，得到所述待测菌落的质量等级具体包括：

[0041] 利用SVM分类器识别所述待测菌落的特征图，确定所述待测菌落的质量等级为良好、中等以及差中一种。

[0042] 第二方面，基于上述诱导多能干细胞菌落质量自动评估方法的诱导多能干细胞菌落质量自动评估装置，本申请还提供一种所述诱导多能干细胞菌落质量自动评估装置，其
包括：

[0043] 图像修正模块用于获取待测菌落的菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像；

[0044] 图像增强模块用于增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量；

[0045] 图像多源特征提取模块用于确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图；

[0046] 分类器用于识别所述待测菌落的特征图，得到所述待测菌落的质量等级。

[0047] 有益效果：与现有技术相比，本申请提供了一种诱导多能干细胞菌落质量自动评估方法及装置，所述诱导多能干细胞菌落质量自动评估方法包括以下步骤：采集待测菌落
的菌落图像；其中，所述待测菌落包括多个诱导多能干细胞，每个诱导多能干细胞对应菌落
图像上一图像像素点；获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考
阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像；增强所述待测菌落的
修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数
量；确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌
落的特征图；识别所述待测菌落的特征图，得到所述待测菌落的质量等级。本申请通过自适
应伽马变换进行图像预处理，解决图像采集过程中由于客观原因导致的图像亮度、对比度
不佳的问题，并且基于iPSCs菌落的旋转不变性，利用图像旋转、镜像、仿射变换进行数据集
扩增，且通过融合7种不同来源的特征信息以获得更加全面的iPSCs菌落图像的特征值信息
提高分类性能，提高菌落质量评估准确性，并降维算法执行特征学习，节约了成本，便于推
广应用。

附图说明

[0048] 图1为本申请提供的一种诱导多能干细胞菌落质量自动评估方法的流程图。

[0049] 图2为iPSCs菌落质量等级为良好的明场图像。

[0050] 图3为iPSCs菌落质量等级为中等的明场图像。

[0051] 图4为iPSCs菌落质量等级为差的明场图像。

[0052] 图5为伽马变换曲线图。

[0053] 图6为图像像素点灰度值分布示意图。

[0054] 图7、图9、图11为某iPSCs菌落的明场图像。

[0055] 图8、图10、图12分别为图7、图9、图11中iPSCs菌落的明场图像经过自适应伽马变换后对应的修正图像。

[0056] 图13为6种原始特征描述符的分类准确性与特征维度关系曲线图。

[0057] 图14为原始数据，自适应伽马变换、数据增强后对应的柱形图。

[0058] 图15为DCNN的不同质量等级下iPSCs菌落图像的特征图。

[0059] 图16为本申请提供的一种诱导多能干细胞菌落质量自动评估装置的结构框图。

[0060] 图17为诱导多能干细胞菌落质量自动评估装置另一实施例的结构框图。

具体实施方式

[0061] 本申请提供一种诱导多能干细胞菌落质量自动评估方法及装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

[0062] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元
件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在
中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

[0063] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该
理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的
意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义
来解释。

[0064] 经发明人研究发现，生物学上，未分化状态下的iPSCs含有大量碱性磷酸酶(alkaline phosphatase，AP)，但是随着iPSCs分化AP含量会逐渐降低。因此，可以借鉴AP染
色方法辅助工作人员进行iPSCs质量评估。但是，这一方法是不可逆的会破坏细胞多能性和
生长状态。目前，可以克服AP染色等方法的不足之处的有效方法是活细胞免疫荧光染色，快
速且大大减少对细胞造成的伤害。另外，利用计算机图像分析技术也可以定性分析细胞的
多能性，而且这一过程是较为客观、快速、准确的，对于干细胞的产业化具有重要意义。

[0065] 近年来，机器学习、深度学习，尤其是深度卷积神经网络(deep convolutional neural network，DCNN)作为近年来图像分析领域的翘楚在iPSCs群里质量评估方面也有很
多相关研究，目前所采用的iPSCs菌落质量评估方法有利用形态学特征提出一个无创自动
化的质量评估系统，有利用iPSCs菌落图像的灰度直方图特征实现分类任务以自动评估
iPSCs菌落质量或通过利用局部特征实现不同质量iPSCs菌落的自动检测，但这些方法只是
针对单一培养体系的iPSCs数据，使得模型的迁移性、鲁邦性较差而无法达到干细胞产业化
的要求。与此同时，由于不同质量的iPSCs菌落差异小区分困难，存在图像对比度和亮度不
均衡问题，这严重影响了iPSCs菌落质量评估方法的识别性能。

[0066] 因此，基于上述问题，本申请提供一种诱导多能干细胞菌落质量自动评估方法及装置，通过自适应伽马变换进行图像预处理，解决图像采集过程中由于客观原因导致的图
像亮度、对比度不佳的问题，并且基于iPSCs菌落的旋转不变性，利用图像旋转、镜像、仿射
变换进行数据集扩增，且通过融合7种不同来源的特征信息以获得更加全面的iPSCs菌落图
像的特征值信息提高提高菌落质量评估性能，这样，更有利于提升深圳市生物和新药物技
术含量和国际竞争力，具有重要的产业化前景，有望为我国生物和新医药技术发展贡献自
己的力量。

[0067] 下面结合附图，具体阐述本申请的技术方案：

[0068] 请参阅图1，图1为本申请提供的一种诱导多能干细胞菌落质量自动评估方法的流程图。应该说明的是，本申请实施方式的声道播放方法并不限于图1所示的流程图中的步骤
及顺序，根据不同的需求，流程图中的步骤可以增加、移除或者改变顺序。如图1所示，本申
请提供的一种诱导多能干细胞菌落质量自动评估方法包括以下步骤：

[0069] S10、采集待测菌落的菌落图像；其中，所述待测菌落包括多个诱导多能干细胞，每个诱导多能干细胞对应菌落图像上一图像像素点。

[0070] 在本申请实施例中，所述菌落图像指的是多个诱导多能干细胞(iPSCs细胞)的图像像素点组成的图像，一个iPSCs细胞对应一个图像像素点，每孔菌落均包括多个诱导多能
干细胞。

[0071] 预先利用多能无血清培养基和多孔板培养多孔待测菌落，该多孔板可以采用6孔板，12孔板等，在本申请实施例中，采用6孔板。接着，利用活细胞成像系统，通过4倍镜自动
扫描全孔范围的iPSCs菌落的明场图像。所述明场图像指的是只允许透射束通过物镜光栏
所成的图像。具体实施时，将显微镜的放大倍率设置为多倍，同时设置所述显微镜的通道为
明场，采用自动聚焦和自动扫描模式扫描多孔板，得到多孔菌落的明场图像。然后对每孔菌
落的明场图像的图像尺寸做规范化处理，得到多孔菌落的多个菌落图像。

[0072] 例如：使用商品化的iPSCs细胞系作为实验数据，使用 hPSC XF培养基和6孔板，并且以15000个细胞/孔的细胞密度进行铺板培养和连续进行传代，拟分四批共
计培养68孔，培养到第4天(96小时)时采集图像。利用将显微镜的放大倍率设置为4倍，同时
设置所述显微镜的通道为明场，采用自动聚焦和自动扫描模式扫描6孔板，然后使用自动聚
焦和自动扫描模式扫描6孔板，采集到68孔的iPSCs菌落的明场图像。接着，使用LabelMe图
像标记工具标记68个iPSCs菌落的明场图像，并对图像尺寸做规范化处理，最后获得了
15700个iPSC菌落图像，大小为512×512像素，如图2‑图4所示。

[0073] S20、获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像像素点的灰度值，得到所述待测菌落的修正图像。

[0074] 在本申请实施例中，如图2‑图4所示，明场图像中6孔板的边缘存在阴影，并且在自动聚焦的时候每个孔的中间区域和边缘区域的对比度不同。另一方面，在扫描不同孔时活
细胞成像系统会重新聚焦，这将导致不同孔的明场图像在亮度、对比度方面存在不均匀的
情况，这将影响iPSCs菌落质量的影像学评估。因此，需要对所采集到的菌落图像进行预处
理，以使得iPSCs菌落质量评估准确，减少无效样本评估，提高效率，提升整体iPSCs菌落质
量评估性能。

[0075] 预处理分为图像增强处理和数据增强处理。所述图像增强处理在本申请实施例中指的是利用图像伽马变换对菌落图像的对比度和灰度进行自适应修正增强从而达到菌落
图像增强，这样解决数据采集过程中出现的对比度、亮度并不均匀等问题。图像伽马变换可
以表示为公式(1)：

[0076] s＝crγ，r∈[0，1]           (1)

[0077] 请参阅图5和图6，图5示例了伽马变换曲线图，图6示例了图像像素点灰度值分布示意图。图5中γ＝1时图像的亮度和对比度不发生变化，即表示处于该该曲线上的iPSCs细
胞的图像像素点的亮度和对比度均衡，不会随拉伸或压缩变化；γ＜1会拉伸图像中灰度级
较低的区域，同时会压缩灰度级较高的部分，亮度增强，对比度降低；γ＞1会拉伸图像中灰
度级较高的区域，同时会压缩灰度级较低的部分，亮度降低，对比度增强，也就是说处于γ
＜1和γ＞1区域的iPSCs细胞的图像像素点的对比度和亮度存在不均衡现象，其对比度和
亮度会随拉伸和压缩操作而改变。因此，需要对处于γ＜1和γ＞1区域的iPSCs细胞的图像
像素点进行自适应伽马变换以使得处于γ＜1和γ＞1区域的iPSCs细胞的图像像素点的对
比度和亮度达到均衡。在实际应用中，菌落图像中每个图像像素点的分布如图6所示，基于
伽马变换曲线其分布区域主要集中在A、B、C、D区域，像素点灰度值集中分布在A、C区域时具
有较高的对比度和亮度，而B、D区域时对比度和亮度存在不均衡现象。因此，自适应伽马变
换就是将像素值分布集中在B和D区域的图像利用伽马变换映射到A和C区域实现图像增强。

[0078] 具体实施时，预先确定每个菌落图像上所有图像像素点的灰度值与预设灰度参考阈值的大小关系，若某图像像素点的灰度值大于所述预设灰度参考阈值即γ＞1，选取第一
伽马变换参数作为目标伽马变换参数通过图像伽马变换方法即公式(1)自动修正该图像像
素点的像素值；若某图像像素点的灰度值小于所述预设灰度参考阈值即γ＜1，选取第二伽
马变换参数作为目标伽马变换参数通过图像伽马变换方法即公式(1)自动修正该图像像素
点的像素值；若某图像像素点的灰度值等于所述预设灰度参考阈值，保持该图像像素点的
像素值不变。自动修正灰度值属于大于和小于所述预设灰度参考阈值的图像像素点，更正
为新的修正图像像素值，最终得到多孔菌落的多个修正图像。需要说明的是，第一伽马变换
参数和第二伽马变换参数不同。所述预设灰度参考阈值较佳为256*3/4。

[0079] 自适应伽马变换消除了低亮度、低对比度的图像，如图7‑图12所示，避免了极端数据对模型性能的影响。因此，通过使用自适应伽马变换实现图像质量的增强，改善图像的亮
度和对比度质量。

[0080] S30、增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量。

[0081] 在本申请实施例中，增强每个菌落的修正图像指的是通过图像变换操作对每个菌落的修正图像进行数据量扩充，使得图像变换操作后的每个质量等级对应的修正图像的数
据量均衡，比如相等或相近。菌落的质量等级可分为良好、中等以及差三个等级，良好质量
等级的菌落对应的形态为：iPSCs菌落扁平质地密集且均匀、高核质比、边缘清晰、细胞周围
呈白色光晕；中等质量等级的菌落对应的形态为：iPSCs菌落的部分形态良好、部分边缘清
晰、另外部分边缘模糊，细胞中间的白色裂缝不再密集，边缘可见部分细胞体积增大向外延
伸；差质量等级的菌落对应的形态为：iPSCs菌落的中心有空隙，细胞完全分化，边缘模糊，
分化细胞的轮廓和细胞核清晰。基于上述每个质量等级的形态分析确定每个修正图像的质
量等级。经试验观测，通常质量等级为良好的修正图像的数量远远少于质量等级为差的修
正图像的数量，因此，针对不同质量等级的修正图像采用对应的图像变化操作，从而使得质
量等级为良好的修正图像、质量等级为中等的修正图像以及质量等级为差的修正图像不同
程度增量且增量后的各质量等级的增强图像的数据量处于均衡，即达到相等或相近的程
度，这样，用以解决iPSCs菌落图像数据集存在样本不均衡情况，从而提升整体iPSCs菌落质
量评估性能。

[0082] 具体地，所述图像变换操作包括45°旋转、135°旋转、水平镜像、仿射变换中一种或多种。所述对不同质量等级的修正图像采用对应的图像变换操作，得到每个菌落的增强图
像具体包括：若某修正图像的质量等级为良好，则对该修正图像依次执行45°旋转、135°旋
转、水平镜像、仿射变换四种图像变换操作，得到第一增强图像；若某修正图像的质量等级
为中等，则对该修正图像依次执行45°旋转、135°旋转、水平镜像三种图像变换操作，得到第
二增强图像；若某修正图像的质量等级为差，则对该修正图像只执行一次仿射变换的图像
变换操作，得到第三增强图像。

[0083] 例如：对质量等级为良好的iPSCs菌落的每个修正图像执行45°旋转、135°旋转、水平镜像、仿射变换等，从而得到第一增强图像为如表1中16500张(3300×5，即原始图像和四
种变换后的图像；针对中等质量的iPSCs菌落的每个修正图像，执行45°旋转、水平镜像、仿
射变换，从而得到第二增强图像为如表1中15600张(即5200×3)；针对差质量的iPSCs菌落
的每个修正图像只执行一次仿射变换，因为差质量的iPSCs菌落的修正图像概率最大，因
此，仅需要执行一次图像变化操作即可达到均衡数量，最终得到第三增强图像为如表1中
14400张(及7200×2)。表1为数据集数据。

[0084]

[0085] 表1

[0086] S40、确定所述增强图像的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图。

[0087] 在本申请实施例中，第一方面：利用若干深度卷积神经网络提取每个增强图像的深度语义特征：

[0088] 具体实施时，本申请较佳采用三个DCNN模型(深度卷积神经网络模型)来提取深度语义特征：

[0089] 第一深度卷积神经网络为VGG‑16模型，该第一深度卷积神经网络模型使用3×3的小卷积核、ReLU激活函数和分段卷积方法捕捉每个增强图像中浅层细节信息，如灰度信息、
纹理信息等，得到第一一维特征向量，其长度为512。其中，每个卷积模块包含三个卷积层和
一个最大池化层。

[0090] 第二深度卷积神经网络为InceptionV3模型，其使用ReLU作为激活函数，利用并行卷积(多种不同尺寸的卷积核：卷积核大小分别为3×1、7×1、1×1、3×3等同时使用)更好
的捕捉每个增强图像中的局部细节特征，得到每个增强图像的第二一维特征向量，其长度
为2048。该第二深度卷积神经网络包括11个卷积模块。

[0091] 深度残差网络(deep residual network ResNet)利用残差结构来捕获每个增强图像的深度语义特征，得到第三一维特征向量，其长度为2048，并且该残差结构用于解决网
络退化问题。

[0092] 需要说明的是，上述三个DCNN网络采用全局平均池对特征图进行编码，替换掉通用DCNN网络中的全连接层和softmax层。

[0093] 第二方面：利用传统机器学习中的四个典型的特征描述符提取图像中的边缘、纹理、灰度等局部细节特征：

[0094] 所述传统机器学习中的特征描述符包括灰度共生矩阵(gray level  co‑occurrence matrix，GLCM)、局部二值模式(local binary pattern，LBP)、尺度不变特征转
换(scale invariant feature transform，SIFT)、方向梯度直方图(histogram of 
oriented gradient，HOG))，这些特征描述符可以有针对性的提取每个增强图像中的边界、
纹理等局部图像特征。其中，HOG特征可以很好的描述局部目标区域的细节特征。GLCM特征
可反映图像灰度像素间的方向、相邻间隔、变化幅度等综合信息。LBP特征可以描述图像的
局部纹理特征，具有旋转不变性和灰度不变性。SIFT特征对平移、旋转、尺度缩放、亮度变
化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。

[0095] 具体实施时，首先，通过设置局部目标区域的尺寸为64来提取HOG特征向量。然后，提取每个iPSCs菌落的增强图像的水平0°、垂直90°、45°和135°方向的DLCM特征来代表图像
中的像素间方向、相邻间隔、变化幅度等细节信息。其次，由于细胞具有旋转不变性，需要提
取图像的LBP特征。最后，利用SIFT描述符克服iPSCs菌落图像的亮度、对比度不均匀问题，
以此提取iPSCs菌落图像的SIFT特征。最终，分别提取了长度为1764、16、512的HOG、GLCM和
LBP，与包含4096个关键点的SIFT等纹理特征(这里对SIFT关键点特征不做编码处理，后期
直接利用PCA算法进行降维)。

[0096] 需要说明的是，HOG、DLCM、LBP和SIFT等特征描述符取代ML‑VGG‑16和ML‑InceptionV3网络更有针对性的提取iPSCs菌落的局部细节信息，进一步提高提取效率，提
升质量评估性能。

[0097] 接着，将每个增强图像的第一一维特征向量、第二一维特征向量、第三一维特征向量以及若干局部细节特征构成每个增强图像的多源特征。正因多源特征集成在获得丰富的
图像特征的同时也会包含更多冗余和噪声特征，导致特征维度过大，最终会影响分类器的
性能，因此，在多源特征融合前需要利用主成分分析算法即PCA算法降维处理、去冗余处理、
去噪声处理，从而提供模型的性能，提高处理效率，减少分离器错误分类概率。在多源特征
完成降维处理、去冗余处理、去噪声处理后进行融合，得到每个菌落的特征图，如图15所示。

[0098] 需要说明的是，上述PCA算法并非限制算法，只要是能用于数据降维、去冗余、去噪声功能的特征学习算法均可替代该PCA算法，例如：Relief算法。

[0099] S50、识别所述待测菌落的特征图，得到所述待测菌落的质量等级。

[0100] 在本申请实施例中，利用SVM分类器对待测菌落的特征图进行自动识别，确定待测菌落的质量等级为良好、中等以及差中一种。

[0101] 基线数据实验：

[0102] 本申请采用十折交叉验证方法进行实验，评估iPSCs菌落质量性能，该性能指标包括准确率(accuracy，Acc)、灵敏度(sensitivity，Sen)、精确率(precision，Pre)、特异性
(specificity，Spe)，ROC曲线下的面积(area under the receiver operating 
characteristic，AUC)，召回率(recall rate，RR)、F1评分(F1‑scores)。每个指标定义如下
公式(2)‑(8)：

[0103] Acc＝(TP+TN)/(TP+FP+TN+FN)       (2)

[0104] Sen＝TP/(TP+FN)                  (3)

[0105] Pre＝TP/(TP+FP)                   (4)

[0106] Spe＝TN/(TN+FP)                  (5)

[0107]

[0108] RR＝TP/(TP+FN)                   (7)

[0109] F1＝(2×Pre×RR)/(Pre+RR)            (8)

[0110] 其中，TP(true positive)、TN(true negative)、FP(false positive)和FN(false negative)分别为真阳性、真阴性、假阳性和假阴性的样本个数。∑ranki∑表示正数的序列
之和，M是正样本个数，N是负样本个数。

[0111] 实验三种DCNN特征和四种传统机器学习特征描述子的实验结果如表3所示，由于原始特征维度较高，分类器训练时的计算成本很高，训练时间消耗很大。因此，使用PCA算法
进行特征数据降维，特征维度与分类器的准确性的关系如图13所示；执行PCA降维后的特征
维度分别为：64、64、64、32、64、32和16，更加详细的实验结果见表4，多源特征融合对比实验
结果见表5，单独验证三种DCNN特征和四种传统机器学习特征描述符对分类性能的影响，实
验结果如表6和表7所示，表8示例了图像预处理和数据增强后的多源特征融合对比的实验
结果。

[0112] Methods Acc Pre Sen Spe F1 RR AUC DimResNet‑50 90.9 83.91 83.73 93.38 83.74 83.73 84.27 2048
InceptionV3 89.14 81.16 80.99 92.07 80.83 80.99 81.8 2048
VGG‑16 88.86 81.38 80.31 91.75 80.29 80.31 81.3 512
SIFT 64.52 43.63 43.15 71.67 43.07 43.15 51.08 4096
LBP 80.79 72.43 66.95 85.35 64.89 66.95 69.43 512
HOG 74.52 65.3 58.29 80.36 54.46 58.29 62.87 1764
GLCM 66.44 48.91 42.11 71.46 36.35 42.11 49.96 16

[0113] 表3

[0114] Methods Acc Pre Sen Spe F1 RR AUC DimResNet‑50 88.19 81.66 80.03 91.59 78.27 80.03 80.34 64
InceptionV3 87.65 80.66 77.37 90.74 77.1 77.37 78.33 64
VGG‑16 86.61 78.58 76.52 89.99 76.01 76.52 77.74 64
SIFT 73.17 61.88 49.01 75.83 46.93 49.01 54.66 32
LBP 80.62 67.46 65.9 84.8 66.32 65.9 68.85 64
HOG 69.44 51.18 46.27 71.13 45.44 46.27 52.1 32
GLCM 66.44 48.91 42.11 71.46 36.35 42.11 49.96 16

[0115] 表4

[0116] Methods AccMsFEL(our) 92.98
ResNet‑50+SVM(our) 88.19
InceptionV3+SVM(our) 87.65
VGG‑16+SVM 86.61
ResNet‑18(end to end) 86.88
ResNet‑34(end to end) 87.45
ResNet‑50(end to end) 87.77
VGG‑16(end to end) 45.86

[0117] 表5

[0118] Methods Acc Pre Sen Spe F1 RR AUCHGSL 87.75 79.95 79.29 90.54 79.27 79.29 81.24
HGSL‑V 91.86 85.9 85.98 93.97 85.85 85.7 86.72
HGSL‑I 92.02 86.29 86.25 94.08 86.18 86.25 87.03
HGSL‑R 92.83 87.47 87.41 94.73 87.35 87.41 88.31

[0119] 表6

[0120]Methods Acc Pre Sen Spe F1 RR AUC
RIV 86.71 82.24 76.22 90.45 73.11 76.22 76.5
RIV‑S 90.42 85.86 82.11 92.98 80.65 82.11 82.51
RIV‑L 89 81.64 80.09 91.98 78.91 80.09 80.68
RIV‑H 87.1 81.45 77.73 90.83 75.04 77.73 78.02
RIV‑G 90.5 83.38 83.02 93.02 83.06 83.02 83.65

[0121] 表7

[0122] Methods Acc Pre Sen Spe F1 RR AUC原始数据 92.98 87.71 87.73 94.84 87.7 87.73 88.28
图像预处理 91.59 85.25 85.27 93.84 85.17 93.89 85.27
数据增强 95.55 93.54 93.5 96.63 93.49 93.5 94.13

[0123] 表8

[0124] 从表3分析可知三种DCNN模型提取的特征对iPSCs分类有更好的表征能力。其中，深度残差网络ResNet‑50提取的特征获得了最高的分类准确性(90.90％)。

[0125] 从表4相比可知，使用PCA算法后虽然分类性能有所下降，但是特征维度极大地降低，加快了训练速度，节约了计算成本。

[0126] 从表5可知，MsFEL方法获得了最好的准确性(92.98％)，并且利用SVM作为分类器的DCNN模型提取的特征相比于端对端的DCNN模型的分类准确性都要更好。这说明SVM分类
器的性能优于DCNN模型中是softmax分类层，也反应了SVM执行分类任务的必要性和有效
性。同时，ResNet网络的准确性随着网络的深度略有增加但不明显，由于DCNN模型只是作为
特征提取器而不进行训练使得时间成本随着网络深度的增加差别不是很大。因此，在MsFEL
方法中选择ResNet‑50而非ResNet‑18网络来获得更抽象的深度语义特征。

[0127] 表6位DCNN特征对分类器性能的验证实验结果，从表6可知，加入DCNN特征会对分类器的性能有很大提升，但是三种特征对性能的影响差异不大。

[0128] 表7是传统机器学习特征描述符验证实验结果，从表7可知，添加SIFT、LBP和GLCM特征对iPSCs菌落质量评估的性能有较大提升。

[0129] 从图14可知，深度学习网络的特征性能获得提升，其他的只有LBP特征的性能发生下降，从表8可知，图像预处理和数据增强后采用多源特征集成学习方法将不同来源的特征
进行融合，最终模型获得了95.55％的最佳分类准确性。

[0130] 因此，本申请提出的多源特征学习模型无论是DCNN特征还是传统机器学习特征都对iPSCs菌落图像特征有良好的表征能力，有助于改进iPSCs菌落质量影像学自动评估的准
确性、且模型的鲁棒性和稳定性也相对较好。

[0131] 基于上述诱导多能干细胞菌落质量自动评估方法，本申请还提供一种诱导多能干细胞菌落质量自动评估装置，如图16所示，所述诱导多能干细胞菌落质量自动评估装置包
括图像修正模块1、图像增强模块2、图像多源特征提取模块3以及分类器4，图像修正模块1
获取待测菌落的菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正所述
菌落图像对应的图像像素点的灰度值，得到所述待测菌落的修正图像；图像增强模块2用于
增强所述待测菌落的修正图像，得到待测菌落的增强图像；其中，所述增强图像的数量大于
所述修正图像的数量；图像多源特征提取模块3用于确定所述增强图像的若干特征图并融
合所述增强图像的若干特征图，得到所述待测菌落的特征图；分类器4用于识别所述待测菌
落的特征图，得到所述待测菌落的质量等级；具体如上述诱导多能干细胞菌落质量自动评
估方法所述。

[0132] 当然，在本申请另一些实施例中，本申请的上述诱导多能干细胞菌落质量自动评估装置100还可以是包括处理器11和与所述处理器连接的存储器22，图17仅示出了装置100
的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更
少的组件。

[0133] 所述存储器22在一些实施例中可以是所述诱导多能干细胞菌落质量自动评估装置的内部存储单元，例如诱导多能干细胞菌落质量自动评估装置的内存。所述存储器22在
另一些实施例中也可以是所述诱导多能干细胞菌落质量自动评估装置的外部存储设备，例
如所述诱导多能干细胞菌落质量自动评估装置上配备的插接式U盘，智能存储卡(Smart 
Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，
所述存储器22还可以既包括所述诱导多能干细胞菌落质量自动评估装置的内部存储单元
也包括外部存储设备。所述存储器22用于存储安装于所述诱导多能干细胞菌落质量自动评
估装置的应用软件及各类数据，例如所述诱导多能干细胞菌落质量自动评估程序代码等。
所述存储器22还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储
器22上存储有诱导多能干细胞菌落质量自动评估程序，该诱导多能干细胞菌落质量自动评
估程序可被处理器11所执行，从而实现本申请中诱导多能干细胞菌落质量自动评估方法，
具体如上述方法所述。

[0134] 所述处理器11在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器，手机基带处理器或其他数据处理芯片，用于运行所述存储器22中存储的程
序代码或处理数据，例如执行所述诱导多能干细胞菌落质量自动评估方法等，具体如上述
方法所述。

[0135] 综上所述，本申请提供了一种诱导多能干细胞菌落质量自动评估方法及装置，所述诱导多能干细胞菌落质量自动评估方法包括以下步骤：采集待测菌落的菌落图像；其中，
所述待测菌落包括多个诱导多能干细胞，每个诱导多能干细胞对应菌落图像上一图像像素
点；获取所述菌落图像上每个图像像素点的灰度值，基于预设灰度参考阈值，修正每个图像
像素点的灰度值，得到所述待测菌落的修正图像；增强所述待测菌落的修正图像，得到待测
菌落的增强图像；其中，所述增强图像的数量大于所述修正图像的数量；确定所述增强图像
的若干特征图并融合所述增强图像的若干特征图，得到所述待测菌落的特征图；识别所述
待测菌落的特征图，得到所述待测菌落的质量等级。本申请通过自适应伽马变换进行图像
预处理，解决图像采集过程中由于客观原因导致的图像亮度、对比度不佳的问题，并且基于
iPSCs菌落的旋转不变性，利用图像旋转、镜像、仿射变换进行数据集扩增，且通过融合7种
不同来源的特征信息以获得更加全面的iPSCs菌落图像的特征值信息提高分类性能，提高
菌落质量评估准确性，并降维算法执行特征学习，节约了成本，便于推广应用。

[0136] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和
范围。