本发明公开一种三维电子显微镜细胞核内物质分析方法。该方法通过获取被观测细胞核的切片图像序列，采用基于深度学习的图像分割方法，对切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果，根据核仁分割结果，计算核仁的三维体积，根据核仁分割结果和核膜分割结果，计算核膜、核仁的最小距离，根据核仁分割结果和核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果，根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度，实现了高分辨率三维电子显微镜细胞核图像序列的定量分析，可自动提取各项参数指标，为生命科学和临床医学等方面的研究提供信息支持。
1.一种三维电子显微镜细胞核内物质分析方法，其特征在于，包括：获取被观测细胞核的切片图像序列；
采用基于深度学习的图像分割方法，对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果；
根据所述核仁分割结果和所述核膜分割结果，计算核膜、核仁的最小距离；
根据所述核仁分割结果和所述核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果；
根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度；
其中，采用基于深度学习的图像分割方法，对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果，包括：将所述切片图像序列的图像缩放为固定大小，并对图像进行90度，180度和270度的随机旋转，以扩充样本数量；
利用人工标注的像素级核膜、核仁样本，对U‑Net网络的参数进行训练，得到分割网络模型；
根据所述分割网络模型对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果；
根据所述核仁分割结果和所述核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果，包括：利用核膜分割结果得到的核膜位置信息，对图像当中的核膜内部区域进行提取，仅保留核膜以内区域；
对提取的区域进行图像增强处理，然后进行阈值分割，根据第一阈值得到异染色质的分割结果，根据第二阈值得到常染色质的分割结果。
2.如权利要求1所述的三维电子显微镜细胞核内物质分析方法，其特征在于，利用人工标注的像素级核膜、核仁样本，对U‑Net网络的参数进行训练，得到分割网络模型，还包括：采用焦点损失作为训练网络的损失函数L：
其中，α，γ为平衡因子，分别用于平衡正负样本和难以区分的样本，pt表示为所属类别的概率值。
3.如权利要求1所述的三维电子显微镜细胞核内物质分析方法，其特征在于，根据所述核仁分割结果，计算核仁的三维体积，包括：判断所述核仁分割结果中是否仅有一个核仁；
利用轮廓搜索算法得到核仁的轮廓，通过循环遍历，统计轮廓内的像素点数，结合电子显微镜的像素分辨率，得到核仁面积；
统计每一切片中核仁面积，结合切片厚度信息得到核仁的三维体积。
4.如权利要求1所述的三维电子显微镜细胞核内物质分析方法，其特征在于，根据所述核仁分割结果和所述核膜分割结果，计算核膜、核仁的最小距离，包括：根据核仁分割结果，计算切片图像中核仁的二维质心坐标(xc,yc)；
根据切片图像的编号和固定的生成间距，得到核仁的z坐标，至此得到核仁在空间中的三维坐标C(xc,yc,zc)；
根据核膜分割结果，利用轮廓搜索算法得到核膜的轮廓，并获得核膜三维空间坐标B(xbi,ybi,zbi)；
D＝min{distance((xc，yc，zc)，B(xbi，ybi，zbi))}(i＝1：n)；
5.如权利要求4所述的三维电子显微镜细胞核内物质分析方法，其特征在于，所述方法还包括：用核膜、核仁的最小距离除以细胞核的平均体积，得到相对距离。
6.如权利要求1所述的三维电子显微镜细胞核内物质分析方法，其特征在于，对提取的区域进行图像增强处理，然后进行阈值分割，根据第一阈值得到异染色质的分割结果，根据第二阈值得到常染色质的分割结果包括：选择第一阈值对图像当中较暗的区域进行提取，提取图像当中的各个完整连通域，再对提取的各个完整连通域分别进行连通域分析，分别计算连通域的面积、长宽比用以对异染色质进行筛选，仅保留满足筛选条件的连通域，其余连通域置零，最终得到异染色质的分割结果；若分割结果有核仁，则再将异染色质的分割结果与核仁的分割结果进行异或运算，以去除核仁区域；
对提取的区域进行图像增强处理，然后进行阈值分割；选择第二阈值对图像当中稍暗的区域进行提取，第二阈值大于第一阈值；再对提取的各个区域进行连通域分析，同样利用连通域的面积去除过大或过小的连通域，利用长宽比去除由于拍摄过程中引入的明显噪声，最后将筛选后的结果与异染色质的分割结果进行异或运算，以去除当中可能掺杂的易染色质和核仁区域，最终得到常染色质的分割结果。
7.如权利要求6所述的三维电子显微镜细胞核内物质分析方法，其特征在于，根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度，包括：计算全局图像染色质体积浓度和核膜边界缩进染色质体积浓度。
8.如权利要求7所述的三维电子显微镜细胞核内物质分析方法，其特征在于，计算全局图像染色质体积浓度，包括：将图像补、切为1000x1000的分辨率，然后在水平和垂直方向各分成10等份，获得100个边长为100x100的矩形区域；
分别对每个区域当中的常染色质、异染色质求取面积值；
将该面积值除以10000作为该矩形区域的CCV值；如此依次计算100个矩形即得到全局图像的CCV，再进一步绘制热力图。
9.如权利要求7所述的三维电子显微镜细胞核内物质分析方法，其特征在于，计算核膜边界缩进染色质体积浓度，包括：采用Canny算子获取核膜的轮廓；
按照固定的步长沿核膜内边界向内缩小，得到数个环状区域；
分别对每个环状区域当中的常染色质、异染色质求取面积值；
将该面积值除以对应环状区域的面积作为该环状区域的CCV值，如此依次计算各个环形区域内的CCV直至边界无法缩小为止。
三维电子显微镜细胞核内物质分析方法
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种三维电子显微镜细胞核内物质分析方法。
背景技术
[0002] 细胞核大多呈球形或椭圆形，借双层多孔的核膜与细胞质分隔。核内含有核液、染色质(或染色体)和核仁等物质。细胞核是真核细胞内最大、最重要的细胞结构，是胞内遗传信息的储存、复制和转录的主要场所，发挥着细胞遗传与代谢调控中心的作用。因此，对细胞核内物质的高分辨率观测和分析对生命科学和临床医学等领域的研究都有重要的意义。
[0003] 随着高分辨率电子显微镜的出现，在纳米级尺度上观测细胞核内物质成为了可能。然而，目前获取细胞核内物质分布的三维结构，以及对核内物质进行定量和分析的方法仍非常困难。因此有必要提供一种三维电子显微镜细胞核内物质分析方法，以解决上述问题。
发明内容
[0004] 本发明的目的在于针对现有技术的不足之处，提供一种三维电子显微镜细胞核内物质分析方法，以解决目前获取细胞核内物质分布的三维结构，以及对核内物质进行定量和分析的方法仍非常困难的问题。
[0005] 本发明提供一种三维电子显微镜细胞核内物质分析方法，包括：
[0006] 获取被观测细胞核的切片图像序列；
[0007] 采用基于深度学习的图像分割方法，对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果；
[0008] 根据所述核仁分割结果，计算核仁的三维体积；
[0009] 根据所述核仁分割结果和所述核膜分割结果，计算核膜、核仁的最小距离；
[0010] 根据所述核仁分割结果和所述核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果；
[0011] 根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度。
[0012] 进一步地，采用基于深度学习的图像分割方法，对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果，包括：
[0013] 将所述切片图像序列的图像缩放为固定大小，并对图像进行90度，180度和270度的随机旋转，以扩充样本数量；
[0014] 利用人工标注的像素级核膜、核仁样本，对U‑Net网络的参数进行训练，得到分割网络模型；
[0015] 根据所述分割网络模型对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果。
[0016] 进一步地，利用人工标注的像素级核膜、核仁样本，对U‑Net网络的参数进行训练，得到分割网络模型，还包括：
[0017] 采用焦点损失作为训练网络的损失函数L：
[0018] L=‑α(1‑pt)γlog(pt)；
[0019] 其中，α，γ为平衡因子，分别用于平衡正负样本和难以区分的样本，pt表示为所属类别的概率值。
[0020] 进一步地，根据所述核仁分割结果，计算核仁的三维体积，包括：
[0021] 判断所述核仁分割结果中是否仅有一个核仁；
[0022] 如果存在多个核仁，则仅保留一个；
[0023] 利用轮廓搜索算法得到核仁的轮廓，通过循环遍历，统计轮廓内的像素点数，结合电子显微镜的像素分辨率，得到核仁面积；
[0024] 统计每一切片中核仁面积，结合切片厚度信息得到核仁的三维体积。
[0025] 进一步地，根据所述核仁分割结果和所述核膜分割结果，计算核膜、核仁的最小距离，包括：
[0026] 根据核仁分割结果，计算切片图像中核仁的二维质心坐标（xc,yc）；
[0027] 根据切片图像的编号和固定的生成间距，得到核仁的z坐标，至此得到核仁在空间中的三维坐标C（xc,yc,zc)；
[0028] 根据核膜分割结果，利用轮廓搜索算法得到核膜的轮廓，并获得核膜三维空间坐标B（xbi,ybi,zbi)；
[0029] 求核膜、核仁的最小距离之间的最小欧氏距离：
[0030] 。
[0031] 进一步地，所述方法还包括：
[0032] 用核膜、核仁的最小距离除以细胞核的平均体积，得到相对距离。
[0033] 进一步地，根据所述核仁分割结果和所述核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果，包括：
[0034] 利用核膜分割结果得到的核膜位置信息，对图像当中的核膜内部区域进行提取，仅保留核膜以内区域；
[0035] 对提取的区域进行图像增强处理，然后进行阈值分割；选择第一阈值对图像当中较暗的区域进行提取，提取图像当中的各个完整连通域，再对提取的各个完整连通域分别进行连通域分析，分别计算连通域的面积、长宽比用以对异染色质进行筛选，仅保留满足筛选条件的连通域，其余连通域置零，最终得到异染色质的分割结果；若分割结果有核仁，则再将异染色质的分割结果与核仁的分割结果进行异或运算，以去除核仁区域；
[0036] 对提取的区域进行图像增强处理，然后进行阈值分割；选择第二阈值对图像当中稍暗的区域进行提取，第二阈值大于第一阈值；再对提取的各个区域进行连通域分析，同样利用连通域的面积去除过大或过小的连通域，利用长宽比去除由于拍摄过程中引入的明显噪声，最后将筛选后的结果与异染色质的分割结果进行异或运算，以去除当中可能掺杂的易染色质和核仁区域，最终得到常染色质的分割结果。
[0037] 进一步地，根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度，包括：
[0038] 计算全局图像染色质体积浓度和核膜边界缩进染色质体积浓度。
[0039] 进一步地，计算全局图像染色质体积浓度，包括：
[0040] 将图像补、切为1000x1000的分辨率，然后在水平和垂直方向各分成10等份，获得100个边长为100x100的正方形区域；
[0041] 分别对每个区域当中的常染色质、异染色质求取面积值；
[0042] 将该面积值除以10000作为该矩形区域的CCV值；如此依次计算100个矩形即得到全局图像的CCV，再进一步绘制热力图。
[0043] 进一步地，计算核膜边界缩进染色质体积浓度，包括：
[0044] 采用Canny算子获取核膜的轮廓；
[0045] 按照固定的步长沿核膜内边界向内缩小，得到数个环状区域；
[0046] 分别对每个环状区域当中的常染色质、异染色质求取面积值；
[0047] 将该面积值除以对应环状区域的面积作为该环状区域的CCV值，如此依次计算各个环形区域内的CCV直至边界无法缩小为止。
[0048] 本发明的有益效果如下：本发明的三维电子显微镜细胞核内物质分析方法，通过获取被观测细胞核的切片图像序列，采用基于深度学习的图像分割方法，对切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果，根据核仁分割结果，计算核仁的三维体积，根据核仁分割结果和核膜分割结果，计算核膜、核仁的最小距离，根据核仁分割结果和核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果，根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度，实现了高分辨率三维电子显微镜细胞核图像序列的定量分析，可自动提取各项参数指标，为生命科学和临床医学等方面的研究提供信息支持。
附图说明
[0049] 图1示出了电子显微镜细胞核切片图像序列。
[0050] 图2示出了细胞核三维结构示意图。
[0051] 图3示出了某一细胞核的电子显微镜图像。
[0052] 图4示出了细胞核分割结果图像。
[0053] 图5示出了染色质及核仁分割结果图像。
[0054] 图6示出了核膜边界缩进CCV计算方式的示意图。
[0055] 图7示出了本专利所提三维电子显微镜细胞核内物质分析方法的整体流程图。
具体实施方式
[0056] 下述非限制性实施例可以使本领域的普通技术人员更全面地理解本发明，但不以任何方式限制本发明，有必要指出的是以下实施例不能理解为对本发明保护范围的限制，如果该领域的技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明保护范围。
[0057] 请结合图1，本发明提供一种三维电子显微镜细胞核内物质分析方法，包括如下步骤：
[0058] 步骤一、获取被观测细胞核的切片图像序列。
[0059] 具体地，可通过自动设备以固定厚度将细胞样本切片，通过高分辨率电子显微镜采集细胞切片图像，得到切片图像序列。
[0060] 步骤二、采用基于深度学习的图像分割方法，对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果。
[0061] 具体地，将所述切片图像序列的图像缩放为固定大小，并对图像进行90度，180度和270度的随机旋转，以扩充样本数量；U‑Net网络由特征编码器、特征解码器和（Skip connection）结构组成。将编码器得到的5个特征图（feature maps）输入到解码器中，以从高级的语义特征得到核膜、核仁分割图。解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致。在此过程中采用跳跃连接（Skip Connection）结构将低级的语义信息和高级的特征信息相融合，以保留低级的语义信息。
[0062] 利用人工标注的像素级核膜、核仁样本，对U‑Net网络的参数进行训练，得到分割网络模型；根据所述分割网络模型对所述切片图像序列中的核膜、核仁进行分割，得到核仁分割结果和核膜分割结果。采用焦点损失作为训练网络的损失函数L：
[0063] L=‑α(1‑pt)γlog(pt)；
[0064] 其中，α，γ为平衡因子，分别用于平衡正负样本和难以区分的样本，pt表示为所属类别的概率值。在具体的实施中，设置α为1，γ为3。pt表示为所属类别的概率值。
[0065] 步骤三、根据所述核仁分割结果，计算核仁的三维体积。
[0066] 具体地，判断所述核仁分割结果中是否仅有一个核仁；如果存在多个核仁，则仅保留一个；利用轮廓搜索算法得到核仁的轮廓，通过循环遍历，统计轮廓内的像素点数，结合电子显微镜的像素分辨率，得到核仁面积；统计每一切片中核仁面积，结合切片厚度信息得到核仁的三维体积。
[0067] 步骤四、根据所述核仁分割结果和所述核膜分割结果，计算核膜、核仁的最小距离。
[0068] 具体地，根据核仁分割结果，计算切片图像中核仁的二维质心坐标（xc,yc）；根据切片图像的编号和固定的生成间距，得到核仁的z坐标，至此得到核仁在空间中的三维坐标C（xc,yc,zc)；根据核膜分割结果，利用轮廓搜索算法得到核膜的轮廓，并获得核膜三维空间坐标B（xbi,ybi,zbi)；求核膜、核仁的最小距离之间的最小欧氏距离：
[0069] 。
[0070] 用核膜、核仁的最小距离除以细胞核的平均体积，得到相对距离。
[0071] 步骤五、根据所述核仁分割结果和所述核膜分割结果，进行染色质分割，得到异染色质的分割结果和常染色质的分割结果。
[0072] 染色质分割的主要步骤包括区域筛选，阈值分割和连通域分析。
[0073] 具体地，利用核膜分割结果得到的核膜位置信息，对图像当中的核膜内部区域进行提取，仅保留核膜以内区域，即：将核膜分割图像与原始图像进行“与”运算。
[0074] 对提取的区域进行图像增强处理，然后进行阈值分割；选择第一阈值对图像当中较暗的区域进行提取。第一阈值可通过多轮分割实验验证后由经验选择。
[0075] 提取图像当中的各个完整连通域，再对提取的各个完整连通域分别进行连通域分析，分别计算连通域的面积（去除过小的连通域（area <100））、长宽比（去除由于拍摄过程中引入的明显噪声（Aspect ratio >400））用以对异染色质进行筛选，仅保留满足筛选条件的连通域，其余连通域置零，最终得到异染色质的分割结果；若分割结果有核仁，则再将异染色质的分割结果与核仁的分割结果进行异或运算，以去除核仁区域。
[0076] 对提取的区域进行图像增强处理，然后进行阈值分割；选择第二阈值对图像当中稍暗的区域进行提取，第二阈值大于第一阈值；再对提取的各个区域进行连通域分析，同样利用连通域的面积去除过大或过小的连通域（area<20 or area>2000），利用长宽比去除由于拍摄过程中引入的明显噪声（Aspect ratio>400），最后将筛选后的结果与异染色质的分割结果进行异或运算，以去除当中可能掺杂的易染色质和核仁区域，最终得到常染色质的分割结果。
[0077] 步骤六、根据异染色质的分割结果和常染色质的分割结果，计算染色质体积浓度。
[0078] 具体地，计算全局图像染色质体积浓度和核膜边界缩进染色质体积浓度。染色质体积浓度即CCV。
[0079] 计算全局图像染色质体积浓度，包括：将图像补、切为1000x1000的分辨率，然后在水平和垂直方向各分成10等份，获得100个边长为100x100的正方形区域；分别对每个区域当中的常染色质、异染色质求取面积值（即计算其中连通域的面积）；将该面积值除以10000作为该矩形区域的CCV值；如此依次计算100个矩形即得到全局图像的CCV，再进一步绘制热力图。
[0080] 计算核膜边界缩进染色质体积浓度，包括：采用Canny算子获取核膜的轮廓；按照固定的步长沿核膜内边界向内缩小，得到数个环状区域；分别对每个环状区域当中的常染色质、异染色质求取面积值（即计算其中连通域的面积）；将该面积值除以对应环状区域的面积作为该环状区域的CCV值，如此依次计算各个环形区域内的CCV直至边界无法缩小为止。实施例
[0081] 实施例采用本发明所提出的方法对小鼠的胰岛β细胞进行分析。以50nm厚度对样本进行切片，每个样本得到450张左右图像。图1示出了本实施例中获得的细胞核切片图像序列。
[0082] 利用所提深度学习模型对细胞核膜/核仁进行自动分割，利用图像处理方法对染色质进行分割。图2所示细胞核三维结构示意图，核内球体为核仁。图3和图4所示分别为某一细胞核的电子显微镜图像及细胞核内的部分图像。图5所示为染色质及核仁分割结果图像。
[0083] 然后，基于所提方法对样本细胞核及核内物质开展分析。所测样本集细胞核平均3 3
体积为170um ,核仁、核膜相对距离为6.2（nm/um），图6为所提核膜边界缩进CCV计算方式及分析结果的示意图。
[0084] 综上，本发明的三维电子显微镜细胞核内物质分析方法的整体流程如图7所示。本发明通过切片观测细胞核的三维结构，通过图像处理和人工智能算法自动提取细胞核内的物质信息，较好地解决了目前细胞核内物质结构定量分析的难题。
[0085] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
