基于多模态成像技术的菌落生长状态检测装置及方法

摘要

本发明公开了一种基于多模态成像技术的菌落生长状态检测装置与方法，该装置包括：一白光光源、一相干激光光源与一荧光激发光源，作为三类光源在菌落样品斜上方分别进行照射供样品图像采集；一彩色相机、一高速相机与一冷却相机，作为三类相机，在菌落样品上方分别对三类光源各自照射下的菌落样品图像进行采集；一成像系统，包括成像镜头、分光片、滤光片与中继目镜，设置在菌落样品与相机之间，实现三类光源分别照射下的菌落样品图像与三类相机对应成像，且成像参数一致；外加一计算机，接收三路成像信号，完成图像融合处理。采用多模态光学成像与信息融合方法消除了培养基背景影响，提高了菌落计数精度，实现了菌落生长状态的全方面检测与判别。

权利要求

1.一种基于多模态成像技术的菌落生长状态检测装置，其特征在于，包括：一白光光源、一相干激光光源与一荧光激发光源，作为三类光源在菌落样品斜上方分别进行照射供样品图像采集；

一彩色相机、一高速相机与一冷却相机，作为三类相机，在菌落样品上方分别对所述三类光源各自照射下的菌落样品图像进行采集；

一成像系统，包括成像镜头、分光片、滤光片与中继目镜，设置在所述菌落样品与所述相机之间，实现所述三类光源分别照射下的菌落样品图像与所述三类相机对应成像，且成像参数一致；

外加一计算机，接收三类成像信号，完成图像融合处理；

其中，所述菌落生长状态检测装置用于采集并记录不同种类的工业菌落培养过程中的白光图像、动态散斑图像与荧光图像，以及实现所述三类图像经过图像采集装置编程数字信号进入计算机进行图像融合处理的过程，以便于实现将所述图像融合处理后的图像信号与专业人士判断结果进行比对，保存为训练集合，建立测量参数与菌落生长状态之间的拓扑关系，以及对在线测量结果带入所述训练集合，实现对菌落生长状态的判定。

2.根据权利要求1所述的基于多模态成像技术的菌落生长状态检测装置，其特征在于，所述白光光源、成像镜头与彩色相机构成数字图像采集装置，用来实时采集菌落生长过程中的白光图像。

3.根据权利要求1所述的基于多模态成像技术的菌落生长状态检测装置，其特征在于，所述相干激光光源、成像镜头与高速相机构成激光相干散斑成像装置，用来采集激光散斑图像。

4.根据权利要求1所述的基于多模态成像技术的菌落生长状态检测装置，其特征在于，所述荧光激发光源、成像镜头、滤光片与冷却相机构成荧光强度成像装置，用来采集荧光图像。

5.一种基于多模态成像技术的菌落生长状态检测方法，其特征在于，包括：步骤一：选择不同种类的常见工业菌落进行培养；

步骤二：利用权利要求1至4所述的菌落生长状态检测装置，采集并记录菌落培养过程中的白光图像、动态散斑图像与荧光图像；

步骤三：所述三类图像经过图像采集装置编程数字信号进入计算机进行图像融合处理；

步骤四：将所述图像融合处理后的图像信号与专业人士判断结果进行比对，保存为训练集合，建立测量参数与菌落生长状态之间的拓扑关系；

步骤五：对在线测量结果带入所述训练集合，实现对菌落生长状态的判定。

6.根据权利要求5所述的基于多模态成像技术的菌落生长状态检测方法，其特征在于，所述白光图像的采集与处理包括：对图片进行去噪声处理，利用高斯模板处理原始图像，提高图像信噪比；

采用膨胀腐蚀算法进行菌落特征提取，对不同生长时期得到单菌落中菌丝生长走向及长度，计算菌丝像素点数与总面积之比，得到菌落密度；

基于得到的菌丝生长特征图像，逐个像素点进行分析，得到链接像素点数量与总像素点数量之间比值，得到菌丝生长连接度；

比较不同时间下的菌落白光图像特征，所述图像特征包括形状特征和颜色特征，根据逐个像素强度，计算菌落特征变异性。

7.根据权利要求5所述的基于多模态成像技术的菌落生长状态检测方法，其特征在于，所述动态散斑图像处理包括：在获取菌落散射特性的基础上，采用基于模型参数谱估计方法计算测量到的散斑图像的动态散斑功率谱，获得菌落生长活性参数，其中，所述菌落散射特性包括菌落形态、折射率、散射结构、散射强度及角度分布。

8.根据权利要求5所述的基于多模态成像技术的菌落生长状态检测方法，其特征在于，所述荧光图像处理包括：菌落生长过程中代谢产生不同蛋白质，采用单色光激发，产生荧光信号，根据荧光信号波长判断菌落种类，根据荧光强度测量得到菌落生长活性，对荧光信号强度进行相关分析得到菌落代谢活性最大时间点，判断菌落生长状态。

9.根据权利要求5至8中任一所述的基于多模态成像技术的菌落生长状态检测方法，其特征在于，对所述白光图像、动态散斑图像以及荧光图像反应的菌落生长过程中不同状态参数，进一步采用多模态信息融合方法，将所述三种图像进行融合，综合定量评价菌落生长状态。

说明书

基于多模态成像技术的菌落生长状态检测装置及方法

技术领域

[0001] 本发明涉及光学检测领域，尤其涉及一种基于多模态成像技术的菌落生长状态检测装置及方法。

背景技术

[0002] 在食品药品安全领域，微生物是导致食品腐败变质、微生物毒素(致病菌、寄生虫)及传染病流行(肝炎病毒)的主要原因，由其引起的食源性疾病是我国食品安全的头号问题。在我国的食品卫生管理中，微生物指标分为菌落总数(细菌总数)、大肠菌群、霉菌、酵母菌与致病菌。菌落主要作为判定食品被微生物污染程度的标志，一方面可以通过观察菌落数量作为食品被污染程度的标志，这也在国家标准GB 4789.2-2010《食品安全国家标准食品微生物学检验菌落总数测定》中进行了相关规定；另一方面，也可以通过观察细菌在食品中繁殖的动态，以便对被检样品进行卫生学评价时提供依据。菌落总数超标或细菌繁殖过快，都能在一定程度上说明其产品的卫生状况达不到基本的卫生要求，将会破坏食品的营养成分，加速食品的腐败变质，使食品失去食用价值。消费者食用微生物超标严重的食品，很容易患痢疾等肠道疾病，可能引起呕吐、腹泻等症状，危害人体健康安全。

[0003] 菌落计数是微生物常规检验的一项最基本也是最重要的工作，目前主要采用培养基人工计数的方式进行，但是在菌落培养与人工计数过程中，以下各种因素均会给准确定量带来误差。

[0004] 蔓延生长与污染，直接妨碍计数或抑制标本中细菌的生长.影响计数结果的准确性。培养菌块均匀度不同造成菌落生长不均匀，分散度不同在一定程度上会造成菌落成链状生长，造成计数困难。样品中颗粒物杂质造成计数误差，样品中的固体颗粒有些其大小与形状和菌落极相似，在形状上难以区分，从而造成计数误差。菌落生长过慢，造成所需要的培养计数时间长。

[0005] 目前，食品药品安全检测等领域，对菌落计数以及生长状态的监测已经从人工、半人工向自动化、智能化等方向发展。这就要求在线检测方法具有高分辨率，快速动态，多模态等优点，从而实现菌落检测技术的智能化与信息化。

发明内容

[0006] 由于需要检测的菌落品种多，生长过程差异较大，为了提高检测效率与精度，需要一种可以同时获取多种参数的检测方法。本发明针对这些问题，提供了一种基于多模态成像技术的菌落生长状态检测装置及方法，采用光学检测技术，达到检测过程精度高，无损伤，速度快等效果。

[0007] 对于活体菌落而言，其生长过程中菌落部分形状会发生变化，可以通过采集图像特征获取其生长状态，并利用图像处理算法对菌落进行计数处理。而在菌落生长过程中，其散射结构以及折射率会发生一定变化，相干激光入射后，不同方向及散射角度光在空间形成散斑干涉的现象，散射结构及折射率发生变化时，会引起散斑图像频率及强度的起伏被平均，通过一定的处理，可以对其生长过程进行定量分析。在菌落生长过程中会生成各种蛋白质，在一定波长和强度的光照射下，会产生荧光，并且在其生长过程中，荧光强度会随着其中产生的具有荧光效应的蛋白质的数量发生变化，因此，同对荧光强度变化进行统计也可以得到菌落生长状态。

[0008] 本发明提供了一种基于多模态成像技术的菌落生长状态检测装置及方法，技术方案如下：

[0009] 基于多模态成像技术的菌落生长状态检测装置包括：

[0010] 一白光光源、一相干激光光源与一荧光激发光源，作为三类光源在菌落样品斜上方分别进行照射供样品图像采集；

[0011] 一彩色相机、一高速相机与一冷却相机，作为三类相机，在菌落样品上方分别对三类光源各自照射下的菌落样品图像进行采集；

[0012] 一成像系统，包括成像镜头、分光片、滤光片与中继目镜，设置在菌落样品与相机之间，实现三类光源分别照射下的菌落样品图像与三类相机对应成像，且成像参数一致；

[0013] 外加一计算机，接收三类成像信号，完成图像融合处理。

[0014] 进一步的，白光光源、成像镜头与彩色相机构成数字图像采集装置，用来实时采集菌落生长过程中的白光图像。

[0015] 进一步的，相干激光光源、成像镜头与高速相机构成激光相干散斑成像装置，用来采集激光散斑图像。

[0016] 进一步的，荧光激发光源、成像镜头、滤光片与冷却相机构成荧光强度成像装置，用来采集荧光图像。

[0017] 本发明还提供了基于多模态成像技术的菌落生长状态检测方法，包括：

[0018] 步骤一：选择不同种类的常见工业菌落进行培养；

[0019] 步骤二：利用菌落生长状态检测装置，采集并记录菌落培养过程中的白光图像、动态散斑图像与荧光图像；

[0020] 步骤三：白光图像、动态散斑图像与荧光图像经过图像采集装置编程数字信号进入计算机进行图像融合处理；

[0021] 步骤四：将经过图像融合处理后的图像信号与专业人士判断结果进行比对，保存为训练集合，建立测量参数与菌落生长状态之间的拓扑关系；

[0022] 步骤五：对在线测量结果带入训练集合，实现对菌落生长状态的判定。

[0023] 进一步的，白光图像的采集与处理包括：

[0024] 对图片进行去噪声处理，利用高斯模板处理原始图像，提高图像信噪比；

[0025] 采用膨胀腐蚀算法进行菌落特征提取，对不同生长时期得到单菌落中菌丝生长走向及长度，计算菌丝像素点数与总面积之比，得到菌落密度；

[0026] 基于得到的菌丝生长特征图像，逐个像素点进行分析，得到链接像素点数量与总像素点数量之间比值，得到菌丝生长连接度；

[0027] 比较不同时间下的菌落白光图像特征，该图像特征包括形状特征和颜色特征，根据逐个像素强度，计算菌落特征变异性。

[0028] 进一步的，动态散斑图像处理包括：

[0029] 在获取菌落散射特性的基础上，采用基于模型参数谱估计方法计算测量到的散斑图像的动态散斑功率谱，获得菌落生长活性参数，其中，菌落散射特性包括菌落形态、折射率、散射结构、散射强度及角度分布。

[0030] 进一步的，荧光图像处理包括：

[0031] 菌落生长过程中代谢产生不同蛋白质，采用单色光激发，产生荧光信号，根据荧光信号波长判断菌落种类，根据荧光强度测量得到菌落生长活性，对荧光信号强度进行相关分析得到菌落代谢活性最大时间点，判断菌落生长状态。

[0032] 进一步的，对白光图像、动态散斑图像以及荧光图像反应的菌落生长过程中的不同状态参数，进一步采用多模态信息融合方法，将上述三种图像进行融合，综合定量评价菌落生长状态。

[0033] 本发明采用多模态光学成像方法对菌落培养生长状态进行监测，可以有效消除培养基背景影响，提高菌落计数精度；

[0034] 采用多模态测量方法，不仅可以实现菌落技术，并且可以根据动态散斑检测菌落生长活性；

[0035] 采用荧光检测方法可以检测菌落生长过程中产生的特异性蛋白，同时根据蛋白特征荧光判断菌落类型，并且根据菌落荧光相关信号得到其生长状态；

[0036] 采用多模态信息融合的方法可以对菌落生长状态进行全方面的检测与判别。

附图说明

[0037] 图1是本发明实施例基于多模态成像技术的菌落生长状态检测装置示意图；

[0038] 图2是本发明实施例中计算动态散斑功率谱的算法流程图；

[0039] 图3是本发明实施例基于多模态成像技术的菌落生长状态的检测方法流程图。

具体实施方式

[0040] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

[0041] 本发明实施例提供了一种基于多模态成像技术的菌落生长状态检测装置，其中，请参照图1，该装置包括：

[0042] 一白光光源1、一相干激光光源2与一荧光激发光源3，作为三类光源在菌落样品斜上方分别进行照射供样品图像采集；

[0043] 一彩色相机、一高速相机与一冷却相机，作为三类相机，在菌落样品上方分别对在三类光源各自照射下的菌落样品图像进行采集；

[0044] 一成像系统，包括成像镜头、分光片、滤光片与中继目镜，设置在所述菌落样品与所述相机之间，实现所述三类光源分别照射下的菌落样品图像与所述三类相机对应成像，且成像参数一致；

[0045] 外加一计算机，接收三类成像信号，完成图像融合处理。

[0046] 进一步的，白光光源、成像镜头与彩色相机构成数字图像采集装置，用来实时采集菌落生长过程中的白光图像；

[0047] 本实施例中，数字图像采集装置：主要包括白光光源1，成像镜头与彩色相机，可实时采集菌落生长过程中的彩色图像。

[0048] 进一步的，相干激光光源、成像镜头与高速相机构成激光相干散斑成像装置，用来采集激光散斑图像；

[0049] 本实施例中，激光相干散斑成像装置：主要包括相干激光光源2，成像镜头与高速相机，主要功能是实现激光相干散斑图像的采集。

[0050] 进一步的，荧光激发光源、成像镜头、滤光片与冷却相机构成荧光强度成像装置，用来采集荧光图像；

[0051] 本实施例中，荧光强度成像装置：主要包括荧光激发光源3，成像镜头，滤光轮与高灵敏度冷却相机，主要功能是实现激发荧光信号采集。

[0052] 本发明实施例还提供了一种基于多模态成像技术的菌落生长状态检测方法，请参见图3，包括：

[0053] 步骤一：选择不同种类的常见工业菌落进行培养；

[0054] 步骤二：利用菌落生长状态检测装置，采集并记录菌落培养过程中的白光图像、动态散斑图像与荧光图像；

[0055] 步骤三：白光图像、动态散斑图像与荧光图像经过图像采集装置编程数字信号进入计算机进行图像融合处理；

[0056] 步骤四：将经过图像融合处理后的图像信号与专业人士判断结果进行比对，保存为训练集合，建立测量参数与菌落生长状态之间的拓扑关系；

[0057] 步骤五：对在线测量结果带入训练集合，实现对菌落生长状态的判定。

[0058] 进一步的，白光图像的采集与处理包括：

[0059] 对图片进行去噪声处理，利用高斯模板处理原始图像，提高图像信噪比；

[0060] 采用膨胀腐蚀算法进行菌落特征提取，对不同生长时期得到单菌落中菌丝生长走向及长度，计算菌丝像素点数与总面积之比，得到菌落密度；

[0061] 基于得到的菌丝生长特征图像，逐个像素点进行分析，得到链接像素点数量与总像素点数量之间比值，得到菌丝生长连接度；

[0062] 比较不同时间下的菌落白光图像特征，该图像特征包括形状特征和颜色特征，根据逐个像素强度，计算菌落特征变异性。

[0063] 本实施例中，菌落生长状态彩色图像处理方法包括：

[0064] 对于菌落彩色图像的处理，根据不同菌种生长特性，对采集到的白光图像进行处理，提取图像特征，包括形状特征及颜色特征，并计算菌落面积，连接度，并比较一段时间内形状变异度。

[0065] 针对叶片脉络密度特征的提取采用数字图像处理方式，首先对图片进行去噪声处理，利用高斯模板处理原始图像，提高图像信噪比；然后采用膨胀腐蚀算法对菌落形状特征进行提取，然后分别对不同生长时期得到单菌落中菌丝生长走向以及长度，计算菌丝像素点数与总面积之比，得到菌落密度；菌丝生长连接度的计算是基于得到的菌丝生长特征图像，逐个像素点进行分析，得到链接像素点数量与总像素点数量之间比值，得到菌丝生长连接度，分别比较一段时间内的菌落白光图像特征，根据逐个像素强度，计算菌落特征变异性。

[0066] 进一步的，动态散斑图像处理包括：

[0067] 在获取菌落散射特性的基础上，采用基于模型参数谱估计方法计算测量到的散斑图像的动态散斑功率谱，获得菌落生长活性参数，其中，菌落散射特性包括菌落形态、折射率、散射结构、散射强度及角度分布。

[0068] 本实施例中，菌落生长状态的动态散斑图像处理方法包括：

[0069] 利用基于参数估计的动态散斑处理方法对测量到的散斑图像进行分析，可以得到动态散斑信号，并以此为依据对菌落生长状态进行定量分析。动态散斑信号由菌落生长过程中的散射结构及折射率变化引起，相干散斑信号在空间及时间上的强度起伏与频率变化反映了菌落生长活性。可以利用采集到的散斑图像在对于分布功率谱密度函数来衡量激光散斑信号的变化频率及强度。本发明中利用图1装置得到的动态散斑图像可以表示为矩阵形式，并且考虑到测量过程中的噪声可以表示为

[0070] Y＝HC+n，

[0071] 其中Y为测量信号，H为动态散射函数，C为代表不同流速体积分数，n代表测量中存在的噪声，并且信号与噪声是相互独立的。

[0072] 在本发明中动态散射函数主要与菌落形态，折射率以及散射结构大小有关，采用Mie散射方法可以根据菌落白光图像显示的菌丝几何形状提取其散射结构，获取其散射强度及角度分布等信息。本发明中在获取菌落散射特性的基础上，利用最优化等数学方法，以递归迭代的方式对激光相干散斑信号进行处理，得到动态散斑信号的功率谱估计，其原理如下：

[0073] 首先将k个频率的噪声和干扰的协方差矩阵表示为：

[0074]

[0075] 信号样本的协方差矩阵表示为：

[0076]

[0077] 在测量值与动态散射函数已知的情况下，关于x的估计可以由加权最小二乘准则给出：

[0078]

[0079] 其算法流程请参照图2。

[0080] 进一步的，荧光图像处理包括：

[0081] 菌落生长过程中代谢产生不同蛋白质，采用单色光激发，产生荧光信号，根据荧光信号波长判断菌落种类，根据荧光强度测量得到菌落生长活性，对荧光信号强度进行相关分析得到菌落代谢活性最大时间点，判断菌落生长状态。

[0082] 本实施例中，菌落生长状态的荧光图像处理方法包括：

[0083] 菌落生长过程中代谢产生不同蛋白质，这些蛋白质会表现出一定的荧光特性，在本发明中采用在一定波长(紫外波段)的单色光照射菌落样品，同时在图像采集中采用窄带滤光片，去掉激发光对于采集到的荧光图像的影响。不同菌落产生的荧光波长特性不同，菌落生长过程产生的荧光信号强度与其产生蛋白质浓度相关，当菌落代谢活性发生改变时，荧光信号强度也会产生一定的起伏，假设一段时间内菌落荧光信号强度可以表示为x(n)，利用相关分析可以得到菌落代谢活性最大时间点，从而对菌落生长状态进行判断，自相关分析公式可以表示为：

[0084]

[0085] 根据计算得到的荧光强度自相关函数，可以根据自相关函数极大值判断菌落生长状态最活跃的时间点。

[0086] 进一步的，对白光图像、动态散斑图像以及荧光图像反应的菌落生长过程中的不同状态参数，进一步采用多模态信息融合方法，将上述三种图像进行融合，综合定量评价菌落生长状态。

[0087] 本实施例中，图像融合与状态监测方法包括：

[0088] 本发明中利用多模态光学成像系统及相应处理方法得到的白光图像，动态散斑图像以及荧光图像可以反应菌落生长过程中的不同状态参数。在本发明中，进一步采用多模态信息融合方法，将各种不同方法测量到的图像进行融合，从而能够综合定量评价菌落生长状态。

[0089] 本实施例中，选择不同种类的常见工业菌落进行培养，利用本发明中的多模态成像装置与方法，获取不同时期菌落图像，进行信息融合处理后，与专业人士判断结果进行比对，并保存为训练集合，建立测量参数与菌落生长状态之间的拓扑关系；然后对在线测量结果带入所建立的分类拟合模型，从而实现对菌落生长状态进行判定。

[0090] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。