一种环境洁净度检测的图像处理方法转让专利

申请号 : CN201710438427.3

文献号 : CN107341790B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 黄文恺吴羽李奕宏

申请人 : 广州大学

摘要 :

本发明公开了一种环境洁净度检测的图像处理方法,方法包括下述步骤:在人为条件下,对餐厅地板或者桌面在差到优越之间分多个等级,分别提取相应的样本存进样本库,并进行归类,通过机器学习算法从多个角度和维度进行“学习”。具体算法包括:图像灰度化、canny算法提取灰度图的边缘、朴素贝叶斯算法、帧差法、差分图像二值化、提取运动区域轮廓,对运动区域进行判断。本发明与现有技术相比具有较为准确地识别和分析目标区域的环境情况、受环境影响小、实时性强,从多个角度对环境进行评判与分析,评价结果可靠性强。

权利要求 :

1.一种用于环境洁净度检测的图像处理方法,其特征在于,获取多种环境情况下的不同图像,采用机器学习和概率论与概率统计的方法进行归类与“学习”,然后综合多种评价方式,从而形成一个评判环境卫生情况的标准,具体包括下述步骤:S1、图像灰度化,将从多种环境情况下获得的不同的图像进行灰度化并提取轮廓,排除外部环境光照的影响;

S2、将经过步骤S1图像灰度化处理并提取轮廓的图像利用朴素贝叶斯分类器原理进行不同环境卫生等级的标记,然后形成一个样本容量,即先验概率;

步骤S2具体为:

S21、获取餐厅或厨房桌面或地板照片;

S22、图像灰度化及canny边缘化处理,图像灰度化用于排除光照强度的干扰,边缘化处理用于提取特征轮廓;

S23、通过多次实验,将多次实验结果进行标记后放入数据库中形成分类器样本库;

S24、将进行过处理的图像与分类器样本库样本进行对比;

S25、根据朴素贝叶斯公式计算,获得的值与样本库中的标记值进行对比,从而得到静态分析下的环境情况;

S26、综合静态分析情况及微小生物数量进行带权计算从而得到环境情况值;

S3、利用帧间差分法对图像进行中值滤波处理,去掉图像随机噪声;

步骤S3具体为:

S31、获取餐厅或厨房桌面或地板照片;

S32、选取时间间隔为30帧的任意三帧图像;

S33、对选取的三帧图像进行帧间差分法处理,识别出快速移动的物体;

S34、对识别出的快速移动的物体进行颜色的筛选,将图上的像素点的像素值进行筛选;

S35、还要对上述筛选的物体与有害微小生物进行相似度处理,获取匹配都高的物体并标记;

S36、通过帧间差分法结果,判断是否有有害生物;

S37、计数;

S38、综合静态环境分析结果及有害微小生物的数量进行环境情况的带权计算并评级;

S4、特征点检测,通过对图像中一些几何结构的关节点作为特征点来研究,计算其与周围点变化率的平均值;

S5、通过opencv数据看进行色差分析,从而区分出桌面或者地板是否有污点和脏物,通过对图像进行适当的二值化操作,使图像中原本较为微小的差异扩大,从而能够更准确地对图片进行色差分析,达到全面分析图片中是否有污点的目的;

S6、通过对整个图像遍历并计算,得到污点所占整幅图的百分比,然后对其进行等级划分,形成对环境卫生情况的整体评价体系。

2.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,步骤S1包括下述步骤:S11、加载彩色图像;

S12、初始化变量;

S13、初始化灰度图像;

S14、将图像进行灰度化处理;

S15、提取图像轮廓,排除光照等外界环境的干扰;

S16、利用朴素贝叶斯分类器进行分类形成先验概率;

S17、帧间差分法对图像进行中值滤波处理,去除噪声信号;

S18、特征点检测及色差分析;

S19、显示灰度图像。

3.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,步骤S25中,根据样本容量可以算出餐桌或地板在对比度达到哪个情况下的环境卫生情况,然后根据朴素贝叶斯公式即可进行初步的脏乱程度的判断;

4.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,步骤S33中,帧间差分法具体如下:计算当前帧与背景帧的差得到FD(x,y),从图像中提取出完整的目标,计掉当前1帧的差得到FG(x,y),得到目标的变化量,求帧差FD(x,y)与FG(x,y)的交集得到运动目标粗糙的运动区域幽像,数学形志学运算使得运动区域封川、连续、完整,并去掉背持中的噪声;

上述公式中,d(x,y)为经过帧差法后得到的二值差分图像,Hδi(x,y)为差分图像二值化阈值,|Ii+1(x,y)-ui(x,y)|为前后两帧图像之间的变化。

5.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,步骤S4中,所述特征点检测采用如下公式:R=∑(I(x+u,y+v)-I(x,y))2

dst(x,y)=detM(x,y)-k·(trM(x,y))2其中I(x,y)代表特定点的灰度值,I(x+u,y+u)代表了点(x,y)邻域点的灰度值,R代表点与周围点的像素值的差,detM(x,y)代表矩阵的像素值,trM(x,y)代表矩阵像素阈值,dst(x,y)代表矩阵的协方差矩阵的特征值,通过变换可以将上式变化为一个协方差矩阵求特征值的问题。

6.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,通过Opencv数据库对特征点进行检测,检测时,输入一幅浮点值图像,浮点值越高,表明越可能是特征点,然后对图像进行阈值化,因为有很多特征点都是粘连在一起的,需通过加入非极大值抑制来进一步去除一些粘在一起的特征点,具体方法如下:在一个窗口内,如果有多个特征点则用值最大的那个特征点,其他的特征点都删除,通过图像的膨胀运算来达到检测极大值的目的,因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值;

通过对特征点的检测,匹配到最大关联的样本库中的样本图片,然后通过朴素贝叶斯算法进行计算,可以更加准确地判断环境卫生情况。

7.根据权利要求1所述用于环境洁净度检测的图像处理方法,其特征在于,步骤S5中,对图像进行适当的二值化操作的方法为:图像的二值化处理就是通过设定一个合适的分界,将图像上的点的灰度置为0或255,也就是将整个图像呈现出明显的黑白效果;

假设这个分界的值为T,转化后灰度值为H,转化前值为Q,则:经过二值化后的图像,然后通过计算污点或者赃物的区域部分的面积,然后计算其占总面积的多少进行比较,然后综合评价环境卫生情况。

说明书 :

一种环境洁净度检测的图像处理方法

技术领域

[0001] 本发明涉及图像处理的技术领域,更具体地说,涉及一种环境洁净度检测的图像处理方法。

背景技术

[0002] 近年来,计算机视觉已成为计算机领域的研究热点,而作为计算机视觉比较重要的图像相似度对比,图像色差分析以及在机器视觉应用广泛的机器学习和概率统计等方面更是受到人们的高度重视。但是由于环境等自然和人为因素,机器视觉技术应用于实际很难达到高精度和实效性强。所以,能否较好地规避环境因素是衡量机器视觉算法好坏的关键。
[0003] 目前,常用的检测环境情况的机器视觉算法有以下几种:
[0004] (一)Canny算子
[0005] 最具代表性的算子是Canny算子,它是一个对于光照改变时仍然鲁棒的分割算法。所以,采用高斯滤波器并选用双阈值分割算法的Canny算子得到广大科研工作者的喜爱,然而,Canny算子也具有滤波器不够鲁棒、梯度幅值算法不够优化、自适应能力差等缺点。本文运用朴素贝叶斯算法的概率统计、Canny算子、色差分析、特征点检测以及帧间差分法的结合使用,使其更加适应环境多变的情况。
[0006] (二)Roberts算子
[0007] 边缘定位准,但是对噪声敏感。适用于边缘明显且噪声较少的图像分割。Roberts算子只运用了当前像素的2*2邻域,使用的像素值太少了。Roberts边缘检测算子是一种利用局部差分算子寻找边缘的算子,Robert算子图像处理后结果边缘不是很平滑。经分析,由于Robert算子通常会在图像边缘附近的区域内产生较宽的响应,故采用上述算子检测的边缘图像常需做细化处理,边缘定位的精度不是很高。
[0008] (三)PSNR算子
[0009] PSNR是最普遍和使用最为广泛的一种图像客观评价指标,然而它是基于对应像素点间的误差,即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等),因而经常出现评价结果与人的主观感觉不一致的情况。
[0010] 综上所述,现有技术存在的问题是环境的识别效果受外界环境变化的影响较大,实效性较差,受到噪音的影响明显。

发明内容

[0011] 本发明的主要目的在于克服现有技术的缺点与不足,一种环境洁净度检测的图像处理方法,能够准确及时地检测餐桌或桌面的卫生情况,从而将其作为厨房或餐厅的卫生环境的评判标准。
[0012] 为了达到上述目的,本发明采用以下技术方案:
[0013] 本发明的一种用于环境洁净度检测的图像处理方法,获取多种环境情况下的不同图像,采用机器学习和概率论与概率统计的方法进行归类与“学习”,然后综合多种评价方式,从而形成一个评判环境卫生情况的标准,具体包括下述步骤:
[0014] S1、图像灰度化,将从多种环境情况下获得的不同的图像进行灰度化并提取轮廓,排除外部环境光照的影响;
[0015] S2、将经过步骤S1图像灰度化处理并提取轮廓的图像利用朴素贝叶斯分类器原理进行不同环境卫生等级的标记,然后形成一个样本容量,即先验概率;
[0016] S3、利用帧间差分法对图像进行中值滤波处理,去掉图像随机噪声;
[0017] S4、特征点检测,通过对图像中一些几何结构的关节点作为特征点来研究,计算其与周围点变化率的平均值;
[0018] S5、通过opencv数据看进行色差分析,从而区分出桌面或者地板是否有污点和脏物,通过对图像进行适当的二值化操作,使图像中原本较为微小的差异扩大,从而能够更准确地对图片进行色差分析,达到全面分析图片中是否有污点的目的;
[0019] S6、通过对整个图像遍历并计算,得到污点所占整幅图的百分比,然后对其进行等级划分,形成对环境卫生情况的整体评价体系。
[0020] 作为优选的技术方案,步骤S1包括下述步骤:
[0021] S11、加载彩色图像;
[0022] S12、初始化变量;
[0023] S13、初始化灰度图像;
[0024] S14、将图像进行灰度化处理;
[0025] S15、提取图像轮廓,排除光照等外界环境的干扰;
[0026] S16、利用朴素贝叶斯分类器进行分类形成先验概率;
[0027] S17、帧间差分法对图像进行中值滤波处理,去除噪声信号;
[0028] S18、特征点检测及色差分析;
[0029] S19、显示灰度图像。
[0030] 作为优选的技术方案,步骤S2具体为:
[0031] S21、获取餐厅或厨房桌面或地板照片;
[0032] S22、图像灰度化及canny边缘化处理,图像灰度化用于排除光照强度的干扰,边缘化处理用于提取特征轮廓;
[0033] S23、通过多次实验,将多次实验结果进行标记后放入数据库中形成分类器样本库;
[0034] S24、将进行过处理的图像与分类器样本库样本进行对比;
[0035] S25、根据朴素贝叶斯公式计算,获得的值与样本库中的标记值进行对比,从而得到静态分析下的环境情况;
[0036] S26、综合静态分析情况及微小生物数量进行带权计算从而得到环境情况值。
[0037] 作为优选的技术方案,步骤S25中,
[0038] 根据样本容量可以算出餐桌或地板在对比度达到哪个情况下的环境卫生情况,然后根据朴素贝叶斯公式即可进行初步的脏乱程度的判断;
[0039]
[0040] 作为优选的技术方案,步骤S3具体为:
[0041] S31、获取餐厅或厨房桌面或地板照片;
[0042] S32、选取时间间隔为30帧的任意三帧图像;
[0043] S33、对选取的三帧图像进行帧间差分法处理,识别出快速移动的物体;
[0044] S34、对识别出的快速移动的物体进行颜色的筛选,将图上的像素点的像素值进行筛选;
[0045] S35、还要对上述筛选的物体与有害微小生物进行相似度处理,获取匹配都高的物体并标记;
[0046] S36、通过帧间差分法结果,判断是否有有害生物;
[0047] S37、计数;
[0048] S38、综合静态环境分析结果及有害微小生物的数量进行环境情况的带权计算并评级。
[0049] 作为优选的技术方案,步骤S33中,帧间差分法具体如下:
[0050] 计算当前帧与背景帧的差得到FD(x,y),从图像中提取出完整的目标,计掉当前1帧的差得到FG(x,y),得到目标的变化量,求帧差FD(x,y)与FG(x,y)的交集得到运动目标粗糙的运动区域幽像,数学形志学运算使得运动区域封川、连续、完整,并去掉背持中的噪声;
[0051]
[0052] 上述公式中,d(x,y)为经过帧差法后得到的二值差分图像,Hδi(x,y)为差分图像二值化阈值,|Ii+1(x,y)-ui(x,y)|为前后两帧图像之间的变化。
[0053] 作为优选的技术方案,步骤S4中,所述特征点检测采用如下公式:
[0054] R=∑(I(x+u,y+v)-I(x,y))2
[0055] dst(x,y)=detM(x,y)-k·(trM(x,y))2
[0056] 其中I(x,y)代表特定点的灰度值,I(x+u,y+u)代表了点(x,y)邻域点的灰度值,R代表点与周围点的像素值的差,detM(x,y)代表矩阵的像素值,trM(x,y)代表矩阵像素阈值,dst(x,y)代表矩阵的协方差矩阵的特征值,通过变换可以将上式变化为一个协方差矩阵求特征值的问题。
[0057] 作为优选的技术方案,通过Opencv数据库对特征点进行检测,检测时,输入一幅浮点值图像,浮点值越高,表明越可能是特征点,然后对图像进行阈值化,因为有很多特征点都是粘连在一起的,需通过加入非极大值抑制来进一步去除一些粘在一起的特征点,具体方法如下:
[0058] 在一个窗口内,如果有多个特征点则用值最大的那个特征点,其他的特征点都删除,通过图像的膨胀运算来达到检测极大值的目的,因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值;
[0059] 通过对特征点的检测,匹配到最大关联的样本库中的样本图片,然后通过朴素贝叶斯算法进行计算,可以更加准确地判断环境卫生情况。
[0060] 作为优选的技术方案,步骤S5中,对图像进行适当的二值化操作的方法为:
[0061] 图像的二值化处理就是通过设定一个合适的分界,将图像上的点的灰度置为0或255,也就是将整个图像呈现出明显的黑白效果;
[0062] 假设这个分界的值为T,转化后灰度值为H,转化前值为Q,则:
[0063]
[0064] 经过二值化后的图像,然后通过计算污点或者赃物的区域部分的面积,然后计算其占总面积的多少进行比较,然后综合评价环境卫生情况。
[0065] 本发明与现有技术相比,具有如下优点和有益效果:
[0066] 1、本发明是结合静态图像判断和动态图像判断,对餐厅和厨房的环境进行整体的评价。步骤包括图像的灰度化处理、贝叶斯分类器的建立、帧间差分法对微小生物的识别、特征点检测进行相应位置的色差分析,从而对环境卫生情况进行整体的评价。
[0067] 2、本发明相对于现有技术中的其他方法更注重于实时性以及餐桌或地板上物品的堆砌情况和微小生物的滋生情况,能够准确及时地检测餐桌或桌面的卫生情况,从而将其作为厨房或餐厅的卫生环境的评判标准。

附图说明

[0068] 图1是本发明图像处理方法的总体流程图;
[0069] 图2是本发明灰度化处理的流程图;
[0070] 图3是本发明利用贝叶斯分类器进行不同环境卫生登记评价的流程图;
[0071] 图4是本发明利用帧间差分法进行处理的流程图;
[0072] 图5(a)是计算前的连通区域图;图5(b)是计算后对图形进行等级划分的示意图。

具体实施方式

[0073] 下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
[0074] 实施例
[0075] 如图1所示,本实施例一种用于环境洁净度检测的图像处理方法,获取多种环境情况下的不同图像,采用机器学习和概率论与概率统计的方法进行归类与“学习”,然后综合多种评价方式,从而形成一个评判环境卫生情况的标准,具体包括下述步骤:
[0076] S1、图像灰度化,将从多种环境情况下获得的不同的图像进行灰度化并提取轮廓,排除外部环境光照的影响;
[0077] 如图2所示,本发明灰度化处理的具体步骤如下:
[0078] S11、加载彩色图像;
[0079] S12、初始化变量;
[0080] S13、初始化灰度图像;
[0081] S14、将图像进行灰度化处理;
[0082] S15、提取图像轮廓,排除光照等外界环境的干扰;
[0083] S16、利用朴素贝叶斯分类器进行分类形成先验概率;
[0084] S17、帧间差分法对图像进行中值滤波处理,去除噪声信号;
[0085] S18、特征点检测及色差分析;
[0086] S19、显示灰度图像。
[0087] S2、将经过步骤S1图像灰度化处理并提取轮廓的图像利用朴素贝叶斯分类器原理进行不同环境卫生等级的标记,然后形成一个样本容量,即先验概率;
[0088] 如图3所示,利用贝叶斯分类器进行不同环境卫生登记评价的方法如下:
[0089] S21、获取餐厅或厨房桌面或地板照片;
[0090] S22、图像灰度化及canny边缘化处理,图像灰度化用于排除光照强度的干扰,边缘化处理用于提取特征轮廓;
[0091] S23、通过多次实验,将多次实验结果进行标记后放入数据库中形成分类器样本库;
[0092] S24、将进行过处理的图像与分类器样本库样本进行对比;
[0093] S25、根据朴素贝叶斯公式计算,获得的值与样本库中的标记值进行对比,从而得到静态分析下的环境情况;
[0094] 根据样本容量可以算出餐桌或地板在对比度达到哪个情况下的环境卫生情况,然后根据朴素贝叶斯公式即可进行初步的脏乱程度的判断;
[0095]
[0096] S26、综合静态分析情况及微小生物数量进行带权计算从而得到环境情况值。
[0097] S3、利用帧间差分法对图像进行中值滤波处理,去掉图像随机噪声;
[0098] 如图4所示,对图像进行中值滤波处理具体为:
[0099] S31、获取餐厅或厨房桌面或地板照片;
[0100] S32、选取时间间隔为30帧的任意三帧图像;
[0101] S33、对选取的三帧图像进行帧间差分法处理,识别出快速移动的物体;
[0102] S34、对识别出的快速移动的物体进行颜色的筛选,将图上的像素点的像素值进行筛选;
[0103] S35、还要对上述筛选的物体与有害微小生物进行相似度处理,获取匹配都高的物体并标记;
[0104] S36、通过帧间差分法结果,判断是否有有害生物;
[0105] S37、计数;
[0106] S38、综合静态环境分析结果及有害微小生物的数量进行环境情况的带权计算并评级。
[0107] 帧间差分法在此环境卫生等级的评价体系中,主要是作为辅助的功能,其可以作为判断是否有有害微小生物在餐厅桌面或者地板上,然后计算有害微小生物的数量,根据数量的多少,又可以对环境卫生情况进行等级的划分,综合静态环境的等级划分情况,可以更加完善地对环境卫生情况进行更加全面地评价。
[0108] 帧间差分法具体如下:
[0109] 计算当前帧与背景帧的差得到FD(x,y),从图像中提取出完整的目标,计掉当前1帧的差得到FG(x,y),得到目标的变化量,求帧差FD(x,y)与FG(x,y)的交集得到运动目标粗糙的运动区域幽像,数学形志学运算使得运动区域封川、连续、完整,并去掉背持中的噪声;
[0110]
[0111] 上述公式中,d(x,y)为经过帧差法后得到的二值差分图像,Hδi(x,y)为差分图像二值化阈值,|Ii+1(x,y)-ui(x,y)|为前后两帧图像之间的变化。
[0112] S4、特征点检测,通过对图像中一些几何结构的关节点作为特征点来研究,计算其与周围点变化率的平均值;
[0113] 所述特征点检测采用如下公式:
[0114] R=Σ(I(x+u,y+v)-I(x,y))2
[0115] dst(x,y)=detM(x,y)-k·(trM(x,y))2
[0116] 其中I(x,y)代表特定点的灰度值,I(x+u,y+u)代表了点(x,y)邻域点的灰度值,R(x,y) (x,y)代表点与周围点的像素值的差,detM 代表矩阵的像素值,trM 代表矩阵像素阈值,dst(x,y)代表矩阵的协方差矩阵的特征值。通过变换可以将上式变化为一个协方差矩阵求特征值的问题。
[0117] 本实施例中,通过Opencv数据库对特征点进行检测,检测时,输入一幅浮点值图像,浮点值越高,表明越可能是特征点,然后对图像进行阈值化,因为有很多特征点都是粘连在一起的,需通过加入非极大值抑制来进一步去除一些粘在一起的特征点,具体方法如下:
[0118] 非极大值抑制原理是,在一个窗口内,如果有多个特征点则用值最大的那个特征点,其他的特征点都删除,窗口大小这里我们用3*3,程序中通过图像的膨胀运算来达到检测极大值的目的,因为默认参数的膨胀运算就是用窗口内的最大值替代当前的灰度值。
[0119] 通过对特征点的检测,匹配到最大关联的样本库中的样本图片,然后通过朴素贝叶斯算法进行计算,可以更加准确地判断环境卫生情况。
[0120] S5、通过opencv数据看进行色差分析,从而区分出桌面或者地板是否有污点和脏物,通过对图像进行适当的二值化操作,使图像中原本较为微小的差异扩大,从而能够更准确地对图片进行色差分析,达到全面分析图片中是否有污点的目的。
[0121] 本实施例中,对图像进行适当的二值化操作的方法为:
[0122] 图像的二值化处理就是通过设定一个合适的分界,将图像上的点的灰度置为0或255,也就是将整个图像呈现出明显的黑白效果;
[0123] 假设这个分界的值为T,转化后灰度值为H,转化前值为Q,则:
[0124]
[0125] 经过二值化后的图像,然后通过计算污点或者赃物的区域部分的面积,然后计算其占总面积的多少进行比较,然后综合评价环境卫生情况。
[0126] 如图5(a)和图5(b)所示,图5(a)中左侧7个小方格表示一个连通区域(目标),黑点表示轮廓线的顶点,虚线就表示轮廓线,那么这个轮廓的面积计算方法就是图5(b),以左上角第一个方格为例,顶点和轮廓线与这个像素的相交部分为1/8个像素,因此该方格区域的面积取1/8,其他同理,最后计算面积为2.5。然后除以总面积9得到污点所占的百分比大约为27.78%。
[0127] 同理,通过对整个图遍历并计算,即可得到污点所占整幅图的百分比,然后对其进行等级划分,形成对环境卫生情况的整体评价体系。
[0128] S6、通过对整个图像遍历并计算,得到污点所占整幅图的百分比,然后对其进行等级划分,形成对环境卫生情况的整体评价体系。
[0129] 上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。