一种婴儿大便颜色的自动分析方法及系统转让专利

申请号 : CN201510973708.X

文献号 : CN105654469B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 申田聂涛

申请人 : 深圳贝申医疗技术有限公司

摘要 :

本发明公开了一种婴儿大便的颜色自动分析方法及系统,步骤1,确定比色卡在图像中的方向;确定六个彩色色块是否均准确出现在比色卡的相应位置;检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块;步骤2,判断图像是否满足检测要求;步骤3,对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;步骤4,对颜色校正后的图像,去除图像大便区域中的高光反射和阴影部分;步骤5,使用机器学习的方法,以及最小欧式距离的方法,自动识别大便颜色。通过大量实验证明,该方法流程清晰,运算效率高,计算结果客观准确。

权利要求 :

1.一种婴儿大便颜色的自动分析方法,其特征在于,包括如下步骤:

步骤1,检测图像I中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像I中的方向;然后根据比色卡在图像I中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像I中的方向检测图像I中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则执行步骤2,否则认为未检测到比色卡;

步骤2,使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则执行步骤3,否则认为图像不满足大便颜色分析的要求;

步骤3,对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;

步骤4,对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;

步骤41,根据公式(22),把图像大便区域从RGB颜色空间转换到HSV颜色空间中;其中,r,g,b和h,s,v分别为图像大便区域每个像素点的颜色值,max和min分别为r,g,b中的最大值和最小值;

步骤42,在HSV颜色空间,去除图像大便区域的高光反射和阴影部分;

壹)根据公式(23),计算图像大便区域在HSV颜色空间所有像素点的亮度l的标准差σl;

其中,l(x,y)为每个像素点(x,y)的亮度值,WI为图像的宽度,HI为图像的高度,为所有像素点的亮度l的均值:贰)根据 的范围作为图像大便区域亮度的正常范围,亮度超出此范围的像素点均认为是亮度异常的点;其中,l(x,y)高于 的点的集合即认为是高光反射部分,l(x,y)低于 的点的集合即认为是阴影部分,均予以去除;

步骤5,使用机器学习的方法对多个颜色校正后并且去除了大便区域高光反射和阴影部分的图像进行离线监督训练,并利用离线监督训练的结果,分析婴儿大便图像;

步骤6,使用HSV颜色空间欧式距离的方法,对颜色校正后的图像计算最小欧式距离,分析婴儿大便图像;

步骤7,使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的图像,预测计算大便图像的颜色类别。

2.如权利要求1所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤1的具体步骤如下:

步骤11,在图像I的左上侧区域随机散布E个点,E取3~8,作为比色卡判断的起始点;将第i个点定义为pi(i∈[1,E]),判断比色卡的左上角色块是否是黑灰嵌套色块Bblack_grey,如果是黑灰嵌套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块Bwhite_grey,如果是白灰嵌套色块,执行步骤12,否则认为根据点pi未检测到比色卡,则将比色卡判断的起始点pi更新为下一个点后执行步骤11;

步骤12,根据比色卡左上角色块区域BLU以及宽wLU和高hLU,利用公式(13)得到比色卡右上角灰色区域的中心点pRU_grey(xRU_grey,yRU_grey),执行步骤13;

(xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;(xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;

步骤13,将pRU_grey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色块或白灰嵌套色块,如果是,则进入步骤14,否则认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;

步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对应方向;

步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的位置以及它们的宽、高,得到图像I中6个彩色色块区域的中心点;

步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个彩色色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点pi更新为下一个点后执行步骤11;

步骤17,根据步骤14得到的比色卡在图像I中的方向,得到对应方向下左下角色块和右下角色块的类型;判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡的相应位置的色块类型一致,是则认为根据点pi成功检测到比色卡,否则,将pi更新为下一点,执行步骤11。

3.如权利要求2所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤11中,所述判断左上角色块是否是黑灰嵌套色块Bblack_grey,具体包括如下步骤:a)将比色卡判断的起始点pi设为色块判断起始点,计算点pi周围5×5区域的R,G,B均值ravg,gavg,bavg;

其中,IR(x,y),IG(x,y),IB(x,y)分别表示点(x,y)处R,G,B的颜色值;

b)将ravg,gavg,bavg转换到YUV颜色空间中,得到yavg,uavg,vavg;

c)当(36≤yavg≤164)&(-48≤uavg≤48)&(-48≤vavg≤48)满足时,表示pi位于灰色区域内,执行步骤d);不满足则认为根据pi未检测到黑灰嵌套区域,并结束本次判断;将pi更新为下一个点然后执行步骤11;

d)利用公式(3),计算pi在YUV颜色空间中的偏色程度(yshift,ushift,vshift),所述偏色程度是指在YUV空间中,pi的颜色值和灰色值之间的偏差;灰色定义为:(ygrey,ugrey,vgrey),其中,ygrey=127,ugrey=0,vgrey=0;

e)以pi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则是:(|rpos-ravg|≤30)and(|gpos-gavg|≤30)and(|bpos-bavg|≤30)    (11)其中,rpos,gpos,bpos表示生长到点ppos处的R,G,B颜色值;当公式(11)中所述条件满足时,继续生长;否则停止生长,认为ppos点为当前方向上的边界点;最终得到种子点生长的4个方向的边界,从而得到灰色区域Bgrey(pleft_up,pright_bottom),以及宽wgrey和高hgrey,其中,pleft_up=(xgrey_left,ygrey_up),pright_bottom=(xgrey_right,ygrey_bottom)为灰色区域左上顶点和右下顶点的坐标;

f)根据公式(4)、(5)定义灰色区域右侧的一点pright(xright,yright)和下方的一点pdown(xdown,ydown),用于判断灰色区域外围是否为黑色区域;

g)分别计算点pright和pdown周围5x5区域的R,G,B均值rright_avg,gright_avg,bright_avg和rdown_avg,gdown_avg,bdown_avg,根据公式(2)将其分别转换到YUV颜色空间,得到yright_avg,uright_avg,vright_avg和ydown_avg,udown_avg,vdown_avg;

h)当满足公式(6)所示的条件时,认为点pright和pdown均为黑色,执行步骤i);否则结束本次判断,认为根据pi未检测到黑灰嵌套色块,pi更新为下一个点,执行步骤11;

i)以点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个方向进行线性生长;以pdown为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向进行线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域Bblack(pleft_up,pright_bottom),以及宽wblack和高hblack,其中,pleft_up=(xblack_left,yblack_up),pright_bottom=(xblack_right,yblack_bottom);在比色卡上,灰色区域被包含在黑色区域内,因此pleft_up和pright_bottom为左上角黑灰色块左上角和右下角顶点坐标。

4.如权利要求3所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤11中,所述判断左上角色块是否是白灰嵌套色块Bwhite_grey,具体包括如下步骤:(一)将比色卡判断的起始点pi设为色块判断起始点,计算点pi周围5×5区域的R,G,B均值ravg,gavg,bavg;

其中,IR(x,y),IG(x,y),IB(x,y)分别表示点(x,y)处R,G,B的颜色值;

(二)将ravg,gavg,bavg转换到YUV颜色空间中,得到yavg,uavg,vavg;

(三)当(36≤yavg≤164)&(-48≤uavg≤48)&(-48≤vavg≤48)满足时,表示pi位于灰色区域内,执行步骤(四);不满足则认为根据pi未检测到白灰嵌套区域,并结束本次判断;将pi更新为下一个点然后执行步骤11;

(四)利用公式(3),计算pi在YUV颜色空间中的偏色程度(yshift,ushift,vshift),所述偏色程度是指在YUV空间中,pi的颜色值和灰色值之间的偏差;灰色定义为:(ygrey,ugrey,vgrey),其中,ygrey=127,ugrey=0,vgrey=0;

(五)以pi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则是:(|rpos-ravg|≤30)and(|gpos-gavg|≤30)and(|bpos-bavg|≤30)    (11)其中,rpos,gpos,bpos表示生长到点ppos处的R,G,B颜色值;当公式(11)中所述条件满足时,继续生长;否则停止生长,认为ppos点为当前方向上的边界点;最终得到种子点生长的4个方向的边界,从而得到灰色区域Bgrey(pleft_up,pright_bottom),以及宽wgrey和高hgrey,其中,pleft_up=(xgrey_left,ygrey_up),pright_bottom=(xgrey_right,ygrey_bottom)为灰色区域左上顶点和右下顶点的坐标;

(六)根据公式(4)、(5)定义灰色区域右侧的一点pright(xright,yright)和下方的一点pdown(xdown,ydown),用于判断灰色区域外围是否为白色区域;

(七)分别计算点pright和pdown周围5x5区域的R,G,B均值rright_avg,gright_avg,bright_avg和rdown_avg,gdown_avg,bdown_avg,根据公式(2)将其分别转换到YUV颜色空间,得到yright_avg,uright_avg,vright_avg和ydown_avg,udown_avg,vdown_avg;

(八)当满足公式(6)所示的条件时,认为点pright和pdown均为白色,执行步骤(九);否则结束本次判断,认为根据pi未检测到白灰嵌套色块,pi更新为下一个点,执行步骤11;

(九)以点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个方向进行线性生长;以pdown为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向进行线性生长;结束生长后,得到四个方向的边界,从而得到白色区域Bblack(pleft_up,pright_bottom),以及宽wblack和高hblack,其中,pleft_up=(xblack_left,yblack_up),pright_bottom=(xblack_right,yblack_bottom);在比色卡上,灰色区域被包含在白色区域内,因此pleft_up和pright_bottom为左上角白灰色块左上角和右下角顶点坐标。

5.如权利要求3所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤16中所述检测彩色色块是否准确出现在比色卡的相应位置,具体包括如下步骤:A.对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点pseed_C,计算种子点pseed_C周围5×5区域的R,G,B均值ravg_C,gavg_C,bavg_C;

B.根据公式(9),把ravg_C,gavg_C,bavg_C转换到HSV颜色空间中,得到havg_C,savg_C,vavg_C;其中,max'和min'分别为ravg_C,gavg_C,bavg_C中的最大值和最小值:C.将根据公式(3)计算得到的(yshift,ushift,vshift)转换至HSV颜色空间(hshift,sshift,vshift),其中:在HSV颜色空间中,判断havg_C前是否满足对应色块的颜色条件,如果满足,则执行步骤D;否则,认为未能定位该彩色色块,同时认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;

D.以点pseed_C为生长起始点,根据公式(11)的生长规则,分别向上、下、左、右4个方向进行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域Bcolor,以及宽wcolor和高hcolor。

6.如权利要求3所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤17的具体步骤如下:i.根据比色卡左上角色块区域BLU,以及其宽wLU和高hLU,利用公式(19)得到比色卡左下角色块的灰色区域的中心点pLD_grey(xLD_grey,yLD_grey),执行步骤ii;

(xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;

(xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;

ii.将pLD_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块或白灰嵌套色块,同时,根据比色卡在图像I中的方向,判断左下角色块是否是表1中对应方向下比色卡左下角对应的色块类型,是则执行步骤iii;否则认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;

表1比色卡在不同方向下四角色块的排布表

方向 左上角色块 右上角色块 左下角色块 右下角色块

0° Bblack_grey Bblack_grey Bwhite_grey Bwhite_grey逆时针旋转90° Bblack_grey Bwhite_grey Bblack_grey Bwhite_grey逆时针旋转180° Bwhite_grey Bwhite_grey Bblack_grey Bblack_grey逆时针旋转270° Bwhite_grey Bblack_grey Bwhite_grey Bblack_greyiii.根据比色卡右上角色块区域BRU的宽wRU和高hRU,利用公式(21)得到比色卡右下角灰色区域的中心点pRD_grey(xRD_grey,yRD_grey),执行步骤iv;

(xRU_left,yRU_top)为位于比色卡右上角黑灰嵌套色块的左上角的坐标;

(xRU_right,yRU_bottom)为比色卡右上角黑灰嵌套色块的右下角的坐标;

iv.将pRD_grey设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白灰嵌套色块,根据比色卡在图像I中的方向,判断右下角色块是否是表1中对应方向下比色卡右下角的色块类型,是则进入步骤2;否则认未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;

步骤11-步骤17完成了比色卡左下角和右下角的色块的检测,同时表明成功检测到比色卡,进入步骤2。

7.如权利要求1所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤2的具体步骤如下:

步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfunc(pleft_up,pright_bottom),以及其宽wfunc和高hfunc;

步骤22,计算平均梯度均值

其中,rf(x,y),rf(x,y)和rf(x,y)为区域Bfunc内(x,y)点的颜色值;Ig_f(x,y)为区域Bfunc内(x,y)点的灰度值;Wfunc、Hfunc分别为区域Bfunc的宽和高;S为状态位,其值为1表明当前点在统计范围内,为0表明当前点不在统计范围内;k为预设阈值,取30~50;

步骤23,如果 则表明图像质量满足要求,执行步骤3;如果 则表明图像质量差,存在抖动或失焦,不满足婴儿大便颜色自动分析的要求。

8.如权利要求1所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤3的具体步骤如下:

步骤31,用公式(16)所示的闵可夫斯基范式距离计算满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I:

其中,IR(x,y)、IG(x,y)、IB(x,y)为满足检测要求的图像在点(x,y)处的R,G,B颜色值,WI和HI为待检测图像的宽高;

步骤32,根据满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I,利用公式(17)计算R,G,B三通道的偏色增益(rgain_I,ggain_I,bgain_I),偏色增益也叫色温校正因子,是对R,G,B三个通道分别进行调整的三个系数;

对于图像I上的每一个像素点,根据公式(18)进行校正;

其中,IR′(x,y)、IG′(x,y)和IB′(x,y)为颜色校正后的点(x,y)处的R,G,B颜色值。

9.如权利要求1所述的婴儿大便颜色的自动分析方法,其特征在于,构建婴儿大便颜色类别表:构建九级婴儿大便颜色类别表:分别为:浅白色,灰色,陶土色,浅黄色,黄色,棕色,绿色,红色和黑色,每一张婴儿大便图像对应唯一的一个颜色类别。

10.如权利要求5所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤5的具体步骤如下:步骤51,离线监督训练;

1)收集整理训练数据:训练数据为包含婴儿大便区域的比色卡图像数据集D,图像数据集D中图像均为步骤4得到的所述颜色校正后并且去除了大便区域高光和阴影部分的图像,图像数据集D对应的属性则是每幅图像所对应的大便颜色类别;

2)提取图像的特征:图像的特征是一个p×1的向量,记为 中每个分量的值由大便区域Bstool在HSV通道的颜色均值(hstool_avg,sstool_avg,vstool_avg)和比色卡上6个彩色色块Bred、Bgreen、Bblue、Bcyan、Bmagenta和Byellow上对应通道的颜色均值分别相减得到; 是一个6×3=18维的特征向量;其中,通过公式(9)将RGB颜色均值转化为HSV颜色均值;

3)随机森林训练:

5.1.c.1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样本数量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点上最少的样本数num,节点上样本属性的分类类别;当某节点上样本数个数小于num,或者样本属性的分类类别全部来自同一类别,认为其为叶子节点;

5.1.c.2,对于第j∈[1,t]棵决策树,从图像数据集D中随机抽取k个样本,作为第j棵决策树的根节点样本集合;如果当前节点没有达到终止条件,则从图像特征向量中随机选取f维特征;寻找能将该节点的样本最均匀的分成两类的特征ch及其阈值th,当前节点上样本第m∈[1,f]维特征小于th的样本被划分到左节点,其余的被划分到右节点;如果当前节点达到终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所对应的大便颜色类别数量最多的那一类,然后继续训练其他节点;

5.1.c.3,重复5.1.c.2,直到所有节点都训练过了或者被标记为叶子节点;

5.1.c.4,重复5.1.c.3,直到所有t棵决策树都被训练过;

步骤52,在线预测;

甲)对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,对图像进行颜色校正,并去除图像大便区域的高光反射和阴影部分后,得到处理后的待预测图像;

乙)将图像大便区域,分为大小为 的n×n块,每个块的宽高分别为图像大便区域宽高Wstool,Hstool的

丙)根据每个块的区域和比色卡上颜色区域,利用步骤51的步骤2)中所述方法生成每个块的特征向量;

丁)使用步骤51得到的离线监督训练生成的决策树,对于第j∈[1,t]棵决策树,从当前决策树的根节点开始,根据当前节点的阈值th,小于所述阈值th进入左节点,大于等于所述阈值th进入右节点,直到到达某个叶子节点,得到第j棵树的预测值;预测值为该叶子节点数据对应的大便颜色类别;

戊)重复步骤丁),直到所有t棵决策树都得到了预测类别;

己)所有树的预测结果中,出现最多的那一个颜色类别,作为该块的大便颜色分类类别;

庚)重复步骤丁)、戊)、己),直到所有n×n个块都得到了分类类别。

11.如权利要求10所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤6的具体步骤如下:

步骤61,将去除高光和阴影部分的图像大便区域,分为大小为 的n×n个块,每个块的宽高分别为图像大便区域宽高Wstool,Hstool的

步骤62,分别计算每个块h,s,v的均值

步骤63,对于每一个块,具体处理步骤如下:

I)首先进行黑色类别判断,当满足条件 时,认为该块是黑色类别,

以黑色类别作为该块的预测类别,结束该块判断;

II)如果不是黑色类别,则计算该块的均值 和如公式(24)所示的8个标准类别的h,s值Htype,Stype,type∈[1,8]的加权欧式距离 其中,w1,w2分别为色度H和饱和度S的权重值,取最小欧式距离对应的标准类别作为该块的预测类别;

III)重复步骤I)、II),最终得到所有n×n个块的预测类别。

12.如权利要求11所述的婴儿大便颜色的自动分析方法,其特征在于,所述步骤7中,将步骤5预测到的n×n个块大便颜色类别和步骤6预测到的n×n个块大便颜色类别放在一起,共2n×n个块大便颜色类别,统计其中出现最多的类别,作为图像最终的预测大便颜色类别。

13.一种婴儿大便颜色的自动分析系统,其特征在于,包括如下依次相连接的模块:比色卡检测模块:检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则转入图像监控模块,否则认为未检测到比色卡;

图像监控模块:使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则转入颜色校正模块,否则认为图像不满足婴儿大便颜色分析的要求;

颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;

去除高光和阴影模块:对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;

检测模块:使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的待预测图像,预测其大便颜色类别。

说明书 :

一种婴儿大便颜色的自动分析方法及系统

技术领域

[0001] 本发明属于数字图像处理技术和机器学习领域,具体涉及一种大便颜色的自动分析方法及系统。
[0002] 背景介绍
[0003] 婴儿大便的颜色能够直接反应出宝宝的消化系统健康情况,在宝宝出生后,尤其是出生后前四个月对大便进行观察非常重要。
[0004] 所有的宝宝在出生前几天都会排出黑色的大便,被称为胎粪,这是完全正常的。之后会慢慢变成黄色,绿色或棕色,这些颜色均为正常的婴儿大便颜色。而白色,灰色或者陶土色的大便表示婴儿的肝脏可能存在健康问题,而红色或者胎粪排出后再次出现的黑色大便则可能是宝宝的消化道出血。
[0005] 因此,一种自动判断婴儿大便颜色的方法则显得非常有意义,他能够帮助家长和医生准确客观的判读大便颜色并自动完成颜色分类,及时发现婴儿在消化系统上健康情况。

发明内容

[0006] 为了准确客观快速的完成婴儿大便颜色分析,本发明的目的在于提供一种婴儿大便颜色自动分析的方法。
[0007] 为了实现上述任务,本发明采用如下技术方案予以解决:
[0008] 一种婴儿大便颜色的自动分析方法及系统,包括如下步骤:
[0009] 步骤1,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则执行步骤2,否则认为未检测到比色卡;
[0010] 步骤2,使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则执行步骤3,否则认为图像不满足婴儿大便颜色分析的要求;
[0011] 步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;
[0012] 步骤4,对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;
[0013] 步骤5,使用机器学习的方法对多个颜色校正后并且去除了大便区域高光反射和阴影部分的图像进行离线监督训练,并利用离线监督训练的结果,分析婴儿大便图像;
[0014] 步骤6,使用HSV颜色空间欧式距离的方法,对颜色校正后的图像计算最小欧式距离,分析婴儿大便图像;
[0015] 步骤7,使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的图像,预测计算大便图像的颜色类别。
[0016] 进一步的,所述步骤1的具体步骤如下:
[0017] 步骤11,在图像I左上侧区域随机散布n个点,n取3~8,作为比色卡判断的起始点;将第i个点定义为pi(i∈[1,n]),判断左上角色块是否是黑灰嵌套色块Bblack_grey,如果是黑灰嵌套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块Bwhite_grey,如果是白灰嵌套色块,执行步骤12,否则认为根据点pi未检测到比色卡,则将比色卡判断的起始点pi更新为下一个点后执行步骤11;
[0018] 步骤12,根据比色卡左上角色块区域BLU以及宽wLU和高hLU,利用公式(13)得到比色卡右上角灰色区域的中心点pRU_grey(xRU_grey,yRU_grey),执行步骤13;
[0019]
[0020] (xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;(xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;
[0021] 步骤13,将pRU_grey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色块或白灰嵌套色块,如果是,则进入步骤14,否则认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0022] 步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对应方向;
[0023] 步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的位置以及它们的宽、高,得到图像I中6个彩色色块区域的中心点;
[0024] 步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个彩色色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点pi更新为下一个点后执行步骤11;
[0025] 步骤17,根据步骤14得到的比色卡在图像I中的方向,得到对应方向下左下角色块和右下角色块的类型;判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡的相应位置的色块类型一致,是则认为根据点pi成功检测到比色卡,否则,将pi更新为下一点,执行步骤11;
[0026] 进一步的,所述步骤11中,所述判断左上角色块是否是黑灰嵌套色块Bblack_grey,具体包括如下步骤:
[0027] a)将比色卡判断的起始点pi设为色块判断起始点,计算点pi周围5×5区域的R,G,B均值ravg,gavg,bavg;
[0028]
[0029] 其中,IR(x,y),IG(x,y),IB(x,y)分别表示点(x,y)处R,G,B的颜色值;
[0030] b)将ravg,gavg,bavg转换到YUV颜色空间中,得到yavg,uavg,vavg;
[0031]
[0032] c)当(36≤yavg≤164)and(-48≤uavg≤48)and(-48≤vavg≤48)满足时,表示pi位于灰色区域内,执行步骤d;不满足则认为根据pi未检测到黑灰嵌套区域,并结束本次判断;将pi更新为下一个点然后执行步骤11;
[0033] d)利用公式(3),计算pi在YUV颜色空间中的偏色程度(yshift,ushift,vshift)。所述偏色程度是指在YUV空间中,pi的颜色值和灰色值之间的偏差;灰色定义为:(ygrey,ugrey,vgrey),其中,ygrey=127,ugrey=0,vgrey=0;
[0034]
[0035] e)以pi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则是:
[0036] (|rpos-ravg|≤30)and(|gpos-gavg|≤30)and(|bpos-bavg|≤30)   (11)
[0037] 其中,rpos,gpos,bpos表示生长到点ppos处的R,G,B颜色值;当公式(11)中所述条件满足时,继续生长;否则停止生长,认为ppos点为当前方向上的边界点;最终得到种子点生长的4个方向的边界,从而得到灰色区域Bgrey(pleft_up,pright_bottom),以及宽wgrey和高hgrey,其中,pleft_up=(xgrey_left,ygrey_up),pright_bottom=(xgrey_right,ygrey_bottom)为灰色区域左上顶点和右下顶点的坐标。
[0038] f)根据公式(4)、(5)定义灰色区域右侧的一点pright(xright,yright)和下方的一点pdown(xdown,ydown),用于判断灰色区域外围是否为黑色区域。
[0039]
[0040]
[0041] g)分别计算点pright和pdown周围5x5区域的R,G,B均值rright_avg,gright_avg,bright_avg和rdown_avg,gdown_avg,bdown_avg,根据公式(2)将其分别转换到YUV颜色空间,得到yright_avg,uright_avg,vright_avg和ydown_avg,udown_avg,vdown_avg;
[0042] h)当满足公式(6)所示的条件时,认为点pright和pdown均为黑色,执行步骤i;否则结束本次判断,认为根据pi未检测到黑灰嵌套色块,pi更新为下一个点,执行步骤11;
[0043]
[0044] i)以点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个方向进行线性生长;以pdown为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向进行线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域Bblack(pleft_up,pright_bottom),以及宽wblack和高hblack,其中,pleft_up=(xblack_left,yblack_up),pright_bottom=(xblack_right,yblack_bottom);在比色卡上,灰色区域被包含在黑色区域内,因此pleft_up和pright_bottom为左上角黑灰色块左上角和右下角顶点坐标。
[0045] 进一步的,所述步骤11中,所述判断左上角色块是否是白灰嵌套色块Bwhite_grey,其具体步骤与黑灰嵌套色块的判断步骤类似,区别仅在于,在步骤h)中,当满足公式(8)所示的条件时,认为点pright和pdown均为白色;
[0046]
[0047] 进一步的,所述步骤16中所述检测彩色色块是否准确出现在比色卡的相应位置,具体包括如下步骤:
[0048] a)对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点pseed_C,计算种子点pseed_C周围5×5区域的R,G,B均值ravg_C,gavg_C,bavg_C;
[0049] b)根据公式(9),把ravg_C,gavg_C,bavg_C转换到HSV颜色空间中,得到havg_C,savg_C,vavg_C。其中,max'和min'分别为ravg_C,gavg_C,bavg_C中的最大值和最小值:
[0050]
[0051] c)将根据公式(3)计算得到的(yshift,ushift,vshift)转换至HSV颜色空间(hshift,sshift,vshift),其中:
[0052]
[0053] 在HSV颜色空间中,判断havg_C前是否满足对应色块的颜色条件。如果满足,则执行步骤d);否则,认为未能定位该彩色色块,同时认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0054] d)以点pseed_C为生长起始点,根据公式(11)的生长规则,分别向上、下、左、右4个方向进行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域Bcolor,以及宽wcolor和高hcolor。
[0055] 进一步的,所述步骤17的具体步骤如下:
[0056] a)根据比色卡左上角色块区域BLU,以及其宽wLU和高hLU,利用公式(19)得到比色卡左下角色块的灰色区域的中心点pLD_grey(xLD_grey,yLD_grey),执行步骤b);
[0057]
[0058] (xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;
[0059] (xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;
[0060] b)将pLD_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块或白灰嵌套色块,同时,根据比色卡在图像I中的方向,判断左下角色块是否是表1中对应方向下比色卡左下角对应的色块类型,是则执行步骤c);否则认为根据pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0061] c)根据比色卡右上角色块区域BRU的宽wRU和高hRU,利用公式(21)得到比色卡右下角灰色区域的中心点pRD_grey(xRD_grey,yRD_grey),执行步骤d);
[0062]
[0063] (xRU_left,yRU_top)为位于比色卡右上角黑灰嵌套色块的左上角的坐标;
[0064] (xRU_right,yRU_bottom)为比色卡右上角黑灰嵌套色块的右下角的坐标;
[0065] d)将pRD_grey设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白灰嵌套色块,根据比色卡在图像I中的方向,判断右下角色块是否是表1中对应方向下比色卡右下角的色块类型,是则进入步骤2;否则认为未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0066] 以上步骤完成了比色卡左下角和右下角的色块的检测。同时表明成功检测到比色卡,进入步骤2。
[0067] 进一步的,所述步骤2的具体步骤如下:
[0068] 步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfunc(pleft_up,pright_bottom),以及其宽wfunc和高hfunc。
[0069] 步骤22,计算平均梯度均值
[0070]
[0071] 其中,rf(i,j),rf(i,j)和rf(i,j)为区域Bfunc内(i,j)点的颜色值;Ig_f(i,j)为区域Bfunc内(i,j)点的灰度值;wfunc、hfunc分别为区域Bfunc的宽和高;S为状态位,其值为1表明当前点在统计范围内,为0表明当前点不在统计范围内;k为预设阈值,取30~50;
[0072] 步骤23,如果 则表明图像质量满足要求,执行步骤3;如果 则表明图像质量差,存在抖动或失焦,不满足大便颜色分析的要求。
[0073] 进一步的,所述步骤3的具体步骤如下:
[0074] 步骤31,用公式(16)所示的闵可夫斯基范式距离计算满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I:
[0075]
[0076] 其中,IR(i,j)、IG(i,j)、IB(i,j)为满足检测要求的图像在点(i,j)处的R,G,B颜色值,wI和hI为待检测图像的宽高;
[0077] 步骤32,根据满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I,利用公式(17)计算R,G,B三通道的偏色增益(rgain_I,ggain_I,bgain_I)。偏色增益也叫色温校正因子,是对R,G,B三个通道颜色值分别进行调整的三个系数。
[0078]
[0079] 对于图像I上的每一个像素点,根据公式(18)进行校正。
[0080]
[0081] 其中,IR′(i,j),IG′(i,j),IB′(i,j)为颜色校正后的点(i,j)处的R,G,B颜色值。
[0082] 进一步的,去除大便图像上的高光反射和阴影部分如步骤4所述。步骤4的具体步骤如下:
[0083] 步骤41,根据公式(22),把图像大便区域从RGB颜色空间转换到HSV颜色空间中;其中,r,g,b和h,s,v分别为图像大便区域每个像素点的颜色值,max和min分别为r,g,b中的最大值和最小值:
[0084]
[0085] 步骤42,在HSV颜色空间,去除图像大便区域的高光反射和阴影部分;
[0086] a)根据公式(23),计算图像大便区域在HSV颜色空间所有像素点的亮度v的标准差σv;其中,vi为每个像素点的亮度值,n为图像大便区域像素点的个数,为所有像素点的亮度v的均值;
[0087]
[0088] b)根据 的范围作为图像大便区域亮度的正常范围,亮度超出此范围的像素点均认为是亮度异常的点;其中,vi高于 的点的集合即认为是高光反射部分,vi低于的点的集合即认为是阴影部分,均予以去除。
[0089] 进一步的,构建婴儿大便颜色类别表:构建九级婴儿大便颜色类别表:分别为:浅白色,灰色,陶土色,浅黄色,黄色,棕色,绿色,红色和黑色。每一张婴儿大便颜色的图像对应唯一一个颜色类别。步骤5采用随机森林多分类算法根据大便图像颜色进行自动分类。所述步骤5的具体步骤如下:
[0090] 步骤51,离线监督训练;
[0091] a)收集整理训练数据:训练数据为包含婴儿大便区域的比色卡图像数据集D,图像数据集D中图像均为步骤4得到的所述颜色校正后并且去除了大便区域高光和阴影部分的图像,图像数据集D对应的属性则是每幅图像所对应的大便颜色类别;
[0092] b)提取图像的特征:图像的特征是一个n×1的向量,记为 中每个分量的值由大便区域Bstool在HSV通道的颜色均值(hstool_avg,sstool_avg,vstool_avg)和比色卡上6个彩色色块Bred、Bgreen、Bblue、Bcyan、Bmagenta和Byellow上对应通道的颜色均值分别相减得到;是一个6×3=18维的特征向量;其中,通过公式(9)将RGB颜色均值转化为HSV颜色均值;
[0093] c)随机森林训练:
[0094] 5.1.c.1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样本数量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点上最少的样本数num,节点上样本属性的分类类别;当某节点上样本数个数小于num,或者样本属性的分类类别全部来自同一类别,认为其为叶子节点;
[0095] 5.1.c.2,对于第i∈[1,t]棵决策树,从图像数据集D中随机抽取k个样本,作为第i根决策树的根节点样本集合;如果当前节点没有达到终止条件,则从图像特征向量中随机选取f维特征;寻找能将该节点的样本最均匀的分成两类的特征i及其阈值th,当前节点上样本第i维特征小于th的样本被划分到左节点,其余的被划分到右节点;如果当前节点达到终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所对应的大便颜色类别数量最多的那一类C(j)。然后继续训练其他节点。
[0096] 5.1.c.3,重复5.1.c.2,直到所有节点都训练过了或者被标记为叶子节点;
[0097] 5.1.c.4,重复5.1.c.3,直到所有t棵决策树都被训练过;
[0098] 步骤52,在线预测;
[0099] a)对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,对图像进行颜色校正,并去除图像大便区域的高光反射和阴影部分后,得到处理后的待预测图像;
[0100] b)将图像大便区域,分为大小为 的n×n个块,每个块的宽高分别为图像大便区域宽高wstool,hstool的
[0101] c)根据每个块的区域和比色卡上颜色区域,利用步骤51的步骤b中所述方法生成每个块的特征向量;
[0102] d)使用步骤51得到的离线监督训练生成的决策树,对于第i∈[1,t]棵决策树,从当前决策树的根节点开始,根据当前节点的阈值th,小于所述阈值th进入左节点,大于等于所述阈值th进入右节点,直到到达某个叶子节点,得到第i棵树的预测值;预测值为该叶子节点数据对应的大便颜色类别;
[0103] e)重复步骤d,直到所有t棵决策树都得到了预测类别;
[0104] f)所有树中预测概率总和最大的那一个类别,作为大便颜色分类类别。概率总和即为每个C(j)的概率p的累加和,概率p为C(j)占当前样本集的比例;
[0105] g)重复步骤d、e、f,直到所有n×n个块都得到了分类类别;
[0106] 进一步的,采用最小欧式距离算法根据大便图像颜色进行自动分类如步骤6所述。步骤6的具体步骤如下:
[0107] 步骤61,将去除高光和阴影部分的图像大便区域,分为大小为 的n×n个块,每个块的宽高分别为图像大便区域宽高wstool×hstool的
[0108] 步骤62,分别计算每个块h,s,v的均值
[0109] 步骤63,对于每一个块,具体处理步骤如下:
[0110] a)首先进行黑色类别判断,当满足条件 时,认为该块是黑色类别,以黑色类别作为该块的预测类别,结束该块判断;
[0111] b)如果不是黑色类别,则计算该块的均值 和如公式(24)所示的8个标准类别的h,s值Hj,Sj,j∈[1,8]的加权欧式距离 其中,w1,w2分别为色度H和饱和度S的权重值。取最小欧式距离对应的标准类别作为该块的预测类别;
[0112]
[0113] c)重复步骤a、b,最终得到所有n×n个块的预测类别。
[0114] 在步骤7中,将步骤5预测到的n×n个块大便颜色类别和步骤6预测到的n×n个块大便颜色类别放在一起,共2n×n个块大便颜色类别,统计其中出现最多的类别,作为图像最终的预测大便颜色类别。
[0115] 本发明的另一个目的在于,提供一种婴儿大便颜色的自动分析系统,包括如下依次相连接的模块:
[0116] 比色卡检测模块:检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则转入图像监控模块,否则认为未检测到比色卡;
[0117] 图像监控模块:使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则转入颜色校正模块,否则认为图像不满足大便颜色自动分析的要求;
[0118] 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;
[0119] 去除高光和阴影模块:对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;
[0120] 颜色分类模块:使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的待预测图像,预测其大便颜色类别。

附图说明

[0121] 图1是本发明的婴儿大便颜色自动分析的流程图。
[0122] 包括:比色卡自动检测,图像质量控制,图像颜色校正,去除高光反射和阴影以及颜色分类模块。
[0123] 图2是比色卡。比色卡共有12个方形区域组成。包括:1个大便区域Bstool,1个图像质量检测区域Bfunc,2个黑灰嵌套色块区域Bblack_grey,2个白灰嵌套色块区域Bwhite_grey,以及6个彩色色块区域:Bred、Bgreen、Bblue、Bcyan、Bmagenta、Byellow。
[0124] 图3是比色卡的四种不同方位。其中,图3(a)至(d)分别为:0°,逆时针旋转90°,逆时针旋转180°和逆时针旋转270°。
[0125] 图4是本发明的比色卡自动检测方法的流程图。判断比色卡左上角和右上角色块判断比色卡方向,再确定6个彩色色块是否均能正确检测,最后确定左下角和右下角色块是否正确检测。
[0126] 以下结合附图和具体实施方式对本发明进一步解释说明。

具体实施方式

[0127] 本发明的设计思路:以比色卡对比下的婴儿大便图片为方法处理对象,首先自动定位比色卡的位置和大便区域;判断图像在拍照时是否抖动或失焦;对比色卡进行颜色校正,排除有色光源导致的颜色变化;通过训练生成颜色分类算法,结合最小欧氏距离的方法,计算得到大便颜色类别。
[0128] 本发明的方法的处理对象是在比色卡对比下拍摄的婴儿大便颜色图片。将比色卡放置在婴儿大便上拍摄一张包含比色卡和婴儿大便的宽高为w和h的图像I,其中,I(x,y)为坐标点p(x,y)处的颜色值(r,g,b),(r,g,b)表示RGB颜色空间的颜色值。
[0129] 比色卡为一方形环,如图2所示,在比色卡的一面上按照逆时针方向依次排列有图像质量检测区域,黑灰嵌套色块、黄色色块、蓝色色块、白灰嵌套色块、品红色色块、绿色色块、白灰嵌套色块、红色色块、青色色块和黑灰嵌套色块。其中,黄色色块、蓝色色块、品红色色块、绿色色块、红色色块和青色色块称为彩色色块。
[0130] 将比色卡放置在婴儿大便上并拍摄图像,使待拍摄的大便图像区域置于比色卡的环形的中间位置。
[0131] 使用本发明的方法对拍摄的图像进行处理,具体包括如下步骤:
[0132] 步骤1,如图4所示,首先,检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则执行步骤2,否则认为未检测到比色卡。具体步骤如下:
[0133] 如图3所示,由于拍摄时放置比色卡的角度不同,图像I中的比色卡可能有四种不同的方向。规定图2的方向为原位即0°方向,则图3(a)、(b)、(c)、(d)依次为0°、逆时针旋转90°、逆时针旋转180°和逆时针旋转270°。
[0134] 步骤11,在图像I左上侧区域随机散布n个点(n取3~8),作为比色卡判断的起始点;将第i个点定义为pi(i∈[1,n]),判断左上角色块是否是黑灰嵌套色块Bblack_grey,如果是黑灰嵌套色块,执行步骤12,否则继续判断左上角色块是否是白灰嵌套色块Bwhite_grey,如果是白灰嵌套色块,执行步骤12,否则认为根据点pi未检测到比色卡,则将比色卡判断的起始点pi更新为下一个点后执行步骤11;
[0135] 所述判断左上角色块是否是黑灰嵌套色块Bblack_grey,具体包括如下步骤:
[0136] a)将比色卡判断的起始点pi设为色块判断起始点,计算点pi周围5×5区域的R,G,B均值ravg,gavg,bavg;
[0137]
[0138] 其中,IR(x,y),IG(x,y),IB(x,y)分别表示点(x,y)处R,G,B的颜色值。
[0139] b)将ravg,gavg,bavg转换到YUV颜色空间中(其中,Y表示明亮度,U,V表示色度),得到yavg,uavg,vavg;
[0140]
[0141] c)当(36≤yavg≤164)and(-48≤uavg≤48)and(-48≤vavg≤48)满足时,表示pi位于灰色区域内,执行步骤d;不满足则认为根据pi未检测到黑灰嵌套区域,并结束本次判断;将pi更新为下一个点然后执行步骤11;
[0142] d)利用公式(3),计算pi在YUV颜色空间中的偏色程度(yshift,ushift,vshift)。所述偏色程度是指在YUV空间中,pi的颜色值和灰色值之间的偏差;灰色定义为:(ygrey,ugrey,vgrey),其中,ygrey=127,ugrey=0,vgrey=0;
[0143]
[0144] e)以pi为生长起始种子点,分别向上、下、左、右4个方向进行线性生长,生长规则是:
[0145] (|rpos-ravg|≤30)and(|gpos-gavg|≤30)and(|bpos-bavg|≤30)   (11)
[0146] 其中,rpos,gpos,bpos表示生长到点ppos处的R,G,B颜色值;当公式(11)中所述条件满足时,继续生长;否则停止生长,认为ppos点为当前方向上的边界点;最终得到种子点生长的4个方向的边界,从而得到灰色区域Bgrey(pleft_up,pright_bottom),以及宽wgrey和高hgrey,其中,pleft_up=(xgrey_left,ygrey_up),
[0147] pright_bottom=(xgrey_right,ygrey_bottom)为灰色区域左上顶点和右下顶点的坐标。
[0148] f)根据公式(4)、(5)定义灰色区域右侧的一点pright(xright,yright)和下方的一点pdown(xdown,ydown),用于判断灰色区域外围是否为黑色区域。
[0149]
[0150]
[0151] g)分别计算点pright和pdown周围5x5区域的R,G,B均值rright_avg,gright_avg,bright_avg和rdown_avg,gdown_avg,bdown_avg,根据公式(2)将其分别转换到YUV颜色空间,得到yright_avg,uright_avg,vright_avg和ydown_avg,udown_avg,vdown_avg;
[0152] h)当满足公式(6)所示的条件时,认为点pright和pdown均为黑色,执行步骤i;否则结束本次判断,认为根据pi未检测到黑灰嵌套色块,pi更新为下一个点,执行步骤11;
[0153]
[0154] i)以点pright为生长起始种子点,根据公式(11)所示的生长规则,分别向上、下2个方向进行线性生长;以pdown为起始点,根据公式(11)所示的生长规则,分别向左、右2个方向进行线性生长;结束生长后,得到四个方向的边界,从而得到黑色区域Bblack(pleft_up,pright_bottom),以及宽wblack和高hblack,其中,pleft_up=(xblack_left,yblack_up),pright_bottom=(xblack_right,yblack_bottom);在比色卡上,灰色区域被包含在黑色区域内,因此pleft_up和pright_bottom为左上角黑灰色块左上角和右下角顶点坐标。
[0155] 所述步骤11中的所述判断左上角色块是否是白灰嵌套色块Bwhite_grey,其具体步骤与黑灰嵌套色块的判断步骤类似。区别仅在于,在步骤h)中,当满足公式(8)所示的条件时,认为点pright和pdown均为白色;
[0156]
[0157] 步骤12,根据比色卡左上角色块区域BLU以及宽wLU和高hLU,利用公式(13)得到比色卡右上角灰色区域的中心点pRU_grey(xRU_grey,yRU_grey),执行步骤13;
[0158]
[0159] (xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;(xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;
[0160] 步骤13,将pRU_grey设为色块判断起始点,用来判断右上角色块是否是黑灰嵌套色块或白灰嵌套色块,如果是,则进入步骤14,否则认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0161] 其中,所述判断右上角色块是否是黑灰嵌套色块或白灰嵌套色块与上文所述判断左上角色块是否是黑灰嵌套色块或白灰嵌套色块的步骤相类似。
[0162] 上述步骤完成了比色卡左上角和右上角的色块的检测。
[0163] 步骤14,根据比色卡左上角色块和右上角色块的类型,得到比色卡在图像I中的对应方向。可通过表1直接得到。
[0164] 表1比色卡在不同方向下四角色块的排布表
[0165]方向 左上角色块 右上角色块 左下角色块 右下角色块
0° Bblack_grey Bblack_grey Bwhite_grey Bwhite_grey
逆时针旋转90° Bblack_grey Bwhite_grey Bblack_grey Bwhite_grey
逆时针旋转180° Bwhite_grey Bwhite_grey Bblack_grey Bblack_grey
逆时针旋转270° Bwhite_grey Bblack_grey Bwhite_grey Bblack_grey
[0166] 步骤15,根据比色卡的方向、比色卡左上角色块区域和比色卡右上角色块区域的位置以及它们的宽、高,得到图像I中6个彩色色块区域的中心点。可通过表2所示公式对应得到。设左上角色块区域为BLU(p1,p2),宽wLU,高hLU,其中,p1是该区域的左上角顶点,p2是右下角顶点,p1=(xLU_left,yLU_up),p2=(xLU_right,yLU_bottom);右上角色块区域为BRU(p3,p4),宽wRU,高hRU,其中,p3是左上顶点,p4是右下顶点p3=(xRU_left,yRU_up),p4=(xRU_right,yRU_bottom);
[0167] 表2比色卡在不同方向下的六个彩色色块的中心点坐标表
[0168]
[0169]
[0170] 步骤16,对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点,检测图像I中每个彩色色块是否准确出现在比色卡的彩色色块的对应位置;若6个彩色色块均准确出现在比色卡的相应位置,则执行步骤17,否则将种子点pi更新为下一个点后执行步骤11;
[0171] 步骤16中所述检测彩色色块是否准确出现在比色卡的相应位置,具体包括如下步骤:
[0172] a)对于图像I中每个彩色色块区域,将彩色色块区域的中心点作为色块判断起始点pseed_C,根据公式(1)计算种子点pseed_C周围5×5区域的R,G,B均值ravg_C,gavg_C,bavg_C。
[0173] b)根据公式(9),把ravg_C,gavg_C,bavg_C转换到HSV颜色空间中(H表示色相,S表示饱和度,V表示明度),得到havg_C,savg_C,vavg_C。其中,max'和min'分别为ravg_C,gavg_C,bavg_C中的最大值和最小值;
[0174]c)将根据公式(3)计算得到的(yshift,ushift,vshift)转换至HSV颜色空间(hshift,sshift,vshift),其中:
[0175]
[0176] 在HSV颜色空间中,根据表3中所示条件,判断havg_C前是否满足对应色块的颜色条件(即色相)。如果满足,则执行步骤d;否则,认为未能定位该彩色色块,同时认为根据点pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0177] 表3色相havg_C对于六种彩色色块的判断条件
[0178]
[0179]
[0180] d)以点pseed_C为生长起始点,根据公式(11)的生长规则,分别向上、下、左、右4个方向进行线性生长;找出彩色色块的4个方向的边界,确定彩色色块区域Bcolor,以及宽wcolor和高hcolor;
[0181] 步骤17,根据步骤14得到的比色卡在图像I中的方向,通过表1得到对应方向下左下角色块和右下角色块的类型;
[0182] 判断图像中比色卡左下角色块和右下角色块的类型是否均与比色卡的相应位置的色块类型一致,是则认为根据点pi成功检测到比色卡,否则,将pi更新为下一点,执行步骤11。该过程具体包括如下步骤:
[0183] a)根据比色卡左上角色块区域BLU,以及其宽wLU和高hLU,利用公式(19)得到比色卡左下角色块的灰色区域的中心点pLD_grey(xLD_grey,yLD_grey),执行步骤b);
[0184]
[0185] (xLU_left,yLU_top)为位于比色卡左上角色块的左上角顶点的坐标;
[0186] (xLU_right,yLU_bottom)为比色卡左上角色块的右下角顶点的坐标;
[0187] b)将pLD_grey设为色块判断起始点,作为用来判断左下角色块是否是黑灰嵌套色块或白灰嵌套色块(判断方法上文已经详细描述,此处不再赘述),同时,根据比色卡在图像I中的方向,判断左下角色块是否是表1中对应方向下比色卡左下角对应的色块类型,是则执行步骤c);否则认为根据pi未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0188] c)根据比色卡右上角色块区域BRU的宽wRU和高hRU,利用公式(21)得到比色卡右下角灰色区域的中心点pRD_grey(xRD_grey,yRD_grey),执行步骤d);
[0189]
[0190] (xRU_left,yRU_top)为位于比色卡右上角黑灰嵌套色块的左上角的坐标;
[0191] (xRU_right,yRU_bottom)为比色卡右上角黑灰嵌套色块的右下角的坐标;
[0192] d)将pRD_grey设为色块判断起始点,用来判断右下角色块是否是黑灰嵌套色块或白灰嵌套色块(判断方法上文已经详细描述,此处不再赘述),根据比色卡在图像I中的方向,判断右下角色块是否是表1中对应方向下比色卡右下角的色块类型,是则进入步骤2;否则认为未检测到比色卡,结束本次判断,将点pi更新为下一个点后执行步骤11;
[0193] 以上步骤完成了比色卡左下角和右下角的色块的检测。同时表明成功检测到比色卡,进入步骤2。
[0194] 步骤2,使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则执行步骤3,否则认为图像不满足婴儿大便颜色分析的要求。
[0195] 本发明使用图像的信息熵作为图像质量是否满足要求的评判标准,对图像的质量进行监控。信息熵作为度量信息量的方法,对于图像而言,它表明图像灰度分布的聚集特性,熵值越高的图像,灰度上的细节和变化就越多越明显,反之,熵值低的图像,就没有太多的细节和变化。具体步骤如下:
[0196] 步骤21,根据比色卡上两个黑灰嵌套色块的位置,得到图像质量控制区域Bfunc(pleft_up,pright_bottom),以及其宽wfunc和高hfunc。
[0197] 步骤22,计算比色卡上图像质量控制区域Bfunc的信息熵,以平均梯度均值 作为信息熵的具体实现方式,越高,Bfunc区域的黑白变化越明显,图像越清晰,图像质量越好;反之,越低,Bfunc区域的黑白变化越不明显,图像越模糊,图像质量越差。按照公式(15)计算得到平均梯度均值
[0198]
[0199] 其中,rf(i,j),rf(i,j)和rf(i,j)为区域Bfunc内(i,j)点的颜色值;Ig_f(i,j)为区域Bfunc内(i,j)点的灰度值;wfunc、hfunc分别为区域Bfunc的宽和高;S为状态位,其值为1表明当前点在统计范围内,为0表明当前点不在统计范围内;k为预设阈值,取30~50;
[0200] 步骤23,如果 则表明图像质量满足要求,执行步骤3;如果 则表明图像质量差,存在抖动或失焦,不满足婴儿大便颜色分析的要求。
[0201] 步骤3:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像:
[0202] 由于光源不同的色温,物体在不同光源照射下呈现出不同的颜色。比如白色物体在室内钨丝灯光看起来会带有橘黄色色调;在蔚蓝天空下,则会带有蓝色。颜色校正的目的就是消除不同光源造成的色彩偏差。本发明中,使用基于无监督的颜色恒常性颜色校正方法,利用图像本身底层的颜色特征,推算得到图像成像时的光照颜色。具体步骤如下:
[0203] 步骤31,用公式(16)所示的闵可夫斯基范式(Minkowski-norm)距离计算满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I:
[0204]
[0205] 其中,IR(i,j)、IG(i,j)、IB(i,j)为满足检测要求的图像在点(i,j)处的R,G,B颜色值,wI和hI为待检测图像的宽高;
[0206] 步骤32,根据满足检测要求的图像R,G,B三通道各自的均值ravg_I,gavg_I,bavg_I,利用公式(17)计算R,G,B三通道的偏色增益(rgain_I,ggain_I,bgain_I)。偏色增益也叫色温校正因子,是对R,G,B三个通道分别进行调整的三个系数。
[0207]
[0208] 对于图像I上的每一个像素点,根据公式(18)进行校正。
[0209]
[0210] 其中,IR′(i,j),IG′(i,j),IB′(i,j)为颜色校正后的点(i,j)处的R,G,B颜色值。
[0211] 步骤4,去除大便图像上的高光反射和阴影部分如步骤4所述。
[0212] 步骤41,根据公式(22),把图像大便区域从RGB颜色空间转换到HSV颜色空间中;其中,r,g,b和h,s,v分别为图像大便区域每个像素点的颜色值,max和min分别为r,g,b中的最大值和最小值:
[0213]
[0214] 步骤42,在HSV颜色空间,去除图像大便区域的高光反射和阴影部分;
[0215] a)根据公式(23),计算图像大便区域在HSV颜色空间所有像素点的亮度v的标准差σv;其中,vi为每个像素点的亮度值,n为图像大便区域像素点的个数,为所有像素点的亮度v的均值
[0216]
[0217] b)根据 的范围作为图像大便区域亮度的正常范围,亮度超出此范围的像素点均认为是亮度异常的点;其中,vi高于 的点的集合即认为是高光反射部分,vi低于的点的集合即认为是阴影部分,均予以去除。
[0218] 进一步的,构建婴儿大便颜色类别表:构建九级婴儿大便颜色类别表:分别为:浅白色,灰色,陶土色,浅黄色,黄色,棕色,绿色,红色和黑色。每一张婴儿大便颜色的图像对应唯一的一个颜色类别。
[0219] 步骤5:采用随机森林多分类算法根据大便图像颜色进行自动分类。所述步骤5的具体步骤如下:
[0220] 步骤51,离线监督训练;
[0221] a)收集整理训练数据:训练数据为包含婴儿大便区域的比色卡图像数据集D,图像数据集D中图像均为步骤4得到的所述颜色校正后并且去除了大便区域高光和阴影部分的图像,图像数据集D对应的属性则是每幅图像所对应的大便颜色类别;
[0222] b)提取图像的特征:图像的特征是一个n×1的向量,记为 中每个分量的值由大便区域Bstool在HSV通道的颜色均值(hstool_avg,sstool_avg,vstool_avg)和比色卡上6个彩色色块Bred、Bgreen、Bblue、Bcyan、Bmagenta和Byellow上对应通道的颜色均值分别相减得到;是一个6×3=18维的特征向量;其中,通过公式(9)将RGB颜色均值转化为HSV颜色均值;
[0223] c)随机森林训练:
[0224] 5.1.c.1,确定训练参数:包括随机森林中决策树个数t,每棵决策树随机分配的样本数量k,每棵决策树的深度d,决策树的每个节点使用到的特征数量f;终止条件:叶子节点上最少的样本数num,节点上样本属性的分类类别;当某节点上样本数个数小于num,或者样本属性的分类类别全部来自同一类别,认为其为叶子节点;
[0225] 5.1.c.2,对于第i∈[1,t]棵决策树,从图像数据集D中随机抽取k个样本,作为第i根决策树的根节点样本集合;如果当前节点没有达到终止条件,则从图像特征向量中随机选取f维特征;寻找能将该节点的样本最均匀的分成两类的特征i及其阈值th,当前节点上样本第i维特征小于th的样本被划分到左节点,其余的被划分到右节点;如果当前节点达到终止条件,则设置当前节点为叶子节点,该叶子节点的预测输出值为当前节点图像数据所对应的大便颜色类别数量最多的那一类C(j)。然后继续训练其他节点。
[0226] 5.1.c.3,重复5.1.c.2,直到所有节点都训练过了或者被标记为叶子节点;
[0227] 5.1.c.4,重复5.1.c.3,直到所有t棵决策树都被训练过;
[0228] 步骤52,在线预测;
[0229] a)对于一张待测的输入图像,成功检测到比色卡,判断图像质量满足检测要求,对图像进行颜色校正,并去除图像大便区域的高光反射和阴影部分后,得到处理后的待预测图像;
[0230] b)将图像大便区域,分为大小为 的n×n个块,每个块的宽高分别为图像大便区域宽高wstool,hstool的
[0231] c)根据每个块的区域和比色卡上颜色区域,利用步骤51的步骤b中所述方法生成每个块的特征向量;
[0232] d)使用步骤51得到的离线监督训练生成的决策树,对于第i∈[1,t]棵决策树,从当前决策树的根节点开始,根据当前节点的阈值th,小于所述阈值th进入左节点,大于等于所述阈值th进入右节点,直到到达某个叶子节点,得到第i棵树的预测值;预测值为该叶子节点数据对应的大便颜色类别;
[0233] e)重复步骤d,直到所有t棵决策树都得到了预测类别;
[0234] f)所有树中预测概率总和最大的那一个类别,作为大便颜色分类类别。概率总和即为每个C(j)的概率p的累加和,概率p为C(j)占当前样本集的比例;
[0235] g)重复步骤d、e、f,直到所有n×n个块都得到了分类类别;
[0236] 步骤6:采用最小欧式距离算法根据大便图像颜色进行自动分类。所述步骤6的具体步骤如下:
[0237] 步骤61,将去除高光和阴影部分的图像大便区域,分为大小为 的n×n个块,每个块的宽高分别为图像大便区域宽高wstool×hstool的
[0238] 步骤62,分别计算每个块h,s,v的均值
[0239] 步骤63,对于每一个块,具体处理步骤如下:
[0240] a)首先进行黑色类别判断,当满足条件 时,认为该块是黑色类别,以黑色类别作为该块的预测类别,结束该块判断;
[0241] b)如果不是黑色类别,则计算该块的均值 和如公式(24)所示的8个标准类别的h,s值Hj,Sj,j∈[1,8]的加权欧式距离 其中,w1,w2分别为
色度H和饱和度S的权重值。取最小欧式距离对应的标准类别作为该块的预测类别;
[0242]
[0243] c)重复步骤a、b,最终得到所有n×n个块的预测类别。
[0244] 在步骤7中,将步骤5预测到的n×n个块大便颜色类别和步骤6预测到的n×n个块大便颜色类别放在一起,共2n×n个块大便颜色类别,统计其中出现最多的类别,作为图像最终的预测大便颜色类别。
[0245] 本发明的另一个目的在于,提供一种婴儿大便颜色的自动分析系统,包括如下依次相连接的模块:
[0246] 比色卡检测模块:检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则转入图像监控模块,否则认为未检测到比色卡;
[0247] 图像监控模块:使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则转入颜色校正模块,否则认为图像不满足婴儿大便颜色分析的要求;
[0248] 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;
[0249] 去除高光和阴影模块:对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;
[0250] 颜色分类模块:使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的待预测图像,预测其大便颜色类别。
[0251] 本发明中,回归随机森林可使用其他机器学习方法替换:如最近邻、支持向量机、boosting或智能神经网络等。
[0252] 本发明的另一个目的在于,提供一种婴儿大便颜色类别的自动检测系统,包括如下依次相连接的模块:
[0253] 比色卡检测模块:检测图像中比色卡左上角和右上角的黑灰嵌套色块和白灰嵌套色块的分布情况,以此确定比色卡在图像中的方向;然后根据比色卡在图像中的方向确定六个彩色色块是否均准确出现在比色卡的相应位置;最后根据比色卡在图像中的方向检测图像中比色卡的左下角和右下角的色块是否是对应方向下的黑灰嵌套色块或白灰嵌套色块,是则转入图像监控模块,否则认为未检测到比色卡;
[0254] 图像监控模块:使用图像熵对图像I进行质量监控,判断图像是否满足检测要求,满足则转入颜色校正模块,否则认为图像不满足大便颜色自动分析的要求;
[0255] 颜色校正模块:对满足检测要求的图像进行颜色校正,得到颜色校正后的图像;
[0256] 去除高光和阴影模块:对颜色校正后的图像,去除图像大便区域的高光反射和阴影部分;
[0257] 颜色分类模块:使用机器学习的方法,以及最小欧式距离的方法,综合分析预处理后的待预测图像,预测其大便颜色类别。
[0258] 实施例
[0259] 申请人通过使用2544套数据样本训练,得到婴儿大便颜色分析系统,其中每套数据样本包括一张放置在大便颜色的比色卡图像和该图像对应的分类类别。其中,每张图像均为拍照合格的图像,表明能够准确检测到比色卡并且无失焦和抖动。在利用步骤3对图像进行颜色校正后,根据步骤5.1.b生成特征向量。本发明中的回归随机森林中设有决策树200棵,每颗决策树随机分配训练样本量的60%,每颗决策树的最大深度为10层,每个节点使用的特征数量为4,叶子节点的最少样本数为5,叶子节点的标准差设为0.01。
[0260] 自动分析时,每张图片的大便区域被分成4×4个子区域进行分析。若图像中子区域的类别中前两类别个数相同,则优先将浅白色,灰色,陶土色,红色,或黑色类别作为本次分析的颜色分类。若前两类不存在这些颜色类别,则输出颜色类别序号较小的类别。
[0261] 在训练完成后,通过1521套数据验证该婴儿大便颜色分析的准确性,每套数据包括一张放置在婴儿大便上的比色卡图像,并预先得知该照片的图像类别。图像数据均为拍照合格的图像,无抖动和失焦。该系统的颜色分类准确率高达93.2%。实验证明本发明简单有效,预测结果准确,客观。