中医望诊中新型嘴唇分割算法转让专利

申请号 : CN201510146443.6

文献号 : CN104766316B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张文强李福凤胡洋洋路红张睿孙晨阳张伟妃钱鹏

申请人 : 复旦大学

摘要 :

本发明属于计算机数字图像处理技术领域,具体为一种中医望诊中新型嘴唇分割算法。其步骤为:通过对含人脸的图像采用Haar分类器进行人脸检测,获取人脸图像的上半部分皮肤作为训练数据建立脸部肤色混合高斯模型;根据脸部肤色混合高斯模型求出下半脸的肤色概率图,对肤色概率图采用迭代的方法去除非嘴唇像素,获得粗嘴唇;粗嘴唇优化处理,包括对粗嘴唇图像中的嘴唇和非嘴唇区域分别建立混合高斯模型,求出其背景概率图,对背景概率图采用Otsu进行二值化处理,采用区域增长法,中值滤波和”k‑points”方法进行细化,获得最终嘴唇轮廓。本发明提出了一种基于概率模型的方法,能够自适应地处理多样的、含复杂背景的嘴唇图像,可极大的提高嘴唇分割的准确度。

权利要求 :

1.一种中医望诊中嘴唇分割算法,其特征在于,具体步骤如下:(1)、建立脸部肤色混合高斯模型;

(2)、根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇;

(3)、粗嘴唇优化处理,获得最终嘴唇轮廓;

其中:

步骤(1)所述的建立脸部肤色混合高斯模型,具体过程如下:(11)、输入含人脸的原始图像,采用Haar分类器进行人脸检测,获得图像 ;

(12)、获取图像 上半脸皮肤图像 ,确保 中不包含嘴唇,对 简单去除一些非脸背景区域的干扰;

(13)、以 为训练数据建立肤色混合高斯模型:在 颜色空间上,以像素为训练数据为人脸图像 建立肤色混合高斯模型,并且该混合高斯模型的分量个数为3;

步骤(2)所述的根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇,具体过程如下:(21)、利用肤色混合高斯模型求出下半脸的肤色概率图:在 颜色空间上,对于下半部分脸 中每个像素 ,采用训练好的肤色混合高斯模型求出它的肤色概率值 ,具体计算公式如下:

其中, , , 分别为第 个高斯分量的权值,均值和协方差;

(22)、利用嘴唇先验知识迭代寻找嘴唇,对嘴唇定位;

(23)、在嘴唇感兴趣区域中继续迭代优化,得到粗嘴唇图像;

步骤(3)所述的粗嘴唇优化处理,获得最终嘴唇轮廓,具体过程如下:(31)、计算粗嘴唇图像的背景概率图;

(32)、先将背景概率图的像素值从 映射到 ,再对背景概率图采用Otsu进行二值化处理,得到嘴唇掩模;

(33)、对嘴唇掩模进行细化处理,得到最终嘴唇掩模;

(34)、依照最终嘴唇掩模,提取嘴唇分割的轮廓。

2.根据权利要求1所述的中医望诊中嘴唇分割算法,其特征在于,步骤(2)中所述利用嘴唇先验知识迭代寻找嘴唇,对嘴唇定位,具体过程如下:(221)、定义嘴唇的先验知识;

(222)、设计迭代步长 ;

(223)、粗略确定嘴唇中心所在区域;

(224)、精确确定嘴唇区域;

其中,所述粗略确定嘴唇中心所在区域的具体过程如下:(2231)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;

(2232)、去除皮肤:如果 则 ,否则 ;

(2233)、在二值图像 中,利用嘴唇先验知识检测疑似嘴唇个数 ;

(2234)、如果 ,则认为检测到嘴唇,提取嘴唇外接矩形区域 作为嘴唇中心所在区域,退出;否则,如果 则 重复步骤(2232),否则 重复步骤(2232),如果 则 重复步骤(2232),否则未检测到嘴唇,退出;

所述精确确定嘴唇区域的具体过程如下:

(2241)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;

(2242)、去除皮肤:如果 则 ,否则 ;

(2243)、在二值图像 中,利用嘴唇先验知识和嘴唇中心所在区域 来检测疑似嘴唇个数 ;

(2244)、如果 ,则认为检测到嘴唇,记录 ,在 和 中分别提取嘴唇感兴趣区域 和 ,退出;否则,如果 则 重复步骤(2242),否则未检测到嘴唇,退出。

3.根据权利要求2所述的中医望诊中嘴唇分割算法,其特征在于,步骤(2)中所述在嘴唇感兴趣区域中继续迭代优化,得到粗嘴唇图像,是通过嘴唇感兴趣区域肤色概率图 对采用迭代优化方法得到粗嘴唇图像 ,具体方法是:从 即迭代步长取开始进行迭代去除皮肤,寻找肤色区域面积增长过程的第一个局部极小值点,取该极小值点处的迭代步长值作为最优阈值 ,如果未找到局部极小值点,则 ;在概率图 中,使用阈值 做去除皮肤处理,得到嘴唇二值图像,再对该二值图像做去除一些杂质和中值滤波处理,得到下半脸中对应的粗嘴唇图像 。

4.根据权利要求3所述的中医望诊中嘴唇分割算法,其特征在于,步骤(3)中所述计算粗嘴唇图像的背景概率图,具体步骤如下:(311)、以粗嘴唇图像中嘴唇像素和非嘴唇像素为训练数据分别建立一个混合高斯模型:在 颜色空间上,以粗嘴唇图像中对应的嘴唇像素和非嘴唇像素为训练数据分别建立混合高斯模型 和 ,并且混合高斯模型的分量个数都为3;

(312)、利用这两个混合高斯模型,求出粗嘴唇图像的背景概率图:在 颜色空间上,对于粗嘴唇图像中每个像素 ,采用训练好的 和 求出它的背景概率值 ,具体计算公式如下:

其中, , 是由这两个混合高斯模型计算出的相应概率值。

5.根据权利要求4所述的中医望诊中嘴唇分割算法,其特征在于,步骤(3)中所述对嘴唇掩模进行细化处理,得到最终嘴唇掩模,具体步骤如下:(331)、对嘴唇掩模采用区域增长法去除杂质,采用中值滤波进行平滑处理;

(332)、对嘴唇掩模采用k-points方法处理,得到最终嘴唇掩模。

说明书 :

中医望诊中新型嘴唇分割算法

技术领域

[0001] 本发明属于计算机数字图像处理技术领域,具体涉及一种中医望诊中新型嘴唇分割算法。

背景技术

[0002] 在中医诊断中,嘴唇诊断是一个重要的诊断方法,可用来反应人身体器官的健康状况。根据中医望诊理论,一个人嘴唇的颜色可作为一种症状或体征来诊断他的脾脏或胃是否健康。嘴唇分割的越准确,诊断结果就越可靠。在中国很长一段时间,嘴唇分析是通过经验丰富的医生用裸眼来进行,这种方法是低效的尤其在处理大量嘴唇图像的时候。因此,设计一个从脸部图像中自动准确的分割出嘴唇是非常必要的。而且,嘴唇检测在许多应用中是十分重要的,例如,唇读系统,人脸检测,语言识别和说话人身份鉴证等。
[0003] 嘴唇颜色能够分类为深红,紫红色,红色,苍白色等。设计一个嘴唇分割方法使它能适用于不同的嘴唇是意义深远的。由于嘴唇区域和非嘴唇区域有相对较弱的颜色对比,因此准确的嘴唇分割一直是一个挑战性的难题。尤其当嘴唇与非嘴唇有相似的颜色时,准确的嘴唇分割变得异常困难。
[0004] 对于嘴唇分析,鲁棒的和准确的嘴唇分割是至关重要的。然而,在面对嘴唇图像含有胡子胡须时,现有的大多数技术表现的非常差。由于含有胡子胡须,背景区域变得复杂的和不纯的。
[0005] 到目前为止,许多研究者已经提出了许多种嘴唇分割的方法。早期的直接在彩色或灰度空间上的分割,通过颜色空间变换增大嘴唇区域与周围非嘴唇区域的对比度,使用全局或局部阈值来直接获取嘴唇图像,此方法虽然速度快,但是适应性差,不能适应多样的嘴唇图像和复杂的背景。另外一些经典的基于模型的方法,例如几何模型,活动轮廓模型(即snakes),聚类算法(如模糊C均值),水平集,单高斯模型等,虽然有很好地鲁棒性,但是仍难以很好的适应多样的嘴唇图像和复杂的背景,尤其当嘴唇区域与非嘴唇区域有相似的颜色时,难以准确的分割出嘴唇。
[0006] 为了解决这些问题,本发明提出了一种中医望诊中新型嘴唇分割算法,具体采用基于三维混合高斯肤色模型的方法来解决嘴唇自动准确分割的问题。混合高斯模型,即GMM,在图像分割领域已经得到了广泛的应用,例如SnapCut,Soft Scissors等,它采用概率模型的方法来精确的分割目标。本发明采用基于肤色的混合高斯模型实现了嘴唇自动准确的分割。

发明内容

[0007] 本发明的目的在于克服以上技术中的缺陷,提供一种鲁棒的、准确的、适应性强的中医望诊中新型嘴唇分割算法。
[0008] 本发明提出的中医望诊中新型嘴唇分割算法,是基于三维混合高斯肤色模型的嘴唇分割的方法,它是一种概率模型的分割方法。在多样的嘴唇图像和复杂的背景下,该方法能自适应的准确的分割出嘴唇。即使在嘴唇颜色与周围皮肤颜色相似的情况下,该方法也能达到很好的分割效果。
[0009] 本发明提出的中医望诊中新型嘴唇分割算法,是一种基于三维混合高斯肤色模型的嘴唇分割的方法,其具体步骤如下:
[0010] (1)、建立脸部肤色混合高斯模型;
[0011] (2)、根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇;
[0012] (3)、粗嘴唇优化处理,获得最终嘴唇轮廓。
[0013] 上述步骤(1)所述的建立脸部肤色混合高斯模型,其具体步骤如下:
[0014] (11)、输入含人脸的原始图像,采用Haar分类器进行人脸检测,获得图像 ;
[0015] (12)、获取图像 上半脸皮肤图像 ,确保 中不包含嘴唇,对 简单去除一些非脸背景区域的干扰;
[0016] (13)、以 为训练数据建立肤色混合高斯模型:在 颜色空间上,以像素为训练数据,为人脸图像 建立肤色混合高斯模型,并且该混合高斯模型的分量个数为3;
[0017] 上述步骤(2)所述的根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇,其具体步骤如下:
[0018] (21)、利用肤色混合高斯模型求出下半脸的肤色概率图:在 颜色空间上,对于下半部分脸 中每个像素 ,采用训练好的肤色混合高斯模型求出它的肤色概率值 ,具体计算公式如下:
[0019]
[0020] 其中, , , 分别为第 个高斯分量的权值,均值和协方差;
[0021] (22)、利用嘴唇先验知识迭代寻找嘴唇,对嘴唇定位,其具体步骤如下:
[0022] (221)、定义嘴唇的先验知识;
[0023] (222)、迭代步长 设计;
[0024] (223)、粗略确定嘴唇中心所在区域,其具体步骤如下:
[0025] (2231)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;
[0026] (2232)、去除皮肤:如果 则 ,否则 ;
[0027] (2233)、在二值图像 中,利用嘴唇先验知识检测疑似嘴唇个数 ;
[0028] (2234)、如果 ,则认为检测到嘴唇,提取嘴唇外接矩形区域作为嘴唇中心所在区域,退出;否则,如果 则 重复步骤(2232),否
则 重复步骤(2232),如果 则 重复步骤(2232),否则未检测到嘴唇,退出;
[0029] (224)、精确确定嘴唇区域,其具体步骤如下:
[0030] (2241)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;
[0031] (2242)、去除皮肤:如果 则 ,否则 ;
[0032] (2243)、在二值图像 中,利用嘴唇先验知识和嘴唇中心所在区域来检测疑似嘴唇个数 ;
[0033] (2244)、如果 ,则认为检测到嘴唇,记录 ,在和 中分别提取嘴唇感兴趣区域 和 ,退出;否则,如果 则
重复步骤(2242),否则未检测到嘴唇,退出;
[0034] (23)、在嘴唇感兴趣区域中继续迭代优化,得到粗嘴唇图像,主要思想是通过嘴唇感兴趣区域肤色概率图 对 采用迭代优化方法得到粗嘴唇图像 ,其具体方法是:从 即迭代步长取 开始进行迭代去除皮肤,寻找肤色区域面积增长过程的第一个局部极小值点,取该极值点处的迭代步长值作为最优阈值 ,如果未找到局部极小值点,则 。在概率图 中,使用阈值 做去除皮肤处理,得到嘴唇二值图像,再对该二值图像做去除一些杂质和中值滤波处理,得到下半脸中对应的粗嘴唇图像 ;
[0035] 上述步骤(3)所述的粗嘴唇优化处理,获得最终嘴唇轮廓,其具体步骤如下:
[0036] (31)、计算粗嘴唇图像的背景概率图,其具体步骤如下:
[0037] (311)、以粗嘴唇图像中嘴唇像素和非嘴唇像素为训练数据分别建立一个混合高斯模型:在 颜色空间上,以粗嘴唇图像中对应的嘴唇像素和非嘴唇像素为训练数据分别建立混合高斯模型 和 ,并且混合高斯模型的分量个数都为3;
[0038] (312)、利用这两个混合高斯模型,求出粗嘴唇图像的背景概率图:在 颜色空间上,对于粗嘴唇图像中每个像素 我们采用训练好的 和求出它的背景概率值 ,具体计算公式如下:
[0039]
[0040] 其中, , 是由这两个GMM计算出的相应概率值;
[0041] (32)、先将背景概率图的像素值从 映射到 ,再对背景概率图采用Otsu进行二值化处理,得到嘴唇掩模;
[0042] (33)、对嘴唇掩模进行细化处理,得到最终嘴唇掩模,其具体步骤如下:
[0043] (331)、对嘴唇掩模采用区域增长法去除杂质,采用中值滤波进行平滑处理;
[0044] (332)、对嘴唇掩模采用k-points方法处理,得到最终嘴唇掩模,其具体步骤如下:
[0045] (3321)、“k-points”方法定义;
[0046] (3322)、采用“k-points”方法去除嘴唇掩模上的突出物;
[0047] (3323)、采用“k-points”方法填补嘴唇掩模上的内凹;
[0048] (34)、依照最终嘴唇掩模,提取嘴唇分割的轮廓。
[0049] 在面对嘴唇图像含有胡子胡须时,现有的大多数技术表现的非常差。由于含有胡子胡须,背景区域变得复杂的和不纯的。本发明提出的中医望诊中新型嘴唇分割算法很好的解决了这个问题。原因是:在利用上半脸建立肤色混合高斯模型时,让训练数据内保留有眉毛、头发等数据,因为眉毛和头发与胡子胡须颜色类似,故下半脸中的胡子胡须可用这个肤色混合高斯模型来去除。
[0050] 与现有技术相比,本发明的有益效果为:
[0051] 1、本发明提出了一个新颖的基于概率模型的方法来精确的分割嘴唇目标,极大的提高了嘴唇分割的准确度。
[0052] 2、本发明为每幅待处理的人脸图像,量身设计了相应的肤色混合高斯模型,能够自适应地处理多样的嘴唇图像和含复杂背景的嘴唇图像,对当嘴唇区域与非嘴唇区域有相似的颜色时,本发明也能很好的处理。
[0053] 3、本发明有助于提高中医诊断中的嘴唇诊断率,也能极大的提高嘴唇检测应用系统的准确率,如唇读系统,人脸检测,语言识别和说话人身份鉴证等应用。

附图说明

[0054] 图1为本发明的中医望诊中新型嘴唇分割算法的总流程框图。
[0055] 图2为图1中步骤(1)所述的建立脸部肤色混合高斯模型的流程图。
[0056] 图3为图1中步骤(2)所述的根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇的流程图。
[0057] 图4为图1中步骤(3)所述的粗嘴唇优化处理,获得最终嘴唇轮廓的流程图。
[0058] 图5为本发明的待处理的含人脸的原始图像的图。
[0059] 图6为用本发明的中医望诊中新型嘴唇分割算法后的嘴唇检测结果图。

具体实施方式

[0060] 下面结合附图和实施例对本发明作进一步详细说明。
[0061] 参照图1,本发明的中医望诊中新型嘴唇分割算法,其具体步骤如下:
[0062] (1)、建立脸部肤色混合高斯模型,如图2所示,其具体步骤如下;
[0063] (11)、输入含人脸的原始图像,如图5所示,采用Haar分类器对其进行人脸检测,获得人脸图像 ;
[0064] (12)、获取图像 上半脸皮肤图像 ,确保 中不包含嘴唇,对 简单去除一些非脸背景区域的干扰;
[0065] (13)、以 为训练数据建立肤色混合高斯模型:在 颜色空间上,我们以像素为训练数据为人脸图像 建立肤色混合高斯模型,并且该混合高斯模型的分量个数为3;
[0066] (2)、根据脸部肤色混合高斯模型去除非嘴唇像素,获得粗嘴唇,如图3所示,其具体步骤如下;
[0067] (21)、利用肤色混合高斯模型求出下半脸的肤色概率图:在 颜色空间上,对于下半部分脸 中每个像素 我们采用训练好的肤色混合高斯模型求出它的肤色概率值 ,具体计算公式如下:
[0068]
[0069] 其中, , , 分别为第 个高斯分量的权值,均值和协方差;
[0070] (22)、利用嘴唇先验知识迭代寻找嘴唇,对嘴唇定位,其具体步骤如下:
[0071] (221)、定义嘴唇的先验知识:嘴唇外接矩形的宽高比设置在 之间;目标填充率,即嘴唇区域面积与嘴唇外接矩形面积之比,设置在 之间;嘴唇面积与下半脸面积比设置在 之间;嘴唇中心点位置信息,嘴唇中心点的横坐标设置在下半脸图像宽度的 之间,嘴唇中心点的纵坐标大于下半脸图像高度的 ;
[0072] (222)、迭代步长设计为 ;
[0073] (223)、粗略确定嘴唇中心所在区域,其具体步骤如下:
[0074] (2231)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;
[0075] (2232)、去除皮肤:如果 则 ,否则 ;
[0076] (2233)、在二值图像 中,利用嘴唇先验知识检测疑似嘴唇个数 ;
[0077] (2234)、如果 ,则认为检测到嘴唇,提取嘴唇外接矩形区域作为嘴唇中心所在区域,退出;否则,如果 则 重复步骤(2232),否则
重复步骤(2232),如果 则 重复步骤(2232),否则未检测到嘴唇,退
出;
[0078] (224)、精确确定嘴唇区域,其具体步骤如下:
[0079] (2241)、初始化设置:选取 ,即迭代步长取 ,下半脸 的二值图像 ;
[0080] (2242)、去除皮肤:如果 则 ,否则 ;
[0081] (2243)、在二值图像 中,利用嘴唇先验知识和嘴唇中心所在区域来检测疑似嘴唇个数 ;
[0082] (2244)、如果 ,则认为检测到嘴唇,记录 ,在 和中分别提取嘴唇感兴趣区域 和 ,退出;否则,如果 则 重
复步骤(2242),否则未检测到嘴唇,退出;
[0083] (23)、在嘴唇感兴趣区域中继续迭代优化,得到粗嘴唇图像,主要思想是通过嘴唇感兴趣区域肤色概率图 对 采用迭代优化方法得到粗嘴唇图像 ,其具体方法是:从 即迭代步长取 开始进行迭代去除皮肤,寻找肤色区域面积增长过程的第一个局部极小值点,取该极值点处的迭代步长值作为最优阈值 ,如果未找到局部极小值点,则 。在概率图 中,使用阈值 做去除皮肤处理,得到嘴唇二值图像,再对该二值图像做去除一些杂质和中值滤波处理,得到下半脸中对应的粗嘴唇图像 ;
[0084] (3)、粗嘴唇优化处理,获得最终嘴唇轮廓,如图4所示,其具体步骤如下:
[0085] (31)、计算粗嘴唇图像的背景概率图,其具体步骤如下:
[0086] (311)、以粗嘴唇图像中嘴唇像素和非嘴唇像素为训练数据分别建立一个混合高斯模型:在 颜色空间上,我们以粗嘴唇图像中对应的嘴唇像素和非嘴唇像素为训练数据分别建立混合高斯模型 和 ,并且混合高斯模型的分量个数都为3;
[0087] (312)、利用这两个混合高斯模型,求出粗嘴唇图像的背景概率图:在 颜色空间上,对于粗嘴唇图像中每个像素 我们采用训练好的 和求出它的背景概率值 ,具体计算公式如下:
[0088]
[0089] 其中, , 是由这两个GMM计算出的相应概率值;
[0090] (32)、先将背景概率图的像素值从 映射到 ,再对背景概率图采用Otsu进行二值化处理,得到嘴唇掩模;
[0091] (33)、对嘴唇掩模进行细化处理,得到最终嘴唇掩模,其具体步骤如下:
[0092] (331)、对嘴唇掩模采用区域增长法去除杂质,采用中值滤波进行平滑处理;
[0093] (332)、对嘴唇掩模采用k-points方法处理,得到最终嘴唇掩模,其具体步骤如下:
[0094] (3321)、“k-points”方法定义:对于嘴唇掩模上的嘴唇轮廓点,从左到右每隔k个点取一个点,然后把这些点用直线连接起来,作为嘴唇的新掩模;
[0095] (3322)、采用“k-points”方法去除嘴唇掩模上的突出物:选取k从5到15,分别对嘴唇掩模利用”k-points”方法求出相应的嘴唇掩模,然后对这些嘴唇掩模进行“与”操作;
[0096] (3323)、采用“k-points”方法填补嘴唇掩模上的内凹:选取k从5到10,分别对嘴唇掩模利用”k-points”方法求出相应的嘴唇掩模,然后对这些嘴唇掩模进行“或”操作;
[0097] (34)、依照最终嘴唇掩模,提取嘴唇分割的轮廓,如图6所示。