基于超像素-多色彩空间的人体轮廓提取方法

摘要

本发明提出了一种基于超像素‑多色彩空间的人体轮廓提取方法，从超像素SP和多色彩空间MCS视觉角度出发进行改进，对于一副图像的轮廓信息而言，最主要的差别就是色彩或亮度信息在某一梯度方向上发生剧变或跳跃，将该属性选定为轮廓所分开的区域的特征，该特征具有类内差距小、类间差别大的特点，能够很好的将不同的区域划分开来，再利用区域信息提取完整人体轮廓信息。本发明还提出基于最小阻碍距离MBD的人体轮廓提取方法，能够大大加强较复杂背景下的轮廓提取的准确度和完整性。实验证明，在非接触式人体轮廓提取中的问题在本发明中都很好的得到了解决，本发明提出的基于超像素‑多色彩空间的人体轮廓提取方案是具有很大的实用价值的。

权利要求

1.一种基于超像素-多色彩空间的人体轮廓提取方法，其特征在于，所述方法包括以下步骤：S1、利用超像素SP分割算法将原始彩色图像分割成为若干个超像素块，分别利用中值或均值计算得到各个超像素块的块内色彩值和亮度值，并记录超像素之间的相邻关系；

S2、将每个超像素与其相邻超像素进行比较，在给定阈值范围内则将其合并为一个区域，并最终记录各个区域中所包含的超像素集合；

S3、采用Lab色彩空间计算区域中a、b、L三个通道分别对应的均值；

S4、将超像素均值化处理后的图像进行聚类，并将聚类结果与图像边界接触的类中的灰度值降为0，中心区域亮化；

S5、对图像进行常规的轮廓提取；

其中，所述步骤S3中还将HSV色彩空间中的色彩浓度S通道作为均衡化图像中的第四通道。

2.根据权利要求1所述的方法，其特征在于：所述步骤S1中，分别记录各个超像素中的中心色彩、亮度通道的数值以及与各超像素相连接的超像素序号。

3.根据权利要求1所述的方法，其特征在于：所述步骤S2中，使用DBSCAN聚类算法对超像素图像进行区域融合，分别记录分割结果区域中的超像素集合以及各个分割区域之间的相邻关系。

4.根据权利要求1所述的方法，其特征在于：所述步骤S4中利用聚类算法将图像四个通道作为该像素的特征值，选用K-mean聚类算法将图像色彩信息进行聚类，聚类结果用阿拉伯数字表示类标，再将类标映射到灰度图像区间。

5.根据权利要求4所述的方法，其特征在于：所述步骤S4中利用滤波算法将聚类结果可能出现的噪声消除，为了减小新灰度值的介入，选择中值滤波效果最好。

6.根据权利要求1-5任一项所述的方法，其特征在于：所述步骤S5中对步骤S4获得的图像进行二值化分割，利用给定阈值的全局二值化方法获取二值化轮廓，然后，使用形态学算子对提取的轮廓做腐蚀膨胀算法，再使用八链码将人体轮廓序列提取出来。

7.一种基于超像素-多色彩空间的人体轮廓提取方法，其特征在于，所述方法应用于较复杂背景条件下人体轮廓提取，包括以下步骤：S201、对采集到的原始图像转换为HSV色彩空间，并进行最小阻碍距离MBD区域显著性检测；

S202、对采集到的原始图像进行超像素均值化处理，再进行MBD区域显著性检测；其中，所述对采集到的原始图像进行超像素均值化处理具体为：利用超像素SP分割算法将原始彩色图像分割成为若干个超像素块，分别利用中值或均值计算得到各个超像素块的块内色彩值和亮度值，并记录超像素之间的相邻关系；将每个超像素与其相邻超像素进行比较，在给定阈值范围内则将其合并为一个区域，并最终记录各个区域中所包含的超像素集合；

采用Lab色彩空间计算区域中a、b、L三个通道分别对应的均值；

S203、将步骤S201的检测结果与步骤S201的检测结果相融合；

S204、采用局部自适应的二值化分割方法对步骤S203的图像进行分割；

S205、对图像进行常规的轮廓提取，并利用膨胀和腐蚀算法对图像进行形态学调整。

8.根据权利要求7所述的方法，其特征在于：所述MBD区域显著性检测具体为：将需要检测的图片使用光栅扫描算法的扫描顺序进行FastMBD距离变化算法计算每个颜色信道的MBD，得到距离变换处理后的图像，然后融合即可得到MBD区域显著性检测结果。

说明书

基于超像素-多色彩空间的人体轮廓提取方法

技术领域

[0001] 本发明属于图像处理技术领域，具体涉及一种人体轮廓提取方法。

背景技术

[0002] 人体形态参数，包括身高、体重、颈围、肩宽、臂长、胸围、腰围、腹围、臀围、腿围、腿长等，蕴含大量有价值的信息。人体形态参数可运用场景非常广泛，例如实现远程的服装定制、人体健康状况的评估等等。人体形态参数测量方法也由人为手工测量向非接触式测量过度。在基于被动非接触式人体形态参数提取过程为：人体照片采集与预处理→人体轮廓序列提取→人体轮廓特征点标定→人体参数测量。该过程中，人体轮廓序列提取是非常关键的一步，人体轮廓提取的完整性、精确程度都将直接影响最终人体形态参数测量结果的准确性。因此，人体轮廓提取研究极具现实意义。

[0003] 关于人体轮廓提取的研究国内外相关学者已经做过了大量的工作。目前国内学者针对图像中的人体轮廓提取最常使用的方法是先将图像增强处理然后利用边缘检测算子将图像中的轮廓信息提取出；接着，通过图像分割将轮廓分割成二值化图像；最后利用轮廓追踪最终将轮廓序列提取出来。

[0004] 方金等提出利用图像边缘检测算子和最佳阈值分割相结合进行人体提取，在对图片中灰度处理与灰度拉伸对边缘检测结果的影响；韩强等提出先将图片进行灰度化、滤波处理后基于图像的肤色区域和梯度Hough变换进行图像定位后进行图像分割；蔡欣等提出按照图像灰度化处理、图像滤波、图像锐化、图像边缘检测、图像二值化分割的处理顺序进行人体轮廓的提取，常用的边缘检测算子，主要有Roberts、Sobel、Prewitt、Laplacian、Log和Canny等，分析了图像轮廓所携带信息的丰富性，采用简单而实用的掏空内部点法；杨冬梅等对比了图像处理中各种算子对人体轮廓提取场景中最适用的各部分算子后组合成为最终的处理流程，边缘检测采用一种改进的Sobel算子并加入图像形态学处理对人体轮廓提取边界进行进一步调整，使得调整结果更符合人体实际轮廓信息；岳超等提出图像预处理(灰度处理、二值化处理)、边缘检测的处理顺序进行人体轮廓提取。

[0005] 现有人体轮廓特征点标记方法通过人体尺寸线标记特征点虽然能够满足平均水平，在背景与人体反差非常明显且背景相对单一的情况下将人体轮廓提取出来，但是由于该方法只利用图像中的灰度信息，鲁棒性不强，存在很大局限性。现有方法存在以下问题与缺陷：

[0006] 1、已有人体轮廓提取方法对应拍摄场景都存在布置严苛等缺陷，对背景的简洁度和对比度都有很高的要求。背景略微复杂的情况下会导致人体轮廓提取不当，进而无法计算出正确的人体维度数据。实际生活中如此严格的拍摄场景不是很容易能够得到，只适合与实验室测试使用，现实生活无法得到普及。

[0007] 2、对于人体轮廓中与背景的灰度相近的部分无法被很好的检测出来，导致最终人体轮廓提取不完整而无法进行之后的处理。

[0008] 3、对于较单一背景拍摄图像中如果存在物体的影子轮廓比较清晰情况，则影子的轮廓也会被提取出来，与完整的人体轮廓相比附加了许多不希望存在的冗余信息。

[0009] 本发明引入以下非专利文献：

[0010] 非专利文献1：R Achanta,A Shaji,K Smith,and A Lucchi,“SLIC Superpixels Compared to State-of-the-Art Superpixel Methods,”PAMI,pp.2274–2281,Nov.2012.[0011] 非专利文献2：J.Zhang,S.Sclaroff,Z.Lin,X.Shen,B.Price,and R.Mech,“Minimum Barrier Salient Object Detection at 80 FPS,”in IEEE International Conference on Computer Vision,2015,pp.1404–1412.

发明内容

[0012] 为解决现有技术中存在的问题，本发明提出了一种基于SP-MCS的人体轮廓提取方法，适用于在较复杂背景条件下拍摄的图片中进行人体轮廓信息提取。

[0013] 本发明具体通过如下技术方案实现：

[0014] 一种基于SP-MCS的人体轮廓提取方法，包括以下步骤：

[0015] S101、利用超像素分割算法将原始彩色图像分割成为若干个超像素块，分别利用中值或均值计算得到各个超像素块的块内色彩值和亮度值，并记录超像素之间的相邻关系；

[0016] S102、将每个超像素与其相邻超像素进行比较，在给定阈值范围内则将其合并为一个区域，并最终记录各个区域中所包含的超像素集合；

[0017] S103、采用Lab色彩空间计算各个区域之间的色彩均值和亮度均值，即计算区域中a、b、L三个通道分别对应的均值；

[0018] S104、将超像素均值化处理后的图像进行聚类，并将聚类结果与图像边界接触的类中的灰度值降为0，中心区域亮化；

[0019] S105、对图像进行常规的轮廓提取。

[0020] 进一步地，所述步骤S101中，分别记录各个超像素中的中心色彩、亮度通道的数值以及与各超像素相连接的超像素序号。

[0021] 进一步地，所述步骤S102中，使用DBSCAN聚类算法对超像素图像进行区域融合，分别记录分割结果区域中的超像素集合以及各个分割区域之间的相邻关系。

[0022] 进一步地，所述步骤S103中还将HSV色彩空间中的色彩浓度S通道作为均衡化图像中的第四通道。

[0023] 进一步地，所述步骤S104中利用聚类算法将图像四个通道作为该像素的特征值，选用K-mean聚类算法将图像色彩信息进行聚类，聚类结果用阿拉伯数字表示类标，再将类标映射到灰度图像区间。

[0024] 进一步地，所述步骤S104中利用滤波算法将聚类结果可能出现的噪声消除，为了减小新灰度值的介入，选择中值滤波效果最好。

[0025] 进一步地，所述步骤S105中对步骤S104获得的图像进行二值化分割，利用给定阈值的全局二值化方法获取二值化轮廓，然后，使用形态学算子对提取的轮廓做腐蚀膨胀算法，再使用八链码将人体轮廓序列提取出来。

[0026] 一种基于MDB的人体轮廓提取方法，所述方法应用于较复杂背景条件下人体轮廓提取，包括以下步骤：

[0027] S201、对采集到的原始图像转换为HSV色彩空间，并进行最小阻碍距离MBD区域显著性检测；

[0028] S202、对采集到的原始图像进行超像素均值化处理，再进行MBD区域显著性检测；

[0029] S203、将步骤S201的检测结果与步骤S201的检测结果相融合；

[0030] S204、采用局部自适应的二值化分割方法对步骤S203的图像进行分割；

[0031] S205、对图像进行常规的轮廓提取，并利用膨胀和腐蚀算法对图像进行形态学调整。

[0032] 进一步地，所述MBD区域显著性检测具体为：将需要检测的图片使用光栅扫描算法的扫描顺序进行FastMBD距离变化算法计算每个颜色信道的MBD，得到距离变换处理后的图像，然后融合即可得到MBD区域显著性检测结果。

[0033] 进一步地，所述对采集到的原始图像进行超像素均值化处理具体为：利用超像素SP分割算法将原始彩色图像分割成为若干个超像素块，分别利用中值或均值计算得到各个超像素块的块内色彩值和亮度值，并记录超像素之间的相邻关系；将每个超像素与其相邻超像素进行比较，在给定阈值范围内则将其合并为一个区域，并最终记录各个区域中所包含的超像素集合；采用多色彩空间MCS计算各个区域之间的色彩均值和亮度均值，即采用Lab色彩空间计算区域中a、b、L三个通道分别对应的均值。

附图说明

[0034] 图1是本发明的基于SP-MCS的人体轮廓提取方法流程图；

[0035] 图2是超像素初始化分割处理后的效果图；

[0036] 图3是对超像素图像进行区域融合处理的效果图；

[0037] 图4(a)是Lab色彩空间均值化后的效果图；

[0038] 图4(b)是将Lab图像三通道转换回RGB颜色空间后的效果图；

[0039] 图5是利用HSV色彩空间处理后的效果图；

[0040] 图6是对图像色彩信息进行聚类处理后的灰度图像；

[0041] 图7是滤波处理后的效果图；

[0042] 图8是边界暗化、中心区域亮化处理后的效果图；

[0043] 图9是二值化分割后的效果图；

[0044] 图10是人体轮廓序列提取后的效果图；

[0045] 图11是对原始图像分别进行RGB、Lab、HSV颜色空间检测的结果；

[0046] 图12是本发明的较复杂背景下基于MDB的人体轮廓提取流程图；

[0047] 图13是MDB显著性区域检测结果图；

[0048] 图14是均值化后再进行显著性区域检测的效果图；

[0049] 图15是未均值化和均值化后的区域检测结果进行融合后的图；

[0050] 图16是局部自适应二值化分割处理后的效果图；

[0051] 图17(a)是对比实验一的原始图像；

[0052] 图17(b)是采用现有轮廓提取算法处理后得到的结果图；

[0053] 图17(c)是采用本发明的SP-MCS算法处理后得到的结果图；

[0054] 图18(a)是对比实验二的原始图像图；

[0055] 图18(b)是采用现有轮廓提取算法处理后得到的结果图；

[0056] 图18(c)是采用本发明的MDB算法处理后得到的结果图。

具体实施方式

[0057] 下面结合附图说明及具体实施方式对本发明进一步说明。

[0058] 针对已有人体轮廓提取算法中存在的灰度图像中影子干扰和相似灰度值轮廓分割不完整的问题，本发明提出了基于SP-MCS的人体轮廓提取方法，针对较复杂背景条件下人体轮廓提取鲁棒性差的问题提出了基于SP-MCS-MBD的人体轮廓提取方法。

[0059] 本发明区别于已有的人体轮廓提取方法，从超像素(Superpixel，SP)和多色彩空间(Multivariate color spaces，MCS)视觉角度出发进行改进，对于一副图像的轮廓信息而言，最主要的差别就是色彩或亮度信息在某一梯度方向上发生剧变或跳跃，本发明将该属性选定为轮廓所分开的区域的特征，该特征具有类内差距小、类间差别大的特点，能够很好的将不同的区域划分开来，再利用区域信息提取完整人体轮廓信息。

[0060] 针对较复杂背景下实用性考虑加入了MBD显著性检测的距离变换进行光栅扫描，使得算法在实际生活中能够得到更优秀的运用。

[0061] 基于SP-MCS的人体轮廓提取方法(以下简称“SP-MCS算法”)，流程图如图1所示，方法流程为：首先利用超像素分割方法(如SLIC算法，参见非专利文献1)，将原始彩色图像分割成为若干个超像素块，分别利用中值或均值计算得到各个超像素块的块内色彩值和亮度值，并记录超像素之间的相邻关系；然后将每个超像素与其相邻超像素进行比较，在给定阈值范围内则将其合并为一个区域，并最终记录各个区域中所包含的超像素集合；接着计算各个区域之间的色彩均值和亮度均值，本发明采用Lab色彩空间，即计算区域中a、b、L三个通道分别对应的均值；下一步，将超像素均值化处理后的图像进行聚类，并将聚类结果与图像边界接触的类中的灰度值降为0；最终对图像进行常规的轮廓提取。

[0062] 超像素初始化分割处理结果如图2所示。分别记录各个超像素中的中心色彩、亮度通道的数值以及与各超像素相连接的超像素序号。

[0063] 使用DBSCAN聚类算法对超像素图像进行区域融合，得到图3，分割结果为相近超像素聚类后的结果，分别记录分割结果区域中的超像素集合以及各个分割区域之间的相邻关系。

[0064] 利用得到的分割区域中的超像素集合记录计算每个分割区域中的颜色与亮度均值，Lab色彩空间均值化结果如图4(a)所示，将Lab图像三通道转换回RGB颜色空间如图4(b)所示。

[0065] 如果拍摄图像由于光线问题，可能会出现影子比较明显的情况，而直接利用原方法由于影子与背景灰度值相差较大，影子轮廓也会被提取出来。利用颜色信息可以较好的区分影子和实体，对于较单一背景条件下，图像色彩浓度也是区分前景与背景的关键特征，本发明将HSV色彩空间中的色彩浓度(S)通道作为均衡化图像中的第四通道，如图5所示。

[0066] 得到的四通道图像由于具有亮度信息的影响，背景中的阴影还是存在影响，不能够直接使用，本发明利用聚类算法将图像四个通道作为该像素的特征值，选用K-mean聚类算法将图像色彩信息进行聚类，聚类结果用阿拉伯数字表示类标，再将类标映射到灰度图像区间，如图6所示。

[0067] 聚类方法能够将图像聚集成多个类别，但聚类结果每次处理可能有所差别，故加大迭代次数能够使得结果收敛，实验中基本5次以上就能满足较理想收敛。本发明的方法选用给定类数的分类算法，色彩越复杂类别定义越多准确性越高，可通过超像素块或图像信息熵来预估。将聚类结果类标映射到灰度图像中，聚类结果可能出现一些噪声点，利用滤波算法可将噪声消除，为了减小新灰度值的介入，选择中值滤波效果最好，平滑结果如图7所示。

[0068] 由于聚类结果每次标记的类标不可预估，所以还要进一步处理将接近图像边界色彩像素暗化为0，中心区域亮化，如图8所示，便于后期处理。

[0069] 对上述获得的图像进行二值化分割，可直接利用轮廓提取算子检测轮廓后二值化，由于图像轮廓分割明显选用不同的算子的结果差距并不明显，本文根据实际情况选择处理速度较快且处理简单的Roberts算子，利用给定阈值的全局二值化方法获取二值化轮廓，如图9所示。

[0070] 最后，使用形态学算子对提取的轮廓做腐蚀膨胀算法，再使用八链码将人体轮廓序列提取出来，处理结果如图10所示。

[0071] 以上方法是在较单一背景应用条件下提出的，但是实际中要找一个这样单一背景的场景并不容易，仅仅满足单一背景是无法满足实际运用的，因此，本发明加入了MBD显著性检测的距离变换进行光栅扫描，提出基于SP-MCS-MBD(Minimum Barrier Distance,最小阻碍距离)的人体轮廓提取方法(以下简称“SP-MCS-MBD算法”)，能够大大加强较复杂背景下的轮廓提取的准确度和完整性。

[0072] MBD的定义为：

[0073]

[0074] β1(πPy(x))＝max{U(y)，I(x)}-min{L(y)，I(x)}

[0075] P(y)表示路径当前分配给像素y，表示像素y到像素x的边缘，P(y)·表示为Py(x)。其中，U(y)和L(y)分别表示P(y)上的最大与最小像素值，因此MBD消耗βI(Py(x))可以通过U图和L图这两个辅助参数(追踪每个像素当前路径的最大与最小像素值)高效的计算得到。将需要检测的图片使用光栅扫描算法扫描顺序进行FastMBD算法计算每个颜色信道的MBD，得到距离变换处理后的图像，然后融合即可得到显著性检测图像。MBD定义和FastMBD算法可参考非专利文献2。

[0076] 分别比较了RGB、Lab、HSV三个颜色空间的检测结果，如图11所示，第1列为原始图像，第2列为RGB颜色空间下显著性检测结果，第3列为Lab颜色空间下显著性检测结果，第4列为HSV颜色空间下显著性检测结果。显著性检查结果中HSV颜色空间下得到的显著性图像比较符合我们的需求，经过大量样本验证，最终本发明选择HSV颜色空间下对图像进行显著性检测。

[0077] 实验测试中发现显著性检查倾向于全局最优的表现，对于局部边界的表现并不明显，该算法对颜色并没有直接的处理，一些由颜色信息分割的边界信息被弱化。将超像素均值化之后的图像再进行显著性检查，检测效果有所提升。

[0078] 较复杂背景下人体轮廓提取流程如图12所示，对于采集到的较复杂背景图像转换为HSV色彩空间，并进行MBD区域检测，得到检测结果如图13所示，白色区域为检测出的显著性区域，其中亮度越亮表示该区域在图中越显著。

[0079] 由于MBD显著性算法计算的是每个像素权值之间的距离关系，对同一颜色区域可能检测出的结果也不尽相同，例如图13第一幅中人体衣服的检测结果，虽然衣服颜色相近，但显著性结果却大不相同。利用本发明的超像素均值化方法处理后的图像再进行显著性检测得到图像结果如图14所示。

[0080] 将原始图像检测的结果与区域均值化后的检测结果相融合，融合结果如图15所示，融合能够改善大部分图像的检测结果准确度。融合后的结果针对图像颜色信息的利用率加强，又不影响整体的检测结果，提高检测的鲁棒性。

[0081] 检测得到的灰度图像由于显著属性不同，所赋予的灰度值也有所差别，相似区域中的灰度值变化相对平滑，为了充分利用这个信息，本发明采用局部自适应的二值化分割方法对检查图像进行分割，分割结果如图16所示。

[0082] 检测结果可能由于人体与背景中较复杂线条接触等会对轮廓提取结果产生影响，可利用膨胀和腐蚀算法对图像进行形态学调整，同时在实际应用中尽量要求拍摄时人体轮廓不与复杂物品接触。

[0083] 下面给出了三组单一背景下人体轮廓检测结果和四组较复杂背景条件下的人体轮廓提取结果。

[0084] 图17(a)是待处理的原始图像，进行已有人体轮廓提取处理后得到的结果如图17(b)所示，使用本发明所提出的SP-MCS算法提取的结果如图17(c)所示。通过对比实验证明，在较单一的背景条件下，本发明所提出的方案能够很好的解决已有算法中存在的灰度近似条件下人体轮廓提取不完整的问题，并且不受背景图像中影子的干扰。即使是实验室拍摄条件下，人体轮廓提取可用率也显著提高。

[0085] 图18(a)为待处理的原始图像，进行已有人体轮廓提取处理后得到的结果如图18(b)所示，使用本发明所提出的SP-MCS-MBD算法提取的结果如图18(c)所示。

[0086] 对于实际应用场景中，较复杂的背景是比较容易获得的，我们列举了四组日常生活中的常见的场景处理效果图。从图中对比效果可以明显看出SP-MCS-MBD算法处理提取出的人体轮廓更加完整并且符合我们的要求，不会存在大量冗余边界信息。该方法不再局限于传统的边缘检测算法对全图进行边缘检测，而是有针对性的利用边界提示信息和前景背景位置信息进行预判断。

[0087] 上述的两个实验都说明了在非接触式人体轮廓提取中的问题在本发明中都很好的得到了解决，而我们设计的方案大大降低了图像拍摄的场景要求并提高了提取精度。因此，本发明提出的SP-MCS-MBD算法是具有很大的实用价值的。

[0088] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。