本发明公开了一种毫米波图像暗目标增强方法，首先计算人体毫米波图像中人体中轴位置、头顶位置与肩部位置，限制处理区域，再计算人体平均灰度值，创建补集图像，在补集图像中存储原图中灰度值低于平均灰度值的像素点的补集；提取补集图像中为暗目标的区域，排除由身体结构导致的错误增强部分，仅保留暗目标的增强区域。最后将补集图像与原图加权融合，保留暗目标纹理特征并增强暗目标的灰度特征，获取暗目标增强后的毫米波图像。本发明方法结合暗目标的灰度特征及暗目标与人体区域的位置关系，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
1.一种毫米波图像暗目标增强方法，其特征在于，包括如下步骤：
步骤1、计算人体毫米波图像中人体中轴位置、头顶位置与肩部位置，限制处理区域；
步骤3、创建补集图像，在补集图像中存储原图中灰度值低于平均灰度值的像素点的补集；
步骤4、提取补集图像中为暗目标的区域，排除由身体结构导致的错误增强部分，仅保留暗目标的增强区域；
步骤5、将补集图像与原图加权融合，保留暗目标纹理特征并增强暗目标的灰度特征，获取暗目标增强后的毫米波图像；
由于毫米波人体图像背景灰度值几乎为0，因此可以使用最大类间方差法对人体区域进行分割，得到人体区域的二值图像；以图像左上角点为原点O建立平面直角坐标系，原点向下、向右分别为x轴与y轴的正方向；
在同一纵坐标下分别对人体左小腿、右小腿最外缘处取点，二者横坐标分别记为legLeft,legRight；记人体中轴横坐标为axis，则axis表示为：计算头顶位置：
借助axis计算头部位置，记头顶纵坐标为headTop、人体二值图像为IOTSU、图像总行数为imgRows，headTop的计算方法具体步骤如下：
1‑1：在IOTSU中的点(axis,0)处，沿y轴正方向遍历；
1‑2：当遍历至第一个灰度值不为0的像素点时，记该像素点的纵坐标为headTop并停止遍历，计算结束；
首先，在二值图像IOTSU中，从头顶位置沿x轴负方向遍历至第一个不为0的点，横坐标记为leftArm，所述头顶位置的坐标为(axis,headTop)；针对(leftArm,headTop)至(axis,headTop)内的axis‑leftArm个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为leftShoulderi,i∈[0,axis‑leftArm)；
同样地，在二值图像IOTSU中，从头顶位置沿x轴正方向遍历至第一个不为0的点，横坐标记为rightArm，所述头顶位置的坐标为(axis,headTop)；针对(axis,headTop)至(rightArm,headTop)内的rightArm‑axis个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为rightShoulderj,j∈[0,rightArm‑axis)；
最后，在纵坐标集合leftShoulderi∩rightShoulderj中查找纵坐标的最大值作为肩部位置的纵坐标，记为Shoulder；
由于人体毫米波图像的背景灰度值为0，因此非0像素点的平均灰度值即为人体区域的平均灰度值；记人体平均灰度值为avgGrey，记人体毫米波图像为Isrc，分别记Isrc的总行、列数为imgRows、imgCols；avgGrey的计算方法具体步骤如下：
2‑1：从原点处开始遍历Isrc的所有像素点，记录Isrc所有像素点的灰度值总值及灰度值不为0的像素点个数；
2‑2：遍历完毕后，计算Isrc所有像素点的灰度值总值与灰度值不为0的像素点个数的比值，该比值记为Isrc的avgGrey，计算结束。
2.根据权利要求1所述的一种毫米波图像暗目标增强方法，其特征在于，步骤3具体方法如下；
记补集图像为Ienhance、补集图像文件单个像素点所能存储的最大灰度值为maxGrey，Ienhance生成的具体步骤如下：
3‑1：创建一张与Isrc同尺寸的补集图像Ienhance，Ienhance内所有像素点的初始灰度值为0；
3‑2：遍历Isrc中人体的肩膀以下部分的所有像素点，以avgGray为取补阈值，对于Isrc内灰度值低于avgGray的像素点，在Ienhance中以像素点灰度值的补值为Ienhance对应位置的像素点赋值；
对于步骤3‑2中补值的解释：以8位无符号单通道灰度图为例：其单个像素点可存储的最大灰度值为255，假设其有一像素点灰度值为20，则该像素点的补值为255‑20＝235。
3.根据权利要求2所述的一种毫米波图像暗目标增强方法，其特征在于，步骤4具体方法如下；
在人体二值图像IOTSU内沿人体中轴axis自图像底部向上遍历，遇到第一个不为0的点停止，记该点纵坐标为buttDown，该点的纵坐标即为人体胯部的纵坐标；因此人体腿部纵坐标区间为[buttDown,imgRows)，且人体左腿位于人体中轴axis左侧、人体右腿位于人体中轴axis右侧，利用上述信息定位人体双腿内侧位置，并去除双腿内侧外边缘补集区域，获得人体外边缘的补集区域去除后的补集图像Ie′nhance；
在横向方向上按照从人体外侧向人体内侧的方向遍历图像像素，并设置遍历终止条件，保证暗目标的补集不会被一同去除；以去除人体左侧的外边缘补集区域为例，人体左侧的外边缘补集区域的具体去除方法如下：
4‑1：在x∈[0,axis]区域内，从x＝0位置出发，沿x轴正方向按行遍历Ienhance中的每一行像素点，并将遍历过程中的非零像素点的灰度值置零；当出现当前像素点非零，而下一个位于遍历位置的像素点灰度值为0时，置零当前位置的非零像素点，结束该行的遍历并跳转至下一行像素点的起始位置按照上述规则继续遍历；
4‑2：遍历完毕Ienhance的所有行，计算结束；
使用形态学开运算消除可能存在的非暗目标补集区域的杂斑：记图像的较短边长的最高位为m，使用尺寸为m×m的原点位于中心处的矩形结构元对Ie′nhance形态学开运算处理，记经过形态学开运算处理的补集图像为Ie″nhance。
4.根据权利要求3所述的一种毫米波图像暗目标增强方法，其特征在于，步骤5具体方法如下；
使用步骤2相同方法计算Ie″nhance的平均灰度值，记为avgGreyenhance；为了在增强暗目标灰度特征的同时保留暗目标原有的纹理特征，使用avgGreyenhance与Isrc的平均灰度值avgGrey计算加权系数，加权融合Isrc与I″enhance；记融合后的图像为Ifusion，则Ifusion的融合过程表示为：Ifusion为对人体毫米波图像中暗目标的最终增强结果，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
一种毫米波图像暗目标增强方法
技术领域
[0001] 本发明属于人体毫米波图像目标检测领域，特别涉及一种毫米波图像暗目标增强方法。
背景技术
[0002] 毫米波图像目标检测是实现人体体表携带违禁品检测的关键，可以广泛应用于机场、车站等安检工作，是现有人体安检手段的有效替代。使用毫米波对人体成像是实现毫米波图像目标检测的前提，主动式毫米波成像技术通过向人体照射毫米波并使用毫米波雷达接收毫米波回波，以回波的强弱差异生成图像。按照对入射毫米波的作用，人体所携违禁品目标的性质可分为两类：一类对入射毫米波的反射作用强于吸收作用，在毫米波图像中表现为灰度值高于人体区域(图1(a)矩形框，下称亮目标)；一类对入射毫米波的吸收作用强于反射作用，在毫米波图像中表现为灰度值远低于人体区域(图1(b)矩形框，下称暗目标)。
[0003] 目前毫米波图像目标检测方法大多使用机器学习技术，其训练及测试原理可以简单概述为：大量学习所需目标的特征后，在测试图像中寻找与已学习特征相似的位置。其中，“目标的特征”指目标区域(相对于人体区域)独特的纹理、灰度等特征。从图1可以看出，亮目标相对于暗目标具有更加丰富的纹理，而暗目标的目标特征则近似于人体区域外的黑色背景，上述亮、暗目标在目标特征方面的差异导致暗目标的检出率不佳。
[0004] 本发明针对该问题，结合暗目标的灰度特征及暗目标与人体区域的位置关系，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
发明内容
[0005] 本发明针对人体毫米波图像中暗目标的目标特征相对于亮目标不明显所导致的暗目标检出率不佳的问题，结合暗目标的灰度特征及暗目标与人体区域的位置关系，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
[0006] 一种毫米波图像暗目标增强方法，包括如下步骤：
[0007] 步骤1、计算人体毫米波图像中人体中轴位置、头顶位置与肩部位置，限制处理区域；
[0008] 步骤2、计算人体平均灰度值；
[0009] 步骤3、创建补集图像，在补集图像中存储原图中灰度值低于平均灰度值的像素点的补集；
[0010] 步骤4、提取补集图像中为暗目标的区域，排除由身体结构导致的错误增强部分，仅保留暗目标的增强区域。
[0011] 步骤5、将补集图像与原图加权融合，保留暗目标纹理特征并增强暗目标的灰度特征，获取暗目标增强后的毫米波图像。
[0012] 进一步的，步骤1具体方法如下；
[0013] 由于毫米波人体图像背景灰度值几乎为0，因此可以使用最大类间方差法对人体区域进行分割，得到人体区域的二值图像。以图像左上角点为原点O建立平面直角坐标系，原点向下、向右分别为x轴与y轴的正方向。
[0014] 计算中轴位置：
[0015] 在同一纵坐标下分别对人体左小腿、右小腿最外缘处取点，二者横坐标分别记为legLeft,legRight。记人体中轴横坐标为axis，则axis表示为：
[0016]
[0017] 计算头顶位置：
[0018] 借助axis计算头部位置，记头顶纵坐标为headTop、人体二值图像为IOTSU、图像总行数为imgRows，headTop的计算方法具体步骤如下：
[0019] 1‑1：在IOTSU中的点(axis,0)处，沿y轴正方向遍历。
[0020] 1‑2：当遍历至第一个灰度值不为0的像素点时，记该像素点的纵坐标为headTop并停止遍历，计算结束。
[0021] 计算肩部位置：
[0022] 首先，在二值图像IOTSU中，从头顶位置(坐标(axis,headTop))沿x轴负方向遍历至第一个不为0的点，横坐标记为leftArm。针对(leftArm,headTop)至(axis,headTop)内的axis‑leftArm个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为leftShoulderi,i∈[0,axis‑leftArm)。
[0023] 同样地，在二值图像IOTSU中，从头顶位置(坐标(axis,headTop))沿x轴正方向遍历至第一个不为0的点，横坐标记为rightArm。针对(axis,headTop)至(rightArm,headTop)内的rightArm‑axis个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为rightShoulderj,j∈[0,rightArm‑axis)。
[0024] 最后，在纵坐标集合leftShoulderi∩rightShoulderj中查找纵坐标的最大值作为肩部位置的纵坐标，记为Shoulder。
[0025] 进一步的，步骤2具体方法如下；
[0026] 由于人体毫米波图像的背景灰度值为0，因此非0像素点的平均灰度值即为人体区域的平均灰度值。记人体平均灰度值为avgGrey，记人体毫米波图像为Isrc，分别记Isrc的总行、列数为imgRows、imgCols。avgGrey的计算方法具体步骤如下：
[0027] 2‑1：从原点处开始遍历Isrc的所有像素点，记录Isrc所有像素点的灰度值总值及灰度值不为0的像素点个数。
[0028] 2‑2：遍历完毕后，计算Isrc所有像素点的灰度值总值与灰度值不为0的像素点个数的比值，该比值记为Isrc的avgGrey，计算结束。
[0029] 进一步的，步骤3具体方法如下；
[0030] 记补集图像为Ienhance、补集图像文件单个像素点所能存储的最大灰度值为maxGrey，Ienhance生成的具体步骤如下：
[0031] 3‑1：创建一张与Isrc同尺寸的补集图像Ienhance，Ienhance内所有像素点的初始灰度值为0。
[0032] 3‑2：遍历Isrc中人体的肩膀以下部分的所有像素点，以avgGray为取补阈值，对于Isrc内灰度值低于avgGray的像素点，在Ienhance中以像素点灰度值的补值为Ienhance对应位置的像素点赋值。
[0033] 3‑3：遍历完毕后，计算结束。
[0034] 对于步骤3‑2中补值的解释：以8位无符号单通道灰度图为例：其单个像素点可存储的最大灰度值为255，假设其有一像素点灰度值为20，则该像素点的补值为255‑20＝235。
[0035] 进一步的，步骤4具体方法如下；
[0036] 在人体二值图像IOTSU内沿人体中轴axis自图像底部向上遍历，遇到第一个不为0的点停止，记该点纵坐标为buttDown，该点的纵坐标即为人体胯部的纵坐标。因此人体腿部纵坐标区间为[buttDown,imgRows)，且人体左腿位于人体中轴axis左侧、人体右腿位于人体中轴axis右侧，利用上述信息定位人体双腿内侧位置，并去除双腿内侧外边缘补集区域，获得人体外边缘的补集区域去除后的补集图像I′enhance。
[0037] 在横向方向上按照从人体外侧向人体内侧的方向遍历图像像素，并设置遍历终止条件，保证暗目标的补集不会被一同去除。以去除人体左侧的外边缘补集区域为例，人体左侧的外边缘补集区域的具体去除方法如下：
[0038] 4‑1：在x∈[0,axis]区域内，从x＝0位置出发，沿x轴正方向按行遍历Ienhance中的每一行像素点，并将遍历过程中的非零像素点的灰度值置零。当出现当前像素点非零，而下一个位于遍历位置的像素点灰度值为0时，置零当前位置的非零像素点，结束该行的遍历并跳转至下一行像素点的起始位置按照上述规则继续遍历。
[0039] 4‑2：遍历完毕Ienhance的所有行，计算结束。
[0040] 使用形态学开运算消除可能存在的非暗目标补集区域的杂斑：记图像的较短边长的最高位为m，使用尺寸为m×m的原点位于中心处的矩形结构元对I′enhance形态学开运算处理，记经过形态学开运算处理的补集图像为I″enhance。
[0041] 进一步的，步骤5具体方法如下。
[0042] 使用步骤2相同方法计算I″enhance的平均灰度值，记为avgGreyenhance。为了在增强暗目标灰度特征的同时保留暗目标原有的纹理特征，使用avgGreyenhance与Isrc的平均灰度值avgGrey计算加权系数，加权融合Isrc与I″enhance。记融合后的图像为Ifusion，则Ifusion的融合过程表示为：
[0043]
[0044] Ifusion为对人体毫米波图像中暗目标的最终增强结果，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
[0045] 本发明有益效果如下：
[0046] 针对人体毫米波图像中暗目标的目标特征相对于亮目标不明显所导致的暗目标检出率不佳的问题，结合暗目标的灰度特征及暗目标与人体区域的位置关系，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
附图说明
[0047] 图1是人体毫米波图像中的亮目标、暗目标示意图；
[0048] 图2是人体毫米波图像OTSU分割结果示意图；
[0049] 图3是本发明空域坐标系示意图；
[0050] 图4是肩部位置计算示意图；
[0051] 图5是本发明增强流程示意图。
具体实施方式
[0052] 下面结合附图与实施例对本发明方法进一步说明。
[0053] 一种毫米波图像暗目标增强方法具体包括以下步骤：
[0054] 步骤1、计算人体中轴位置、头顶位置与肩部位置；
[0055] 由于毫米波人体图像背景灰度值几乎为0，因此可以使用最大类间方差法(OTSU，Otsu N.A Threshold Selection Method from Gray‑Level Histograms[J].IEEE Transactions on Systems Man&Cybernetics,2007,9(1):62‑66.)对人体区域进行分割，得到如图2所示的人体区域的二值图像。如图3所示，以图像左上角点为原点O建立平面直角坐标系，原点向下、向右分别为x轴与y轴的正方向，坐标系示意图及下文关键点位均在图3标出。
[0056] 计算中轴位置：
[0057] 在同一纵坐标下分别对人体左小腿、右小腿最外缘处取点，二者横坐标分别记为legLeft,legRight。记人体中轴横坐标为axis，则axis表示为：
[0058]
[0059] 计算头顶位置：
[0060] 借助axis计算头部位置，记头顶纵坐标为headTop、人体二值图像为IOTSU、图像总行数为imgRows，headTop的计算方法具体步骤如下：
[0061] 1‑1：在IOTSU中的点(axis,0)处，沿y轴正方向遍历。
[0062] 1‑2：当遍历至第一个灰度值不为0的像素点时，记该像素点的纵坐标为headTop并停止遍历，计算结束。
[0063] headTop计算算法的伪代码如下：
[0064]
[0065]
[0066] 计算肩部位置：
[0067] 首先，在二值图像IOTSU中，从头顶位置(坐标(axis,headTop))沿x轴负方向遍历至第一个不为0的点，横坐标记为leftArm。针对(leftArm,headTop)至(axis,headTop)内的axis‑leftArm个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为leftShoulderi,i∈[0,axis‑leftArm)。
[0068] 同样地，在二值图像IOTSU中，从头顶位置(坐标(axis,headTop))沿x轴正方向遍历至第一个不为0的点，横坐标记为rightArm。针对(axis,headTop)至(rightArm,headTop)内的rightArm‑axis个像素点，依次沿y轴正方向遍历至第一个不为0的点，记该点纵坐标为rightShoulderj,j∈[0,rightArm‑axis)。
[0069] 最后，在纵坐标集合leftShoulderi∩rightShoulderj中查找纵坐标的最大值作为肩部位置的纵坐标，记为Shoulder。
[0070] 计算肩部位置的示意图见图4，其中的箭头方向表示像素点遍历方向。
[0071] 步骤2、计算人体平均灰度值；
[0072] 由于人体毫米波图像的背景灰度值为0，因此非0像素点的平均灰度值即为人体区域的平均灰度值。记人体平均灰度值为avgGrey，记人体毫米波图像为Isrc，分别记Isrc的总行、列数为imgRows、imgCols。avgGrey的计算方法具体步骤如下：
[0073] 2‑1：从原点处开始遍历Isrc的所有像素点，记录Isrc所有像素点的灰度值总值及灰度值不为0的像素点个数。
[0074] 2‑2：遍历完毕后，计算Isrc所有像素点的灰度值总值与灰度值不为0的像素点个数的比值，该比值记为Isrc的avgGrey，计算结束。
[0075] avgGrey计算算法的伪代码如下：
[0076]
[0077] 步骤3、创建补集图像，补集图像中存储Isrc中灰度值低于平均灰度值的像素点的补集；
[0078] 记补集图像为Ienhance、补集图像文件单个像素点所能存储的最大灰度值为maxGrey，Ienhance生成的具体步骤如下：
[0079] 3‑1：创建一张与Isrc同尺寸的补集图像Ienhance，Ienhance内所有像素点的初始灰度值为0。
[0080] 3‑2：遍历Isrc中人体的肩膀以下部分的所有像素点，以avgGray为取补阈值，对于Isrc内灰度值低于avgGray的像素点，在Ienhance中以像素点灰度值的补值为Ienhance对应位置的像素点赋值。
[0081] 3‑3：遍历完毕后，计算结束。
[0082] 对于步骤3‑2中补值的解释：以8位无符号单通道灰度图为例：其单个像素点可存储的最大灰度值为255，假设其有一像素点灰度值为20，则该像素点的补值为255‑20＝235。
[0083] 补集图像生成算法的伪代码如下：
[0084]
[0085]
[0086] 补集图像示例见图5(a)。
[0087] 步骤4、提取补集图像中为暗目标的区域；
[0088] 如图5(a)所示，人体外边缘具有与暗目标相似的灰度特征，因此补集图像中会同时存在人体外边缘与暗目标的补集，因此需要去除非暗目标的补集区域。
[0089] 在人体二值图像IOTSU内沿人体中轴axis自图像底部向上遍历，遇到第一个不为0的点停止(见图3，记该点纵坐标为buttDown)，该点的纵坐标即为人体胯部的纵坐标。因此人体腿部纵坐标区间为[buttDown,imgRows)，且人体左腿位于人体中轴axis左侧、人体右腿位于人体中轴axis右侧，利用上述信息定位人体双腿内侧位置，并去除双腿内侧外边缘补集区域，获得人体外边缘的补集区域去除后的补集图像I′enhance。
[0090] 在横向方向上按照从人体外侧向人体内侧的方向遍历图像像素，并设置遍历终止条件，保证暗目标的补集不会被一同去除。以去除人体左侧的外边缘补集区域为例，人体左侧的外边缘补集区域的具体去除方法如下：
[0091] 4‑1：在x∈[0,axis]区域内，从x＝0位置出发，沿x轴正方向按行遍历Ienhance中的每一行像素点，并将遍历过程中的非零像素点的灰度值置零。当出现当前像素点非零，而下一个位于遍历位置的像素点灰度值为0时，置零当前位置的非零像素点，结束该行的遍历并跳转至下一行像素点的起始位置(x＝0的位置)按照上述规则继续遍历。
[0092] 4‑2：遍历完毕Ienhance的所有行，计算结束。
[0093] 人体外边缘的补集区域去除的伪代码如下：
[0094]
[0095]
[0096] 数学形态学(Serra J.Image Analysis and Mathematical Morphology‑Volume I.Academic,1982.)开运算能够消除小的连通域，保留较大的连通域(连通域：图像中一块互相连通的有值像素点的集合)。使用形态学开运算消除可能存在的非暗目标补集区域的杂斑：记图像的较短边长的最高位为m，使用尺寸为m×m的原点位于中心处的矩形结构元对I′enhance形态学开运算处理，记经过形态学开运算处理的补集图像为I″enhance。例如，图5(b)I′enhance尺寸为400×768，因此m＝4。图5(c)为对图5(b)开运算处理得到的I″enhance。
[0097] 步骤5、将补集图像与原图加权融合。
[0098] 使用步骤2相同方法计算I″enhance的平均灰度值，记为avgGreyenhance。为了在增强暗目标灰度特征的同时保留暗目标原有的纹理特征，使用avgGreyenhance与Isrc的平均灰度值avgGrey计算加权系数，加权融合Isrc与I″enhance。记融合后的图像为Ifusion，则Ifusion的融合过程表示为：
[0099]
[0100] Ifusion为对人体毫米波图像中暗目标的最终增强结果(即暗目标增强后的毫米波图像，如图5(d)所示)，在有效增强暗目标灰度特征的同时有效保留了暗目标的纹理特征。
