[0065] 根据2D-Gabor滤波器获得的掌纹特征向量,通过匹配算法对有手形匹配后所得到的被选人员进行最终的鉴别;也就是说使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配,得到掌纹图像经过2D-Gabor方向滤波的汉明距离Hi(i=1,2,…l),求出最小距离Hmin,根据手形的等误率曲线设定阈值Tpalm,当Hmin
[0066] 图1是非接触式快速人手多模态信息融合识别方法的流程图,包括人手图像采集、手形特征点定位、手形和掌纹特征向量提取、手形特征一次粗匹配获得被选人员、掌纹特征细匹配获得最终识别结果等步骤。
[0067] 其中图像采集过程使用单一背景,只需要人手自然张开,放在摄像头前一个可变的范围内。
[0068] 图2是手形特征点定位过程图。具体实现步骤如下:
[0069] (1)在处理后的二值图像上,根据轮廓跟踪算法从手掌图像最右端从上至下搜索第一个轮廓点作为起始点,按逆时针方向跟踪轮廓的8邻域链码信息,记录轮廓边界点坐标。然后,以轮廓点为中心生成半径为9像素的模板圆,计算模板圆内目标像素个数N(即手掌部分在模板圆内的面积)来粗定位指尖点、指根点的链码区域。当N<120时,粗定位出指尖点的链码区域,当N>150时,粗定位出指根点的链码区域。如图2-1、2-2所示。
[0070] (2)在粗定位过程中,在手指上和手腕附近存在一些噪声点,对于这些噪声点,利用噪声点在链码上前后相邻R处的两个轮廓点与该点形成的夹角ζ(s)来加以排除。
[0071] 曲率是用于平衡曲线弯曲程度的参数,如图2-3中所示,ζ(s)代表F点两侧向量FF1和FF2之间的夹角,夹角越大表示该点的曲率越小,曲线弯曲程度越小;夹角越小,表示该点的曲率越大,曲线弯曲程度越大。计算公式如下:
[0072](1)
[0073] 通过曲率的方法,排除了噪声点的干扰,得到了较为准确的指尖点和指根点的链码区域,如图2-4、2-5所示。
[0074] (3)根据指根点区域链码上的跳变点将指根点区域分区,选择每个链码区域的中间点为指根点,记录3个指根点在轮廓链码中的位置以及在图像中的坐标。同理,记录4个指尖点在轮廓链码中的位置以及在图像中的坐标。如图2-6所示。
[0075] (4) 如图2-6所示,在已确定的指根点C1、C2、C3处沿手形轮廓向前扫描若干像素点,分别为Ci1(i = 1,2,3);向后扫描若干像素点,分别为Ci2 (i = 1,2,3),以指根点C2为例,连接点C2和C21,C2和C22,得到直线C2C21,C2C22,如图2-7所示。在点C2和C21之间的手形轮廓上,寻找距线段C2C21最远的点V2D;在点C2和C22之间的手形轮廓上,寻找距线段C2C22最远的点V3U。指根点C1,C3处做相同的操作,从而得到指根点ViU (i = 2,3,4),ViD (i = 1.2.3),如图2-8所示。
[0076] (5)定位食指和小指的外边界指根点。以食指为例,连接点T1和C1,得到直线T1C1,以T1为圆心,| T1C1|为半径沿逆时针方向画圆,与手形轮廓的第一个交点即为食指的外边界点。小拇指做类似处理得到外边界点。从而寻找到了四指的全部指根点ViU、ViD(i =1.2.3,4),结果如图2-9。
[0077] 图3是手形和掌纹特征提取示意图。
[0078] 手形特征定位中已经寻找到了四指的指尖点和8个指根点。连接每个手指的两侧指根点,即食指的指根连线,中指的指根连线,无名指的指根连线,小指的指根连线。计算其每条线段的中点坐标并和相应的指尖点连线,将这四个长度作为四个手指的绝对长度。然后计算各个手指绝对长度之间的相对长度,构成特征向量(包括6个相对长度)。分别是食指长度/中指长度;食指长度/无名指长度;食指长度/小指长度;中指长度/无名指长度;中指长度/小指长度;无名指长度/小指长度。构成的特征向量为di( i=1,2,…6)。四个手指长度如图3-1所示。
[0079] 掌纹的特征定位实际上就是截取掌纹的感兴趣区域(ROI),利用已确定的指根点C1、C3,这里指根点C1用A表示,指根点C2用B表示,由于采用非接触式的采集方法,因此手掌成像大小是变化的,需采用相对长度L(A、B两点间距离)截取方形掌纹有效区域。以A、B两点连线及其中点垂线为坐标轴建立新的坐标系,根据新坐标系及原坐标系之间的角度关系将图像旋转,在旋转后的图像中,距离AB连线l( l=L/5) 处,以L为边长截取方形区域,经过缩放归一化大小为128*128的图像,如图3-2所示。
[0080] 使用不同方向的2D-Gabor滤波器对掌纹图像进行滤波提取掌纹纹线的方向信息。包括如下步骤:
[0081] (1)通过实验,选择适当u、σ等参数值,生成0°、45°、90°、135°四个方向的2D-Gabor滤波器组。
[0082] (2)将尺寸和灰度归一化后的M×M大小的掌纹ROI图像F分别与4个方向的Gabor滤波器的实部Gr与虚部Gi分别作卷积运算。
[0083] (2)
[0084] (3)
[0085] (3)将卷积运算后的计算结果形成0-1编码,编码规则如下:
[0086] (4)
[0087] (5)
[0088] (6)
[0089] (7)
[0090] 最终获得掌纹特征编码。
[0091] 实施例:
[0092] 本发明采用130万像素MVC-Ⅱ-3M摄像头、8mm的C接口工业镜头、单一颜色背景板构成简易非接触式采集装置,摄像头与背景板周围无遮挡(均匀光照条件下手掌上无明显的反射光斑)。拍摄图像时,令手自然张开,与镜头的表面平行即可。采集图像时掌心向上平放在背景板前,摄像头置于手掌的垂直上方。根据实验需要,建立了如下两个实验图库。
[0093] (1)调节摄像头的焦距,使镜头上呈现较清晰的手掌图像,记录镜头与背景板之间的距离,这个位置称为聚焦面位置。采集30人的右手手掌图像,每人10幅,图像分辨率为640*480。在香港科技大学提供的手形数据库中抽取70人 ,每人右手10幅图像,这样建立了一个100人的混合图库,将其称为图库1.。如参考文件所示。
[0094] (2)镜头的位置不变,向下移动背景板的位置,每次移动10cm,共移动4次,在每个位置上采集50人的右手手掌图像,每人10幅,图像分辨率为640*480。这样建立一个50人的小型图像库,将其称为图库2,如参考文件所示。
[0095] A 固定距离手掌图像实验
[0096] 1) 手形识别和掌纹识别
[0097] 固定距离的手掌图像实验是在图库1上进行,混合图库中共100人,每人10幅右手图像,共1000幅图像,在每个人拍摄的十幅手掌图像中,以任意三幅手掌图像作为训练样本,其余七幅图像作为测试样本。
[0098] 应用文中手形相对距离算法提取特征,采用欧式距离匹配,采用最近邻分类方法分类。公式如式(8)所示。某用户注册的特征向量是{di,i=1,2…,6},被测试者的手形特征向量是{di’,i=1,2…,6},其中i表示特征向量的个数,若被测试者的手形特征向量与用户注册的手形特征向量的欧式距离Distance小于阈值T,判断为同一人的手,否则判断为不同人的手。合法匹配与非法匹配距离分布曲线如图4-1所示,等错误率曲线如图4-2所示,两图的横坐标均为归一化后的欧式距离。
[0099] (8)
[0100] 由实验结果分析可知,利用手指的相对长度进行身份识别,平均匹配时间为0.01443s,在等错误率的情况下识别率仅为82.98%。
[0101] 对于掌纹ROI图像采用2D-Gabor方向滤波的特征提取方法,采用汉明距离DH匹配实验,采用最近邻分类方法分类。P和Q分别表示两个人的掌纹图像经2D-Gabor变换后的M×M大小的编码矩阵,其汉明距离计算公式如式(9)所示, 表示异或运算。合法匹配与非法匹配距离分布曲线如图5-1所示,等错误率曲线如图5-2所示。两图的横坐标均为归一化后的欧式距离。
[0102] (9)
[0103] 由实验结果分析可知,利用掌纹的2D-Gabor方法进行身份识别,在等错误率的情况下识别率可以达到98.04%,但平均匹配时间却为1.87028s。
[0104] 2) 手形和掌纹相结合的组合识别
[0105] 由单独的手形识别和掌纹识别的实验可知,对于手形识别来说,特征矢量即手指的相对长度构成简单,具有可测量性,特征匹配速度快,但手形识别只是以单一的几何矢量构成特征,丢失了手掌丰富的有效信息,特别是当本文中采用非接触式的采集方法时,手指相对长度的可区分度有限。
[0106] 对于采用2D-Gabor方向滤波的掌纹识别来说,充分利用了手掌的纹理信息和相位信息,对于掌纹图像具有很好的区分度,可以得到较高的正确识别率,但与之相对应的是,时间消耗很大,识别速度受到明显影响。
[0107] 手形和掌纹相结合的组合识别方法可以将手形识别匹配速度快的优势和掌纹识别正确识别率高的优势相结合,在非接触式采集方法的前提下,增强识别系统的实用性。具体的方法如下,
[0108] 首先使用手形识别的方法对待识别人员的手掌图像进行一次匹配,得到手指相对长度的欧氏距离Mi(i=1,2,…n),根据手形的等误率曲线设定阈值Thand,当Mi
[0109] 然后,再使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配,得到掌纹图像经过2D-Gabor方向滤波的汉明距离Hi(i=1,2,…l),求出最小距离Hmin,根据手形的等误率曲线设定阈值Tpalm,当Hmin
[0110] 表1 固定距离下三种识别方法的比较
[0111]
[0112] 经过对表1的实验数据分析可知,二者相结合的组合识别方法的时间消耗低于掌纹识别方法,而正确识别率是三种识别方法中最高的。
[0113] B 不同距离手掌图像实验
[0114] 不同距离手掌图像实验是在图库2上进行的,分别计算四个不同位置上三种识别方法的识别率,进而比较在非接触式采集的条件下,三种识别方法的鲁棒性。实验结果如表2所示。
[0115] 表2 不同距离下三种识别方法的比较
[0116]
[0117] 通过分析表2的实验数据,由于手形识别采用的是六个手指相对长度作为特征矢量,所以当图像发生平移时,该方法的识别率相差均在2%以下,说明手指相对长度的方法具有一定的鲁棒性,但该方法的识别率均已经降至85%以下;而对于掌纹识别来说,在近距离时,掌纹图像较清晰,识别率可以达到97%,随着距离的拉远,掌纹图像开始模糊,识别率下降明显,说明基于二维Gabor的掌纹识别方法鲁棒性较差;采用手形和掌纹相结合的组合识别方法时,识别率相差均在1%以下,说明对于不同距离的手掌图像该方法具有较好的鲁棒性,并且识别率均在95%以上。