指纹与指静脉双模态识别的二级分类融合识别方法

摘要

本发明提供的是一种指纹与指静脉双模态识别的二级分类融合识别方法。指纹模块与静脉模块作为第一级分类器，二级决策模块作为二级分类器；指纹模块与静脉模块读取指纹图像与静脉图像；对读取的图像分别进行预处理操作并提取出二者的特征点集；对图像分别进行识别，其中指纹识别采用基于细节点匹配的方法，静脉识别使用改进的Hausdorff距离方式进行识别，得到各自的识别结果；二级决策模块将提取出的指纹与静脉特征点集以特征串联的方式形成新的特征矢量来构成第二级分类器，得出一个识别结果；最后将上述三个识别结果进行决策级融合。本发明充分地利用了指纹及手指静脉的识别信息，有效地提高了识别系统的准确性，识别率高。

权利要求

1.一种指纹与指静脉双模态识别的二级分类融合识别方法，包括指纹识别过程、静脉识别过程，其特征是：还包括二级决策过程，指纹识别过程与静脉识别过程作为第一级分类器，二级决策过程作为二级分类器；指纹识别过程与静脉识别过程包括：读取指纹图像与静脉图像，对读取的指纹与手指静脉图像分别进行预处理操作并提取出二者的特征点集，对指纹图像与静脉图像分别进行识别，其中指纹图像识别采用基于细节点匹配的方法，静脉图像识别使用改进的Hausdorff距离方式进行识别，得到各自的识别结果；二级决策过程将提取出的指纹与静脉特征点集以特征串联的方式形成新的特征矢量来构成第二级分类器，得出一个识别结果；最后将上述三个识别结果进行决策级融合，将融合后的结果作为最终的识别结果，所述决策级融合的方法为：在分别完成指纹识别和手指静脉识别以后，得到指纹识别结果Ifinger和手指静脉识别结果Ivein，二级分类器的识别结果为Ifr，其中，Ifinger、Ivein和Ifr的取值为0和1，0代表识别失败，1代表识别成功，采用投票的方法来获得最终识别结果fr，当有两个及以上的分类器识别结果为通过时，fr的结果为通过，具体公式如下：

2.根据权利要求1所述的指纹与指静脉双模态识别的二级分类融合识别方法，其特征是：所述第二级分类器，对预处理后的指纹及手指静脉图像分别提取出特征点集，再将提取出的指纹与静脉特征点集以特征串联的方式形成新的特征矢量来构成二级决策分类器，得出二级分类器的识别结果；具体流程为：(1)计算模板指纹图像和手指静脉图像的融合特征向量集合γ1：模板指纹图像特征点集合为α1＝(a1，a2，…，am)，静脉图像特征点集合为β1＝(b1，b2，…，bn)，γ1＝(α1，β1)＝(a1，…，am，b1，…，bn)；

(2)计算待匹配的指纹图像和手指静脉图像的融合特征向量集合γ2，待匹配指纹图像特征点集合为α2＝(s1，s2，…，sc)，待匹配静脉图像特征点集合为β2＝(t1，t2，…，td)，γ2＝(α2，β2)＝(s1，…，sc，t1，…，td)；

(3)根据距离变换公式Dis(p)＝min(dM(p，q)，q∈B)计算出特征点集γ1到特征点集γ2的平均Hausdorff距离 及特征点集γ2到特征点集γ1的平均Hausdorff距离其中，dM(p，q)表示特征点p和特征点q之间的距离，B为目标物体的元素集合；

(4)比较 与 的大小，其中大者与预设阈值进行比较，判断匹配是否成功；进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。

说明书

指纹与指静脉双模态识别的二级分类融合识别方法

技术领域

[0001] 本发明属于模式识别技术领域，具体地说是一种通过指纹与手指静脉进行识别的方法。

背景技术

[0002] 单模式生物特征识别系统采集的信息易受到时间、环境或者其它因素的影响而发生变化以及特征提取和匹配的缺陷导致错误率过高，使得应用的环境有着过多的限制且每一种生物特征也不可能具有真正意义上的普遍性，这些问题很难通过单纯的改进匹配方法来解决。而多模态生物特征身份识别可通过多个生物特征的结合来提供更充分的识别信息，弥补了单种生物特征认证不稳定、错误率较高等缺点，提高系统的识别率，增强系统的安全级别，扩展系统的适用范围，因而具有良好的应用前景。

[0003] Roberto Br unelli最早提出利用多个特征来进行个人身份认证的方法，并在匹配层次上整合了人脸识别和语音识别，该方法实现的难点在于需要准确构建正负样本集、选择若干映射参数，在小样本情况下有很多困难；Bigun提出了一种用贝叶斯方法在决策层次上整合了不同的生物特征；Maes第一次实现了一个结合了生物特征-指纹和非生物特征-密码的系统；Jain等人提出将指纹与人脸识别的结果融合，但近年来国际国内学者对多模态的研究大多都是基于指纹、人脸、声纹、掌纹等的融合策略。在本文的多模态生物特征身份识别系统中选择指纹与手指静脉进行信息融合，因为手指静脉和指纹在身份识别的应用中具有较强的互补性：指纹识别的识别率很高，但其存在着指纹纹路易受损坏，手指表面情况对图像采集影响较大及易被窃取等弊端；与指纹相比，静脉识别具有如下的优势：静脉识别采用的是手指内部的静脉图像特征，不存在由于手指表面情况带来的影响；静脉图像很难伪造并且具有非接触式的优点。但是，静脉识别存在可提取的特征少的缺点。鉴于手指指纹与手指静脉识别各自存在的上述优、缺点，考虑到指纹图像可提取的特征非常丰富，可有效弥补单一手指静脉识别的不足。将指纹特征和手指静脉特征结合，可以充分利用两者的优势，构建良好的身份识别系统。

[0004] 由于低质量的指纹及静脉图像增加了识别的难度，降低了识别系统的性能，为了有效地提高识别的准确率，本发明提出了一种新的基于二级决策的指纹与指静脉识别的决策级融合方法。在分别完成指纹识别和手指静脉识别后，将该提取出的静脉特征点集与指纹识别提取出的特征点集以特征串联方式构成二级分类器，将三个识别结果进行决策级融合，得到最终识别结果。实验结果表明，本发明提出的二级分类思想，充分地利用了指纹及手指静脉的识别信息，有效地提高了识别系统的准确性，获得了比单独指纹识别及手指静脉识别更高的识别率，为多生物特征识别提供了一种有效的途径。

[0005] 与本发明相关的参考文献包括：

[0006] [1]李昊，傅曦.精通Visual C++指纹模式识别系统算法及实现[M].北京：人民邮电出版社，2008：88-93；[2]Comparing Images Using the Hausdorff Distance，IEEE trans.onPattern Analysis and Machine Intelligence，1993；[3]Dubuisson，M.P.，and Jain，A.K.：A modifiedHausdorff distance for object matching.Proc.12th Int.Conf.on Pattern recognition，Jerusalem，Israel，1994，pp.566-568。

发明内容

[0007] 本发明的目的在于提供一种能在一定程度上克服单一生物特征图像质量较差对系统识别精度的影响且性能优良的指纹与指静脉双模态识别的二级分类融合识别方法。

[0008] 本发明的目的是这样实现的：

[0009] 包括指纹模块、静脉模块及二级决策模块三个模块，其中指纹模块与静脉模块作为第一级分类器，二级决策模块作为二级分类器。指纹模块与静脉模块读取指纹图像与静脉图像；对读取的指纹与手指静脉图像分别进行预处理操作并提取出二者的特征点集；对指纹图像与静脉图像分别进行识别，其中指纹识别采用基于细节点匹配的方法，静脉识别使用改进的Hausdorff距离方式进行识别，得到各自的识别结果；二级决策模块将提取出的指纹与静脉特征点集以特征串联的方式形成新的特征矢量来构成第二级分类器，得出一个识别结果；最后将上述三个识别结果进行决策级融合，将融合后的结果作为最终的识别结果。

[0010] 所述二级决策的分类器，对预处理后的指纹及手指静脉图像分别提取出特征点集，再将提取出的指纹与静脉特征点集以特征串联的方式形成新的特征矢量来构成二级决策分类器，得出二级分类器的识别结果；具体流程为：

[0011] (1)计算模板指纹图像和手指静脉图像的融合特征向量集合γ1：模板指纹图像特征点集合为α1＝(a1，a2，…，am)，静脉图像特征点集合为β1＝(b1，b2，…，bn)，γ1＝(α1，β1)＝(a1，…，am，b1，…，bn)；

[0012] (2)计算待匹配的指纹图像和手指静脉图像的融合特征向量集合γ2，待匹配指纹图像特征点集合为α2＝(s1，s2，…，sc)，待匹配静脉图像特征点集合为β2＝(t1，t2，…，td)，γ2＝(α2，β2)＝(s1，…，sc，t1，…，td)；

[0013] (3)根据距离变换公式Dis(p)＝min(dM(p，q)，q∈B)计算出特征点集γ1到特征点集γ2的平均Hausdorff距离 及特征点集γ2到特征点集γ1的平均Hausdorff距离

[0014] (4)比较 与 的大小，其中大者与预设阈值进行比较，判断匹配是否成功；

[0015] 进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。

[0016] 计算出模板指静脉图像特征点集A到待识别图像特征点集B的平均Hausdorff距离及集合B到集合A的平均Hausdorff距离；将这两个距离中的大者作为求得的相似度度量值与预设阈值进行比较，判断匹配是否成功；识别时以与待识别样本不匹配程度最小的为最终识别结果。

[0017] 本发明的主要贡献和特点在于：为多生物特征识别提供了一种有效的途径，提出二级分类思想在决策级肉换个的方法。本发明提出的二级分类思想的优点在于，有效地改善了单一生物特征图像质量差所带来的影响，有助于低质量的图像的识别，充分地利用了指纹及手指静脉的识别信息，有效地提高了识别系统的准确性，获得了比单独指纹识别及手指静脉识别更高的识别率。

附图说明

[0018] 图1基于二级决策的指纹与手指静脉双模态系统的决策级融合的模块组成框图；

[0019] 图2多模态系统单样本认证的指纹和手指静脉示例图像组；

[0020] 图3的表1三种识别方式的1∶1认证结果；

[0021] 图4的表2三种识别方式的1∶N识别结果。

具体实施方式

[0022] 下面举例对本发明做更详细地描述：

[0023] 1指纹识别

[0024] 基于细节点匹配的指纹识别方法：

[0025] (1)首先求取指纹图像的方向图，采用方向滤波方式进行图像增强，依据指纹的方向信息即方向图来对图像进行二值化并采用基于八邻域的细化算法进行细化。

[0026] (2)再对细化后的指纹图像提取出细节点即端点与分叉点和奇异点即中心点与三角点，并采用纹路跟踪的方法去除伪特征点。

[0027] (3)利用提取出的中心点和三角点进行配准，使输入图像与模板图像处于同一标准。

[0028] (4)对配准后的图像进行细节点匹配操作。指纹图像的匹配是指纹特征点拓扑结构的匹配，若模板图像中的特征点的拓扑结构与样板图像的特征点的拓扑结构大多相同，则认为两幅图像匹配；反之，则不匹配，其相似度的描述可转化为特征点相似的描述：

[0029] 相似度＝4×分数×指纹特征最大相似数/(总特征点数×总特征点数)；这里，分数是指纹模板上的一个特征点和样板上的对应特征点匹配成功的记录。其中匹配成功就增加分数，分数值可由自己定义。总特征点数为两个进行比对的特征点数之和。

[0030] 匹配算法的具体步骤如下：

[0031] 1)读入模板特征点P和样本特征点P′，判断P和P′是否满足P≈P′。其中P≈P′，即P＝P′+Δ，Δ的大小是界限盒的误差，即在匹配细节点P，P′时，对于细节点P，如果在一定的极角和半径误差容许范围内细节点P′落在其界限盒内，且二者的方向和类型也相符，则判定这两个细节点P，P′相匹配。

[0032] 2)累加分数，相似特征点个数；

[0033] 3)根据相似度计算公式计算匹配相似度，与合格阈值进行比较，判断匹配是否成功。

[0034] 2静脉识别

[0035] 基于改进的Hausdorff距离的手指静脉识别方法：

[0036] 首先对原始静脉图像提取出手指区域、直方图均衡、中值滤波等预处理操作。再对细化后的图像提取出其特征点即端点和交叉点。设模板图像提取出的特征点集为A＝(a1，a2，…，am)，输入待匹配图像特征点集为B＝(b1，b2，…，bn)，则A，B之间的Hausdorff距离定义为：

[0037] H(A，B)＝max(h(A，B)，h(B，A)) (1)

[0038] 其中，h(A，B)和h(B，A)分别为集合A到集合B和集合B到集合A的单向Hausdorff距离，其数学描述为：

[0039]

[0040]

[0041] 其中，‖*‖表示某种距离范数，h(A，B)表示对点集A中的每个点ai，求取距离此点最近的B集中的任一点bj之间的距离‖ai-bj‖，并将这个距离排序，取这样的距离中的最大值作为h(A，B)的值，同理可得h(B，A)。H(A，B)取h(A，B)和h(B，A)中的大者，它反映了集合A和集合B的不匹配程度，H(A，B)的值越大，两个集合相差也越大。

[0042] 从Hausdorff距离的定义可知，Hausdorff距离在计算时将目标集合整体分解为独立元素进行分析度量，仅仅选择集合中某一个具有某种数学意义上的特殊性的元素，来代表其所在的整个集合，这使得它对干扰很敏感：假定点集A和B非常相似，而B中仅有一点与A相差较大时，H(A，B)的值就变得很大。

[0043] 鉴于Hausdorff距离上述的缺点，本发明将改进的Hausdorff距离[13](MHD)思想引入到手指静脉匹配方法中。MHD距离在计算出点集A中每一点到点集B中最近一点的距离后，把这些距离的均值作为两个点集之间的距离。将以单个元素代表整个集合的思想扩展为集合内所有元素的平均作用，从而很大程度上提高了算法对噪声的适应性。其具体定义如下：

[0044]

[0045] 其中，NA为点集A中特征点的个数。

[0046] MHD距离的计算通常由距离变换来实现，距离变换是计算一个点集中所有点到另一个点集的距离的过程.本文选取欧氏距离变换(EDT)作为距离度量，其具体定义如下：

[0047] Dis(p)＝min(dM(p，q)，q∈B) (18)

[0048] 其中，dM(p，q)表示特征点p和特征点q之间的距离，B为目标物体的元素集合。在距离变换时我们将其定义为：

[0049]

[0050] 为了减少计算量，将上式改写为：

[0051]

[0052] 综上所述，基于MHD的特征点匹配流程如下：

[0053] 1)根据距离变换公式(18)计算出特征点集A到特征点集B的平均Hausdorff距离DisAB；

[0054] 2)同理计算出特征点集B到特征点集A的平均Hausdorff距离DisBA；

[0055] 3)将DisAB与DisBA中的大者作为我们求得的相似性度量值与预设阈值进行比较，判断匹配是否成功；进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。

[0056] 3基于二级决策的融合方法

[0057] 对分类器的设计本发明提出了二级决策分类的方法，即针对指纹和静脉识别进行第一级分类器的设计，得到分类程度值后；再将指纹与静脉特征进行融合形成第二级分类器，再得到一个分类程度值；然后根据这三个分类器的识别结果进行综合分析，得到一个决策分界值，进而实现分类。

[0058] 在二级分类器的设计上，采用特征串联的方式将指纹与静脉两组特征首尾相连形成一个新的特征，在高维的特征空间进行识别，这种方式属于特征级融合的范畴，其优势是明显的：对同一模式提取的不同的生物特征矢量总是反映模式的不同特性，对这些特征进行优化组合，不仅能利用特征间的互补信息来提高系统准确性，从而更充分地利用各个生物特征提供的有效信息，也在一定程度上消除了由于主客观因素带来的冗余信息，对分类识别具有重要的意义。由于本发明指纹识别与手指静脉识别均采用点模式匹配的方法，这样构成的二级分类器避免了由于不同模态间特征量纲相差较大导致直接串联出现的特征空间不相容及特征在融合中不平衡等情况。

[0059] 二级分类器由指纹识别模块与静脉识别模块提取到的特征点集以串联的方式形成，算法的具体流程如下：

[0060] (5)计算模板指纹图像和手指静脉图像的融合特征向量集合γ1：设模板指纹图像特征点集合为α1＝(a1，a2，…，am)，静脉图像特征点集合为β1＝(b1，b2，…，bn)，则有γ1＝(α1，β1)＝(a1，…，am，b1，…，bn)。

[0061] (6)计算待匹配的指纹图像和手指静脉图像的融合特征向量集合γ2，设待匹配指纹图像特征点集合为α2＝(s1，s2，…，sc)，待匹配静脉图像特征点集合为β2＝(t1，t2，…，td)，则有γ2＝(α2，β2)＝(s1，…，sc，t1，…，td)。

[0062] (7)利用上述介绍的基于MHD距离的特征点集匹配方法完成γ1和γ2的匹配，得到二级分类器的匹配结果，完成二级分类决策。

[0063] 由于决策级融合是一种高层次融合，其通信量小，抗干扰能力强，容错性好，能有效的反映环境或目标各个侧面的不同类型信息。所以，本发明在得到上述三个分类器的结果后，采用决策级融合方法得到最终的识别结果。在分别完成指纹识别和手指静脉识别以后，得到各自的识别结果为：Ifinger和Ivein，二级分类器的识别结果为Ifr。其中，Ifinger、Ivein和Ifr的取值为0和1，0代表识别失败，1代表识别成功。此处采用投票的方法来获得最终识别结果fr，当有两个及以上的分类器识别结果为通过时，fr的结果为通过。具体公式如下：

[0064]

[0065] 4实验结果分析

[0066] 为了验证本发明的有效性，选用实验室建立的指纹指静脉双模态图像库中的图像进行测试。该库包含300个人的指纹及指静脉图像，其中每人采集指纹图像5幅，共1500幅，图像大小为256×300；采集静脉图像5幅，共1500幅，图像大小为320×240。图像库中的指纹与指静脉图像对应ID号相同的为同一人的图像数据。

[0067] 融合模块进行实验时，首先对样本库中样本进行单样本认证实验。此处选取两组具有代表性的样本来展示该认证实验。如图2所示：第一组样本中，指纹图像质量很差而指静脉图像质量良好，指纹识别结果为失败，即Ifinger＝0，手指静脉识别结果为成功，即Ivein＝1，而最终的多模态系统的结果为通过，即Ifusion＝1；第二组样本中，指纹图像质量较好而指静脉图像质量较差，指纹识别结果为Ifinger＝1，手指静脉识别结果为Ivein＝0，融合后的多模态识别系统结果为Ifusion＝1。由此可见，融合后的系统能克服单一的指纹识别及指静脉识别中由于图像质量过差而造成的认证失败现象，从而验证了多模态识别方法能克服单模态生物特征识别方法的局限性。

[0068] 为了比较指纹识别、静脉识别及基于二级决策融合方法的识别性能，这里分别对这三种识别方式进行1∶1认证实验及1∶N识别实验。实验时从每个人的5幅指纹图像中，任选一幅作为待识别样本构成验证库，其余4幅构成模板库；静脉识别及融合识别以同样的方式构成验证库与模板库，实验结果如表1及表2所示。实验表明，本发明有效地弥补了单一模态识别系统的不足，其识别率优于单一的指纹识别及指静脉识别，且拒识率低于单一的生物特征识别技术，融合系统整体的性能好于单一的指纹识别和手指静脉识别，效果十分理想。