面部描述和识别的方法和装置

摘要

面部描述和识别的方法和装置。一种面部识别方法、装置和系统，所使用的结构包括对基于频率变换的系数进行的多次对偶空间线性判别分析(LDA)，所述变换应用于面部图像及其多个部分。与现有技术相比较，该新方法显著降低了提取复杂度，并且还提高了对面部姿态、照明条件以及其它因素的稳健性，因此提高了识别或鉴别性能。

权利要求

1.一种通过描述符来表示面部图像的方法，该方法包括如下步骤：从面部图像中提取一组分图像，各个分图像与所述面部图像的一部分相对应；

将所述分图像变换成频域；

使用所述频域中的经变换的分图像导出具有N维的多个特征向量，其中N是大于或等于1的整数；以及对所述多个特征向量进行处理，以生成表示所述面部图像的描述符，其中，所述处理步骤包括执行至少三级判别变换，并且其中，在一系列判别变换中的最后一级中，将从整个图像区域导出的特征向量与从中心图像区域导出的特征向量进行组合，以生成表示所述面部图像的描述符，其中，基于所述特征向量的变换中的至少一级包括使用N行r列的矩阵W，该矩阵W是由两个矩阵A和V的乘积生成的，其中r是大于或等于1的整数，其中，生成所述矩阵A包括对根据N维的所述多个特征向量的类形心与所述多个特征向量的总平均值之间的差生成的矩阵进行奇异值分解，并且取与q个最大奇异值相对应的前q个左奇异向量，其中q是等于或小于N的正整数，并且其中，生成所述矩阵V包括对矩阵A的转置和根据所述多个特征向量与它们各自的类形心之间的差生成的矩阵的乘积进行奇异值分解，并且取与r个最小非零奇异值相对应的左奇异向量。

2.根据权利要求1所述的方法，其中提取所述分图像的步骤是基于包括多个面部特征或区域的图像内容。

3.根据权利要求1或2所述的方法，其中所述至少一级变换包括组合特征向量，并对所组合的特征向量进行变换以产生进一步的特征向量。

4.根据权利要求1或2所述的方法，其中至少三级判别变换的每一个包括：组合特征向量，并对所组合的特征向量进行变换。

5.根据权利要求3所述的方法，其中对特征向量进行组合的级涉及：对分图像的多个实分量，多个虚分量和幅值中的至少两个进行组合，并且/或者对不同图像部分的多个实分量，多个虚分量和幅值中的至少两个进行组合。

6.根据权利要求4所述的方法，其中对特征向量进行组合的级涉及：对分图像的多个实分量，多个虚分量和幅值中的至少两个进行组合，并且/或者对不同图像部分的多个实分量，多个虚分量和幅值中的至少两个进行组合。

7.根据权利要求1或2所述的方法，其中所述多个分图像包括：整个面部图像、所述整个面部图像的上半部分和下半部分、中心面部图像以及所述中心面部图像的上半部分和下半部分。

8.根据权利要求7所述的方法，包括：导出用于所述整个面部图像和所述中心面部图像的虚分量和实分量的特征向量，导出用于所述整个面部图像和中心面部图像的上半部分的幅值的特征向量，导出用于所述整个面部图像和中心面部图像的下半部分的幅值的特征向量。

9.根据权利要求8所述的方法，其中第一级变换包括：

第一变换步骤，其包括对所述整个面部图像的实分量和虚分量进行组合和变换；

第二变换步骤，其包括对所述整个面部图像的所述上半部分和下半部分的幅值进行组合和变换；

第三变换步骤，其包括对所述中心面部图像的实分量和虚分量进行组合和变换；以及第四变换步骤，其包括对所述中心面部图像的上半部分和下半部分的幅值进行组合和变换。

10.根据权利要求9所述的方法，其中第二级变换包括：

第五变换步骤，其包括对所述第一变换步骤和所述第二变换步骤的结果进行组合和变换；以及第六变换步骤，其包括对所述第三变换步骤和所述第四变换步骤的结果进行组合和变换。

11.根据权利要求10所述的方法，其中第三级变换包括：第七变换步骤，其包括对所述第五变换步骤和所述第六变换步骤的结果进行组合和变换。

12.根据权利要求1或2所述的方法，其中所述至少一级变换涉及线性映射。

13.根据权利要求1或2所述的方法，其中所述对频域的变换涉及傅立叶变换。

14.根据权利要求13所述的方法，其中所述导出用于每个分图像的特征向量的步骤包括：选择特定的预定傅立叶系数。

15.根据权利要求14所述的方法，包括选择至少水平方向低/垂直方向高的频率分量。

16.根据权利要求1或2所述的方法，还包括归一化和数字转换。

17.根据权利要求1或2所述的方法，其中导出特征向量的步骤还包括：选择至少水平方向低/垂直方向高的频率分量。

18.根据权利要求1或2所述的方法，还包括使用描述符，所述使用包括发送、接收和存储中的任何一种。

19.一种进行面部识别、检测或分类的方法，包括：对通过使用根据权利要求1所述的方法导出的描述符与所存储的面部图像的描述符进行比较。

20.根据权利要求19所述的方法，其中所述所存储的描述符是通过使用根据权利要求

1所述的方法导出的。

说明书

面部描述和识别的方法和装置

技术领域

[0001] 本发明涉及面部描述及识别的方法和装置，本发明还涉及用于表示图像，尤其是表示面部图像中的面部的方法和装置，以及对这种表示的使用。

背景技术

[0002] 记述傅立叶域中的面部识别的首篇文章可能是“Face Recognition inFourier Space”(published in Vision Interface′2000：38-44，Montreal，2000)。该文章记述了一种面部识别系统，该面部识别系统使用基于从归一化的面部图像中计算的傅立叶谱的面部描述。通过在包含有处于所选择频率的傅立叶系数的特征向量之间寻找最接近的匹配来完成面部确认或识别。据报告，27个频率系数的子集产生很好的结果(使用15个实系数和12个虚系数)。这些系数的选择是基于系数的相对方差；选择显示出最大方差的系数作为特征。该方法的实施十分受限；主要是因为对面部特征的选择、后处理以及匹配的方法过于简单化。

[0003] 针对ISO/IEC 15938-3-AM1标准提出了一种使用傅立叶域特征、结合图像域特征的面部表示的算法，在此将其称为高级面部识别描述符(AFRD)。详细的描述可以在标准ISO/IEC 15938-3/FPDAM1中找到，即Information Technology-Multimedia Content Description Interface-Part3：Visual。不过，下面我们将简要描述这种方法所基于的一些观点，以帮助理解现有技术和本发明的区别。

[0004] AFRD包括四个面部特征要素：

[0005] ·傅立叶特征

[0006] ·中心傅立叶特征

[0007] ·合成特征

[0008] ·子区域合成特征

[0009] 因为只有基于傅立叶的表示是相关的(与上面的前两个特征要素相对应)，所以我们在此根据图1更加详细地对其进行描述。

[0010] 由AFR方法使用的傅立叶域中的特征提取包括以下步骤：

[0011] 1)将归一化的面部图像f分成4个和16个规则分图像(所谓的多块图像f10，1 1 2 2
f1，...，f4，f1，...，f16)；

[0012] 2)从所述归一化面部图像f中提取傅立叶谱(即实傅立叶系数和虚傅立叶系f数)，并且将其扫描入傅立叶谱向量x1(步骤1)；

[0013] 3)从所剪辑的归一化面部图像f10和多块图像f11，...，f41，f12，...，f162提取傅立f叶系数的幅值，并且将其扫描入多块傅立叶幅值向量x2 ；

[0014] 4)使用PC-LDA映射ψ1f对在2)中计算的傅立叶谱向量x1f进行投影，随后通过f向量归一化为单位向量y1 ；

[0015] 5)使用PC-LDA映射ψ2f对在3)中通过多块图像计算的多块傅立叶谱向量x2f进f行投影，随后通过向量归一化为单位向量y2 ；

[0016] 6)将在4)和5)中获得的特征向量y1f，y2f组合(联合(joining))，并且基于所f联合的特征向量来计算LDA投影ψ3 ；

[0017] 7)对特征向量进行数字转换(quantisation)。

[0018] 将上述过程应用于整体归一化的面部图像以及面部图像的中心部分，并且将傅立叶特征和中心傅立叶特征简单地连接在一起，成为单个特征向量。

[0019] AFRD方法具有几个局限。首先，该方法是一个很复杂的方案，主要是因为需要进行多次傅立叶变换(具体地必须计算44次变换)。其次，尽管执行AFRD优于其它的现有技术，但对于一些应用还是不够充分。本发明的目的是要减小特征提取和匹配的复杂性，同时保持和改进整体性能。

[0020] EP1411459公开了一种提取特征向量的方法和装置，该方法和装置用于面部识别和检索。提取并组合几个特征向量，即：

[0021] 1)对整个面部区域生成傅立叶特征向量(包括傅立叶谱和多块傅立叶幅值)。通过在整个图像上进行傅立叶变换来生成傅立叶谱分量。通过在整个图像上进行傅立叶变换来计算多块傅立叶幅值，并且通过将整个图像分成4个和16个规则块来获得20个子图像。然后使用PC-LDA映射来组合傅立叶系数的幅值。

[0022] 2)以与傅立叶特征向量相似的方法，不同的是通过中心面部区域来生成中心傅立叶特征向量(包括傅立叶谱和幅值)。

[0023] 3)针对整个面部区域生成整体强度特征向量。

[0024] 4)针对预定数量的分面部区域生成局部强度特征向量。

[0025] 5)通过将第一和第二归一化向量与强度特征耦合来生成整体合成特征向量，而通过将第三和第四归一化向量与局部强度特征向量耦合来生成中心合成特征向量。

[0026] 美国专利申请0030169908记述了利用二次独立分量分析(ICA)和主分量分析(PCA)来对面部进行识别和搜索的方法和装置，其声称在各种照明条件下改进了识别性能。根据该方法和装置，使用姿态和照明不变的面部描述符使得可以检索人的面部，并可以鉴别特定个人。

[0027] 美国专利申请0030165260记述了利用二次独立分量分析(ICA)来对面部进行识别和搜索的方法和装置。该方法进行如下操作：对输入的原始图像进行PCA，并且通过从该原始图像中去除高频分量来生成低通滤波图像，从原始图像中减去该低通滤波图像并获得仅具有高频分量的剩余图像。对该剩余图像再进行ICA，以生成与原始图像相对应的特征信息。因为第一次ICA变换从灰度图像中减去了独立分量(即独立基分量)，因而所提出的二次ICA对于照明变化是稳健的，因为应用该二次ICA来使残余图像与高通频率分量相对应。

[0028] 美国专利申请0030215115提出一种将面部图像分成多个分面部图像的面部识别装置和方法。该装置包括分面部分割单元，其将输入的面部图像分割成多个分面部图像；面部描述符生成单元，其利用与各个分面部图像相对应的变换矩阵来生成面部描述符，所述面部描述符是特征向量；登记面部描述符数据库(DB)，其存储已登记的面部描述符；以及，鉴别单元，其通过对从面部描述符生成单元输入的用于输入面部图像的面部描述符与已登记的面部描述符进行比较，并向各个分面部的比较结果提供与各个分面部相对应的预定权重，来鉴别所输入的面部图像。

[0029] 美国专利申请0040073543记述了一种利用反复匹配的图像检索方法和装置。这种反复匹配可以应用到基于任何方法的面部识别系统。该方法包括：(a)通过检索存储在图像数据库中的N个基准图像，对用户所选的查询图像与基准图像进行比较，来按匹配等级提取K个相似的图像；以及(b)利用预定频率对M个相似图像(从K个相似图像中选择的、匹配等级较高的图像)进行反复匹配，并重排该M个相似图像的匹配等级。根据该方法和装置，在通过使用由用户选择的查询图像而检索的多个相似图像中，选出匹配等级较高的M个相似图像，并通过使用高匹配等级的相似图像来对M个相似图像进行反复匹配，从而按相似性顺序重排这M个相似图像并进行输出。因此，可以大大提高匹配的准确性，并且可以使检索工具由于反复检索导致的负荷最小化。

[0030] 因为前面所提到的，即使是在仅使用描述符的四域(Four-domain)特征(傅立叶部分)时，AFR描述符的提取也是非常复杂的。本文提出的方法使用具有改进性能的简化傅立叶域方法。

发明内容

[0031] 本发明的多个方面在所附的权利要求中作了阐述。

[0032] 具体地，本发明的某些方面是：

[0033] 1)使用在经由D-LDA投影将整体和中心特征联合并映射的傅立叶域中具有三个变换级的多级结构。(在现有技术中，在不经过映射的情况下组合所联合的傅立叶向量和中心傅立叶向量)。

[0034] 2)面部分图像的新集合，该集合与AFRD相比被简化了并产生更好的性能。

[0035] 3)使用称为对偶空间LDA的更加适合的线性映射，其与AFRD中使用的PCA-LDA变换相对。

[0036] 4)使用傅立叶谱中的不同的频率分量。另外AFRD和本发明都使用水平方向低、垂直方向低的频率分量，AFRD还扫描水平方向高、垂直方向低的分量，而所提出的发明则使用水平方向低、垂直方向高的分量。因此，所提出的本发明对垂直方向的面部特征更加敏感，这样就具有较好的人之间的判别能力，并且对水平方向的面部局部误差更不敏感。

[0037] 本发明的另一方面提供一种面部识别方法、装置和系统，所使用的结构包括对基于频率变换(应用于面部图像及其多个部分)的系数进行的对偶空间线性判别分析(D-LDA)的多级组合。

[0038] 与现有技术相比，这种新方法显著地降低了提取复杂度，并且还提高了对面部姿态、照明条件以及其它因素的稳健性，因此改进了识别或鉴别性能。

附图说明

[0039] 本发明的实施例将参照下面的附图进行说明：

[0040] 图1是说明在应用于现有技术的AFR描述符中的傅立叶域中的特征提取的框图；

[0041] 图2示出了在优选实施例中使用的多个分面部；

[0042] 图3a示出了在优选实施例中使用的频率分量；以及

[0043] 图3b示出了AFRD使用的频率分量；

[0044] 图4-9是说明根据本发明实施例的使用多级D-LDA结构的特征提取的框图；

[0045] 图4示出了在优选实施例中使用的多级特征提取的总体方案，其中具体级在随后的图中示出；

[0046] 图5示出了变换级；

[0047] 图6示出了具有多个归一化块的初始判别级；

[0048] 图7示出了具有多个可选的归一化块的中间判别级；

[0049] 图8示出了最终判别级；

[0050] 图9示出了利用优选实施例的三个判别级的特征提取的优选实施例结构；

[0051] 图10更具体地说明了优选实施例的结构。

具体实施方式

[0052] 表1对图中的块符号作了说明。基本组成部分是：傅立叶变换(T，F)；以线性映射形式(具体地为Dual-LDA)的特征向量变换(判别变换)(D)；归一化(N)和数字转换(Q)。如在结构框图中所见，与用于AFR傅立叶域部分中的特征提取的42个图像相对比，仅有6个输入图像：f1，f1，1，f1，2，f2，f2，1，f2，2。图2中示出了在优选实施例中使用的这些图像，并在下文中进行说明。请注意，所提出的方案使用3级判别结构，并且傅立叶面部特征是从在最终级DLDA映射中组合的整体和中心图像区域提取的。

[0053] 尽管仅在初始判别级(图9)中示出了归一化，但是也可以在随后的判别级中进行归一化。

[0054] 表1-块符号

[0055]

[0056]

[0057] 在图5-9和表1中示出了特征向量的组合，表示连接特征向量，即对于特征向量(V1)(V2)，所组合的向量是(V1，V2)。

[0058] 表2示出了傅立叶域中的哪些分量形成被组合的特征向量，参照图3说明了图像的傅立叶域。

[0059] 如图3和表2所示，仅使用傅立叶域中的某些区域。

[0060] 通过参照说明书中提到的现有技术参考文献，可以找到有关实现实施例步骤的进一步的背景详述。

[0061] 图2示出了在优选实施例中使用的多个分面部的细节。从图片中可见，使用6个分量图像：f1-整个面部，f1.1-面部图像的上部，f1.2-面部图像的下部，f2-面部图像的中心部，f2.1-中心部分的上部，以及f2.2-中心部分的下部。

[0062] 求得这组面部图像和多个分面部以给出优良的结果(超过现有技术的性能)，尤其是当与图9所示的包括3级D-LDA变换的结构相组合时。

[0063] 所提出的本发明利用例如根据LDA，PC-LDA，ICA和PCA方法获得的任何线性映射而发挥功用，这些方法为本领域的技术人员公知。然而，通过使用对偶空间LDA(记载在以下文章中：M.Z.Bober，K.Kucharskiand W.Skarbek“Face Recognition by Fisher and Scatter Linear DiscriminantAnalysis”；publicshed in Lecture Notes in Computer Science，Publisher：Springer-Verlag Heigelberg，Volume 2756/2003，Novermber 2003，pp.638-645ISBN：3-540-40730-8)。

[0064] 通过如下伪代码来概括对偶空间LCD算法的一个优选实施例的实现：

[0065] DLDA算法：

[0066] 输入：数据矩阵X＝[x1，...，xL]；N维、q、r维的xi；

[0067] 类成员向量I(I(i)＝j如果从类j对象中提取xi)

[0068] 输出：经修正的q、r，

[0069] 具有N行r列的D-LDA矩阵W

[0070] 步骤：

[0071] 1.计算总平均值c和类形心(class centroid)c1，...，cJ

[0072] 2.将数据和形心分别归一化为Y和D：

[0073] a.如果I(i)＝j则 (Lj-类j的实例数量)，i＝1，...，L，j＝1，...，J

[0074]

[0075] 3.对获得了所有非零奇异值(例如q0)的D执行近似的SVD：

[0076] a.[U，A]：＝asvd(D)；//U具有q0列，Λ是对角的q0×q0矩阵 //对Λ的每个元素取平方根

[0077] 4.修正q并选择模型：

[0078] a.如果q＞q0则q：＝q0；

[0079] b.U：＝从U中取前q列；

[0080] c.∑：＝从∑中取前q列和q行；

[0081] 5.计算数据白化(whitening)矩阵：A：＝U∑-1

[0082] 6.对Y进行白化操作：yi：＝Atyi，i＝1，...，L

[0083] 7.对获得了所有非零奇异值(例如r0)的D执行近似的SVD：

[0084] a.[V，Λ ′]：＝asvd(Y)；//V具 有r0列，Λ ′ 是 对 角 的r0×r0矩 阵//对Λ′的每个元素取平方根

[0085] 8.修正r并选择模型：

[0086] a.如果r＞r0则r：＝r0；

[0087] b.V：＝从V中取走后r列；

[0088] 9.返回W：＝AV。

[0089] 用于特征选择的频率系数(实分量和虚分量以及幅值)在AFR方法和本发明方案中是不同的。参照图3，在表2中总结了在每一级中用于特征选择的系数，图3示出了图像的傅立叶域的表示，具体来说，图3(a)和3(b)示出了由该优选实施例和AFRD(现有技术)使用的频率分量所处的位置。如前面所提到的，AFRD和本发明的优选实施例都使用了一组表示水平方向低、垂直方向低的频率分量的系数。然而，尽管AFRD还扫描水平方向高、垂直方向低的分量，但所提出的本发明使用水平方向低、垂直方向高的分量，这些分量对垂直方向的面部特征更加敏感，从而导致较高的个人之间的判别能力。此外，该优选实施例对水平方向的面部局部误差更不敏感。

[0090] 表2傅立叶域中特征选择区域的左上和右下角

[0091]

[0092] 将面部匹配在两个描述符之间的相似性测量进行计算，作为两个特征向量之间差值的加权的L2模。也可以使用其它的面部匹配技术，诸如本领域的普通技术人员所公知的各种匹配技术。

[0093] 对上述实施例的特征的可选择执行包括：

[0094] 使用不同的方法来限定所述变换的各级的线性映射(例如使用ICA或PCA而不是LDA)

[0095] 使用不同的分面部

[0096] 使用不同的傅立叶系数

[0097] 使用不同的频域变换(例如DCT变换)

[0098] 在说明书中，图像一词表示整个图像或图像的一个区域，除了从上下文可以明显看出来的部分。类似地，图像或分图像的区域可以表示是整个图像。图像包括帧或场，并涉及静止图像、或诸如电影或视频之类的序列图像中的一个图像、或在相关的一组图像中的一个图像。

[0099] 基于诸如图像特征或区域的图像内容将图像分割成多个分图像表示：例如，分割成面部的上半部分和下半部分，或围绕眼睛或鼻子，而不是简单地提取中心面部区域。

[0100] 该图像可以是灰度级或彩色图像，或是其它类型的多谱图像，例如，IR、UV或其它电磁图像、或者是声像等。

[0101] 本发明例如可以在计算机系统中通过合适的软件和/或硬件改进来实现。本发明的多个方面可以以软件和/或硬件形式提供，或者可以在专用应用程序装置或专用应用程序模块中提供，诸如芯片。在根据本发明一个实施例中，可以远离其它组成部分而提供系统中的多个组成部分。例如，本发明可以以搜索引擎的形式实现，该搜索引擎涉及存储图像和相关描述符的数据库，其中例如通过互联网远端输入查询。可以将这些描述符以及与其相关的图像单独地存储。

[0102] 本发明例如可以用于：确定一个图像是否包含一个面部(例如人脸)；利用训练集来匹配一个面部图像；或者例如使用不同的阈值来匹配或确定脸部的标识。本发明可以用在诸如安全系统之类的各种应用中。

[0103] 本领域的普通技术人员还可以利用本发明来对在一特定统一类中的具有复杂变化特征的图像对象进行匹配和识别，对本文所公开的技术进行改进，使得所选择的参数与决定特征具体变化的特性最匹配，从而识别所考虑的对象类中的具体对象。