面部图像注册装置、面部图像注册方法

摘要

场景提取单元(11)从被输入的活动图像中，提取至少一个人的面部图像被连续地拍摄的场景。代表面部图像提取单元(12)从被提取的场景中，提取朝向正面的面部的图像。注册用面部图像提取单元(13)从场景中，提取在对于被提取的正面面部图像所表示的人物的其他面部图像中、与拾取条件一致的各种注册用面部图像。面部图像注册单元(14)将被提取的代表面部图像和被提取的注册用面部图像相关联地注册到面部图像词典(15)中。由此，将可利用于认证处理的各种面部图像注册到词典中，而无需麻烦用户。

权利要求

1.一种面部图像注册装置，从被输入的活动图像中，提取表示人物的面部的面部图像并注册到词典中，其特征在于，所述面部图像注册装置包括：代表面部图像提取部件，从所述活动图像中，提取与预先决定的代表条件一致的至少一个面部图像作为代表面部图像；

注册用面部图像提取部件，从所述活动图像中，提取在对于所述代表面部图像所表示的人物的其他面部图像中、与预先决定的注册条件一致的至少一个其他面部图像作为注册用面部图像；以及面部图像注册部件，将所述注册用面部图像与所述代表面部图像相关联地注册到所述词典。

2.如权利要求1所述的面部图像注册装置，其特征在于，所述面部图像注册部件将对所述注册用面部图像的特征进行数值化的特征量注册到所述词典中。

3.如权利要求1所述的面部图像注册装置，其特征在于，在预先决定了相互不同的多个注册条件时，所述注册用面部图像提取部件对在上述多个注册条件中包含的每个注册条件提取与该注册条件一致的至少一个所述注册用面部图像，所述面部图像注册部件将对每个所述注册条件所提取的所述注册用面部图像与所述代表面部图像相互全部相关联地注册到所述词典中。

4.如权利要求3所述的面部图像注册装置，其特征在于，在预先决定了相互不同的多个注册条件时，所述注册用面部图像提取部件对在上述多个注册条件中包含的每个注册条件提取与该注册条件一致的一个所述注册用面部图像，所述面部图像注册部件将对每个所述注册条件所提取的一个所述注册用面部图像与所述代表面部图像相互全部相关联地注册到所述词典中。

5.如权利要求1所述的面部图像注册装置，其特征在于，在通过所述代表面部图像提取部件而提取了多个不同的所述代表面部图像时，所述注册用面部图像提取部件对该代表面部图像的每个提取所述注册用面部图像。

6.如权利要求1所述的面部图像注册装置，其特征在于，还包括场景提取部件，从所述活动图像中提取场景，

所述代表面部图像提取部件从所述场景中提取所述代表面部图像，所述注册用面部图像提取部件从所述场景中提取所述注册用面部图像。

7.如权利要求6所述的面部图像注册装置，其特征在于，所述场景提取部件从所述活动图像中提取多个不同的所述场景，所述注册用面部图像提取部件无法从某一场景提取所述注册用面部图像时，从与所述某一场景不同的其他的场景提取所述注册用面部图像。

8.如权利要求1所述的面部图像注册装置，其特征在于，在与某一注册条件一致的注册用面部图像已注册到所述词典的情况下，所述注册用面部图像提取部件新提取与该注册条件一致的其他的注册用面部图像，在所述其他的注册用面部图像的识别可靠度高于所述已注册的注册用面部图像的识别可靠度时，所述面部图像注册部件将该已注册的面部图像置换为该其他的注册用面部图像。

9.一种面部图像注册方法，从被输入的活动图像中，提取表示人物的面部的面部图像并注册到词典中，其特征在于，所述面部图像注册方法包括：代表面部图像提取步骤，从所述活动图像中，提取与预先决定的代表条件一致的至少一个面部图像作为代表面部图像；

注册用面部图像提取步骤，从所述活动图像中，提取在对于所述代表面部图像所表示的人物的其他面部图像中、与预先决定的注册条件一致的至少一个其他面部图像作为注册用面部图像；以及面部图像注册步骤，将所述注册用面部图像与所述代表面部图像相关联地注册到所述词典。

说明书

面部图像注册装置、面部图像注册方法

技术领域

[0001] 本发明涉及将用于面部认证处理的面部图像注册到词典的面部图像注册装置、面部图像注册方法、面部图像注册程序、以及记录媒体。

背景技术

[0002] 也许是反映了安全意识的提高，近年来，面部认证系统的利用被迅速地扩大。与以往的利用了密码的认证系统相比，面部认证系统具有将认证所需的信息(本人的面部的特征)被他人盗窃的可能性极低，且只要本人在就能够准确地进行认证等的便利，所以预计今后会进一步普及。

[0003] 但现在，面部认证系统存在各种未解决的问题。其中之一在于，认证精度还不是很高。还没有达到只要照到面部图像就能够认证的水平，例如现实地发生只是背景的亮度改变，就不能认证为本人的问题。

[0004] 因此，以往，提出了以提高面部认证处理的精度为目的的各种技术。

[0005] 例如在专利文献1中，公开了一种图像检索方法，其特征在于，从影像中检测被拍摄到面部的帧，从所述帧提取面部图像，根据所提取的所有面部图像将同一登场人物的面部进行分组，按登场人物提取其代表面部图像。

[0006] 根据上述的方法，从影像中进行特定化为面部的检测，进而，进行所检测的面部的识别，从而能够区别显示在影像中登场的人物的面部。

[0007] 在专利文献2中，公开了一种人物认证装置，其特征在于，包括：将用于进行人物认证的图像数据以帧为单位输入的部件、从所述图像数据中检测面部区域的部件、从所述面部区域检测特征量的部件、通过将所述特征量与基准值进行比较从而判定该特征量是否有效的部件、将判定为有效的特征量分为多个帧来存储的部件、通过对所述多个帧量的特征量施加运算从而取得认证用特征量的部件、通过将所述认证用特征量与预先存储的面部特征量进行比较从而进行该人物的认证的部件。

[0008] 根据所述装置，可通过头的姿势、表情的影响来消除认证精度的降低，进而能够提高用于进行有效帧判定的特征量的计算测量精度。

[0009] 在专利文献3中，公开了一种认证系统，其特征在于，包括：面部认证用数据库，对在相互不同的多个环境下拍摄认证本人的面部所得到的多个面部信息附加与所述环境对应的模式名称后进行注册；认证本人特定表，将注册到该面部认证用数据库中的模式名称与用该模式名称拍摄的认证本人相关联；摄像机，拍摄认证对象人的面部，从而得到面部信息；认证处理部件，将用该摄像机所拍摄的面部信息与注册在所述面部认证用数据库中的多个面部信息进行核对，从而确定相似度最高的面部信息；以及认证本人特定部件，根据通过该认证处理部件所确定的面部信息的模式名称，通过所述认证本人特定表，确定与该模式名称对应的认证本人。

[0010] 根据所述系统，通过预先准备多个在不同的环境下的面部信息，从而在任何环境下都能够正确地进行认证。

[0011] 在专利文献4中，公开了一种面部图像数据库新注册装置，对人物的面部图像数据库和面部特征数据库中注册新人物，其特征在于，所述面部图像数据库新注册装置包括：估计部件，用于估计在输入图像中的人物的面部区域中的多个特征点的位置、以及所述人物的面部的方向；选择部件，根据通过所述估计部件所估计的面部的方向信息或者从外部输入的面部的方向信息，从所述输入图像中选择所述人物的面部表示规定的方向的帧；用户界面部件，接受用户命令而显示通过所述选择部件所选择的帧和其相关信息；以及计算部件，在通过所述选择部件所选择的所述帧中，通过在由所述估计部件所估计的所述多个特征点的附近测量所述人物的面部的特征量，从而计算所述输入图像中的所述人物的数据库成分。

[0012] 根据所述装置，能够使新人物的数据库注册作业自动化。

[0013] 专利文献1：日本公开专利公报[特开2001-167110号公报(公开日：2001年6月22日)]

[0014] 专利文献2：日本公开专利公报[特开平6-259534号公报(公开日：1994年9月16日)]

[0015] 专利文献3：日本公开专利公报[特开2005-115481号公报(公开日：2005年4月28日)]

[0016] 专利文献4：日本公开专利公报[特开2002-133423号公报(公开日：2002年5月10日)]

发明内容

[0017] 在使用面部图像的认证装置中，为了提高认证性能，需要注册在各种条件下拍摄的面部图像。但是，在从多个静态图像中用手动方式选择适合注册的图像并进行注册的作业较复杂，有时较困难。

[0018] 在专利文献1的技术中，只是将同一登场人物的面部进行分组，对于将分组的面部注册到词典的方面没有下任何功夫。

[0019] 在专利文献2的技术中，只是将用于判定有效帧的特征量的测量精度提高，对于将测量的特征量注册到字典的方面没有下任何功夫。

[0020] 在专利文献3的技术中，需要用户预先准备在不同的环境下的面部信息，从而产生对用户产生多余的麻烦的问题。

[0021] 在专利文献4的技术中，只是估计在人力素材的各个帧中的特征点的位置，对用户委托最终的判断。因此，产生对用户产生多余的麻烦的问题。

[0022] 如上所述，即使挪用以往的技术，也存在无法全部包括认证装置所需的面部图像的可能性较高。而且，在用户的手动操作中需要很大的功夫。

[0023] 本发明是为了解决上述的课题而完成的，其目的在于，提供一种面部图像注册装置、面部图像注册方法、面部图像注册程序、以及记录媒体，其能够将各种面部图像注册到词典中，而无需麻烦用户。

[0024] (面部图像注册装置的主要结构)

[0025] 为了解决上述的课题，在本发明的面部图像注册装置中，

[0026] 从被输入的活动图像中，提取表示人物的面部的面部图像并注册到词典中，其特征在于，所述面部图像注册装置包括：

[0027] 代表面部图像提取部件，从所述活动图像中，提取与预先决定的代表条件一致的至少一个面部图像作为代表面部图像；

[0028] 注册用面部图像提取部件，从所述活动图像中，提取在对于所述代表面部图像所表示的人物的其他面部图像中、与预先决定的注册条件一致的至少一个其他面部图像作为注册用面部图像；以及

[0029] 面部图像注册部件，将所述注册用面部图像与所述代表面部图像相关联地注册到所述词典。

[0030] (作用和效果)

[0031] 根据上述的结构，代表面部图像提取部件从活动图像中提取与预先决定的代表条件一致的至少一个面部图像作为代表面部图像。这里所指的“面部 图像”是表示人物的面部的静止画面。“代表条件”是指，在拍摄到活动图像的各种面部图像中最适合面部认证的面部图像应满足的条件。例如，朝向正面的面部满足代表条件。因此，代表面部图像提取部件从活动图像中提取例如对于朝向正面的面部的图像即正面面部图像作为代表面部图像。 [0032] 一般，活动图像是拍摄了人物或事物的移动的图像。因此，代表面部图像提取部件能够没有问题地从活动图像中提取正面面部等的代表面部图像。

[0033] 在提取了代表面部图像时，注册用面部图像提取部件从活动图像中，提取在对于代表面部图像所表示的人物的其他面部图像中、与预先决定的注册条件一致的至少一个其他面部图像作为注册用面部图像。这里所指的“注册条件”是，适用于在图像识别中所适用的面部图像的条件。例如朝上的面部、长胡子的面部、开口的面部等，适于各种状态的面部的条件对应于注册条件。

[0034] 因此，在代表面部图像提取部件例如提取了朝向正面的面部作为代表面部图像时，面部图像注册装置从相同的活动图像中提取对于该正面面部图像所表示的人物的、朝上的面部、长胡子的面部、开口的面部等，与各种注册条件一致的注册用面部图像。 [0035] 面部图像注册部件将代表面部图像和注册用面部图像提取部件相关联地注册到词典中。因此，例如将朝向正面的面部的图像与长胡子的面部的图像等的各种不同的面部图像相关联地注册。这里所指的注册并不限定于注册图像其本身。例如也可以计算用于表示图像的特征的特征量，代替图像而注册到词典中。

[0036] 通过以上的处理，在用于注册面部图像的词典中，面部图像注册装置能够注册对于相同的人物的各种面部图像。因此，起到能够更可靠地增加注册到词典中的面部图像的种类的效果。此外，由于从活动图像中提取面部图像，所以与将注册所需的面部图像通过手动操作来分配，或者将拍摄条件变化为各种各样，从而预先准备注册用的面部图像的方法相比，能够更加减少面部图像的注册处理所需的功夫。即，能够将各种的面部图像注册到词典中，而不会麻烦用户。

[0037] (面部图像注册方法)

[0038] 为了解决上述的课题，在本发明的面部图像注册方法中，从被输入的活动图像中，提取表示人物的面部的面部图像并注册到词典中，其特征在于，所述面部图像注册方法包括：

[0039] 代表面部图像提取步骤，从所述活动图像中，提取与预先决定的代表条件一致的至少一个面部图像作为代表面部图像；

[0040] 注册用面部图像提取步骤，从所述活动图像中，提取在对于所述代表面部图像所表示的人物的其他面部图像中、与预先决定的注册条件一致的至少一个其他面部图像作为注册用面部图像；以及

[0041] 面部图像注册步骤，将所述注册用面部图像与所述代表面部图像相关联地注册到所述词典。

[0042] 根据所述结构，本方法能够起到与所述的面部图像注册装置同样的作用效果。 [0043] (注册特征量)

[0044] 此外，优选地，在本发明的面部图像注册装置中，

[0045] 所述面部图像注册部件将对所述注册用面部图像的特征进行数值化的特征量注册到所述词典中。

[0046] (作用和效果)

[0047] 根据上述的结构，面部图像注册部件将对注册用面部图像的特征进行数值化的特征量注册到所述词典中。例如，通过分别确定面部的各个器官的位置，并计算各个位置的配置状态等，从而计算面部图像的特征量。

[0048] 通常，这样计算的特征量比图像其本身的数据量小得多。因此，面部图像注册装置能够起到如下效果：与将面部图像其本身注册到词典中的情况相比，能够进一步减小词典的数据大小。

[0049] (对与注册条件一致的所有注册用面部图像进行注册)

[0050] 此外，在本发明的面部图像注册装置中，

[0051] 在预先决定了相互不同的多个注册条件时，所述面部图像注册部件对该注册条件的每个提取与该注册条件一致的至少一个所述注册用面部图像，

[0052] 所述面部图像注册部件将对每个所述注册条件所提取的所述注册用面部图像与所述代表面部图像相互全部相关联地注册到所述词典中。

[0053] (作用和效果)

[0054] 根据上述的结构，在预先决定了相互不同的多个注册条件时，代表面部图像注册部件对该注册条件的每个提取与该注册条件一致的至少一个所述注册用面部图像。例如，若10个注册条件被预先决定，则对10个注册条件的所有注册条件，从活动图像中提取适当的注册用面部图像。

[0055] 由此，面部图像注册部件将对每个注册条件所提取的所述注册用面部图像的全部与代表面部图像相关联地注册到词典中。即，将与多个注册条件分别单独地一致的多个面部图像网罗地注册到词典中。

[0056] 根据以上的处理，面部图像注册装置起到能够进一步提高词典的充实度的效果。 [0057] (将与注册条件一致的所有的注册用面部图像各注册一个)

[0058] 此外，优选地，在本发明的面部图像注册装置中，

[0059] 在预先决定了相互不同的多个注册条件时，所述面部图像注册部件对该注册条件的每个提取与该注册条件一致的一个所述注册用面部图像，

[0060] 所述面部图像注册部件将对每个所述注册条件所提取的一个所述注册用面部图像与所述代表面部图像相互全部相关联地注册到所述词典中。

[0061] (作用和效果)

[0062] 根据上述的结构，在预先决定了相互不同的多个注册条件时，代表面部图像注册部件对该注册条件的每个提取与该注册条件一致的一个所述注册用面部图像，例如，若10个注册条件被预先决定，则对10个注册条件的所有注册条件，从活动图像中各提取一个适当的注册用面部图像。

[0063] 由此，面部图像注册部件将对每个注册条件所提取的所述注册用面部图像的全部与代表面部图像相关联地注册到词典中。即，将网罗了多个注册条件的全部的多个面部图像注册到词典中。

[0064] 根据以上的处理，面部图像注册装置起到能够进一步提高词典的充实度的效果。此外，注册到词典中的面部图像对每个注册条件被限定为一个。因此，与对每个注册条件注册多个面部图像的情况相比，起到能够进一步减小词典的数据大小的效果。

[0065] (注册所有人物的面部图像)

[0066] 此外，优选地，在本发明的面部图像注册装置中，

[0067] 在通过所述代表面部图像提取部件而提取了多个不同的所述代表面部图像时，所述注册用面部图像提取部件对该代表面部图像的每个提取所述注册用面部图像。

[0068] (作用和效果)

[0069] 在活动图像中不限于只被拍摄一个人物。也可以被拍摄很多人物。因此，根据上述的结构，在通过代表面部图像提取部件而提取了多个不同的代表面 部图像时，注册用面部图像提取部件对被提取的代表面部图像的每个提取注册用面部图像。多个不同的代表面部图像是指，各个面部图像表示分别不同的人物的面部的多个面部图像。此时，注册用面部图像对每个不同的人物提取注册用面部图像。

[0070] 因此，在活动图像中拍摄到多个人物的情况下，面部图像注册部件对每个人物，将代表面部图像和该注册用面部图像相关联地注册到词典中。作为其结果，在词典中存储对于多个不同的人物的面部图像。

[0071] 根据以上的处理，面部图像注册装置起到能够进一步提高词典的充实度的效果。 [0072] (从场景中提取面部图像)

[0073] 此外，优选地，在本发明的面部图像注册装置中，

[0074] 还包括场景提取部件，从所述活动图像中提取场景，

[0075] 所述代表面部图像提取部件从所述场景中提取所述代表面部图像，

[0076] 所述注册用面部图像提取部件从所述场景中提取所述注册用面部图像。

[0077] (作用和效果)

[0078] 根据上述的结构，场景提取部件从活动图像中提取场景。这里所指的场景是，在活动图像中，将特定的面部连续地继续存在的多个帧集中为一个的部分活动图像。例如，场景提取部件使用面部跟踪技术，从活动图像提取进入具有特定的面部的帧，从其到在一定张数的帧中继续存在并最后从其他帧消失为止的期间作为一个场景。

[0079] 在通过场景提取部件而提取了场景时，代表面部图像提取部件从场景中提取代表面部图像。因此，能够将活动图像的一部分作为面部图像提取的处理对象。此外，注册用面部图像提取部件从相同的场景提取注册用面部图像。由此，能够将活动图像的一部分作为面部图像提取的处理对象。

[0080] 根据以上的处理，面部图像注册装置能够在整体中的一部分中留下作为提取面部图像的处理对象的活动图像。由此，起到能够进一步缩短面部图像的注册处理所需的时间的效果。

[0081] (处理多个场景)

[0082] 此外，优选地，在本发明的面部图像注册装置中，

[0083] 所述场景提取部件从所述活动图像中提取多个不同的所述场景，

[0084] 所述注册用面部图像提取部件无法从某一场景提取所述注册用面部图像 时，从与所述某一场景不同的其他的场景提取所述注册用面部图像。

[0085] (作用和效果)

[0086] 根据上述的结构，场景提取部件从活动图像中提取多个不同的场景。此时，例如划分没有照到人物的面部的场面，从而从活动图像中提取被划分的多个部分活动画面作为分别不同的场景。

[0087] 不限于在一个场景中包含与注册条件一致的所有种类的面部图像。因此，注册用面部图像提取部件无法从多个不同的场景中的某一场景提取注册用面部图像时，从多个不同的场景中与上述场景不同的其他场景提取注册用面部图像。由此，起到能够进一步可靠地增加注册到词典中的面部图像的种类的效果。

[0088] (置换为可靠性更高的面部图像)

[0089] 此外，优选地，在本发明的面部图像注册装置中，

[0090] 在与某一注册条件一致的注册用面部图像已注册到所述词典的情况下，所述注册用面部图像提取部件新提取与该注册条件一致的其他的注册用面部图像，

[0091] 在所述其他的注册用面部图像的识别可靠度高于所述已注册的注册用面部图像的识别可靠度时，所述面部图像注册部件将该已注册的面部图像置换为该其他的注册用面部图像。

[0092] (作用和效果)

[0093] 根据上述的结构，在与某一注册条件一致的注册用面部图像已注册到词典的情况下，注册用面部图像提取部件新提取与该注册条件一致的其他的注册用面部图像。 [0094] 而且，在其他的注册用面部图像的识别可靠度高于所述已注册的注册用面部图像的识别可靠度时，面部图像注册部件将该已注册的面部图像置换为其他的注册用面部图像。由此，能够进一步提高已注册到词典中的面部图像的识别可靠度。

[0095] 因此，面部图像注册装置起到能够进一步提高注册到词典的面部图像的识别精度的效果。

[0096] (面部图像注册程序以及记录媒体)

[0097] 另外，所述面部图像注册装置也可以通过计算机实现。此时，通过使计算机作为所述各个部件起作用，从而在计算机中实现所述面部图像注册装置 的面部图像注册程序、以及记录了该面部图像注册程序的计算机可读取的记录媒体也属于本发明的范畴。

[0098] 通过以下所示的记载，本发明的其他的目的、特征、以及优点会变得非常清楚。此外，通过参照了附图的以下的说明，本发明的优点会变得清楚。

附图说明

[0099] 图1是表示本发明的一实施方式的面部图像注册系统的主要部分结构的方框图。 [0100] 图2是表示面部图像注册装置从活动图像中提取面部图像并注册到面部图像词典时的处理的流程的流程图。

[0101] 图3(a)是表示在词典生成装置提取面部图像时所处理的活动图像的一个例子的图。

[0102] 图3(b)是表示通过场景提取部件所提取的场景的一个例子的图。

[0103] 图3(c)是表示各自包含各种面部图像、且构成一个场景的多个帧的例子的图。 [0104] 图4是表示请求用户选择代表面部图像的显示画面的一个例子的图。

[0105] 图5是表示拾取条件列表50的一个例子的图。

[0106] 图6是表示注册用面部图像提取单元从场景中提取与拾取条件一致的面部图像的处理的流程的流程图。

[0107] 图7是表示面部图像注册单元将通过注册用面部图像提取单元所提取的注册用面部图像注册到面部图像词典时的处理的流程的流程图。

[0108] 图8是表示注册用面部图像提取单元提取与拾取条件一致的面部图像时的处理的流程的流程图。

[0109] 图9是表示注册用面部图像提取单元更新拾取条件列表时的处理的流程的流程图。

[0110] 图10是表示面部图像注册装置提取对于多个人物的面部图像，并将其注册到面部图像词典时的处理的流程的流程图。

[0111] 图11是表示存储在面部图像词典中的词典数据的一个例子的图。

[0112] 标号说明

[0113] 1　面部图像注册装置

[0114] 2　输入装置

[0115] 3　显示装置

[0116] 10 活动画面输入单元

[0117] 11 场景提取单元(影像场景提取部件)

[0118] 12 代表面部图像提取单元(代表面部图像提取部件)

[0119] 13 注册用面部图像提取单元(注册用面部图像提取部件)

[0120] 14 面部图像注册单元(面部图像注册部件)

[0121] 15 面部图像词典(词典)

[0122] 16 输入处理单元

[0123] 17 显示处理单元

[0124] 20 面部图像注册系统

[0125] 40 画面

[0126] 41 正面面部图像

[0127] 42 消息框

[0128] 50 拾取条件列表

具体实施方式

[0129] 以下参照图1～图11，说明本发明的一个实施方式。

[0130] (面部图像注册系统20)

[0131] 首先，参照图1，以下说明面部图像注册系统20的结构。图1是表示本发明的一实施方式的面部图像注册系统20的主要部分结构的方框图。如该图所示，面部图像注册系统20由面部图像注册装置1、输入装置2、显示装置3以及活动画面拍摄装置4构成。

[0132] (面部图像注册装置1)

[0133] 面部图像注册装置1是将面部认证所需的面部图像注册到词典中的装置。结构和概要等的细节在后面叙述。

[0134] (输入装置2)

[0135] 输入装置2是用户为了将信息输入到面部图像注册装置1，或对显示在显示装置3的信息进行选择的装置。例如作为鼠标或键盘来实现。

[0136] (显示装置3)

[0137] 显示装置3是显示信息并提示给用户的装置。例如作为液晶显示装置或等离子显示装置来实现。

[0138] (活动画面拍摄装置4)

[0139] 活动画面拍摄装置4是将外界的人物或事物拍摄为活动画面的装置。例如作为摄像机来实现。

[0140] (面部图像注册装置1)

[0141] 参照图1，以下说明本实施方式的面部图像注册装置1。如图1所示，面部图像注册装置1包括：活动画面输入单元10、场景提取单元11(场景提取部件)、代表面部图像提取单元12(代表面部图像提取部件)、注册用面部图像提取单元13(注册用面部图像提取部件)、面部图像注册单元14(面部图像注册部件)、面部图像词典15(词典)、输入处理单元16以及显示处理单元17。

[0142] (面部图像注册装置1的概要)

[0143] 首先，说明面部图像注册装置1的概要。面部图像注册装置1从活动图像中提取适于词典注册的面部图像，并将其注册。即，场景的区分、面部图像的分组不是目的。以词典的性能提高和性能提高步骤的简化为目的。

[0144] 具体地说，面部图像注册装置1从被输入的活动图像中提取适于面部的认证处理的面部图像，并自动地注册到面部图像词典15中。此时，例如选择性地注册由用户所指定的人物的面部图像。从活动图像提取面部图像是关键。

[0145] 即，在活动图像中，被拍摄到数个与各种的条件一致的面部图像的可能性非常高。因此，面部图像注册装置能够从活动图像中分别提取对于相同的人物的不同的面部图像。
由此，能够在面部图像词典15中注册各种面部图像，所以能够减少注册到面部图像词典15中的面部图像的偏差。此外，能够简单且高精度地作成面部图像词典15。

[0146] 如上所述，若使用通过面部图像注册装置1所生成的面部图像词典15，则认证装置能够大幅度地提高人物的面部认证的性能。

[0147] (面部图像的注册处理)

[0148] 参照图2，以下说明面部图像注册装置1将从活动图像中提取的面部图像注册到面部图像词典15时的处理。图2是表示面部图像注册装置1从活动图像中提取面部图像并注册到面部图像词典15时的处理的流程的流程图。

[0149] (活动图像的输入)

[0150] 在图2所示的处理之前，用户预先使用活动画面拍摄装置4拍摄活动图像。由此，活动画面拍摄装置4将活动图像输入到面部图像注册装置1(步 骤S20)。在面部图像注册装置1中，由活动画面输入单元10接受被输入的活动图像。输入处理单元16将所接受的活动图像输出到场景提取单元11。

[0151] 在本发明中，输入到面部图像注册装置1的活动图像并不限于由活动画面拍摄装置4所拍摄的图像。例如，可以是在市面上销售的有偿的影像软件，或者也可以是转播的电视剧或体育节目等能够无偿得到的活动图像。即，输入到面部图像注册装置1的活动图像只要是拍摄到人物的面部的图像即可。

[0152] (活动图像的例子)

[0153] 面部图像注册装置1从活动图像中提取面部图像。因此，首先，参照图3(a)，以下说明面部图像注册装置1作为处理对象的活动图像的一个例子。图3(a)是表示在词典生成装置1提取面部图像时所处理的活动图像的一个例子的图。

[0154] 如该图所示，活动图像30由多个连续的帧31构成。各个帧相当于在影像中的所谓的“画面(コマ)”。即，各个帧31都是一个静止画面。

[0155] (场景的提取)

[0156] 在面部图像注册装置中，场景提取单元11从被输入的活动图像中，提取至少一个场景(步骤S21)。这里所指的“场景”是，构成活动图像的一部分帧连续地连着的部分活动图像。场景提取单元11只要将在同一人物的面部进入帧之后到走出为止的期间作为一个场景提取即可。即，一个场景只要是某一人物的面部映入最初的帧到消失为止即可。 [0157] 场景提取单元11只要使用公知的任意方法，从活动图像中提取场景即可。例如能够利用所谓的面部跟踪技术，即对连续性地每次少许变化的面部进行检测并跟踪。此外，也可以检测背景的变化、在映入了与预先决定的特定条件一致的背景的帧出现的部位，区分活动图像。此时，成为提取被区分的前后的帧组作为各自不同的场景。

[0158] (场景的一个例子)

[0159] 参照图3(b)，以下说明通过场景提取单元11而从活动图像中提取的场景的一个例子。图3(b)是表示通过场景提取单元11所提取的场景的一个例子的图。

[0160] 在该图所示的例子中，场景提取单元11从一个活动图像中提取三个场景，即场景32、场景33、以及场景34。场景32取从帧32a到帧32b的连续的多个帧连着的结构。在这些帧中，都是同一人物的面部被连续地拍摄。

[0161] 场景33由帧33a以及帧33b的两个帧构成。由于在帧33a的之前帧以及帧33b的之后帧中没有拍摄到面部，所以场景提取单元11提取在活动图像中由帧33a以及33b的两个所构成的部位作为一个场景33。

[0162] 场景34取三个帧即从帧34a到34c连续连着的结构。在这些帧中，都是同一人物的面部图像被连续地拍摄。因此，场景提取单元11提取在活动图像中由帧34a以及34c的三个所构成的部位作为一个场景34。

[0163] (帧的一个例子)

[0164] 参照图3(c)，以下说明构成场景的帧。图3(c)是表示各自包含各种面部图像、构成一个场景32的多个帧的例子的图。

[0165] 如该图所示，场景32由多个帧构成。在各个帧中，被拍摄到至少一个人物的面部。之外，在场景32中，还包含也同时拍摄了其他人物的面部的帧。另外，不限于必需所有的帧拍摄多个人物的面部图像。但是，在各个帧中，拍摄到朝向正面的面部、横向的面部、长胡子的面部、开口的面部等，具有各自不同的特征的面部。

[0166] (正面面部的提取)

[0167] 场景提取单元11将在步骤S21中提取的场景输出到代表面部图像提取单元12。代表面部图像提取单元12从被输入的场景中，检索各种面部图像(步骤S22)。

[0168] 此时，代表面部图像提取单元12特地提取与预先决定的代表条件一致的面部图像。这里所指的“代表条件”是指，在拍摄到活动图像中的各种面部图像中，最适合面部认证的面部图像应满足的条件。在面部图像注册装置1中，代表条件预先存储在未图示的存储器中。在本实施方式中，朝向正面的面部的面部图像所满足的条件就是代表条件。因此，代表面部图像提取单元12从被输入的场景中，提取朝向正面的面部(步骤S23)。

[0169] 另外，代表条件并不限定于朝向正面的面部的面部图像所满足的条件。此外，只要是适于面部认证的面部图像应满足的条件，可以是任何条件。

[0170] 此外，代表面部图像提取单元12也可以从场景中尽可能全部提取与代表条件一致的面部图像。因此，也可以相互区分地提取将对于同一人物的朝向正面的面部作为分别不同的代表面部图像。

[0171] 另外，在面部图像注册装置1中，用户也可以适当地设定代表条件。此时，代表面部图像提取单元12从场景中提取与由用户所设定的代表条件一致 的面部图像作为代表面部图像。

[0172] (人物的选择)

[0173] 在本实施方式中，代表面部图像提取单元12从被输入的场景中，与对应的人物的重复无关地全部提取尽可能数的代表面部图像。然后，将提取的所有代表面部图像输出到显示处理单元17。

[0174] 若代表面部图像提取单元12结束从场景中提取代表面部图像，则面部图像注册装置1选择一个被提取的代表面部图像(步骤S24)。在本实施方式的面部图像注册装置1使用户选择一个想要注册到面部图像词典15中的人物的代表面部图像。

[0175] 具体地说，显示处理单元17使显示装置3显示被输入的所有的代表面部图像。用户通过显示装置3确认代表面部图像的显示。接着，用户使用输入装置2，选择所显示的代表面部图像中的任一个。输入处理单元16接受该选择。输入处理单元16将对于用户所选择的代表面部图像的信息输出到注册用面部图像提取单元13。由此，注册用面部图像提取单元13选择用户所选择的代表面部图像作为处理的对象。

[0176] 图4是表示请求用户选择代表面部图像的显示画面的一个例子的图。显示处理单元17使显示装置3显示如图4所示的画面40。画面40包括用于显示包含正面面部图像41的多个正面面部图像的区域、以及消息框42。在消息框42中，显示用于促使用户选择面部图像的消息。在图4的例子中，显示“请选择想要注册的人物的面部图像”的消息。 [0177] 如上所述，代表面部图像提取单元12也可以对同一人物提取多个不同的正面面部图像作为代表面部图像。此时，显示处理单元17使显示装置3同时显示对于相同的人物的多个不同的正面面部图像。

[0178] (选择的人物的注册)

[0179] 注册用面部图像提取单元13将由用户所选择的正面面部图像注册到面部图像词典15(步骤S25)。此时，也可以将用于识别所选择的正面面部图像的固有的识别符注册到面部图像词典15中。或者，也可以注册所选择的正面面部图像其本身。或者，也可以注册可通过后述的方法所计算的、面部图像的特征量。无论哪一种方法，都在面部图像词典15中新设定用于注册表示所选择的人物面部的面部图像的存储区域。

[0180] (对于注册人物的面部图像检索)

[0181] 注册用面部图像提取单元13对由用户选择的正面面部图像所表示的人物，从各种被输入的场景中检索同一人物的面部图像(步骤S26)。此时，与条件的差异无关，全部检索能够判定为与所提取的正面面部相同的人物的面部的面部图像。判定方法可以是公知的方法。在本实施方式中，注册用面部图像提取单元13预先统一地检索能够判定为面部图像的图像。

[0182] (条件判定以及提取)

[0183] 在步骤S26中检索到各种面部图像之后，注册用面部图像提取单元13判定所检索的面部图像是否与预先决定的拾取条件(注册条件)一致。然后，提取被判定为满足的面部图像作为注册到面部图像词典15中的面部图像(步骤S27)。此时，使用在未图示的存储器中预先存储的拾取条件列表。“拾取条件列表”是指，将适于注册到面部图像词典15的面部图像应满足的各种拾取条件集中为一个的列表。

[0184] (拾取条件列表50)

[0185] 参照图5，以下说明注册用面部图像提取单元13所使用的拾取条件列表50。图5是表示拾取条件列表50的一个例子的图。

[0186] 如该图所示，在拾取条件列表50中，分别定义了主条件、副条件A、副条件B、副条件C。主条件是大致分类了面部图像的特征的条件。在拾取条件列表50中，定义了面部的方向、亮度、表情、以及附带物作为拾取条件的主条件。

[0187] 将主条件进一步细致地定义的就是副条件A。例如，在“面部的方向”中定义了“上”、“下”、“左”、“右”作为副条件A，在“亮度”中定义了“闪光”、“背景比”作为副条件A，在“表情”中定义了“眼睛”、“口”作为副条件A，且在“附带物”中定义了“眼镜”、“胡子”作为副条件A。

[0188] 将副条件A进一步细致地定义的就是副条件B。例如，在“上”中定义了“0～30度”作为副条件B，在“闪光”中定义了“有”、“无”作为副条件B，在“背景比”中定义了“亮”、“暗”作为副条件B，在“眼睛”中定义了“开”、“闭”作为副条件B。

[0189] 将副条件B进一步细致地定义的就是副条件C。例如，在“0～30度”中定义了“每5度”。

[0190] 如上所述，根据拾取条件，所设定的副条件的等级不同。但是，作为提 取面部图像的条件是没有变化。即，只是对可判定为与特定的条件一致的面部图像的条件的细致程度存在差异。

[0191] 注册用面部图像提取单元13将在拾取条件列表50中定义的主要条件与属于该主条件的副条件适当地组合而生成各种拾取条件。例如，对“面部地方向”而言，处理“朝向上5度的面部”作为一个拾取条件。

[0192] 对于在步骤S27中所示的处理的细节，在后面叙述。另外，通过执行该处理，注册用面部图像提取单元13提取与在拾取条件列表50中定义的至少一个拾取条件一致的面部图像作为至少一个注册用面部图像。

[0193] (面部图像的注册)

[0194] 注册用面部图像提取单元13将从场景中提取的注册用面部图像输出到面部图像注册单元14。面部图像注册单元14将被输入的注册用面部图像注册到面部图像词典15(步骤S28)。其细节在后面叙述。

[0195] (最终判定处理)

[0196] 在步骤S28中将注册用面部图像注册到面部图像词典15之后，注册用面部图像提取单元13判定是否从场景中结束提取面部图像(步骤S29)。此时，注册用面部图像提取单元13在满足以下的任一条件时，判定为结束面部图像的提取：

[0197] 条件A：将与在拾取条件列表50中定义的各个拾取条件一致的面部图像全部注册到面部图像词典15中

[0198] 条件C：处理了在一个活动图像内的全部场景

[0199] 条件B：处理了一定数的场景

[0200] 条件D：处理了全部被输入的多个活动图像

[0201] 条件E：处理了一定数的活动图像

[0202] 条件F：开始提取处理之后经过了一定时间。

[0203] 在判定为从上述的条件A到F的任一个都不满足时(“否”)，图2所示的处理返回到步骤S27。此时，注册用面部图像提取单元13从场景中新选择一个在检索的面部图像中没有判定是否与拾取条件一致的面部图像。然后，判定是否与上述的拾取条件一致。 [0204] 这样，注册用面部图像提取单元13对每个面部图像重复判定从场景中检索的面部图像是否与作为注册用面部图像的拾取条件一致，直到在步骤S29所示的最终判定处理中得到“真”的结果为止。

[0205] (条件判定以及提取处理的细节)

[0206] 参照图6，以下说明在步骤S27中所示的条件判定以及提取处理的细节。图6是表示注册用面部图像提取单元13从场景中提取与拾取条件一致的面部图像的处理的流程的流程图。

[0207] 本实施方式的注册用面部图像提取单元13使用例如公开在特开2005-49854号公报中公开的技术，从场景中提取与拾取条件一致的面部图像。因此，事先不需要与各个拾取条件对应的面部图像(template)。即，只要被提供作为拾取条件所定义的条件，则能够对每个人物自动地提取与其一致的面部图像。

[0208] (选择未注册的条件)

[0209] 首先，注册用面部图像提取单元13选择一个未注册的拾取条件(步骤S60)。这里所指的“未注册的拾取条件”是，在对于选择的代表面部图像所表示的人物的面部图像中、没有注册在面部图像词典15中的面部图像所满足的条件。例如，与面部的方向的拾取条件一致的面部图像没有注册在面部图像词典15时，从拾取条件列表50中选择对于面部的方向的拾取条件。

[0210] 注册用面部图像提取单元13执行与所选择的条件对应的处理。在图6的例子中，跳(jump)到用于处理所选择的条件的方框。

[0211] 另外，在本实施方式中，对每个拾取条件而在拾取条件列表50中设定用于表示将与拾取条件一致的面部图像注册到面部图像词典15中的标志(flag)。因此，注册用面部图像提取单元13选择在拾取条件列表50中定义的拾取条件中标志所没有设定的条件作为未注册的拾取条件。

[0212] (面部的方向的计算以及判定)

[0213] 以下，假设在面部图像词典15中未注册与“面部的方向”的条件一致的注册用面部图像。此时，注册用面部图像提取单元13计算处理对象的面部图像所表示的面部的方向。例如，计算朝向上40度的方向或数值。

[0214] 此时，注册用面部图像提取单元13例如基于

[0215] ·连结眼睛和嘴的三角形的形状

[0216] ·从外眼角到面部的轮廓为止的距离、左右方向等，计算面部的方向。由于这些计算方法已经是确定的方法，所以省略详细的说明。

[0217] 注册用面部图像提取单元13判定计算的面部的方向是否满足所选择的 拾取条件(步骤S62)。在判定为满足时(“是”)，注册用面部图像提取单元13更新拾取条件(步骤S69)。更新的细节在后面叙述。

[0218] (亮度的计算以及判定)

[0219] 在步骤S62中，在判定为从面部图像计算的面部的方向与对于面部的方向的拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算面部图像的亮度(步骤S63)。 [0220] 此时，注册用面部图像提取单元13例如基于

[0221] ·图像文件的光圈信息

[0222] ·闪光的信息

[0223] ·背景的亮度与颜色的亮度之差

[0224] ·面部图像的轮廓内像素的亮度等级平均值等，选择面部图像的亮度。由于这些计算方法已经是确定的方法，所以省略详细的说明。

[0225] 注册用面部图像提取单元13判定计算的亮度是否满足所选择的拾取条件(步骤S64)。在判定为满足时(“是”)，注册用面部图像提取单元13更新拾取条件(步骤S69)。更新的细节在后面叙述。

[0226] (表情的计算以及判定)

[0227] 在步骤S64中，在判定为从面部图像计算的亮度与对于亮度的拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算面部图像的表情(步骤S65)。

[0228] 此时，注册用面部图像提取单元13例如基于

[0229] ·离眼睛的中心的边缘(edge)量

[0230] ·从眼睛的中心向上下左右方向的边缘量

[0231] ·瞳孔与白眼球之间的边界

[0232] ·眼睛的纵向和横向的比率等，选择面部图像的表情。由于这些计算方法已经是确定的方法，所以省略详细的说明。

[0233] 注册用面部图像提取单元13判定计算的表情是否满足对于表情的拾取条件(步骤S68)。在判定为满足时(“是”)，注册用面部图像提取单元13更新拾取条件(步骤S69)。更新的细节在后面叙述。

[0234] (附带物的计算以及判定)

[0235] 在步骤S66中，在判定为从面部图像计算的表情与对于表情的拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算面部图像有无附带物(步骤S67)。

[0236] 此时，注册用面部图像提取单元13例如基于

[0237] ·与代表面部图像之间的差异

[0238] ·眼睛周围的颜色和肤色之间的差异

[0239] ·嘴周围的颜色(黑色)等，计算面部图像有无附带物。由于这些计算方法已经是确定的方法，所以省略详细的说明。

[0240] 注册用面部图像提取单元13判定计算的附带物是否满足对于附带物的拾取条件(步骤S68)。在判定为满足时(“是”)，注册用面部图像提取单元13更新拾取条件(步骤S69)。更新的细节在后面叙述。

[0241] (更新拾取条件列表50)

[0242] 无论是面部的方向、亮度、表情、附带物的哪一种，在判定为从面部图像计算的条件满足所选择的拾取条件时(“是”)，注册用面部图像提取单元13更新拾取条件列表50(步骤S69)。具体地说，在拾取条件列表50中建立用于表示对于所选择的拾取条件将一致的面部图像注册到面部图像词典15的标志。此时，注册用面部图像提取单元13在处理下一个面部图像时，不会再次选择本次注册的条件。

[0243] (总结)

[0244] 如上所述，在面部图像注册装置1中，通过用户选择想要注册到面部图像词典15中的人物，从而能够自动地生成最适合其人物的面部认证的面部图像词典15。即，从活动图像(场景)中自动地提取各种不同的面部图像，注册到面部图像词典15。因此，能够比以往技术还减少面部图像的注册处理所需的功夫。

[0245] 另外，在面部图像注册装置1中，也可以交给用户选择注册到面部图像词典15中的注册用面部图像。此时，面部图像注册装置1使显示装置3一览显示所检索的各种面部图像。由此，将通过用于所选择的面部图像注册到面部图像词典15中。此时，由于在注册的面部图像的选别中添加了用户的判定，从而能够进一步提高面部图像词典15的精度。 [0246] (任意地选择)

[0247] 在以上的例子中，注册用面部图像提取单元13在每提取与拾取条件一致的面部图像时，更新拾取条件列表50。但是，注册用面部图像提取单元13也可以首先将与拾取条件一致的面部图像全部集中存储在存储器中。此时，注册用面部图像提取单元13在结束提取面部图像时，任意地选择一个要注册到面部图像词典15中的面部图像即可。或者，也可以使用户选择要注册的面部图像。

[0248] (对面部图像词典15的注册处理的细节)

[0249] 参照图7，以下说明在步骤S28中面部图像注册单元14所执行的对面部图像词典15的面部图像的注册处理。图7是表示面部图像注册单元14将通过注册用面部图像提取单元13所提取的注册用面部图像注册到面部图像词典15时的处理的流程的流程图。 [0250] (器官位置的检测)

[0251] 如该图所示，面部图像注册单元14首先对由面部图像所表示的面部，提取各种器官的位置(步骤S70)。具体地说，检测眼睛的中心、外眼角、内眼角、嘴、嘴的两端、眉毛的两端等。由于器官的检测方法为公知的技术，所以省略详细的说明。面部图像注册单元14所检测的器官并不限定于此，只要是面部的器官即可。所检测的数量也没有特别限定。在面部图像注册装置1中，预先在未图示的存储器中决定对哪个器官检测多少次。

[0252] (特征量的计算)

[0253] 在检测到面部图像的器官位置之后，面部图像注册单元14使用所检测的各个器官位置的信息，计算面部图像的特征量(步骤S71)。由此，对面部图像的特征进行数值化。由于数值化的方法已经确定，所以在这里不特别详细说明。

[0254] (特征量的注册)

[0255] 接着，面部图像注册单元14在面部图像词典15中，将所计算的特征量与已经注册的代表面部图像相关联地存储(步骤S72)。

[0256] 通过以上的处理，面部图像注册单元14与将面部图像其本身注册到面部图像词典15中的情况相比，将更少量的数据注册到面部图像词典15中。因此，能够进一步减小所生成的面部图像词典15的数据大小。

[0257] (条件判定以及提取处理)

[0258] 在以上说明的例子中，面部图像注册装置1提取没有注册在面部图像词 典15中的与拾取条件一致的面部图像，并注册到面部图像词典15中。但面部图像注册装置1也可以提取与拾取条件一致的面部图像，而与是否已注册无关。此时，注册用面部图像提取单元13判定在面部图像词典15中注册的面部图像和新提取的注册用面部图像中哪个适于面部认证。若判定为新提取的面部图像更适于面部认证时，用新提取的面部图像来置换已有的面部图像。

[0259] 参照图8，以下说明以上的处理。图8是表示注册用面部图像提取单元13提取与拾取条件一致的面部图像时的处理的流程的流程图。

[0260] 在处理之前，注册用面部图像提取单元13选择一个作为处理对象的面部图像。接着，面部图像注册单元14对于所选择的面部图像计算面部的方向(步骤S80)。由于在上述说明了面部的方向的计算处理，所以省略说明。注册用面部图像提取单元13判定所计算的面部的方向是否与在拾取条件列表50中定义的、对于面部的方向的拾取条件的至少一个一致(步骤S81)。

[0261] 在步骤S81中，在判定为所计算的面部的方向与拾取条件一致时(“是”)，注册用面部图像提取单元13更新拾取条件列表50。对于该处理的细节，在后面叙述。

[0262] 在步骤S81中，在判定为所计算的面部的方向与拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算对于所选择的面部图像的亮度(步骤S82)。由于在上述说明了亮度的计算处理，所以省略说明。注册用面部图像提取单元13判定所计算的亮度是否与在拾取条件列表50中定义的、对于亮度的拾取条件的至少一个一致(步骤S83)。 [0263] 在步骤S83中，在判定为所计算的亮度与拾取条件一致时(“是”)，注册用面部图像提取单元13更新拾取条件列表50。对于该处理的细节，在后面叙述。

[0264] 在步骤S83中，在判定为所计算的面部的方向与拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算对于所选择的面部图像的表情(步骤S82)。由于在上述说明了表情的计算处理，所以省略说明。注册用面部图像提取单元13判定所计算的表情是否与在拾取条件列表50中定义的、对于表情的拾取条件的至少一个一致(步骤S85)。 [0265] 在步骤S83中，在判定为所计算的亮度与拾取条件一致时(“是”)，注册用面部图像提取单元13更新拾取条件列表50。对于该处理的细节，在后面叙述。

[0266] 在步骤S85中，在判定为所计算的表情与拾取条件不一致时(“否”)，注册用面部图像提取单元13接着计算对于所选择的面部图像的附带物(步骤S86)。由于在上述说明了附带物的计算处理，所以省略说明。注册用面部图像提取单元13判定所计算的附带物是否与在拾取条件列表50中定义的、对于附带物的拾取条件的至少一个一致(步骤S87)。 [0267] (拾取条件列表的更新)

[0268] 与哪一个拾取条件一致无关，注册用面部图像提取单元13在面部图像与拾取条件一致时，更新拾取条件列表50(步骤S88)。

[0269] (拾取条件列表更新的细节)

[0270] 参照图9，以下说明在步骤S88中注册用面部图像提取单元13执行的拾取条件列表50的更新处理。图9是表示注册用面部图像提取单元13更新拾取条件列表时的处理的流程的流程图。

[0271] 首先，注册用面部图像提取单元13判定被判定为与所选择的面部图像一致的拾取条件是否已注册在拾取条件列表50中(步骤S90)。具体地说，判定在拾取条件列表50中是否设定了对于其拾取条件的标志。

[0272] (识别可靠度的比较)

[0273] 在步骤S90中的判定结果为“伪”时(“否”)，更新拾取条件列表50。具体地说，对判定为与面部图像一致的拾取条件设定标志。

[0274] 另一方面，在步骤S90中的判定结果为“真”时(“是”)，已对其拾取条件设定了标志。即，与其拾取条件一致的面部图像已经注册在面部图像词典15中。因此，注册用面部图像提取单元13比较对于已经注册的面部图像的识别可靠度和对于新提取的面部图像的识别可靠度。由此，判定存储的识别可靠度、新计算的识别可靠度是否大于已存储的识别可靠度(步骤S91)。

[0275] 这里所指的“识别可靠度”是，对满足拾取条件的情况进行数值化的值。例如，若是面部的方向，则5度、8度这样，注册用面部图像提取单元13将计算的数值与拾取条件相关联地存储到拾取条件列表50中。或者，也可以与注册用面部图像相关联地注册到面部图像词典15中。

[0276] 在步骤S90中的判定结果为“真”时(“是”)，注册用面部图像提取单元13更新拾取条件列表50。由于表示与拾取条件一致的面部图像注册到面部图像词典15中的情况的标志，已经在拾取条件列表50中设定，所以就维持原样。另一方面，将到此为止存储的识别可靠度置换为对于新提取的面 部图像的识别可靠度。之后，面部图像注册单元14将已注册到面部图像词典15的面部图像置换为由注册用面部图像提取单元13而新提取的面部图像。

[0277] 通过以上的处理，能够对面部图像词典15注册识别精度更高的面部图像。因此，能够进一步提高面部图像注册装置1所生成的面部图像词典15的认证精度。

[0278] (注册对于多个人物的面部图像)

[0279] 在以上说明的例子中，面部图像注册装置1从多个代表面部图像中提取对于用户所选择的一个人物的注册用面部图像，注册到面部图像词典15中。但是，在从一个活动图像、或者一个场景提取了适于注册的面部图像时，面部图像注册装置1也可以分别提取对于多个人物的注册用面部图像，继续注册到面部图像词典15中。

[0280] 图10是表示面部图像注册装置1提取对于多个人物的面部图像，注册到面部图像词典15时的处理的流程的流程图。

[0281] 在图10中所示的步骤S100到S109的处理在本质上分别与步骤S20到S29的处理相同。因此，省略详细的说明。另外，在步骤S104中，显示处理单元17在未图示的存储器中设定用于表示用户所选择的人物为已选择的情况的标志。

[0282] 在步骤S109中，在判定为结束了对于某一人物的注册用面部图像的提取时(“是”)，注册用面部图像提取单元13判定在对用户提示的代表面部图像的人物中是否存在对于未注册到面部图像词典15中、即还不作为处理对象的面部图像的人物(步骤S110)。
具体地说，判定是否存在未设定标志的面部图像。

[0283] 在步骤S110中的判定结果为“真”时(“是”)，图10的处理返回到步骤S104，面部图像注册装置1使用户选择在显示装置3中显示的代表面部图像中未注册的图像。此时，也可以例如将已选择的面部图像进行灰色标度(gray scale)显示等，从而明示已选择的情况。

[0284] 用户选择一个未选择的代表面部图像。由此，注册用面部图像提取单元13从场景中提取对于新选择的代表面部图像所表示的人物的注册用面部图像。然后，面部图像注册单元14将由注册用面部图像提取单元13所选择的注册用面部图像注册到面部图像词典15中。

[0285] 面部图像注册装置1重复以上的处理，直到已经没有可选择的代表面部 图像，或者由用户明确地进行了结束注册的指示。

[0286] (作用和效果)

[0287] 在活动图像中，并不限定于只被拍摄一个人物。经常会拍摄到很多人物。因此，注册用面部图像提取单元13在通过代表面部图像提取单元12提取了多个不同的代表面部图像时，对每个代表面部图像提取注册用面部图像。多个不同的代表面部图像是指，各个面部图像为表示分别不同的人物的面部的多个面部图像。此时，注册用面部图像提取单元13对每个不同的人物提取注册用面部图像。

[0288] 因此，面部图像注册单元14在活动图像中拍摄到多个人物的情况下，对每个人物将代表面部图像和该注册用面部图像相关联地注册到面部图像词典15中。因此，在面部图像词典15中，存储对于多个不同的人物的面部图像。

[0289] 通过以上的处理，面部图像注册装置1能够进一步提高面部图像词典15的充实度。

[0290] (词典数据的一个例子)

[0291] 参照图11，以下说明面部图像注册装置1所生成的存储到面部图像词典15中的词典数据的一个例子。图11是表示在面部图像词典15中存储的词典数据的一个例子的图。 [0292] 如该图所示，面部图像注册装置1所生成的词典数据中包含首标数据H、特征量数据d1、特征量数据d2、......特征量数据dn。首标数据H由面部图像词典15的版本信息或在面部图像词典15中注册的人物的人数等，与词典数据整体有关的各种定义数据而构成。各个特征量数据di(i＝1、2、......、n)是用于表示通过代表面部图像提取单元12而从活动图像中提取的代表面部图像所表示的每个人物的特征量的数据。在每个人物的特征量数据中，特征量对每个注册用面部图像成为一体化而没有分开。

[0293] (面部图像词典15的利用)

[0294] 如上所述，面部图像注册装置1不是比较与特定的拾取条件一致的模版图像和活动图像内的面部图像，从而提取一致的面部图像。代替地，提取与注册的各个拾取条件一致的面部图像，将从所提取的面部图像计算的特征量合成为一个，从而生成面部图像词典15。因此，可生成能够比已注册条件更广泛地应对的面部图像词典15。

[0295] 各种认证装置使用如上那样面部图像注册装置1所生成的面部图像词典 15。例如，认证装置从被提供的多个静止画面提取被摄入特定的人物的照片。或者，也可以在本人认证时使用面部图像词典15，从而提高认证精度。或者也可以从输入的活动画面中，选出特定的人物登场的场面。不论哪一情况，都能够使用与以往相比精度更高的面部图像词典15，从而能够与以往相比精度更高地执行面部图像的认证。

[0296] 另外，本发明并不限定于上述的实施方式，在权利要求所示的范围内可进行各种变更。即，对于将在权利要求所示的范围内适当地变更的技术手段组合而得的实施方式，也属于本发明的技术范围。

[0297] (其他场景的连续检索)

[0298] 例如，没有限定在一个场景中包含与拾取条件一致的所有种类的面部图像。因此，若在一个场景中没有所需的注册用面部图像，则注册用面部图像提取单元13还可以将其他场景作为检索对象。

[0299] 此时，场景提取单元11从活动图像中，提取多个不同的场景。此时，例如对没有摄入人物的面部的场面进行划分。在无法从多个不同的场景中的某一场景提取注册用面部图像时，注册用面部图像提取单元13从在多个不同的场景中与其场景不同的其他场景提取注册用面部图像。由此，能够更可靠地增加注册到面部图像词典15中的面部图像的种类。 [0300] (面部图像的大小)

[0301] 代表面部图像提取单元12在从场景中提取代表面部图像时，还可以对每个人物提取相互相同大小的面部图像。这样，能够稳定注册到面部图像词典15中的代表面部图像的认证精度。

[0302] 同样地，注册用面部图像提取单元13也可以在从场景中提取注册时，对每个拾取条件，提取相互相同大小的面部图像。这样，能够稳定注册到面部图像词典15中的注册用面部图像的认证精度。

[0303] (代表面部图像的自动选择)

[0304] 面部图像注册装置1也可以不用使用户选择，而是自动地选择代表面部图像提取单元12所提取的代表面部图像。此时，注册用面部图像提取单元13从被提取的代表面部图像中选择任一个，并从场景中提取对于该被选择的代表面部图像所表示的人物的注册用面部图像。根据该方法，能够完全自动地生成面部图像词典15，而不会麻烦用户。 [0305] (面部图像注册程序以及记录媒体)

[0306] 最后，面部图像注册装置1中包含的各个模块由硬件逻辑构成即可。或者，也可以如下那样，使用CPU(Central processing Unit)由软件实现。

[0307] 即，面部图像注册装置1包括：执行用于实现各个功能的控制程序的命令的CPU、存储了该控制程序的ROM(Read Only Memory)、将上述控制程序展开为可执行的形式的RAM(Random Access Memory)、以及存储上述控制程序以及各种数据的存储器等的存储装置(记录媒体)。

[0308] 根据这个结构，也通过规定的记录媒体来达到本发明的目的。只要该记录媒体将实现上述功能的软件即面部图像注册装置1的控制程序的程序代码(执行格式程序、中间代码程序、源程序)以计算机可读取地记录即可。对面部图像注册装置1提供该记录媒体。由此，作为计算机的面部图像注册装置1(或者CPU或MPU)对在所提供的记录媒体中存储的程序代码进行读出并执行即可。

[0309] 将程序代码提供给面部图像注册装置1的记录媒体并不限定于特定的结构或者种类。即，该记录媒体可使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘类、IC卡(包括存储器卡)/光卡等的卡类、或者掩模ROM/EPROM/EEPROM/闪速ROM等的半导体存储器类等。

[0310] 此外，与通信网络可连接地构成面部图像注册装置1也能实现本发明的目的。此时，经由通信网络将上述程序代码提供给面部图像注册装置1。作为该通信网络，只要能够对面部图像注册装置1提供程序代码的网络即可，没有限定于特定的种类或方式。例如可利用因特网、内部网、特别网(extra net)LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。

[0311] 此外，构成该通信网络的传输媒体也是，可传输程序代码的任意的媒体即可，没有限定于特定的结构或种类。例如可利用IEEE1394、USB(UniversalSerial Bus)、电力线传输、电缆TV线路、电话线、ADSL(Asymmetric DigitalSubscriber Line)线路等有线，也可以利用IrDA或遥控等的红外线、Bluetooth(注册商标)、802.11无线、HDR、便携电话网、卫星线路、地面波数字网等的无线。另外，本发明也可以通过所述程序代码以电子化传输所具体化的、埋入载波的计算机数据信号的方式实现。

[0312] 如上所述，由于本发明的面部图像注册装置包括面部图像注册部件，其 将从活动图像中提取的注册用面部图像与从活动图像中提取的代表面部图像相关联地注册到词典中，因此，起到能够将各种面部图像注册到词典中，而不会麻烦用户的效果。

[0313] 在发明的详细的说明项中进行的具体的实施方式或者实施例，终归是明确本发明的技术内容，不能仅限定于这样的具体例子来狭义地进行解释，在本发明的精神和以下记载的权利要求的范围内，可进行各种变更来实施。

[0314] 产业上的可利用性

[0315] 本发明可广泛地利用为面部图像注册装置，所述面部图像注册装置生成认证人物的面部图像的各种认证装置所利用的面部图像词典。