执行用户验证的显示设备及其方法

摘要

提供一种验证用户的方法。所述方法包括：产生学习系统；如果参考图像被注册，则利用学习系统分析参考图像以检测特征信息；存储检测到的特征信息；拍摄用户以获取用户图像；利用学习系统分析用户图像以检测用户的面部特征信息和附加信息；将面部特征信息和附加信息与存储的特征信息进行比较以验证用户。因此，精确地执行用户验证。

权利要求

1.一种用于通过利用学习系统验证用户的方法，所述方法包括：基于用户的参考图像被注册，通过利用学习系统获取与参考图像相应的特征信息，其中，所述特征信息包括关于用户的面部的参考面部特征信息以及用户的除面部之外的参考附加信息；

基于通过成像单元获取用户图像，通过利用学习系统获取与用户图像相应的面部特征信息和与用户图像相应的附加信息；

将获取的面部特征信息与参考面部特征信息进行比较并且将获取的附加信息与参考附加信息进行比较以验证用户。

2.根据权利要求1所述的方法，还包括：产生学习系统，其中，产生学习系统的步骤包括：

分析预设数量的参考图像以检测参考图像的面部特征信息和附加信息；

根据特征对检测到的面部特征信息和附加信息分类并存储，作为与参考图像相应的参考面部特征信息和参考附加信息。

3.根据权利要求2所述的方法，还包括：

如果在少于所述预设数量的参考图像被注册时获取到用户图像，则通过利用默认产生的初始学习系统检测用户图像的面部特征信息和附加信息；

将检测到的面部特征信息与存储的参考面部特征信息进行比较并且将检测到的附加信息与存储的参考附加信息进行比较以验证用户。

4.根据权利要求1所述的方法，其中，验证用户的步骤包括：从预存储的特征信息中搜索与用户图像的面部特征信息的相似度高于或等于第一阈值的参考面部特征信息；

如果搜索到参考面部特征信息，则将与搜索到的参考面部特征信息匹配的人验证为与用户是同一个人；

如果搜索到多条参考面部特征信息，则将从用户图像检测的附加信息与搜索到的参考面部特征信息所对应的参考附加信息进行比较，以搜索相似度高于或等于第二阈值的参考附加信息；

如果搜索到参考附加信息，则将与搜索到的参考附加信息所对应的参考面部特征信息匹配的人验证为与用户是同一个人。

5.根据权利要求4所述的方法，还包括：

如果用户的验证失败，则执行重新拍摄；

通过利用重新拍摄的用户图像和学习系统重新验证用户。

6.根据权利要求5所述的方法，其中，执行重新拍摄的步骤包括：输出用于指导预设的参考拍摄姿势的指导消息；

如果用户处于参考拍摄姿势，则执行重新拍摄。

7.根据权利要求1至6中任一项所述的方法，其中，所述附加信息包括关于用户的发型、发色、衣服颜色、衣服样式、胡须、眼镜、穿环和耳环中的至少一个的信息。

8.一种显示设备，包括：

成像单元；

控制器，被配置为：

基于用户的参考图像被注册，通过利用学习系统获取与参考图像相应的特征信息，其中，所述特征信息包括关于用户的面部的参考面部特征信息以及用户的除面部之外的参考附加信息，基于通过成像单元获取用户图像，通过利用学习系统获取与用户图像相应的面部特征信息和与用户图像相应的附加信息，将获取的面部特征信息与参考面部特征信息进行比较并且将获取的附加信息与参考附加信息进行比较以验证用户。

9.根据权利要求8所述的显示设备，还包括：存储单元，其中，控制器分析预设数量的参考图像以检测每一参考图像的面部特征信息和附加信息，通过根据特征对检测到的面部特征信息和检测到的附加信息分类来获得与参考图像相应的参考面部特征信息和参考附加信息以产生学习系统，并将产生的学习系统存储在存储单元中。

10.根据权利要求9所述的显示设备，其中，如果新参考图像被注册，则控制器通过利用学习系统分析所述新参考图像以检测所述新参考图像的面部特征信息和附加信息，并另外将检测到的面部特征信息和附加信息存储在存储单元中,作为与参考图像相应的参考面部特征信息和参考附加信息。

11.根据权利要求10所述的显示设备，其中，存储单元另外存储默认产生的初始学习系统，其中，如果在少于所述预设数量的参考图像被注册时获取到用户图像，则控制器通过利用所述初始学习系统检测用户图像的面部特征信息和附加信息，并将检测到的面部特征信息与存储的参考面部特征信息进行比较并且将检测到的附加信息与存储的参考附加信息进行比较以验证用户。

12.根据权利要求10所述的显示设备，其中，

其中，控制器在存储单元中搜索与从用户图像检测的面部特征信息的相似度高于或等于第一阈值的参考面部特征信息，以验证用户，如果搜索到多条参考面部特征信息，则控制器将从用户图像检测的附加信息与搜索到的参考面部特征信息所对应的参考附加信息进行比较，以搜索相似度高于或等于第二阈值的参考附加信息，以便验证用户。

13.根据权利要求12所述的显示设备，其中，如果用户的验证失败，则控制器通过利用重新拍摄的用户图像和学习系统重新验证用户。

14.根据权利要求13所述的显示设备，还包括：

显示器，被配置为输出用于指导预设的参考拍摄姿势的指导消息，其中，如果用户处于所述预设的参考拍摄姿势，则控制器控制成像单元执行重新拍摄。

15.根据权利要求8至14中任一项所述的显示设备，其中，所述附加信息包括关于用户的发型、发色、衣服颜色、衣服样式、胡须、眼镜、穿环和耳环中的至少一个的信息。

说明书

执行用户验证的显示设备及其方法

技术领域

[0001] 与示例性实施例一致的设备和方法涉及提供一种执行用户验证的显示设备及其方法，更具体地讲，涉及提供一种利用用户的面部特征信息和附加信息执行用户验证的显示设备及其方法。

背景技术

[0002] 随着电子技术的发展，已使用各种类型的电子产品。另外，电子产品所提供的服务的类型已多样化。因此，可根据用户的身份有限地提供服务。

[0003] 例如，如果多个用户使用诸如TV、机顶盒或数字多功能盘（DVD）播放器的电子产品，则可限制未成年人仅观看某些内容。因此，期望一种执行用户验证以仅允许特定的经验证的用户使用某些服务或观看特定内容的技术。

[0004] 在现有技术中，利用密码输入方法执行用户验证。然而，根据此方法，用户必须记住密码。如果密码被泄露，则没有使用权限的用户也可能被验证。

[0005] 因此，在现有技术中，已对利用面部识别技术验证用户进行了研究。然而，面部识别技术难以精确地验证用户。具体地讲，如果用户包括家庭成员或双胞胎，其面部相似度通常高于其他不相关的人的面部相似度，则面部识别的精度降低。

发明内容

[0006] 一个或多个示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其它缺点。另外，不要求示例性实施例克服上述缺点，示例性实施例可不克服上述任何问题。

[0007] 一个或多个示例性实施例提供一种产生学习系统以执行用户验证的显示设备及其方法。

[0008] 根据示例性实施例的一方面，提供一种利用学习系统验证用户的方法。所述方法可包括：如果参考图像被注册，则利用学习系统分析参考图像以检测特征信息；存储检测的特征信息；拍摄用户以获取用户图像；利用学习系统分析用户图像以检测用户的面部特征信息和附加信息；将面部特征信息和附加信息与存储的特征信息进行比较；基于比较结果验证用户。

[0009] 产生学习系统的步骤可包括：分析至少预设数量的参考图像以检测参考图像的面部特征信息和附加信息；根据检测的特征对面部特征信息和附加信息分类并存储。

[0010] 所述方法还可包括：如果在少于预设数量的参考图像被注册时获取到用户图像，则利用产生的初始学习系统检测用户图像的特征信息；将检测的特征信息与存储的特征信息进行比较；基于比较结果验证用户。

[0011] 所述特征信息可包括关于用户的面部的参考面部特征信息以及用于标识除用户的面部之外的用户的附加特征的参考附加信息。验证用户的步骤可包括：在预存储的特征信息中搜索与用户图像的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息；如果找到与用户图像的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息，则将与搜索到的参考面部特征信息匹配的人验证为与用户是同一个人；如果搜索到多条参考面部特征信息，则将从用户图像检测的附加信息与搜索到的参考面部特征信息所对应的参考附加信息进行比较，以搜索与从用户图像检测的附加信息的相似度大于或等于第二阈值的参考附加信息；如果找到与从用户图像检测的附加信息的相似度大于或等于第二阈值的参考附加信息，则将与搜索到的参考面部特征信息匹配的人验证为与用户是同一个人。

[0012] 所述方法还可包括：如果用户的验证失败，则执行重新拍摄；利用重新拍摄的用户图像和学习系统重新验证用户。

[0013] 执行重新拍摄的步骤可包括：输出用于指导预设的参考拍摄姿势的指导消息；如果用户处于参考拍摄姿势，则执行重新拍摄。

[0014] 所述附加信息可包括关于用户的发型、发色、衣服颜色、衣服样式、胡须、眼镜、穿环和耳环中的至少一个的信息。

[0015] 根据另一示例性实施例的一方面，提供一种显示设备，包括：存储单元，被配置为存储基于至少预设数量的参考图像产生的学习系统以及通过学习系统分析的参考图像的特征信息；成像单元，被配置为获取用户图像；控制器，被配置为利用学习系统分析用户图像，检测用户的面部特征信息和附加信息，并将面部特征信息和附加信息与特征信息进行比较以验证用户。

[0016] 所述控制器还可被配置为分析至少预设数量的参考图像以检测每一参考图像的面部特征信息和附加信息，根据检测到的特征对检测到的面部特征信息和检测到的附加信息分类以产生学习系统，并将产生的学习系统存储在存储单元中。

[0017] 如果新参考图像被注册，则控制器还可被配置为利用学习系统分析所述新参考图像以检测所述新参考图像的特征信息，并另外将检测到的特征信息存储在存储单元中。

[0018] 存储单元还可被配置为另外存储初始学习系统。如果在至少预设数量的参考图像被注册时获取到用户图像，则控制器还可被配置为利用所述初始学习系统检测用户图像的特征信息，并将检测到的特征信息与存储的特征信息进行比较以验证用户。

[0019] 所述特征信息可包括关于参考图像中的用户的面部的参考面部特征信息以及用于标识参考图像中的除用户的面部之外的附加特征的参考附加信息。控制器还可被配置为在存储单元中搜索与从用户图像检测的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息，以验证用户，如果搜索到多条参考面部特征信息，则控制器可被配置为将从用户图像检测的附加信息与搜索到的参考面部特征信息所对应的参考附加信息进行比较，以搜索与从用户图像检测的附加信息的相似度大于或等于第二阈值的参考附加信息，以便验证用户。

[0020] 如果用户的验证失败，则控制器还可被配置为利用重新拍摄的用户图像和学习系统重新验证用户。

[0021] 所述显示设备还可包括：显示器，被配置为输出用于指导预设的参考拍摄姿势的指导消息。如果用户处于所述预设的参考拍摄姿势，则控制器还可被配置为控制成像单元执行重新拍摄。

[0022] 所述附加信息可包括关于用户的发型、发色、衣服颜色、衣服样式、胡须、眼镜、穿环和耳环中的至少一个的信息。

[0023] 根据另一示例性实施例的一方面，提供一种记录有程序的非瞬时性计算机可读介质，所述程序在由处理器执行时执行一种方法，所述方法包括：利用学习系统分析参考图像以检测特征信息；存储检测的特征信息；获取用户图像；利用学习系统分析用户图像以检测用户的面部特征信息和附加信息；将检测到的面部特征信息和附加信息与存储的特征信息进行比较；基于比较结果验证用户。

[0024] 所述方法还可包括产生学习系统，其中，产生学习系统的步骤包括：分析至少预设数量的参考图像以检测参考图像的面部特征信息和附加信息；对检测到的面部特征信息和检测到的附加信息分类并存储。

[0025] 所述方法还可包括：如果在少于预设数量的参考图像被分析时获取到用户图像，则利用初始学习系统检测用户图像的特征信息；将检测的特征信息与存储的特征信息进行比较；基于比较结果验证用户。

[0026] 所述特征信息包括关于用户的面部的参考面部特征信息以及用于标识除用户的面部之外的用户的附加特征的参考附加信息。验证用户的步骤包括：在预存储的特征信息中搜索与用户图像的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息；如果找到与用户图像的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息，则将与搜索到的参考面部特征信息匹配的人验证为与用户是同一个人；如果搜索到多条参考面部特征信息，则将从用户图像检测的附加信息与搜索到的参考面部特征信息所对应的参考附加信息进行比较，以搜索与从用户图像检测的附加信息的相似度大于或等于第二阈值的参考附加信息；如果找到与从用户图像检测的附加信息的相似度大于或等于第二阈值的参考附加信息，则将与搜索到的参考面部特征信息匹配的人验证为与用户是同一个人。

[0027] 所述方法还可包括：如果用户的验证失败，则重新获取用户图像；利用重新获取的用户图像重新验证用户。

[0028] 根据如上所述的各种示例性实施例，可产生学习系统以更精确地执行用户验证。

附图说明

[0029] 通过参照附图描述某些示例性实施例，上述和/或其他方面将更明显，其中：

[0030] 图1是示出根据示例性实施例的显示设备的结构的框图；

[0031] 图2是示出根据示例性实施例的分析用户的图像以检测面部特征信息和附加信息的方法的示图；

[0032] 图3是示出根据示例性实施例的记录有从注册的用户检测的特征信息的数据库（DB）的表；

[0033] 图4是示出根据示例性实施例的使用从用户的图像检测的面部特征信息和附加信息的学习系统的结构的示图；

[0034] 图5是示出根据示例性实施例的验证用户的方法的流程图；

[0035] 图6是示出根据示例性实施例的产生学习系统的操作的流程图；

[0036] 图7是示出根据示例性实施例的注册用户的操作的流程图；

[0037] 图8是示出根据示例性实施例的验证用户的操作的流程图；

[0038] 图9是示出根据另一示例性实施例的验证用户的方法的流程图；

[0039] 图10是示出根据示例性实施例的当用户的验证成功时显示设备的操作的示图；

[0040] 图11是示出根据示例性实施例的当用户的验证失败时显示设备的操作的示图；

[0041] 图12是示出根据另一示例性实施例的当用户的验证失败时显示设备的操作的示图；

[0042] 图13是示出根据示例性实施例的显示设备的详细结构的框图；

[0043] 图14是示出根据示例性实施例的显示设备的软件结构的示图；

[0044] 图15是示出根据示例性实施例的利用面部识别技术执行用户验证的用户验证系统的示图。

具体实施方式

[0045] 参照附图更详细地描述某些示例性实施例。

[0046] 在下面的描述中，即使在不同的附图中，相同的附图标号也用于相同的元件。提供说明书中定义的诸如详细构造和元件的内容以帮助全面理解示例性实施例。然而，示例性实施例可在没有那些具体定义的内容的情况下被实施。另外，熟知功能或构造未详细描述，因为它们会在不必要的细节方面使示例性实施例不清楚。

[0047] 图1是示出根据示例性实施例的显示设备100的结构的框图。参照图1，显示设备100包括成像单元110、存储单元120和控制器130。

[0048] 成像单元110执行拍摄以获取用户的图像。成像单元110可包括至少一个相机。所述至少一个相机可嵌入或附接到显示设备100，或者可安装在远离显示设备100的位置。如果所述至少一个相机安装在远离显示设备100的位置，则所述至少一个相机可通过有线或无线接口将用户的图像发送给显示设备100。所述至少一个相机通常可安装在显示设备100的前侧以拍摄观看显示设备100的用户的面部。图像传感器（诸如互补金属氧化物半导体（CMOS）图像传感器和电荷耦合器件（CCD）图像传感器）可用于所述至少一个相机。成像单元110收集由所述至少一个相机拍摄的用户的图像。

[0049] 存储单元120存储驱动显示设备100所需的各种类型的程序、数据等。存储单元120可包括硬盘驱动器（HDD）、闪存等。

[0050] 控制器130控制显示设备100的总体操作。如果用户注册参考图像，则控制器130利用该参考图像产生学习系统，并将该学习系统存储在存储单元120中。更详细地讲，如果至少预设数量的参考图像被注册，则控制器130分别分析参考图像以检测各个参考图像的面部特征信息和附加信息，并根据特征对面部特征信息和附加信息分类以产生学习系统。

[0051] 参考图像是指这样的用户图像，其用作将参考图像与用户验证处理中所拍摄的用户图像进行比较的参照物。学习系统是指这样的学习程序，其学习从显示用户的身体或衣服的区域检测身体特征信息和附加信息，根据检测的信息对用户分类以产生数据库（DB），并且基于产生的DB对用户分类。学习系统可频繁地或周期性地用新数据来更新。

[0052] 如果检测到关于至少预设数量的参考图像的特征信息，则控制器130可利用特征信息产生学习系统。检测到的特征信息和学习系统存储在存储单元120中。

[0053] 如果用户尝试验证，则控制器130控制成像单元110执行拍摄。如果获取到用户的图像，则控制器130利用存储的学习系统分析用户图像。控制器130从用户图像检测用户的面部特征信息和附加信息。控制器130将检测到的面部特征信息和附加信息与存储在存储单元120中的特征信息进行比较，以执行用户验证。更详细地讲，如果找到与检测到的信息对应或者相似度高于预设阈值的特征信息，则控制器130确定已注册与搜索到的特征信息对应的参考图像的用户尝试验证，并进一步确定用户的验证成功。

[0054] 如果用户的验证成功，则控制器130可执行各种类型的后续操作。所述后续操作可根据显示设备100的类型或功能、用户环境、用户设置值等来不同地确定。这将在稍后更详细地描述。

[0055] 图2是示出根据示例性实施例的利用用户图像检测面部特征信息和附加信息的方法的示图。参照图2，用户的面部以及除用户面部之外的各种附加区域显示在用户图像20中。例如，所述附加区域可包括上身、头发等。

[0056] 控制器130可从用户图像20检测面部区域和附加区域。可利用各种类型的熟知算法执行这些区域的检测。例如，控制器130将用户图像20划分成多个像素块，并计算每一像素块的代表像素值。代表像素值可被计算为每一像素块的所有像素的平均值、最大分布值、中间值、最大值等。控制器130比较像素块的代表像素值，以确定具有属于相似范围的代表像素值的像素块是否连续排列。如果具有属于相似范围的代表像素值的像素块连续排列，则控制器130确定所述像素块形成一个对象。因此，控制器130可将用户图像20划分成周围背景区域和用户区域。

[0057] 控制器130确定是否存在由代表像素值与用户的皮肤颜色对应的像素块形成的对象。如果确定存在由代表像素值与用户的皮肤颜色对应的像素块形成的对象，则控制器130可确定所述对象对应于皮肤区域。控制器130可基于与皮肤区域对应的像素块的排列，确定皮肤区域是面部还是其它身体部位（诸如手、臂等）。存储单元120可预存储关于面部区域的形状的数据，所述面部区域的形状是基于预先重复执行的实验的结果确定的。控制器130可基于存储在存储单元120中的数据选择与面部区域对应的像素块。如果选择面部区域，则控制器130可将用户区域的其它区域视作附加区域。结果，控制器130可从用户图像20检测面部区域和附加区域。

[0058] 控制器130将学习系统应用于面部区域和附加区域中的每一个，以检测面部特征信息和附加信息。在图2中从面部区域11检测面部特征信息，诸如面长(a)、面宽(b)、眼距(c)、鼻梁长度(d)、唇角角度(e)等的。然而，可检测各种类型的特征信息，诸如面部的形状、尺寸和颜色、眼睛的尺寸、颜色和位置、眼角的角度、眼睛的形状、鼻子的尺寸、耳朵的位置、眉毛的粗细、眉毛的位置等。控制器130将从面部区域11中显示的面部的各种部位检测的数据归一化，并利用归一化的数据和学习系统检测关于各种部位的面部特征信息。

[0059] 控制器130可从附加区域12、13和14检测附加信息。在图2中检测关于头发区域12、眼镜区域13和衣服区域14的附加信息，但可检测其它各种类型的附加信息。控制器130可检测关于用户的发型、发色、衣服颜色、衣服样式、胡须位置、胡须形状、胡须颜色、眼镜、穿环、耳环等的信息。

[0060] 学习系统可比较面部区域和附加区域的特征元素之间的相关性，以检测各种类型的信息。另选地，学习系统可在水平和垂直方向上将面部区域和附加区域中的每一个划分成多个图像，并应用主成分分析（PCA）和线性判别分析（LDA）以检测各种类型的信息。

[0061] 控制器130可利用学习系统将关于附加区域12、13和14的特征的数据归一化。例如，控制器130可根据预设标准对头发区域12的形状或颜色分类，并将与分类的状态对应的特征值给予头发区域12的形状或颜色。例如，如果头发区域12是光头，则特征值可被给予为0。如果头发区域12的尺寸与面部区域11的尺寸的比例小于预设比率，则特征值可被给予为
1。如果该比例高于或等于预设比例，则特征值可被给予为2。此分类方法仅是示例性的，因此分类方法及其数值不限于此。

[0062] 控制器130将利用上述方法检测的面部特征信息和附加信息存储在存储单元120中，以产生DB。如果想要使用显示设备100的用户注册参考图像，则控制器130可利用上述方法分析参考图像以将分析结果添加到DB。

[0063] 图3是示出根据示例性实施例的DB的结构的表。参照图3，DB包括用于标识用户的ID AAA、BBB、CCC、DDD、...以及分别与ID匹配的面部特征信息和附加信息。

[0064] ID可在拍摄参考图像时由控制器130任意产生并给予，或者可在拍摄参考图像时由用户直接输入。面部特征信息可被分类为各种项，诸如面部尺寸、面部形状、面部颜色、眉毛距离、眼睛位置、鼻梁长度、唇角角度等。附加信息可被分类为各种项，诸如发型、发色、衣服颜色、衣服样式、胡须、眼镜、穿环、耳环等。针对每一项填写的信息a、b、c、d...可由学习系统计算。如果存在关于胡须、眼镜、穿环、耳环等的信息，则所述信息可被记录为1。如果不存在所述信息，则所述信息可被记录为0。DB的结构和项可不同地改变，不限于图3所示的结构。

[0065] 图4是示出根据示例性实施例的学习系统的操作的示图。参照图4，学习系统根据各种标准410、420、430和440将信息分类为组450。标准410、420、430和440包括性别、年龄、眼镜、胡须等，但不限于此。如上所述的各种类型的面部特征信息和附加信息可以是标准。

[0066] 参照图4，控制器130利用学习系统估计用户的性别。可通过组合各种类型的信息（诸如发型、眼睛、鼻子和嘴巴的排列、面部尺寸、面部颜色、胡须等）来估计用户的性别。控制器130还可基于皱纹、发色、唇角角度、眼角角度、用户是否佩戴眼镜等来估计用户的年龄。诸如用户是否佩戴眼镜或耳环的附加信息可用作标准。学习系统可根据所述标准对关于用户的特征信息分类，以将特征信息分配到多个组中的一个组中。学习系统可产生每一组的DB，并且可将DB的ID与组匹配以存储所述ID。如果获取到用户图像，则学习系统可利用图4的方法搜索与用户图像匹配的特征信息。控制器130可将用户的特征信息与搜索到的特征信息进行比较以执行用户验证。

[0067] 如上所述，显示设备100基于使用显示设备100的用户的图像产生学习系统，并利用该学习系统检测面部特征信息和附加信息以执行用户验证。结果，可针对看起来相似的用户（如，兄弟、姐妹、父母、儿子或女儿）执行更精确的面部识别。

[0068] 图5是示出根据示例性实施例的用户验证方法的流程图。参照图5，在操作S510中，显示设备100产生学习系统。显示设备100可存储产生的学习系统，以将产生的学习系统应用于随后获取的用户图像。

[0069] 详细地讲，想要使用显示设备100的用户可首先注册用户的图像。如果尝试用户注册，则在操作S520中，显示设备100拍摄用户的参考图像并利用该参考图像注册用户。可利用学习系统分析参考图像，并且可存储分析结果以注册用户。另选地，可将从用户的拍摄获取的参考图像存储在显示设备100中以注册用户。

[0070] 如果在这种状态下尝试用户的验证，则在操作S530中，显示设备100执行用户的验证。可使用预存储的特征信息和学习系统来执行用户的验证。如果如上所述将参考图像存储在显示设备100中，则可在用户验证处理中分析预存储的参考图像以提取特征信息，并且可将该特征信息与新拍摄的用户图像的特征信息进行比较。

[0071] 参照图5所描述的用户验证方法的每一操作可根据示例性实施例不同地实现。以下将描述所述方法的详细操作。

[0072] 图6是示出根据示例性实施例的产生学习系统的方法的流程图。参照图6，在操作S610中，显示设备拍摄用户以获得参考图像。在操作S620中，显示设备从获取的参考图像检测面部区域和附加区域。如上所述，附加区域可以是上身区域。

[0073] 在操作S630中，显示设备存储关于检测到的面部区域和附加区域的数据。在操作S640中，显示设备推迟学习系统的产生，直至预定量的数据被存储。换言之，学习系统可使用利用多个面部图像所获取的数据基本上识别面部。在操作S650中，显示设备在产生学习系统之前等待直至确保预定量的数据。

[0074] 数据的量可根据显示设备的类型、用户目的、使用环境等来不同地确定。例如，如果显示设备用作要求精准度的安全系统，则显示设备可推迟学习系统的产生，直至确保大量数据。如果显示设备用作不要求精准度的显示设备，如一般家庭中所使用的TV，则显示设备可在确保关于仅几个人的图像的数据之后产生学习系统。

[0075] 如上所述，学习系统是指分析用户图像以检测并管理面部特征信息和附加信息的程序。显示设备可提供基本、预装的学习程序，所述学习程序具有从预设数量的参考图像确保用于产生学习系统的数据。换言之，学习程序学习到，如果具有相似像素值和相似形状（例如，圆形形状）的像素块显示在多个图像的相似位置，则所述像素块的像素值是面部颜色。如果在被估计为面部区域的对象中聚集了具有周围像素值和其它像素值的预设数量的像素，则学习程序估计所述像素形成作为面部的特征部位的眼睛、眉毛、鼻子、嘴巴等。另外，学习程序存储像素值以学习关于面部的局部特征元素的信息。可利用此方法产生学习系统。

[0076] 图7是示出根据示例性实施例的注册用户的方法的流程图。参照图7，如果在操作S710中发生注册参考图像的事件，则在操作S720中显示设备拍摄用户以获取用户图像。注册参考图像的事件可根据示例性实施例不同地确定。例如，用户可利用显示设备的主体中的按钮或者遥控器来输入参考图像注册命令。类似地，可通过其它动作或语音命令来输入参考图像注册命令。另选地，如果在没有用户的附加命令的情况下打开显示设备，并且预设时间段过去，则即使用户请求个性化服务，显示设备也可确定注册参考图像的事件已发生。

[0077] 如果在操作S720中获取用户图像，则在操作S730中，显示设备从用户图像检测面部区域和附加区域。在操作S740中，显示设备确定是否存在产生的学习系统。如果在操作S740中确定存在产生的学习系统，则在操作S750中，显示设备利用该学习系统分析从用户图像检测的面部区域和附加区域，以检测特征信息。这里，特征信息可包括面部特征信息和附加信息。为了描述方便，从用户面部区域检测的特征信息称作参考面部特征信息，从不同于面部区域的附加区域检测的特征信息称作参考附加信息。参考附加信息用于标识出现在不同于面部区域的部位中的附加特征。

[0078] 如参照图6所述，如果还未确保至少预设量的数据，则可不产生学习系统。在操作S760中，显示设备利用初始提供的初始学习系统检测特征信息。初始学习系统是指由显示设备的制造商利用许多非指定的人的面部图像产生的并默认存储在显示设备中的学习系统。显示设备在操作S760中在产生学习系统之前利用初始学习系统检测特征信息，并且在操作S770中存储检测到的特征信息以注册用户。

[0079] 如上所述，当产生学习系统时，显示设备每当新的参考图像被注册时利用该学习系统分析新的参考图像，以检测并存储新的参考图像的面部特征信息和附加信息。显示设备也可每当新的参考图像被注册时重新更新学习系统。

[0080] 图8是示出根据示例性实施例的详细的用户验证操作的流程图。参照图8，如果尝试用户验证，则在操作S810中显示设备拍摄用户以获取用户图像。在操作S815中，显示设备从获取到的用户图像检测面部区域和附加区域。在操作S820中，显示设备存储关于检测到的面部区域和附加区域的数据。

[0081] 在操作S825中，显示设备确定是否存在产生的学习系统。如果在操作S825中确定存在产生的学习系统，则在操作S830中显示设备利用该学习系统检测面部特征信息和附加信息。在操作S835中，显示设备将检测到的面部特征信息与预存储的特征信息进行比较。在操作S840和S845中，如果根据比较结果存在相似信息，则显示设备确定用户验证成功，以完成用户验证。如果根据比较结果不存在相似信息，则在操作S850中显示设备确定用户验证失败。

[0082] 将检测到的信息与存储的信息进行比较的方法可不同地实现。例如，控制器130可在存储在存储单元120中的特征信息中搜索与从用户图像检测的面部特征信息的相似度大于或等于第一阈值的参考面部特征信息。因此，如果搜索到一条参考面部特征信息，则控制器130可确定与该参考面部特征信息匹配的用户的验证成功。如果搜索到多条参考面部特征信息，则控制器130将与搜索到的参考面部特征信息对应的参考附加信息与从用户图像检测的附加信息进行比较，以搜索与附加信息的相似度大于或等于第二阈值的参考附加信息。第二阈值可被设置为低于第一阈值的值。例如，如果第一阈值被设置为约80%，则第二阈值可被设置为约50%。如上所述，控制器130可依次利用面部特征信息和附加信息分阶段地验证用户，以提高验证精度并使操作负担最小化。

[0083] 作为另一示例，控制器130可将面部特征信息和附加信息与存储在存储单元120中的参考面部特征信息和参考附加信息进行比较，以确定用户是否已注册。因此，验证速度可提高。

[0084] 如果在操作S825中不存在产生的学习系统，则在操作S855中显示设备利用初始学习系统分析面部特征，以检测特征信息。在操作S860中，显示设备将检测到的特征信息与存储的信息进行比较。如果在操作S865中存在相似信息，则在操作S845中显示设备确定用户验证成功以完成用户验证。如果在操作S865中不存在相似信息，则在操作S870中显示设备确定用户验证失败。

[0085] 如果用户验证失败，则显示设备可显示指示用户验证失败的消息，或者可重试用户验证。显示设备可执行重新拍摄，以重试用户验证。

[0086] 可在各种情形下执行用户验证。例如，当显示设备打开时、当选择限制观看的频道时、当选择个人信息时、当执行web浏览器时、当执行预设类型的应用时等等，可执行用户验证。

[0087] 图9是示出根据示例性实施例的当用户验证成功或失败时显示设备的操作的流程图。参照图9，在操作S910中，显示设备拍摄用户以获取用户图像。在操作S920中，显示设备执行用户验证。上面已参照图8详细描述了用户验证，因此本文将省略其重复描述。

[0088] 如果在操作S930中用户验证成功，则在操作S940中显示设备显示与已验证的用户对应的屏幕。例如，显示设备可显示将显示给验证的用户的消息、关于验证的用户所选择的频道或内容的信息、壁纸、应用等。

[0089] 如果在操作S930中用户验证失败，则在操作S950中显示设备确定是否执行重新拍摄。执行重新拍摄的决定可由用户手动确定，或者可被自动确定。如果确定将执行重新拍摄，则显示设备执行重新拍摄并利用重新拍摄的结果重复用户验证。如果在用户验证失败时不执行重新拍摄，则在操作S960中显示设备显示指示用户验证失败的消息。

[0090] 图10是示出根据示例性实施例的当用户验证成功时的显示屏幕的示图。参照图10的(a)，通过拍摄用户而获得的用户图像1010显示在显示器140上。如果基于用户图像1010用户验证成功，则如图10的(b)所示，控制器130显示个人信息屏幕。优选频道信息1020、提供给用户的文本1030等可显示在图10的(b)中的个人信息屏幕上，但不限于此。

[0091] 图11是示出根据示例性实施例的当用户验证失败时的显示屏幕的示图。参照图11，控制器130通过显示器140显示验证失败消息1110、新注册菜单1120、确认菜单1130等。

[0092] 用户使用新注册菜单1120来新注册参考图像。如果新注册菜单1120被选择，则控制器130拍摄用户以如上所述执行参考图像注册处理。此处理中还可包括通过文本输入用户的年龄、性别、姓名等的处理。

[0093] 如果确认菜单1130被选择，则控制器130移除验证失败消息1110并在显示器140上重新显示已显示的屏幕。

[0094] 图12是示出根据另一示例性实施例的当用户验证失败时的显示屏幕的示图。参照图12，如果用户验证失败，则控制器130执行重新拍摄。在此处理中，控制器130通过显示器140输出用于指导用户采取预设的参考拍摄姿势的指导消息1210。

[0095] 如果用户采取预设的拍摄姿势，则控制器130控制成像单元110执行重新拍摄。参考拍摄姿势可任意确定。例如，参考拍摄姿势可被确定为用户在距显示设备预设距离处直视成像单元110的姿势。如图12所示，可显示指导消息1210以指导用户采取这样的姿势，但指导消息1210无需显示为视觉消息。作为替代，指导消息1210可通过扬声器作为语音消息输出。

[0096] 重新拍摄可手动或自动执行。如果重新拍摄被设计为手动执行，则用户采取参考拍摄姿势并利用遥控器或者显示设备的主体按钮或触摸屏输入拍摄命令，以执行重新拍摄。如果重新拍摄自动执行，则控制器130可在自输出指导消息1210的时间起过去预设时间（如，5秒）之后自动执行拍摄。另选地，如果利用附加传感器确定用户处于预设位置，则可自动执行拍摄。如果利用眼睛追踪算法确定用户注视成像单元110达至少预设时间，则可自动执行拍摄。

[0097] 控制器130利用重新拍摄的用户图像和学习系统重新验证用户。

[0098] 当与面部特征信息或附加信息相似达至少预设程度的多条特征信息存在时，可执行通过重新拍摄的重新验证。

[0099] 图13是示出根据示例性实施例的被实现为TV的显示设备100的详细结构的框图。参照图13，显示设备100包括成像单元110、存储单元120、控制器130、显示器140、通信器
150、接收器160、遥控信号接收器170、音频处理器181、视频处理器182、扬声器183、按钮
184、麦克风185和电源单元186。

[0100] 控制器130利用存储在存储单元120中的程序控制显示设备100的总体操作。显示设备100可执行学习系统产生操作、参考图像注册操作、用户验证操作等。

[0101] 控制器130可包括随机存取存储器（RAM）131、只读存储器（ROM）132、主中央处理器（CPU）133、图形处理单元（GPU）134、总线135等。RAM131、ROM132、主CPU133、GPU134等通过总线135连接到彼此。还可包括各种类型的接口，但其示意图和描述省略。

[0102] 主CPU133访问存储器120以利用存储在存储单元120中的操作系统（OS）执行引导。例如，用于引导系统的命令集存储在ROM132中。如果打开命令输入到电源，则主CPU133根据存储在ROM132中的命令将存储在存储单元120中的OS复制到RAM131中，并执行OS以引导系统。如果引导完成，则主CPU133将存储在存储单元120中的各种类型的程序复制到RAM131中，并执行复制到RAM131中的程序以执行各种操作。如果存在被设置为默认执行的应用，则主CPU133可在引导完成时自动执行所述应用。GPU134可在主CPU133的控制下产生壁纸、图标显示屏幕、广播屏幕以及其它屏幕。如上所述，GPU134可在屏幕上呈现个人指导消息、用户的个人信息、指示用户验证成功还是失败的消息等。

[0103] 通信器150根据各种类型的通信方法与各种类型的外部设备通信。通信器150可包括各种无线模块（诸如WiFi芯片151、蓝牙芯片152、无线通信芯片153等）中的至少一个。无线通信芯片153根据各种类型的通信标准（诸如IEEE、Zigbee、第3代（3G）合作伙伴计划（3GPP）、长期演进（LTE）、高级LTE等）执行通信。通信器150可包括上述各种类型的芯片或符合通信标准的芯片中的一个或多个，并利用所述芯片与各种类型的外部设备通信。

[0104] 接收器160选择并处理广播频道。接收器160可包括天线、解调器、均衡器等。

[0105] 遥控信号接收器170接收来自遥控器的遥控信号，并将遥控信号提供给控制器130。

[0106] 音频处理器181处理包括在内容中的音频数据。音频处理器181可针对音频数据执行各种类型的处理，诸如解码、放大、噪声过滤等。

[0107] 视频处理器182处理包括在内容中的视频数据。视频处理器182可针对视频数据执行各种类型的图像处理，例如解码、缩放、噪声过滤、帧频转换、分辨率转换等。

[0108] 当执行用于播放从外部源接收的内容或存储在存储单元120中的内容的程序时，可驱动音频处理器181和视频处理器182。

[0109] 显示器140显示各种类型广播屏幕、用户图像、消息等，扬声器183输出各种类型的听觉信号。

[0110] 按钮184可按照各种形式设置在显示设备100的主体上，例如主屏幕（home）按钮、按压按钮、触摸按钮、滚轮按钮等。

[0111] 麦克风185接收用户语音或其它声音，并将用户语音或其它声音转换为音频数据。控制器130可在呼叫处理中使用通过麦克风185输入的用户语音，或者转换音频数据并将转换的音频数据存储在存储单元120中。另选地，控制器130可将通过麦克风185输入的用户语音随用户图像一起注册，以将用户语音用于用户验证。换言之，控制器130可分析用户语音的音调，并将分析出的音调存储为附加信息。因此，如果如上所述基于用户图像的用户验证失败时，可利用用户语音执行用户验证。

[0112] 图13综合地示出如果显示设备100被实现为具有通信的TV，各种类型的可安装元件。因此，根据示例性实施例，图13的一些元件可省略或改变，还可添加其它元件。

[0113] 图14是示出根据示例性实施例的可应用于显示设备的软件的层次结构的示图。参照图14，显示设备100包括硬件4100、OS141、框架142、学习系统产生模块143、第一学习系统处理模块144、第二学习系统处理模块145、区域检测模块146和DB管理模块147。

[0114] 硬件4100是指图13所示的各种类型的硬件。OS141控制和管理硬件4100的总体操作。换言之，OS141是负责硬件管理功能以及诸如安全等的基本功能的层次。OS141可驱动模块（诸如用于驱动显示器140的显示驱动器、用于激活通信器150发送和接收信号的通信驱动器、用于驱动成像单元110的相机驱动器、用于驱动音频处理器181的音频驱动器、功率管理器等）以控制显示设备100的操作。

[0115] 框架142作为比OS141更高的层存在。框架142将OS141连接到上层的程序143至147。框架142包括位置管理器、通知管理器以及用于在显示器上显示图像的帧缓冲器。

[0116] 应用层作为比框架142更高的层存在，以实现各种功能。学习系统产生模块143、第一学习系统处理模块144、第二学习系统处理模块145、区域检测模块146和DB管理模块147存在于应用层中。学习系统产生模块143是利用参考图像产生学习系统的学习程序。第一学习系统处理模块144是将学习系统产生模块143所产生的学习系统应用于用户图像以从用户图像检测面部特征信息和附加信息的程序。第二学习系统处理模块145是利用默认产生的基本学习系统检测特征信息的程序。区域检测模块146是从用户图像检测面部区域和附加区域的程序。DB管理模块147是利用第一学习系统处理模块144或第二学习系统处理模块145所检测到的各种类型的特征信息来产生、更新和管理DB的程序。DB管理模块147可在DB中搜索与用户验证处理中所检测到的信息对应的参考特征信息。

[0117] 如上所述的用户验证方法不限于显示设备，并且可用在各种领域中。

[0118] 图15是示出根据示例性实施例的执行用户验证以打开和关闭门的用户验证系统的示图。参照图15，用户验证系统包括自动门1510、相机1520和服务器设备1530。

[0119] 自动门1510在服务器设备1530的控制下自动打开或关闭门。自动门1510可包括用于打开或关闭门的电机等，但其详细示意图和描述省略。

[0120] 相机1520设置在自动门1510的一侧以拍摄用户。拍摄的用户图像被发送给服务器设备1530。服务器设备1530将用户图像与存储的参考特征信息进行比较，以执行用户验证。服务器设备1530如上所述产生学习系统，并利用该学习系统执行用户注册和用户验证。因此，可仅为已注册的用户打开门，可限制还未注册的用户进入。用户验证系统可被实现为各种类型的系统。

[0121] 如上所述，根据各种示例性实施例，即使在存在彼此看起来相像的较少数量的用户的情况下，也可利用各种类型的附加特征（例如，用户的面部特征、衣服、眼镜、发型等）精确地验证用户。

[0122] 根据上述各种示例性实施例的学习系统产生方法、参考图像注册方法、用户验证方法等可被编码为软件，然后存储在非瞬时性计算机可读介质上。非瞬时性计算机可读介质可安装并用在各种类型的设备中。

[0123] 更详细地讲，用于执行所述用户验证方法的程序代码可存储并设置在非瞬时性计算机可读介质。所述用户验证方法包括：产生学习系统；如果参考图像被注册，则利用学习系统分析参考图像以检测特征信息；存储检测到的特征信息；拍摄用户以获取用户图像；利用学习系统分析用户图像以检测用户的面部特征信息和附加信息；将面部特征信息和附加信息与存储的特征信息进行比较以验证用户。

[0124] 非瞬时性计算机可读介质可指半永久性地存储数据并可由装置读取的介质。上述应用或程序可存储并设置在诸如CD、DVD、硬盘、蓝光盘、通用串行总线（USB）、存储卡、ROM等的非瞬时性计算机可读介质上。

[0125] 上述示例性实施例和优点仅是示例性的，而不应解释为限制。本教导可容易地应用于其它类型的设备。另外，示例性实施例的描述意在说明，而非限制权利要求的范围，对于本领域技术人员而言，许多替代、修改和变化将是明显的。