图像评价装置、图像评价方法以及集成电路

摘要

利用服装识别部（106）对拍摄在由图像组生成部（102）生成的图像组所包含的各图像中的人物的服装进行识别。基于由服装识别部（106）识别出的服装的种类及每个种类的出现频度，图像事件评价部（107）对包含在图像组中的全部图像进行总括评价。

权利要求

1.一种图像评价装置，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件，上述第2确定单元将从1个图像确定的上述第1种类信息之中、出现数量为一定比例以上或一定数量以上的第1种类信息确定为上述第2种类信息。

2.如权利要求1所述的图像评价装置，其特征在于，上述第1确定单元使用用于确定服装的种类的服装信息来确定上述第1种类信息；

上述图像评价装置还具备对上述服装信息进行更新的更新部。

3.如权利要求1所述的图像评价装置，其特征在于，还具备计算单元，该计算单元检测拍摄在图像中的人物的面部区域，基于上述面部区域计算服装区域；

上述第1确定单元基于从上述服装区域提取的图像特征量确定上述第1种类信息。

4.如权利要求3所述的图像评价装置，其特征在于，上述计算单元基于上述面部区域，确定检测到的多个人物之中拍摄在更靠前面的人物，将重叠的上述服装区域作为拍摄在更靠前面的人物的服装区域。

5.一种图像评价装置，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；

评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述图像评价装置还具备计算单元，该计算单元提取拍摄在图像中的人物穿着的服装的图像特征量，基于上述图像特征量计算拍摄在上述图像中的人物间的服装的类似度；

上述第2确定单元基于从1个图像确定的上述第1种类信息及上述类似度，确定上述第2种类信息。

6.如权利要求5所述的图像评价装置，其特征在于，上述第2确定单元选择拍摄在1个图像中的人物的组合之中、基于上述类似度判断为穿着类似的服装的人物的组合，在选择的组合的数量为一定比例以上或一定数量以上的情况下，基于从包含在上述选择的组合中的各个人物确定的第1种类信息，确定上述第2种类信息。

7.如权利要求5所述的图像评价装置，其特征在于，上述第2确定单元选择拍摄在1个图像中的人物的组合之中、基于上述类似度判断为穿着类似的服装的人物的组合，在选择的组合的上述类似度的平均值超过通过规定的式子计算的值的情况下，基于从包含在上述选择的组合中的各个人物确定的第1种类信息，确定上述第2种类信息。

8.如权利要求5所述的图像评价装置，其特征在于，上述第1确定单元使用用于确定服装的种类的服装信息来确定上述第1种类信息；

上述图像评价装置还具备对上述服装信息进行更新的更新部。

9.如权利要求5所述的图像评价装置，其特征在于，上述计算单元还检测拍摄在图像中的人物的面部区域，基于上述面部区域计算服装区域；

上述第1确定单元基于从上述服装区域提取的图像特征量确定上述第1种类信息。

10.如权利要求9所述的图像评价装置，其特征在于，上述计算单元基于上述面部区域，确定检测到的多个人物之中拍摄在更靠前面的人物，将重叠的上述服装区域作为拍摄在更靠前面的人物的服装区域。

11.一种图像评价装置，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；

评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述图像评价装置还具备：

分类单元，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在上述多个图像中的同一人物分类到同一群集；以及第4确定单元，基于从属于各群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第4种类信息；

上述第2确定单元基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息，确定上述第2种类信息。

12.如权利要求11所述的图像评价装置，其特征在于，上述分类单元还计算上述各群集的重要度；

上述第2确定单元基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息及上述重要度，确定上述第2种类信息。

13.如权利要求11所述的图像评价装置，其特征在于，上述第1确定单元使用用于确定服装的种类的服装信息来确定上述第1种类信息；

上述图像评价装置还具备对上述服装信息进行更新的更新部。

14.如权利要求11所述的图像评价装置，其特征在于，还具备计算单元，该计算单元检测拍摄在图像中的人物的面部区域，基于上述面部区域计算服装区域；

上述第1确定单元基于从上述服装区域提取的图像特征量确定上述第1种类信息。

15.如权利要求14所述的图像评价装置，其特征在于，上述计算单元基于上述面部区域，确定检测到的多个人物之中拍摄在更靠前面的人物，将重叠的上述服装区域作为拍摄在更靠前面的人物的服装区域。

16.一种图像评价装置，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

分类单元，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在多个图像中的同一人物分类到同一群集；

第2确定单元，基于从属于上述群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第2种类信息；

第3确定单元，基于规定的图像组中的上述第2种类信息的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

17.如权利要求16所述的图像评价装置，其特征在于，上述分类单元还计算各个上述群集的重要度；

上述第3确定单元基于上述规定的图像组中的上述第2种类信息的出现数量及上述重要度，确定针对上述规定的图像组的上述第3种类信息。

18.一种图像评价方法，其特征在于，包括：

第1确定步骤，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定步骤，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定步骤，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价步骤，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

在上述第2确定步骤中，将从1个图像确定的上述第1种类信息之中、出现数量为一定比例以上或一定数量以上的第1种类信息确定为上述第2种类信息。

19.一种图像评价方法，其特征在于，包括：

第1确定步骤，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定步骤，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定步骤，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价步骤，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述图像评价方法还包括计算步骤，该计算步骤中提取拍摄在图像中的人物穿着的服装的图像特征量，基于上述图像特征量计算拍摄在上述图像中的人物间的服装的类似度；

在上述第2确定步骤中，基于从1个图像确定的上述第1种类信息及上述类似度，确定上述第2种类信息。

20.一种图像评价方法，其特征在于，包括：

第1确定步骤，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定步骤，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定步骤，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价步骤，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述图像评价方法还包括：

分类步骤，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在上述多个图像中的同一人物分类到同一群集；以及第4确定步骤，基于从属于各群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第4种类信息；

在上述第2确定步骤中，基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息，确定上述第2种类信息。

21.一种集成电路，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；以及评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述第2确定单元将从1个图像确定的上述第1种类信息之中、出现数量为一定比例以上或一定数量以上的第1种类信息确定为上述第2种类信息。

22.一种集成电路，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；

评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述集成电路还具备计算单元，该计算单元提取拍摄在图像中的人物穿着的服装的图像特征量，基于上述图像特征量计算拍摄在上述图像中的人物间的服装的类似度；

上述第2确定单元基于从1个图像确定的上述第1种类信息及上述类似度，确定上述第2种类信息。

23.一种集成电路，其特征在于，具备：

第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第

1种类信息；

第2确定单元，基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第2种类信息；

第3确定单元，基于按属于规定的图像组的每个图像确定的上述第2种类信息的每个种类的出现数量，确定表示对上述规定的图像组赋予特征的服装的种类的第3种类信息；

评价单元，基于上述第3种类信息，评价属于上述规定的图像组的多个图像被摄影的事件；

上述集成电路还具备：

分类单元，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在上述多个图像中的同一人物分类到同一群集；以及第4确定单元，基于从属于各群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第4种类信息；

上述第2确定单元基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息，确定上述第2种类信息。

说明书

图像评价装置、图像评价方法以及集成电路

技术领域

[0001] 本发明涉及使用服装信息对图像进行评价的图像评价装置。

背景技术

[0002] 数字静像照相机及带有照相机功能的便携电话等的数字图像摄影设备普及，为了将摄影得到的图像记录而提供了硬盘等的大容量的记录介质。

[0003] 但是，通过大容量的记录介质的使用，能够将摄影得到的图像大量记录，但另一方面，有难以从大量记录的图像中检索用户想要的图像的问题。

[0004] 所以，为了从大量的图像中容易地检索用户想要的图像，已知有将图像按摄影的事件(入学典礼或运动会等)分类并整理的方法。例如，在专利文献1中，提出了基于拍摄在图像中的人物的服装的识别结果对摄影的事件进行评价、并按照评价结果将图像分类的方法。

[0005] 为了识别拍摄在图像中的人物穿着的服装，需要从图像中检测认为是服装的区域(以下，称作服装区域)、提取该服装区域的图像特征量。作为图像特征量的例子，可以举出服装区域中的颜色的含有比例、相邻的像素间的亮度的变化量等。

[0006] 现有技术文献

[0007] 专利文献

[0008] 专利文献1：特开2009－301119号公报

[0009] 发明概要

[0010] 发明要解决的问题

[0011] 但是，在使用图像特征量的服装识别中，难以正确地检测因人物的姿势而变化的服装区域，并且图像特征量根据人物的朝向及照明而不同，所以有不能正确地识别拍摄在图像中的人物的服装的情况。

[0012] 因而，在基于服装对图像进行评价的装置中，有可能因误识别服装而进行错误的评价。

发明内容

[0013] 本发明是鉴于这样的问题而做出的，目的是提供一种即使有上述那样的误识别，也能够正确地评价图像的图像评价装置。

[0014] 用于解决问题的手段

[0015] 有关本发明的图像评价装置的特征在于，具备：第1确定单元，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第1种类信息；第2确定单元，基于从属于规定的图像组的多个图像中确定的上述第1种类信息的每个种类的出现频度，确定表示对上述规定的图像组赋予特征的服装的种类的第2种类信息；以及评价单元，基于上述第2种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

[0016] 发明效果

[0017] 根据上述结构，即使在包含在1个图像中的人物的服装被误识别的情况下，由于确认多个图像中的服装的出现频度，所以也能够将误识别的图像正确地评价。

附图说明

[0018] 图1是实施方式1的图像评价装置100的功能块图。

[0019] 图2是图像管理信息表的一例。

[0020] 图3是人物管理信息表的一例。

[0021] 图4是3个图像和从这些图像中检测出的面部区域及服装区域的一例。

[0022] 图5是两个图像和从这些图像中检测出的面部区域及服装区域的一例。

[0023] 图6是实施方式1的图像评价装置100的处理的流程图。

[0024] 图7是实施方式1的图像事件评价部107的处理的流程图。

[0025] 图8是第3种类信息和图像数量的表的一例。

[0026] 图9是表示服装与事件的对应关系的表的一例。

[0027] 图10是图像组的事件评价结果的表的一例。

[0028] 图11是实施方式2的图像评价装置1100的功能块图。

[0029] 图12是人物的服装间的类似度信息表的一例。

[0030] 图13是实施方式2的图像评价装置1100的处理的流程图。

[0031] 图14是实施方式2的图像事件评价部1102的处理的流程图。

[0032] 图15是实施方式3的图像评价装置1500的功能块图。

[0033] 图16是表示各个面部的群集的表的一例。

[0034] 图17是实施方式3的图像评价装置1500的处理的流程图。

[0035] 图18是实施方式3的图像事件评价部1503的处理的流程图。

[0036] 图19是表示各个群集的面部的表的一例。

[0037] 图20是表示属于群集的面部和第1种类信息的表的一例。

[0038] 图21是实施方式4的图像评价装置2100的功能块图。

[0039] 图22是实施方式4的图像评价装置2100的处理的流程图。

[0040] 图23是实施方式4的图像事件评价部2101的处理的流程图。

[0041] 图24是第3种类信息和群集数量的表的一例。

具体实施方式

[0042] <发明的概要>

[0043] 摄影者通常对1个事件摄影多个图像。在这样的对1个事件摄影的多个图像中，正确地识别出服装的图像能够对该事件正确地进行评价，而未能正确地识别出服装的图像难以对该事件正确地进行评价。本发明通过使用正确地识别出服装的图像的信息，对未能正确地识别出服装的图像，也能够正确地进行评价。

[0044] <实施方式1>

[0045] 以下，使用附图对作为本发明的一实施方式的图像评价装置100进行说明。

[0046] <结构>

[0047] 图1是实施方式1的图像评价装置100的功能块图。如图1所示，图像评价装置100与摄影装置120及显示装置130连接。

[0048] 图像评价装置100从摄影装置120取得图像群，评价所取得的图像群，按照评价结果向显示装置130输出。

[0049] 摄影装置120对图像进行摄影并储存摄影得到的图像。摄影装置120例如由数字照相机等构成，经由USB(Universal Serial Bus)线缆等与图像评价装置100连接。

[0050] 显示装置130显示从图像评价装置100输出的图像等的影像。显示装置130例如由数字电视机等构成，经由HDMI(High Definition Multimedia Interface)线缆等与图像评价装置100连接。

[0051] 接着，对本实施方式的图像评价装置100的功能结构进行说明。图像评价装置100具备图像信息取得部110、图像事件评价部107及存储部108。此外，图像信息取得部110具备图像取得部101、图像组生成部102、面部检测部103、服装检测部104、服装特征量提取部105及服装识别部106。

[0052] 图像取得部101将摄影装置120储存的图像群一齐取得，对所取得的图像分别赋予固有的图像ID。图像取得部101将对各图像赋予的图像ID登录(注册，登记)到存储部108保持的图2所示的图像管理信息表201中。

[0053] 图像组生成部102将由图像取得部101取得的图像群分类为多个图像组。图像组的生成方法是例如将在同一日摄影的图像作为1个图像组，对各图像组赋予固有的图像组ID。图像组生成部102从对图像赋予的EXIF(Exchangeable Image File Format)信息中取得摄影日期时间，用于图像组的分类。图像组生成部102将如上述那样得到的摄影日期时间及图像组ID登录向图像管理信息表201。

[0054] 面部检测部103从由图像取得部101取得的图像群的各图像中，检测拍摄有人的面部的正方形区域(图像中的坐标)，对检测出的面部分别赋予固有的面部ID。并且，面部检测部103向图像管理信息表201及存储部108所保持的图3所示的人物管理信息表301登录面部ID。面部区域例如通过使用由预先准备的面部图像构成的面部学习词典的匹配来检测。

[0055] 服装检测部104基于由面部检测部103检测出的面部区域的坐标，检测拍摄有该面部的人物的服装的区域。服装检测部104检测根据面部区域的位置和大小计算面部、颈部和上半身的比率得到的服装区域，将检测出的服装区域与面部ID建立关联而管理。

[0056] 使用图4，说明使用面部区域计算服装区域的方法的具体例。如果如图像401那样，假设由面部检测部103检测出的面部区域的大小是纵1.0×横1.0，则将服装区域设为从面部区域的下端向下离开0.2的纵2.8×横2.0的区域。例如，假设面部区域是纵100像素×横100像素，则服装区域为从面部区域向下离开20像素的纵280像素×横200像素的区域。

[0057] 由于服装区域是基于面部区域自动计算的区域，所以有作为服装区域检测出的区域如图像402那样从图像伸出的情况。在此情况下，将服装区域仅设为服装区域402a’中的包含在图像内的斜线区域。

[0058] 在如图像403那样服装区域与其他人的面部区域重叠的情况下，将服装区域设为不与面部区域重叠的区域。此外，在服装区域重叠了两个以上的情况下，看作面部区域更靠下检测出的人物相对于照相机拍摄在更前面，将拍摄在更后面的人物的服装区域设为不与拍摄在更前面的人物的服装区域重叠的区域。这基于如下假定：如果拍摄在前面的人比拍摄在后面的人身高高，则后面的人被前面的人遮挡而不会被检测到面部区域。

[0059] 例如，在图像403中，检测出的面部区域403a和403b中的面部区域403b检测为更靠下。在服装区域403a'与服装区域403b'重叠的情况下，将与面部区域403b对应的服装区域403b'更优先地检测。对与面部区域403a对应的服装区域而言，将服装区域403a'中的不与服装区域403b'重叠的格子区域作为检测结果。

[0060] 在图5中，表示由面部检测部103从各图像检测出的面部信息及由服装检测部104检测出的服装区域的结果的例子。由实线包围的区域是面部区域，由虚线包围的区域是与所提取的面部区域对应的服装区域。

[0061] 回到图1，服装特征量提取部105提取在服装检测部104中检测出的服装区域的图像特征量。所谓图像特征量，表示有关图像中的多个像素的像素值的分布的特征。服装区域的图像特征量例如可以举出服装区域中的颜色的含有比例、相邻的像素间的亮度的变化量等。服装特征量提取部105将所提取的服装区域的图像特征量向人物管理信息表301登录。

[0062] 服装识别部106基于人物管理信息301的服装的图像特征量确定该服装的种类。服装的识别方法是通过使用SVM(Support Vector Machine：支持向量机)法预先学习，来设置能够根据图像特征量确定服装的种类的分类器，确定与各面部ID对应的服装的种类。另外，将服装识别部106识别出的服装的种类作为第1种类信息。服装识别部106将所确定的第1种类信息向人物管理信息表301登录。例如，在图3中，将面部ID为2或3的人物的第1种类信息确定为体操服。另外，也可以发生如面部ID为1的人物那样、没有确定为任何服装的种类的情况。

[0063] 图像事件评价部107基于图像管理信息表201的内容和人物管理信息表301的内容，进行图像组的事件评价。关于详细的评价方法在后面叙述。另外，这里假设事件评价是指将图像组或图像与事件建立对应。

[0064] 存储部108保持由对应于各图像ID的摄影日期时间、图像组ID及面部ID构成的图像管理信息表201、由对应于各面部ID的服装的图像特征量及第1种类信息构成的人物管理信息表301、后述的图8、图9、图10所示的第3种类信息和图像数量的表801、表示服装与事件的对应关系的表901及表示图像组的事件评价结果的表1001。

[0065] 图像评价装置100具备未图示的处理器及存储器，通过由处理器执行保存在存储器中的程序，实现各功能部。

[0066] <动作>

[0067] 接着，使用图6所示的流程图说明本实施方式的动作。

[0068] 首先，图像取得部101取得摄影装置120储存的图像，将各图像所固有的图像ID登录(登记，注册)到图像管理信息表201中(步骤S601)。

[0069] 图像组生成部102从由图像取得部101取得的图像群生成图像组，将各组所固有的图像组ID登录到图像管理信息表201中(步骤S602)。

[0070] 面部检测部103从各图像中检测人物的面部区域，将各面部所固有的面部ID登录到图像管理信息表201及人物管理信息表301中(步骤S603)。

[0071] 服装检测部104根据由面部检测部103检测出的面部区域，检测对应于各面部区域的服装区域(步骤S604)。

[0072] 服装特征量提取部105提取由服装检测部104检测出的服装区域的图像特征量，登录到人物管理信息表301中(步骤S605)。

[0073] 服装识别部106基于人物管理信息表301的服装的图像特征量，确定各人物的第1种类信息，将确定结果登录到人物管理信息表301中(步骤S606)。

[0074] 图像事件评价部107基于执行步骤S601～S606的处理而制作的图像管理信息表201的内容及人物管理信息表301的内容，进行多个图像组的事件评价(步骤S607)。图7是表示图像事件评价部107进行1个图像组的事件评价的动作的步骤S607的详细的流程图。

[0075] 图像事件评价部107从评价对象的图像组中选择拍摄有一定人数以上的人物的图像群(步骤S701)。这里，图像事件评价部107为了根据多个人物穿着的服装进行事件评价，选择拍摄有2人以上的人物的图像。关于拍摄在图像中的人物数，能够根据在图像管理信息表201中的面部ID的字段中登录的面部ID的数量知道。

[0076] 图像事件评价部107从在步骤S701中选择的图像群中选择1个图像，确定在该图像中满足第1基准的服装的种类，作为对该图像赋予特征的服装的种类(以下，设为第3种类信息)(步骤S702)。例如，假设第1基准为同一第1种类信息的数量相对于包含在图像中的服装的数量的比例超过0.5。即，如果有拍摄在图像中的过半数的人物穿着的同一种类的服装，则图像事件评价部107确定该服装的种类。

[0077] 使用图2所示的图像管理信息表201及图3所示的人物管理信息表301，说明步骤S702的动作的具体例。例如，图像事件评价部107将在本步骤中选择的图像的图像ID设为1。此时，根据图像管理信息表201可知，包含在图像中的人物数是面部ID为1～4的4人。此外，根据人物管理信息表301可知，面部ID为2～4的3人的人物的第1种类信息被确定为体操服，面部ID为1的人物的服装的种类没有被确定。因而，穿着体操服的人物数相对于包含在图像中的人物数的比例为3/4＝0.75。由于体操服的数量(3)相对于包含在图像中的全部服装数量(4)的比例(0.75)超过0.5，所以体操服满足第1基准。因而，图像事件评价部107确定为针对图像ID为1的图像的第3种类信息是体操服。

[0078] 图像事件评价部107对由相同的第3种类信息赋予特征的图像数量进行计数(步骤S703)。这里，图像事件评价部107制作图8所示的第3种类信息和图像数量的表801，通过将与在步骤S702中确定的第3种类信息对应的图像数量的字段增加来计数。

[0079] 图像事件评价部107判断是否是在步骤S701中选择的全部图像的处理已结束(步骤S704)。在“是”的情况下前进到步骤S705，在“否”的情况下回到步骤S702。

[0080] 图像事件评价部107在图像组中确定满足第2基准的服装的种类,作为对图像组赋予特征的服装的种类(以下，设为第2种类信息)(步骤S705)。例如，假设第2基准为由相同的第3种类信息赋予特征的图像数量相对于在步骤S701中从图像组中选择的图像数量的比例超过0.5。即，如果在图像组内的拍摄有多个人物的图像中的过半数的图像中有拍摄在图像中的过半数的人物穿着的服装，则图像事件评价部107确定该种类。

[0081] 使用图8所示的第3种类信息和图像数量的表801说明步骤S705的处理的具体例。例如，假设在步骤S701中从图像组中选择的图像数量是50张。此时，关于体操服，体操服的数量相对于在步骤S701中从图像组中选择的图像数量的比例是36/50＝0.72。由于由体操服赋予特征的图像数量(36)相对于在S701中选择的图像数量(50)的比例(0.72)超过基准(0.5)，所以体操服满足第2基准。因而，图像事件评价部107确定为针对图像组的第2种类信息是体操服。

[0082] 图像事件评价部107根据第2种类信息进行图像组的事件评价(步骤S706)。具体而言，图像事件评价部107根据存储部108预先保持的图9所示的表示服装与事件的对应关系的表901，确定与第2种类信息建立对应的事件，进行图像组与所确定的事件的对应建立。此外，对属于图像组的全部的图像赋予所确定的事件的事件标签。

[0083] 图像评价装置100对全部的图像组进行上述事件评价。在图10中表示图像组的事件评价结果例。

[0084] 最后，图像评价装置100将图像取得部101取得的各图像以能够知道评价结果的方式向显示装置130输出。例如，图像评价装置100将各图像与赋予的事件标签的事件名合成，向显示装置130输出。

[0085] <总结>

[0086] 本实施方式的图像评价装置100对于由两个以上的图像构成的图像组，基于各服装的种类在图像组中的出现频度，进行包含在图像组中的图像的事件评价。

[0087] 本实施方式的图像评价装置100在属于上述图像组的少数的图像中误识别了多个服装的情况下，也只要在属于图像组的大半的图像中正确地识别服装，则将误识别的图像也能够正确地评价。即，本实施方式的图像评价装置100比用1个图像进行评价的情况相比能够更正确地进行评价。

[0088] <实施方式2>

[0089] 在实施方式1中，仅基于由服装识别部106识别的服装信息进行图像的事件评价。在实施方式2中说明如下方法：在实施方式1的基础上，计算服装间的类似度，基于类似度较高的服装彼此是相同的服装的种类这样的假定进行图像的事件评价。另外，关于结构和数据，对于与实施方式1同样的部分赋予相同的标号，省略说明。

[0090] <结构>

[0091] 以下，对本实施方式的图像评价装置1100进行说明。图11是实施方式2的图像评价装置1100的功能块图。图像评价装置1100中代替实施方式1的图像事件评价部107、存储部108、图像信息取得部110而具备图像事件评价部1102、存储部1103、图像信息取得部1110。
图像信息取得部1110除了图像信息取得部110的结构以外还具备类似度计算部1101。

[0092] 类似度计算部1101基于用人物管理信息301管理的服装的图像特征量，计算在同一图像中拍摄的服装间的类似度，登录到存储部1103保持的图12所示的人物的服装间的类似度信息表1201中。类似度是以服装的图像特征量为向量，计算两个向量的余弦类似度。

[0093] 图像事件评价部1102基于图像管理信息表201的内容、人物管理信息表301的内容及人物的服装间的类似度信息表1201的内容，进行图像组的事件评价。关于详细的评价方法在后面叙述。

[0094] 存储部1103除了图像管理信息表201、人物管理信息表301、第3种类信息和图像数量的表801、表示服装与事件的对应关系的表901及表示图像组的事件评价结果的表1001以外，还保持各图像中的人物的服装间的类似度信息表1201。

[0095] <动作>

[0096] 接着，使用图13所示的流程图说明本实施方式的动作。这里，步骤S601～S606的处理与实施方式1是同样的，所以省略说明。

[0097] 类似度计算部1101根据人物管理信息表301的服装的图像特征量，计算拍摄在同一图像中的服装间的类似度(步骤S1301)。

[0098] 图像事件评价部1102基于图像管理信息表201的内容、人物管理信息表301的内容及人物的服装间的类似度信息表1201的内容，进行多个图像组的事件评价(步骤S1302)。图14是表示图像事件评价部1102进行1个图像组的事件评价的动作的步骤S1301的详细的流程图。

[0099] 图像事件评价部1102从评价对象的图像组中，选择拍摄了一定人数以上的人物的图像群(步骤S701)。

[0100] 图像事件评价部1102从在步骤S701中选择的多个图像中选择1个图像，判断包含在该图像中的服装中的类似的服装的组合是否满足第3基准(步骤S1401)。在“是”的情况下向步骤S1403前进，在“否”的情况下向步骤S1402前进。所谓类似的服装的组合，表示类似度计算部1101计算的服装间的类似度超过0.7的两个服装的组合。此外，假设第3基准例如是从拍摄在图像中的服装中选择两个服装的组合的数量中的类似的服装的组合的数量的比例超过0.6。

[0101] 使用图12所示的人物的服装间的类似度信息表1201，说明步骤S1401的处理的具体例。图12表示拍摄在图像ID为1的图像中的人物间的服装的类似度。由于包含在图像中的人物数是面部ID为1～4的4人，所以拍摄在图像中的服装的组合的数量是4C2＝(4×3)/(2×1)＝6组。此外，根据类似度信息表1201，类似的服装的组合的数量是具有超过基准0.7的类似度的面部ID的组合(2，3)、(2，4)、(3，4)的共计3组。因而，包含在图像中的服装中的类似的服装的数量的比例是3/6＝0.5。由于从拍摄在图像中的服装中选择两个服装的组合的数量(6)中的类似的服装的组合的数量(3)的比例(0.5)比基准(0.6)小，所以图像事件评价部
1102判断为类似的服装的组合不满足第3基准。

[0102] 图像事件评价部1102判断在步骤S1401中选择的图像中类似的服装的组合是否满足第4基准(步骤S1402)。在“是”的情况下向步骤S1403前进，在“否”的情况下向步骤S1405前进。这里，假设第4基准例如是如果设类似的服装的组合的数量为N、则类似的服装的组合中的类似度的平均值超过规定的式0.9-(0.01×N)。

[0103] 使用图12所示的人物的服装间的类似度信息表1201，说明步骤S1402的处理的具体例。由于类似的服装的组合是面部ID(2，3)、(2，4)、(3，4)的3组，所以第4基准是面部ID为3组的类似度的平均值超过0.9-(0.01×3)＝0.87。此外，类似的服装的组合中的类似度的平均值是(0.93+0.98+0.91)/3＝0.94。由于类似的服装的组合的类似度的平均值(0.94)超过基准(0.87)，所以图像事件评价部1102判断为类似的组合满足第4基准。

[0104] 图像事件评价部1102确定满足第5基准的服装的种类，作为对在步骤S1401的处理中选择的图像赋予特征的服装的种类(第3种类信息)(步骤S1403)。这里，例如假设满足第5基准的服装的种类是在步骤S1401的处理中选择的图像的全部的类似的服装的组合所包含的服装之中、在服装识别部106中被确定为特定的种类的第1种类信息。但是，在满足第5基准的第1种类信息同时有两种以上的情况下，将在步骤S1401的处理中选择的图像的全部的类似的服装的组合所包含的服装之中、被确定为相同的种类的数量较多的第1种类信息作为第3种类信息。

[0105] 使用图12所示的人物的服装间的类似度信息表1201及图3所示的人物管理信息表301说明步骤S1403的处理的具体例。类似的服装的组合是面部ID的组合为(2，3)、(2，4)、(3，4)的3组。可知穿着包含在类似的服装的组合中的服装的人物是面部ID为2、3、4的3人。
根据人物管理信息表301，面部ID为2、3、4的人物的服装在服装识别部106中被确定为了体操服。因而，图像事件评价部1102确定第3种类信息是体操服。

[0106] 以下，由于图像事件评价部1102进行与图像事件评价部107在实施方式1的步骤S703～S706中进行的处理同样的处理，所以简略地进行说明。

[0107] 图像事件评价部1102将由相同的第3种类信息赋予了特征的图像数量进行计数(步骤S1404)。

[0108] 图像事件评价部1102判断是否是在步骤S701中选择的全部图像的处理已结束(步骤S1405)。在“是”的情况下向步骤S1406前进，在“否”的情况向步骤S1401返回。

[0109] 图像事件评价部1102确定在图像组中满足第6基准的服装的种类作为对图像组赋予特征的服装的种类(第2种类信息)，(步骤S1406)。例如，假设第6基准是由相同的第3种类信息赋予特征的图像数量相对于在步骤S701中从图像组中选择的图像数量的比例超过0.5。

[0110] 图像事件评价部1102根据第2种类信息进行图像组的事件评价(步骤S1407)。

[0111] 图像评价装置1100进行对全部的图像组的事件评价，将图像取得部101取得的各图像以能够知道评价结果的事件的方式向显示装置130输出。

[0112] <总结>

[0113] 实施方式2的图像评价装置1100对于由两个以上的图像构成的图像组，基于图像组所包含的图像中的各个服装的种类的出现频度及服装间的类似度，进行包含在图像组中的图像的事件评价。

[0114] 本实施方式的图像评价装置1100例如对于实际是体操服的服装因误识别而没有被识别为体操服的服装，通过使用服装的图像特征量的类似性有可能能够确定为体操服。即，本实施方式的图像评价装置1100能够进行比实施方式1的图像评价装置100更正确的评价。

[0115] <实施方式3>

[0116] 在实施方式1中，仅基于由服装识别部106识别出的服装信息推测拍摄在图像中的人物穿着的服装，进行图像的事件评价。在实施方式3中，说明如下方法：除了实施方式1以外，还利用基于面部的特征量的聚类来识别拍摄在多个图像中的相同人物，基于相同事件中相同人物穿着相同的服装的假定，进行图像的事件评价。另外，关于结构和数据，与实施方式1同样的部分赋予同样的标号而省略说明。

[0117] <结构>

[0118] 以下，对作为本发明的一实施方式的图像评价装置1500进行说明。图15是实施方式3的图像评价装置1500的功能块图。图像评价装置1500与实施方式1的图像评价装置100相比，代替图像事件评价部107、存储部108、图像信息取得部110而具备图像事件评价部1503、存储部1504、图像信息取得部1510。图像信息取得部1510除了图像信息取得部110的结构以外还具备面部特征量提取部1501及面部聚类部1502。

[0119] 面部特征量提取部1501从由面部检测部103检测出的面部区域中提取面部的图像特征量。关于提取的面部的特征量，与面部区域建立关联而管理。

[0120] 面部聚类部1502基于由面部特征量提取部1501提取出的面部的图像特征量进行聚类，将在相同的图像组内面部的图像特征量类似的面部作为1个群集(cluster)。此外，对每个群集赋予固有的群集ID，登录到存储部1504保持的图16所示的表示各个面部的群集的表1601中。被分类到相同的群集中的面部的人物可以推测是相同的人物。

[0121] 图像事件评价部1503基于图像管理信息表201的内容、人物管理信息表301的内容、表示各个面部的群集的表1601，进行图像组的事件评价。关于详细的评价方法在后面叙述。

[0122] 存储部1504除了保持图像管理信息表201、人物管理信息表301、第3种类信息和图像数量的表801、表示服装与事件的对应关系的表901以及表示图像组的事件评价结果的表1001以外，还保持表示各个面部的群集的表1601及后述的图19所示的表示各个群集的面部的表1901、以及图20所示的表示属于群集的面部和第1种类信息的表2001。

[0123] <动作>

[0124] 接着，使用图17所示的流程图说明本实施方式的动作。这里，步骤S601～S606的处理是与实施方式1同样的处理，所以省略说明。

[0125] 面部特征量提取部1501从由面部检测部103检测出的各面部区域中提取各个面部的图像特征量(步骤S1701)。

[0126] 面部聚类部1502基于由面部特征量提取部1501提取出的面部的图像特征量，将图像特征量类似的面部分类为1个群集(步骤S1702)。面部聚类部1502对各群集赋予固有的群集ID，登录到表示各个面部的群集的表1601中。

[0127] 图像事件评价部1503基于图像管理信息表201的内容、人物管理信息表301的内容、表示各个面部的群集的表1601的内容，进行多个图像组的事件评价(步骤S1703)。图18是表示图像事件评价部1503进行1个图像组的事件评价的动作的步骤S1703的详细的流程图。

[0128] 图像事件评价部1503从评价对象的图像组中，选择拍摄有一定人数以上的人物的图像群(步骤S701)。

[0129] 图像事件评价部1503从在步骤S701中选择的多个图像中选择1个判断对象的图像(步骤S1801)。

[0130] 图像事件评价部1503选择1个包含在由步骤S1801选择的图像中的面部(步骤S1802)。

[0131] 图像事件评价部1503针对在步骤S1802中选择的面部所属的群集，根据属于该群集的各面部，提取由服装识别部106确定的第1种类信息(步骤S1803)。

[0132] 使用表示各个面部的群集的表1601，具体地说明步骤S1803的动作。例如，假设在步骤S1802中选择的面部的面部ID为1。根据表1601，面部ID是1的人物的群集ID为1。图像事件评价部1503从表1601中提取群集ID是1的记录，制作图19所示的表示各个群集的面部的表1901。根据表1901，群集ID是1的人物的面部ID为1、13、17及31。从图3的人物管理信息表301提取根据面部ID为1、13、17及31的面部确定的第1种类信息。在图20中表示提取结果例。

[0133] 图像事件评价部1503确定满足第7基准的服装的种类，作为对由步骤S1802选择的面部所属的群集赋予特征的服装的种类(以下，设为第4种类信息)(步骤S1804)。即，确定在步骤S1802中选择的面部的人物穿着的服装。这里，满足第7基准的服装的种类为在步骤S1803的处理中提取的第1种类信息中的、在服装识别部106中确定为特定的种类的第1种类信息。在满足第7基准的第1种类信息同时有两种类以上的情况下，将在步骤S1803的处理中提取出的第1种类信息中的、被确定为相同的种类的数量较多的第1种类信息作为在步骤S1802中选择的面部所属的群集的第4种类信息。

[0134] 图像事件评价部1503判断是否对拍摄在步骤S1801中选择的图像中的全部的面部完成了步骤S1803～S1804的处理(步骤S1805)。在“是”的情况下向步骤S1806前进，在“否”的情况下向步骤S1802返回。

[0135] 图像事件评价部1503中作为对在步骤S1801中选择的图像赋予特征的服装(第3种类信息)，针对包含在该图像中的面部，根据第4种类信息确定满足第8基准的服装的种类(步骤S1806)。这里，假设第8基准例如是在步骤S1804中确定的第4种类信息之中相同的第4种类信息的数量相对于拍摄在由步骤S1801选择的图像中的服装的数量的比例超过0.5。

[0136] 以下，图像事件评价部1503进行与在实施方式1的步骤S703～S706中图像事件评价部107进行的处理同样的处理，所以使说明简略化。

[0137] 图像事件评价部1503对由相同的第3种类信息赋予特征的图像数量进行计数(步骤S1807)。

[0138] 图像事件评价部1503判断是否是在步骤S701中选择的全部图像的处理已结束(步骤S1808)。在“是”的情况下向步骤S1809前进，在“否”的情况下向步骤S1801返回。

[0139] 图像事件评价部1503确定在图像组中满足第9基准的服装的种类，作为对图像组赋予特征的服装的种类(第2种类信息)(步骤S1809)。例如，假设第9基准是由相同的第3种类信息赋予特征的图像数量相对于在图像组中在步骤S701中选择的图像数量的比例超过0.5。

[0140] 图像事件评价部1503根据第2种类信息进行图像组的事件评价(步骤S1810)。

[0141] 图像评价装置1500进行对全部的图像组的事件评价，将图像取得部101所取得的各图像以能够知道评价结果的事件的方式向显示装置130输出。

[0142] <总结>

[0143] 实施方式3的图像评价装置1500对于由两个以上的图像构成的图像组，基于包含在图像组中的图像中的服装的种类和各个服装的种类在图像组中的出现频度及面部聚类结果，进行图像组的事件评价。

[0144] 本实施方式的图像评价装置1500即使在例如实际穿着体操服的人物在某个图像中没有被识别为穿着体操服的情况下，如果在别的图像中能够识别出穿着体操服，则在没有被识别为穿着体操服的图像中也能够确定为该人物穿着的服装是体操服。即，本实施方式的图像评价装置1500能够进行比实施方式1的图像评价装置100更正确的评价。

[0145] <实施方式4>

[0146] 在实施方式1～3中，基于拍摄有许多穿着特定的服装的人物的图像的数量进行图像的事件评价。在实施方式4中，说明如下方法：利用实施方式3的面部聚类，基于在图像组中出现的穿着特定的种类的服装的人物的数量进行图像的事件评价。另外，关于结构和数据，对与实施方式1、3同样的部分赋予同样的标号，省略说明。

[0147] <结构>

[0148] 以下，对作为本发明的一实施方式的图像评价装置2100进行说明。图21是表示有关实施方式3的图像评价装置2100的结构的块图。图像评价装置2100代替实施方式3的结构的图像事件评价部1503、存储部1504而具备图像事件评价部2101、存储部2102。

[0149] 图像事件评价部2101基于图像管理信息表201的内容、人物管理信息表301的内容及表示各个面部的群集的表1601的内容，进行图像组的事件评价。关于详细的评价方法在后面叙述。

[0150] 存储部2102保持图像管理信息表201、人物管理信息表301、表示服装与事件的对应关系的表901、表示图像组的事件评价结果的表1001、表示各个面部的群集的表1601、表示各个群集的面部的表1901、表示属于群集的面部和第1种类信息的表2001、以及后述的图24所示的第3种类信息和群集数量的表2401。

[0151] <动作>

[0152] 接着，使用图22所示的流程图说明本实施方式的动作。这里，步骤S601～S606及步骤S1701、S1702的处理与实施方式3是同样的，所以省略说明。

[0153] 图像事件评价部2101基于图像管理信息表201、人物管理信息表301、表示各个面部的群集的表1601的内容，进行多个图像组的事件评价(步骤S2201)。图23是表示图像事件评价部2101进行1个图像组的事件评价的动作的步骤S2201的详细的流程图。

[0154] 首先，图像事件评价部2101选择1个评价对象的图像组内的群集(步骤S2301)。

[0155] 图像事件评价部2101提取由服装识别部106根据属于在步骤S2301中选择的群集的各面部确定的第1种类信息(步骤S2302)。

[0156] 图像事件评价部2101确定满足第10基准的服装的种类，作为对在步骤S2301中选择的群集赋予特征的服装(以下，设为第3种类信息)(步骤S2303)。这里，满足第10基准的服装的种类为在步骤S2302中提取出的第1种类信息中的、在服装识别部106中被确定为特定的种类的第1种类信息。在满足第10基准的第1种类信息有两种以上的情况下，将在步骤S2302中提取出的第1种类信息中的、被确定为相同的种类的数量较多的第1种类信息作为在步骤2301中选择的群集的第3种类信息。

[0157] 图像事件评价部2101对由相同的第3种类信息赋予特征的群集数量进行计数(步骤S2304)。即，图像事件评价部2101按照各服装的种类，将在图像组内中穿着相同种类的服装的人物数进行计数。这里，图像事件评价部2101制作图24所示的各个服装的群集数量的表2401，通过将与步骤S2303中确定的第3种类信息对应的群集数量的字段增加来计数。

[0158] 图像事件评价部2101判断是否对于图像组内的全部的群集完成了步骤S2302～S2304的处理(步骤S2305)。在“是”的情况下向步骤S2306前进，在“否”的情况下向步骤S2301返回。

[0159] 图像事件评价部2101确定在图像组中满足第11基准的服装的种类，作为对图像组赋予特征的服装的种类(第2种类信息)(步骤S2306)。这里，假设第11基准例如为由相同的第3种类信息赋予特征的群集数量相对于图像组内的群集数量的比例超过0.5。即，如果有在图像组内出现的人物中的过半数的人物穿着的服装，则确定其种类。

[0160] 使用图24所示的第3种类信息和群集数量的表2401说明步骤S2306的处理的具体例。例如，假设图像组内的群集数量是10。此时，由体操服赋予特征的群集数量是6/10＝0.6。由于由体操服赋予特征的群集数量(6)相对于图像组内的群集数量(10)的比例(0.6)超过基准(0.5)，所以体操服满足第11基准。因而，图像事件评价部2101确定第2种类信息是体操服。

[0161] 图像事件评价部2101根据第2种类信息进行图像组的事件评价(步骤2307)。

[0162] 图像评价装置2100进行对全部的图像组的事件评价，将图像取得部101取得的各图像以能够知道评价结果的事件的方式向显示装置130输出。

[0163] <总结>

[0164] 实施方式4的图像评价装置2100对于由两个以上的图像构成的图像组，将在图像组中出现的相同的人物分类为相同的群集，基于穿着特定的服装的人物数，进行包含在图像组中的图像的事件评价。

[0165] 实施方式3的图像评价装置1500由于以属于图像组的图像单位进行评价，所以在特定的个人出现在多个图像中的情况下，该人物出现的图像越增加，该人物越有可能对评价结果带来较大的影响。相对于此，在本实施方式的图像评价装置2100中，由于将相同的人物评价为相同的群集，以群集单位进行评价，所以不会有特定的个人对评价结果带来较大影响的情况，能够进行图像组的事件评价。

[0166] <补充1>

[0167] 对上述实施方式进行了说明，但本发明并不限定于此。以下，对作为本发明的技术思想包含的各种变形例进行说明。

[0168] (1)在图像组生成103中，基于从EXIF信息取得的摄影日期时间进行组的生成，但组的生成方法并不限定于此。例如，也可以基于能够从EXIF信息等的元数据取得的摄影地点，将在距某个地点为一定距离内摄影的图像作为1个组生成图像组。

[0169] (2)在服装检测部104中，将面部区域被更靠下地检测出的人物作为相对于照相机拍摄在更靠前面的人物来检测，但检测人物的位置关系的方法并不限定于此。例如，也可以将面部区域被更大地检测到的人物作为相对于照相机拍摄在更靠前面的人物来检测。此外，在摄影装置120能够将立体图等的包含视差信息的图像进行摄影及储存的情况下，也可以基于该视差信息计算从照相机到被摄体的距离，检测人物的位置关系。

[0170] (3)在服装识别部106中，设置作为确定服装的种类的方法而预先通过SVM法能够确定服装的种类的分类器，但并不限定于此。例如，也可以通过提取的图像特征量与作为各服装的模板的图像特征量的匹配来确定服装的种类。

[0171] 此外，图像评价装置也可以还具备更新信息取得部，经由网络取得这些分类器或模板的更新信息，将分类器或模板更新。通过该结构，图像评价装置能够将可确定的服装的种类根据需要而变更。此外，更新信息取得部也还可以与分类器或模板的变更相应地取得表示服装与事件的对应关系的表901的更新信息，使得能够变更可评价的事件。通过该结构，能够将图像组事件评价为与能够新确定的服装的种类对应的事件。

[0172] (4)在类似度计算部1101中，作为服装间的类似度，计算将服装的图像特征量作为向量的两个向量间的余弦类似度，但类似度并不限定于此。例如，也可以计算服装间的图像特征量的皮尔逊(Pearson)的相关系数、或对将服装的图像特征量作为向量的两个向量间的欧几里德距离加1而得到的值的倒数作为类似度。

[0173] (5)在实施方式1、3的步骤S701中，从判断的对象中排除了仅拍摄有1人的图像，但也可以将拍摄有1人的人物的图像也包括在内进行选择。

[0174] (6)关于使用由类似度计算部1101计算的类似度确定对图像赋予特征的服装的种类的方法，在实施方式2中，基于穿着类似的服装的人物的组合的数量、或穿着类似的服装的人物的组合的类似度的平均值，确定对图像赋予特征的服装的种类。但是，使用类似度确定对图像赋予特征的服装的种类的方法并不限定于此。

[0175] 例如有如下方法：在存在类似度比规定的阈值高的服装的组合、一方在服装识别部106中被确定为特定的种类的服装、另一方的服装的种类没有被确定的情况下，将后者的服装看作与前者的服装相同的服装，将服装识别部106的识别结果补充。本发明的一实施方式的图像评价装置也可以基于通过上述方法补充的识别结果，如实施方式1那样将相同的服装的数量满足一定的基准的服装确定为对图像赋予特征的服装。

[0176] (7)在实施方式1～3中，关于对各图像赋予特征的服装的种类，根据由相同的服装的种类赋予特征的图像的数量来确定了对图像组赋予特征的服装，但基于对各图像赋予特征的服装的种类确定对图像组赋予特征的服装的方法并不限定于此。例如，也可以将各图像根据拍摄在图像中的人物数进行加权，将对由相同的服装的种类赋予特征的图像的数量进行加权后的值相加来评价。根据上述方法，由于拍摄有许多人物的图像的评价变高，所以能够在许多人物穿着的服装中确定占主导地位的服装的种类。

[0177] (8)在实施方式3中，将在1个图像中出现数量较多的服装的种类确定为对该图像赋予特征的服装的种类。在别的实施方式中，也可以计算拍摄在图像中的人物的重要度，将计算出的重要度也考虑在内来确定对图像赋予特征的服装的种类。人物的重要度例如既可以基于被分类到各群集中的面部数量、将拍摄在许多(大部分)图像中的人物的重要度计算得较高，也可以基于图像中的出现位置及显示尺寸、将拍摄在图像中央的人物或拍摄得较大的人物的重要度计算得较高。

[0178] 举出将被分类到各群集中的面部数量作为人物的重要度的情况为例，说明确定对图像赋予特征的服装的种类的变形例。

[0179] 面部聚类部1502管理在步骤S1702中实施聚类后被分类到各群集中的面部数量和第4种类信息(对群集赋予特征的服装的种类)。另外，在实施方式3中，第4种类信息由图像事件评价部1503确定，但也可以由面部聚类部1502确定。假设聚类的结果例如是，群集1的面部数量为“6”、服装的种类为“体操服”，群集2的面部数量为“2”、服装的种类为“无分类”，以及群集3的面部数量为2、服装的种类为“无分类”。

[0180] 图像事件评价部1503在步骤S1806中，拍摄在由步骤S1801选择的图像中的人物是3人、分别被分类到群集1、群集2及群集3中的情况下，通过以下所示的方法确定对该图像赋予特征的服装的种类。

[0181] 首先，图像事件评价部1503针对拍摄在图像中的人物(群集)分别求出群集重要度。群集重要度例如是该群集的面部数量，群集1的群集重要度是6，群集2的群集重要度是2，群集3的群集重要度是2。

[0182] 接着，图像事件评价部1503针对拍摄在图像中的服装的种类分别计算图像服装重要度。图像服装重要度例如是对被分类为相同的服装的种类的群集的群集重要度的累计值进行正规化而得到的值。

[0183] 由于群集1的服装的种类是“体操服”，群集2及群集3的服装的种类是“无分类”，所以将“体操服”的图像服装重要度计算为6/(6+2+2)＝0.6，将“无分类”的图像服装重要度计算为(2+2)/(6+2+2)＝0.4。

[0184] 最后，图像事件评价部1503将满足规定的基准的服装的种类(例如，图像服装重要度超过0.5的服装的种类等)确定为对图像赋予特征的服装的种类。这里，“体操服”的图像服装重要度是0.6，超过0.5，所以作为对图像赋予特征的服装的种类而确定“体操服”。

[0185] 此外，作为另一变形例，也可以仅使用重要度较高的人物(重要人物)来确定对图像赋予特征的服装的种类。这里，例如将群集重要度为4以上的群集的人物作为重要人物。

[0186] 如果与上述例子同样，假设群集1的面部数量是“6”、服装的种类是“体操服”，群集2的面部数量是“2”、服装的种类是“无分类”，以及群集3的面部数量是2、服装的种类是“无分类”，则拍摄在图像中的重要人物仅是群集1。这里，例如将对图像赋予特征的服装的基准设为拍摄在图像中的重要人物的特定的服装的种类的比例超过0.5。在此情况下，拍摄在图像中的重要人物的“体操服”的比例为1/1＝1，满足基准，所以作为对图像赋予特征的服装的种类而确定“体操服”。

[0187] 在实施方式4中，在评价对图像组赋予特征的服装的种类时也能够采用这些变形。即，既可以采用基于群集重要度的加权来评价对图像组赋予特征的服装的种类，也可以仅使用在图像组中出现的重要人物来确定对图像组赋予特征的服装的种类。

[0188] 如果采用这些变形，则对于摄影者而言被认为是重要的人物的重要度被计算得较高，所以能够实施符合摄影者的意图的事件评价。

[0189] 另外，拍摄在图像中的人物的重要度也可以利用SNS(Social Networking Service)等，从外部取得想要提高重要度的个人的信息，基于所取得的信息进行计算。例如，在从外部作为想要提高重要度的个人的信息而取得了面部图像数据的情况下，从面部图像数据中提取面部特征量，通过与被分类到各群集中的人物的面部特征量匹配，能够将想要提高重要度的人物的重要度计算得较高。

[0190] (9)在实施方式1～4中，假设图像评价装置从由数字照相机等构成的摄影装置120取得图像群，但图像的取得处只要有存储图像的功能就足够，例如也可以取得记录在硬盘等的记录介质中的图像群。

[0191] (10)在实施方式1～4中，假设图像取得部101将摄影装置120储存的图像群一齐取得，但并不限定于此。例如，也可以从摄影装置120储存的图像群中指定摄影日期时间等的条件而取得符合的图像群。

[0192] (11)在实施方式1～4中，图像评价装置对各图像组进行事件评价，将图像取得部101取得的各图像以能够知道评价结果的事件的方式向显示装置130输出，但评价结果的利用方法并不限定于此。例如，也可以制作表示各图像的评价结果的事件和图像文件的记录场所(地址)的表(数据库)，作为文件系统的索引利用。

[0193] (12)在实施方式1～4中，图像评价装置将图像组和评价结果的事件1对1地建立对应，但也可以与多个事件候选建立对应。例如，也可以在表示服装与事件的对应关系的表901中，将多个事件候选对于1个服装建立对应，将与第2种类信息建立了对应的多个事件候选全部与图像组建立对应。

[0194] 此外，也可以将第2种类信息例如基于第3种类信息的出现数量确定多个，与分别对应于多个第2种类信息各自的事件建立对应。此时，也可以根据第3种类信息的出现数量而以位次形式显示。

[0195] 进而，关于多个第2种类信息，也可以准备例如“西装”及“女礼服”的组合与“聚会”那样将服装的组合与事件建立对应的表，通过第2种类信息的组合进行图像组的事件评价。

[0196] (13)也可以将上述各实施方式及各变形例部分地组合。

[0197] (14)也可以将用来使图像评价装置的处理器及连接在该处理器上的各种电路执行在实施方式1～4中表示的各处理的由机器语言或高级语言的程序代码构成的控制程序记录到记录介质中、或者经由各种通信路等流通发布。在这样的记录介质中，有IC卡、硬盘、光盘、软盘、ROM、闪存存储器等。被流通、发布的控制程序通过被保存到能够由处理器读出的存储器等中而供使用，通过由该处理器执行该控制程序，实现由各实施方式所述的各功能。另外，处理器除了直接执行控制程序以外，也可以编译而执行或通过解释器来执行。

[0198] (15)有关实施方式1～4的各功能构成要素也可以作为集成电路即LSI(Large Scale Integration)实现。这些结构既可以单独地形成1个芯片，也可以包括一部分或全部而形成1个芯片。这里表现为LSI，但根据电路的集成度的差异，也有称作IC(Integrated Circuit)、系统LSI、超级LSI、特级LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器进行集成电路化。此外，也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器(Reconfigurable Processor)。或者，这些功能块的运算例如也可以使用DSP(Digital Signal Processor)或CPU(Central Processing Unit)等运算。进而，也可以将这些处理步骤作为程序记录到记录介质中并执行来处理。

[0199] <补充2>

[0200] 对本发明的能够采取的实施方式和其效果进行说明。

[0201] (A)本发明的一实施方式的图像评价装置，具备：第1确定单元，对于拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第1种类信息；第2确定单元，基于从属于规定的图像组的多个图像确定的上述第1种类信息的每个种类的出现频度，确定表示对上述规定的图像组赋予特征的服装的种类的第2种类信息；以及评价单元，基于上述第2种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

[0202] (B)本发明的一实施方式的图像评价方法，包括：第1确定步骤，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第1种类信息；第2确定步骤，基于从属于规定的图像组的多个图像确定的上述第1种类信息的每个种类的出现频度，确定表示对上述规定的图像组赋予特征的服装的种类的第2种类信息；以及评价步骤，基于上述第2种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

[0203] (C)本发明的一实施方式的程序，是用来使计算机执行图像评价处理的程序，上述图像评价处理包括：第1确定步骤，针对拍摄在图像中的各个人物，确定表示该人物穿着的服装的种类的第1种类信息；第2确定步骤，基于从属于规定的图像组的多个图像确定的上述第1种类信息的每个种类的出现频度，确定表示对上述规定的图像组赋予特征的服装的种类的第2种类信息；以及评价步骤，基于上述第2种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

[0204] (D)本发明的一实施方式的集成电路，具备：第1确定单元，针对拍摄在图像中的人物，分别确定表示该人物穿着的服装的种类的第1种类信息；第2确定单元，基于从属于规定的图像组的多个图像确定的上述第1种类信息的每个种类的出现频度，确定表示对上述规定的图像组赋予特征的服装的种类的第2种类信息；以及评价单元，基于上述第2种类信息，评价属于上述规定的图像组的多个图像被摄影的事件。

[0205] 根据上述(A)～(D)的结构，即使在包含在1个图像中的人物的服装被误识别的情况下，由于确认多个图像中的服装的出现频度，所以也能够将误识别的图像正确地评价。

[0206] (E)上述实施方式(A)的图像评价装置也可以是，还具备第3确定单元，该第3确定单元基于从1个图像确定的上述第1种类信息，确定表示对该图像赋予特征的服装的种类的第3种类信息；上述第2确定单元基于按属于上述规定的组的多个图像的每个图像确定的上述第3种类信息的每个种类的出现数量，确定针对上述规定的图像组的第2种类信息。

[0207] 根据上述结构，根据由相同的服装的种类赋予特征的图像的数量确定对多个图像赋予特征的服装的种类，所以能够确定在多个图像中的大部分图像中出现的服装的种类。

[0208] (F)上述实施方式(E)的图像评价装置也可以是，上述第3确定单元将从1个图像确定的上述第1种类信息之中、出现数量为一定比例以上或一定数量以上的第1种类信息确定为上述第3种类信息。

[0209] (G)上述实施方式(E)的图像评价装置也可以是，还具备计算单元，该计算单元提取拍摄在图像中的人物穿着的服装的图像特征量，基于上述图像特征量计算拍摄在上述图像中的人物间的服装的类似度；上述第3确定单元基于从1个图像确定的上述第1种类信息及上述类似度，确定上述第3种类信息。

[0210] (H)在上述实施方式(G)的图像评价装置中，也可以是，上述第3确定单元选择拍摄在1个图像中的人物的组合之中、基于上述类似度判断为穿着类似的服装的人物的组合，在所选择的组合的数量为一定比例以上或一定数量以上的情况下，基于从包含在上述选择的组合中的各个人物确定的第1种类信息，确定上述第3种类信息。

[0211] (I)在上述实施方式(G)的图像评价装置中，也可以是，上述第3确定单元选择拍摄在1个图像中的人物的组合之中、基于上述类似度判断为穿着类似的服装的人物的组合，在所选择的组合的上述类似度的平均值超过通过规定的式子计算的值的情况下，基于从包含在上述选择的组合中的各个人物确定的第1种类信息，确定上述第3种类信息。

[0212] 根据上述(G)～(I)的结构，为了确定对图像赋予特征的服装的种类，除了各服装的识别结果以外，还使用服装间的类似度。因而，即使在本来是相同的服装的种类但识别结果成为不同的情况下，也有可能通过确认服装间的类似度而识别为相同的服装的种类。

[0213] (J)上述实施方式(E)的图像评价装置也可以是，还具备：分类单元，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在上述多个图像中的同一人物分类到同一群集；以及第4确定单元，基于从属于各群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第4种类信息；上述第3确定单元基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息，确定上述第3种类信息。

[0214] 根据上述结构，根据面部的特征量进行聚类，识别拍摄在多个图像中的相同人物。即使在1个图像中误识别了某个人物穿着的服装的种类，也有可能能够根据别的图像中的相同人物的服装的识别结果将误识别的服装的种类修正。

[0215] (K)在上述实施方式(J)的图像评价装置中，也可以是，上述分类单元还计算上述各群集的重要度；上述第3确定单元基于从拍摄在1个图像中的人物的群集确定的上述第4种类信息及上述重要度，确定上述第3种类信息。

[0216] 根据上述结构，能够考虑重要人物的服装来确定对图像赋予特征的服装的种类。

[0217] (L)上述实施方式(A)的图像评价装置也可以是，还具备：分类单元，提取拍摄在图像中的人物的面部的特征量，基于上述面部的特征量的类似性，将拍摄在多个图像中的同一人物分类到同一群集；以及第3确定单元，基于从属于上述群集的人物确定的第1种类信息，确定表示对该群集赋予特征的服装的种类的第3种类信息；上述第2确定单元基于上述规定的图像组中的上述第3种类信息的出现数量，确定针对上述规定的图像组的上述第2种类信息。

[0218] 根据上述结构，根据由相同的服装的种类赋予特征的群集的数量，确定对多个图像赋予特征的服装的种类，所以能够确定在多个图像中出现的人物中的大部分人物穿着的服装的种类。此外，能够抑制在大部分图像中出现的个人较大地对评价结果带来影响的情况。

[0219] (M)在上述实施方式(L)的图像评价装置中，也可以是，上述分类单元还计算上述各群集的重要度；上述第2确定单元基于上述规定的图像组中的上述第3种类信息的出现数量及上述重要度，确定针对上述规定的图像组的上述第2种类信息。

[0220] 根据上述结构，能够考虑重要人物的服装来评价图像组的事件。

[0221] (N)在上述实施方式(A)的图像评价装置中，也可以是，上述第1确定单元使用用来确定服装的种类的服装信息确定上述第1种类信息；还具备将上述服装信息更新的更新部。

[0222] 根据上述结构，能够适当变更能够确定的服装的种类及可评价的事件的种类。

[0223] (O)上述实施方式(A)的图像评价装置也可以是，还具备计算单元，该计算单元检测拍摄在图像中的人物的面部区域，基于上述面部区域计算服装区域；上述第1确定单元基于从上述服装区域提取的图像特征量确定上述第1种类信息。

[0224] 根据上述结构，只要能够检测出拍摄在图像中的人物的面部区域，就能够检测出该人物的服装区域。

[0225] (P)在上述实施方式(O)的图像评价装置中，也可以是，上述计算单元基于上述面部区域，确定检测到的多个人物之中拍摄在更靠前面的人物，将重叠的上述服装区域作为拍摄在更靠前面的人物的服装区域。

[0226] 根据上述结构，在图像中发生了服装的检测区域的重叠的情况下，能够基于人物的位置关系决定各个的服装区域。

[0227] 工业实用性

[0228] 有关本发明的图像评价装置能够适用于存储静止图像或运动图像的装置、数字照相机、带有照相机的便携电话及摄像机等的摄影装置、以及PC(Personal Computer)等。

[0229] 标号说明

[0230] 100、1100、1500、2100 图像评价装置

[0231] 101 图像取得部

[0232] 102 图像组生成部

[0233] 103 面部检测部

[0234] 104 服装检测部

[0235] 105 服装特征量提取部

[0236] 106 服装识别部

[0237] 107、1102、1503、2101 图像事件评价部

[0238] 108、1103、1504、2102 存储部

[0239] 110、1110、1510 图像信息取得部

[0240] 120 摄影装置

[0241] 130 显示装置

[0242] 201 图像管理信息表

[0243] 301 人物管理信息表

[0244] 401、402、403 图像

[0245] 402a、403a、403b 检测到的面部区域

[0246] 402a’、403a’、403b’ 检测到的服装区域

[0247] 801 表示第3种类信息和图像数量的表

[0248] 901 表示服装与事件的对应关系的表

[0249] 1001 表示各个图像组的事件评价结果的表

[0250] 1101 类似度计算部

[0251] 1201 人物的服装间的类似度信息表

[0252] 1501 面部特征量提取部

[0253] 1502 面部聚类部

[0254] 1601 表示各个面部的群集的表

[0255] 1901 表示各个群集的面部的表

[0256] 2001 表示属于群集的面部和第1种类信息的表

[0257] 2401 表示第3种类信息和群集数量的表