图像处理装置及方法、学习装置及方法

摘要

本发明涉及一种能够确切地评价是否清晰地拍下了拍摄物的图像处理装置及方法、学习装置及方法以及程序。拍摄物提取部(21)使用输入图像生成表示输入图像中的包含拍摄物的区域的拍摄物映射并提供给判定部(22)。判定部(22)使用输入图像和来自拍摄物提取部(21)的拍摄物映射来求解输入图像上的拍摄物区域的模糊情况，并基于该模糊情况来计算输入图像的得分。将此得分设为评价在输入图像中清晰地拍下了拍摄物的程度的指标。本发明能够应用于摄像装置。

权利要求

1.一种图像处理装置，其中，包括：

生成单元，基于输入图像生成用于确定上述输入图像上的拍摄物区域的拍摄物确定信息；和检测单元，使用上述拍摄物确定信息以及上述输入图像，将上述输入图像中的包含上述拍摄物的区域作为处理对象来检测上述拍摄物的模糊情况，上述生成单元包括：

信息映射生成单元，从上述输入图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述输入图像的各区域的上述特征量的信息映射；和拍摄物确定信息生成单元，通过对多个表示相互不同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物确定信息，所述多个表示相互不同的上述特征的上述特征量的上述信息映射是亮度信息映射、颜色信息映射、边缘信息映射、脸部信息映射以及运动信息映射。

2.按照权利要求1所记载的图像处理装置，其中，

上述检测单元通过检测出上述拍摄物区域内的边缘的强度来检测出上述拍摄物的模糊情况。

3.按照权利要求2所记载的图像处理装置，其中，

上述信息映射生成单元从上述输入图像中提取上述特征量，并生成表示上述输入图像的各区域的上述特征量的特征图像，并且基于上述特征图像生成分辨率互不相同的多个上述特征图像，并通过求解上述多个上述特征图像的差分来生成上述信息映射。

4.一种图像处理方法，是如下的图像处理装置的图像处理方法，所述图像处理装置包括：生成单元，基于输入图像生成用于确定上述输入图像上的拍摄物区域的拍摄物确定信息；和检测单元，使用上述拍摄物确定信息以及上述输入图像，将上述输入图像中的包含上述拍摄物的区域作为处理对象来检测上述拍摄物的模糊情况，所述图像处理方法包括如下步骤：

上述生成单元根据上述输入图像生成上述拍摄物确定信息的生成步骤，和上述检测单元使用上述拍摄物确定信息以及上述输入图像来检测上述拍摄物的模糊情况的检测步骤，上述生成步骤包括：

信息映射生成步骤，从上述输入图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述输入图像的各区域的上述特征量的信息映射；和拍摄物确定信息生成步骤，通过对多个表示相互不同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物确定信息，所述多个表示相互不同的上述特征的上述特征量的上述信息映射是亮度信息映射、颜色信息映射、边缘信息映射、脸部信息映射以及运动信息映射。

5.一种学习装置，其中，

通过基于神经网络的学习来求解为了生成拍摄物映射而使用的加权，所述拍摄物映射用于确定图像上的拍摄物区域，所述学习装置具备：

信息映射生成单元，从包含上述拍摄物的、被用于上述学习的学习图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述学习图像的各区域的上述特征量的信息映射；

拍摄物映射生成单元，通过使用上述加权对多个表示相互不同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物映射；

加权变化量计算单元，使用上述拍摄物映射和预先求出的表示上述学习图像中的上述拍摄物区域的图像标签，来计算应当使上述加权变化的变化量；和更新单元，将上述变化量与上述加权相加来更新上述加权，所述多个表示相互不同的上述特征的上述特征量的上述信息映射是亮度信息映射、颜色信息映射、边缘信息映射、脸部信息映射以及运动信息映射。

6.按照权利要求5所记载的学习装置，其中，

反复进行如下的处理：使用由上述更新单元更新过的上述加权和上述学习图像来求解新的上述变化量并更新上述加权。

7.一种学习方法，是如下学习装置的学习方法，所述学习装置通过基于神经网络的学习来求解为了生成拍摄物映射而使用的加权，所述拍摄物映射用于确定图像上的拍摄物区域，所述学习装置包括：信息映射生成单元，从包含上述拍摄物的、被用于上述学习的学习图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述学习图像的各区域的上述特征量的信息映射；

拍摄物映射生成单元，通过使用上述加权对多个表示相互不同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物映射；

加权变化量计算单元，使用上述拍摄物映射和预先求出的表示上述学习图像中的上述拍摄物区域的图像标签，来计算应当使上述加权变化的变化量；和更新单元，将上述变化量与上述加权相加来更新上述加权，上述学习方法，包括如下步骤：

上述信息映射生成单元根据上述学习图像生成上述信息映射，上述拍摄物映射生成单元对上述信息映射进行加权相加运算来生成上述拍摄物映射，上述加权变化量计算单元使用上述拍摄物映射以及上述图像标签来计算上述变化量，上述更新单元将上述变化量与上述加权相加来更新上述加权，所述多个表示相互不同的上述特征的上述特征量的上述信息映射是亮度信息映射、颜色信息映射、边缘信息映射、脸部信息映射以及运动信息映射。

说明书

图像处理装置及方法、学习装置及方法

技术领域

[0001] 本发明涉及图像处理装置及方法、学习装置及方法以及程序，特别是涉及能够简单地选择被推定为值得欣赏的图像的图像处理装置及方法、学习装置及方法以及程序。 背景技术

[0002] 在利用对拍摄所获得的照片等图像进行整理的相册创建功能及图像的幻灯片展示功能时，用户就需要选择要保存或者显示的图像，但从大量图像之中选出所需要的图像却是件够呛的作业。

[0003] 因而，作为从多个图像之中选择所谓的最佳照片、也就是说选择被推定为值得用户欣赏的图像的技术，已知有从连拍的多个图像中选择最佳照片的技术(例如，专利文献1参照)。

[0004] 另外，作为与图像相关联的技术，还已知有基于图像的清晰度、脸部图像的质量以及有无光斑来评价作为照片的图像的质量的技术(例如，参照专利文献2)和从图像中检测脸部并根据其检测结果来选择最佳构图并截取的技术(例如，参照专利文献3)。 [0005] 专利文献

[0006] 专利文献1：日本特开2006-311340号公报

[0007] 专利文献2：日本特表2005-521927号公报

[0008] 专利文献3：日本特开2007-27971号公报

[0009] 但是，在上述技术中，却很难确切地评价作为评价对象的图像是否是被推定为值得用户欣赏的图像、亦即是否是清晰地拍照了拍摄物的图像。

[0010] 例如，在从连拍的图像中选择最佳照片的技术中，虽然进行图像整 体的模糊程度以及曝光的评价，但对于一般的并非连拍得到的图像而言，尽管进行模糊程度及曝光的评价，但很好地拍摄的图像的评价却未必高。

[0011] 也就是说，一般而言焦点对准拍摄物、背景模糊不清的照片，因拍摄物清晰地被拍下，所以大多是很好地拍摄到的所谓的最佳照片。可是，若对并非连拍的图像采用专利文献1记载的技术，则焦点对准图像整体的图像被选择为最佳照片的可能性就会高于焦点对准拍摄物但背景模糊不清的图像。

[0012] 另外，在专利文献2所记载的技术中，设拍摄物为人的脸部来评价图像的质量，所以在未从图像中检测出脸部的情况下，根据清晰度和有无光斑来评价图像的质量。因此，在这种情况下，与焦点对准拍摄物但背景模糊不清的图像相比，焦点对准图像整体的图像就会得到较高的评价。

[0013] 进而，在专利文献3所记载的技术中，虽然能够取出最佳构图，但却无法评价图像是否是很好地拍摄到的。另外，在这一技术中，当在图像中没有作为拍摄物的人的脸部的情况下就无法取出最佳构图。

发明内容

[0014] 本发明就是鉴于这种状况而完成的，其目的是能够更确切地评价作为评价对象的图像是否是清晰地拍下了拍摄物的图像。

[0015] 本发明的第一方面的图像处理装置具备：生成单元，基于输入图像生成用于确定上述输入图像上的拍摄物区域的拍摄物确定信息；和检测单元，使用上述拍摄物确定信息以及上述输入图像，将上述输入图像中的包含上述拍摄物的区域作为处理对象来检测上述拍摄物的模糊情况。

[0016] 可以在上述生成单元中设置：信息映射生成单元，从上述输入图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述输入图像的各区域的上述特征量的信息映射；和拍摄物确定信息生成单元，通过对多个表示相互不同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物确定信息。

[0017] 在上述检测单元中可以通过检测出上述拍摄物区域内的边缘的强度来检测出上述拍摄物的模糊情况。

[0018] 在上述信息映射生成单元中，可以从上述输入图像中提取上述特征量，并生成表示上述输入图像的各区域的上述特征量的特征图像，并且基于上述特征图像生成分辨率互不相同的多个上述特征图像，并通过求解上述多个上述特征图像的差分来生成上述信息映射。

[0019] 本发明第一方面的图像处理方法或者程序包括如下步骤：基于输入图像生成用于确定上述输入图像上的拍摄物区域的拍摄物确定信息；使用上述拍摄物确定信息以及上述输入图像，将上述输入图像中的包含上述拍摄物的区域作为处理对象来检测上述拍摄物的模糊情况。

[0020] 在本发明第一方面中，基于输入图像生成了用于确定上述输入图像上的拍摄物区域的拍摄物确定信息；使用上述拍摄物确定信息以及上述输入图像，将上述输入图像中的包含上述拍摄物的区域作为处理对象来检测出上述拍摄物的模糊情况。 [0021] 本发明的第二方面的学习装置是一种通过基于神经网络的学习来求解为了生成拍摄物映射而使用的加权的学习装置，所述拍摄物映射用于确定图像上的拍摄物区域，所述学习装置具备：信息映射生成单元，从包含上述拍摄物的、被用于上述学习的学习图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述学习图像的各区域的上述特征量的信息映射；拍摄物映射生成单元，通过使用上述加权对多个表示互不相同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物映射；加权变化量计算单元，使用上述拍摄物映射和预先求出的表示上述学习图像中的上述拍摄物区域的图像标签，来计算应当使上述加权变化的变化量；和更新单元，将上述变化量与上述加权相加来更新上述加权。

[0022] 本发明的第二方面的学习方法或者程序是一种通过基于神经网络的学习来求解为了生成拍摄物映射而使用的加权的学习方法或者程序，所述拍摄物映射用于确定图像上的拍摄物区域，所述学习方法或者程序包含如下步骤：从包含上述拍摄物的、被用于上述学习的学习图像中提取上述拍摄物区域具有的特征的特征量，并生成表示上述学习图像的各 区域的上述特征量的信息映射，通过使用上述加权对多个表示互不相同的上述特征的上述特征量的上述信息映射进行加权相加运算来生成上述拍摄物映射，使用上述拍摄物映射和预先求出的表示上述学习图像中的上述拍摄物区域的图像标签，来计算应当使上述加权变化的变化量，将上述变化量与上述加权相加来更新上述加权。

[0023] 在本发明的第二方面中，在通过基于神经网络的学习来求解为了生成拍摄物映射而使用的加权的学习处理中，所述拍摄物映射用于确定图像上的拍摄物区域，其中，从包含上述拍摄物的、被用于上述学习的学习图像中提取了上述拍摄物区域具有的特征的特征量，并生成了表示上述学习图像的各区域的上述特征量的信息映射，并且通过使用上述加权对多个表示互不相同的上述特征的上述特征量的上述信息映射进行加权相加运算生成了上述拍摄物映射，使用上述拍摄物映射和预先求出的表示上述学习图像中的上述拍摄物区域的图像标签，计算出应当使上述加权变化的变化量，并将上述变化量与上述加权相加来更新上述加权。

[0024] 根据本发明的第一方面，能够评价图像。特别是根据本发明的第一方面，能够更确切地选择被推定为清晰地拍下了拍摄物的图像。

[0025] 另外，根据本发明的第二方面，能够求解为了评价图像而使用的加权。特别是，根据本发明的第二方面，能够提供为了更确切地选择被推定为清晰地拍下了拍摄物的图像而使用的加权。

附图说明

[0026] 图1是表示应用了本发明的图像处理装置的一实施方式的构成例的图。 [0027] 图2是表示亮度信息提取部的构成例的图。

[0028] 图3是表示颜色信息提取部的构成例的图。

[0029] 图4是表示边缘信息提取部的构成例的图。

[0030] 图5是表示脸部信息提取部的构成例的图。

[0031] 图6是表示运动信息提取部的构成例的图。

[0032] 图7是表示模糊判定部的构成例的图。

[0033] 图8是说明图像评价处理的流程图。

[0034] 图9是说明亮度信息提取处理的流程图。

[0035] 图10是说明颜色信息提取处理的流程图。

[0036] 图11是说明边缘信息提取处理的流程图。

[0037] 图12是说明脸部信息提取处理的流程图。

[0038] 图13是说明运动信息提取处理的流程图。

[0039] 图14是说明模糊判定处理的流程图。

[0040] 图15是对边缘映射的生成进行说明的图。

[0041] 图16是对局部最大值的生成进行说明的图。

[0042] 图17是表示边缘的构造的例的图。

[0043] 图18是说明基于神经网络的学习的概要的图。

[0044] 图19是说明基于神经网络的学习的概要的图。

[0045] 图20是表示应用了本发明的学习装置的一实施方式的构成例的图。 [0046] 图21是表示拍摄物提取部的构成例的图。

[0047] 图22是表示亮度信息提取部的构成例的图。

[0048] 图23是表示颜色信息提取部的构成例的图。

[0049] 图24是表示边缘信息提取部的构成例的图。

[0050] 图25是表示加权计算部的构成例的图。

[0051] 图26是说明学习处理的流程图。

[0052] 图27是表示图像评价系统的构成例的图。

[0053] 图28是表示计算机的构成例的图。

[0054] 附图标记说明

[0055] 11图像处理装置；41亮度信息提取部；42颜色信息提取部；43边缘信息提取部；44脸部信息提取部；45运动信息提取部；46拍摄物映射生成部；51模糊判定部；54得分计算部；84亮度信息映射生成部；117颜色信息映射生成部；118颜色信息映射生成部；153至
156边缘信息映射生成部；182脸部信息映射生成部；214运动信息映射生成部；241边缘映射生成部；245边缘点提取部；246提取量判定部；247边缘分析部；248模糊度检测部；301学习装置；311拍摄物提取部；312加权计算部

具体实施方式

[0056] 以下，参照附图就应用了本发明的实施方式进行说明。

[0057] [图像处理装置的构成]

[0058] 图1是表示应用了本发明的图像处理装置的一实施方式的构成例的框图。 [0059] 图像处理装置11例如被搭载在照相机等摄像装置上，对拍摄到的输入图像进行评价。在输入图像的评价中，输入图像上的拍摄物不模糊闪动而被推定为清晰地拍下的输入图像，就认为是很好地拍摄的图像即最佳照片。相反地，拍摄物模糊不清或者曝光过度的输入图像则认为是未很好地拍摄的图像即劣质照片。

[0060] 也就是说，越是被推定为清晰地拍下了拍摄物的输入图像，则越认为是值得用户欣赏的图像而被赋予越高的评价值(得分)。而且，例如，在输入图像的评价值大于等于规定阈值的情况下就认为输入图像是最佳照片。

[0061] 图像处理装置11由拍摄物提取部21以及判定部22所构成，通过拍摄而获得的输入图像被提供给拍摄物提取部21以及判定部22。

[0062] 拍摄物提取部21从被提供的输入图像中检测出拍摄物，生成用于 确定输入图像中的包含拍摄物的区域的信息即拍摄物映射并提供给判定部22。这里，设被推定为在用户看了输入图像一眼时用户将会注意的输入图像上的物体、也就是说被推定为用户的目光投向的物体是拍摄物，来进行拍摄物的检测。因此，拍摄物未必限于人。 [0063] 拍摄物提取部21由亮度信息提取部41、颜色信息提取部42、边缘信息提取部43、脸部信息提取部44、运动信息提取部45以及拍摄物映射生成部46所构成。 [0064] 亮度信息提取部41基于被提供的输入图像，生成表示输入图像的各区域的与亮度有关的信息的亮度信息映射，并提供给拍摄物映射生成部46。颜色信息提取部42基于被提供的输入图像，生成表示输入图像的各区域的与颜色有关的信息的颜色信息映射，并提供给拍摄物映射生成部46。

[0065] 边缘信息提取部43基于被提供的输入图像，生成表示输入图像的各区域的与边缘有关的信息的边缘信息映射，并提供给拍摄物映射生成部46。脸部信息提取部44基于被提供的输入图像，生成表示输入图像的各区域的与作为拍摄物的人的脸部有关的信息的脸部信息映射，并提供给拍摄物映射生成部46。运动信息提取部45基于被提供的输入图像，生成表示输入图像的各区域的与运动有关的信息的运动信息映射，并提供给拍摄物映射生成部46。

[0066] 此外，以下在无需一一区别从亮度信息提取部41至运动信息提取部45输出的、亮度信息映射至运动信息映射的每个的情况下，也简称为信息映射。这些信息映射中包含的信息被设为是表示在包含拍摄物的区域中较多包含的特征的特征量的信息，将该信息与输入图像的各区域对应起来排列而形成的就是信息映射。也就是说，信息映射可以说是表示输入图像的各区域的特征量的信息。

[0067] 从而，各信息映射中的对应于信息量较多的区域、也就是特征量较多的区域的输入图像上的区域就是包含拍摄物的可能性较高的区域，能够根据各信息映射来确定输入图像中的包含拍摄物的区域。

[0068] 拍摄物映射生成部46将亮度信息提取部41至运动信息提取部45 所提供的亮度信息映射、颜色信息映射、边缘信息映射、脸部信息映射以及运动信息映射进行线性结合，生成拍摄物映射。亦即，按每个位于相同位置的区域对亮度信息映射至运动信息映射的各区域的信息(特征量)进行加权相加运算来生成拍摄物映射。拍摄物映射生成部46将所生成的拍摄物映射提供给判定部22。

[0069] 判定部22使用被提供的输入图像和从拍摄物提取部21的拍摄物映射生成部46提供的拍摄物映射，来计算并输出作为输入图像的评价指标的得分。判定部22由模糊判定部51、曝光判定部52、白平衡判定部53以及得分计算部54构成。

[0070] 模糊判定部51使用被提供的输入图像和从拍摄物映射生成部46提供的拍摄物映射，将输入图像中的包含拍摄物的区域作为处理对象来检测拍摄物的模糊情况(模糊的程度)，并将其检测结果提供给得分计算部54。

[0071] 曝光判定部52基于被提供的输入图像检测输入图像整体上的曝光的适当程度，并将其检测结果提供给得分计算部54。另外，白平衡判定部53基于被提供的输入图像检测输入图像整体上的白平衡的适当程度，并将其检测结果提供给得分计算部54。得分计算部54基于分别从模糊判定部51、曝光判定部52以及白平衡判定部53提供的检测结果来计算并输出输入图像的得分。

[0072] 接着，参照图2至图7，就图1的亮度信息提取部41至运动信息提取部45以及模糊判定部51的更为详细的构成进行说明。

[0073] 图2是表示亮度信息提取部41的构成例的框图。

[0074] 亮度信息提取部41由亮度图像生成部81、塔式(Pyramid)图像生成部82、差分计算部83以及亮度信息映射生成部84所构成。

[0075] 亮度图像生成部81使用被提供的输入图像，生成将输入图像的像素的亮度值作为像素的像素值的亮度图像，并提供给塔式图像生成部82。这里，亮度图像任意像素的像素值表示与该像素处于相同位置的输入图像像素的亮度值。

[0076] 塔式图像生成部82使用从亮度图像生成部81提供的亮度图像，生成多个分辨率互不相同的亮度图像，并将这些亮度图像作为亮度的塔式图像提供给差分计算部83。 [0077] 例如，生成从等级L1至等级L8的8个分辨率层次的塔式图像，并设等级L1的塔式图像的分辨率最高，塔式图像的分辨率从等级L1到等级L8按顺序变低。 [0078] 在此情况下，设由亮度图像生成部81生成的亮度图像为等级L1的塔式图像。另外，设等级Li(其中，1≤i≤7)的塔式图像中的、相互邻接的4个像素的像素值的平均值为与这些像素相对应的等级L(i+1)的塔式图像的一个像素的像素值。从而，等级L(i+1)的塔式图像就成为相对于等级Li的塔式图像纵横二分之一(在除不开的情况下舍去)的图像。

[0079] 差分计算部83选择从塔式图像生成部82提供的多个塔式图像之中的、层次互不相同的两个塔式图像，求解所选择的塔式图像的差分来生成亮度的差分图像。此外，因各层次的塔式图像的大小(像素数)各不相同，故在生成差分图像时，使较小一方的塔式图像配合较大的塔式图像实施向上转换。

[0080] 若按预先决定的数量生成了亮度的差分图像，差分计算部83就使所生成的这些差分图像标准化，并提供给亮度信息映射生成部84。亮度信息映射生成部84基于从差分计算部83提供的差分图像生成亮度信息映射，并提供给拍摄物映射生成部46。 [0081] 图3是表示图1的颜色信息提取部42的构成例的框图。

[0082] 颜色信息提取部42由RG差分图像生成部111、BY差分图像生成部112、塔式图像生成部113、塔式图像生成部114、差分计算部115、差分计算部116、颜色信息映射生成部117以及颜色信息映射生成部118构成。

[0083] RG差分图像生成部111使用被提供的输入图像，生成将输入图像的像素的R(红)成分与G(绿)成分之间的差分作为像素的像素值的RG差分图像，并提供给塔式图像生成部113。RG差分图像的任意像素的像素值表示与该像素处于相同位置的输入图像的像素的R成分与G成分之间的 差分的值。

[0084] BY差分图像生成部112使用被提供的输入图像，生成将输入图像的像素的B(蓝)成分与Y(黄)成分之间的差分作为像素的像素值的BY差分图像，并提供给塔式图像生成部114。BY差分图像的任意像素的像素值表示与该像素处于相同位置的输入图像的像素的B(蓝)成分与Y(黄)成分之间的差分的值。

[0085] 塔式图像生成部113以及塔式图像生成部114使用从RG差分图像生成部111以及BY差分图像生成部112提供的RG差分图像以及BY差分图像，生成多个分辨率互不相同的RG差分图像以及BY差分图像。而且，塔式图像生成部113以及塔式图像生成部114将所生成的这些RG差分图像以及BY差分图像作为RG差分的塔式图像以及BY差分的塔式图像提供给差分计算部115以及差分计算部116。

[0086] 例如，与亮度的塔式图像的情况相同，分别生成从等级L1到等级L8的8个分辨率层次的塔式图像作为RG差分的塔式图像以及BY差分的塔式图像。

[0087] 差分计算部115以及差分计算部116选择从塔式图像生成部113以及塔式图像生成部114提供的多个塔式图像之中的、层次互不相同的2个塔式图像，求解所选择的塔式图像的差分来生成RG差分的差分图像以及BY差分的差分图像。此外，各层次的塔式图像的大小各不相同，故在生成差分图像时，对较小一方的塔式图像实施向上转换使其成为与较大一方的塔式图像相同的大小。

[0088] 若按预先决定的数量生成了RG差分的差分图像以及BY差分的差分图像，差分计算部115以及差分计算部116就使所生成的这些差分图像标准化，并提供给颜色信息映射生成部117以及颜色信息映射生成部118。颜色信息映射生成部117以及颜色信息映射生成部118基于从差分计算部115以及差分计算部116提供的差分图像生成颜色信息映射，并提供给拍摄物映射生成部46。在颜色信息映射生成部117中生成RG差分的颜色信息映射，在颜色信息映射生成部118中生成BY差分的颜色信息映射。

[0089] 图4是表示图1的边缘信息提取部43的构成例的框图。

[0090] 边缘信息提取部43由边缘图像生成部141至边缘图像生成部144、塔式图像生成部145至塔式图像生成部148、差分计算部149至差分计算部152、以及边缘信息映射生成部153至边缘信息映射生成部156构成。

[0091] 边缘图像生成部141至边缘图像生成部144对被提供的输入图像实施采用了伽柏滤波器的滤波处理，生成例如将0度、45度、90度以及135度方向的边缘强度作为像素的像素值的边缘图像，并提供给塔式图像生成部145至塔式图像生成部148。 [0092] 例如，由边缘图像生成部141生成的边缘图像的任意像素的像素值表示与该像素处于相同位置的输入图像的像素中的0度方向的边缘强度。此外，各边缘的方向是指构成伽柏滤波器的伽柏函数中的角度成分所示的方向。

[0093] 塔式图像生成部145至塔式图像生成部148使用从边缘图像生成部141至边缘图像生成部144提供的各方向的边缘图像，生成分辨率互不相同的多个边缘图像。而且，塔式图像生成部145至塔式图像生成部148将所生成的这些各方向的边缘图像作为边缘各方向的塔式图像提供给差分计算部149至差分计算部152。

[0094] 例如，与亮度的塔式图像的情况相同，分别生成从等级L1到等级L8的8个层次的塔式图像作为边缘各方向的塔式图像。

[0095] 差分计算部149至差分计算部152选择从塔式图像生成部145至塔式图像生成部148提供的多个塔式图像之中的、层次互不相同的2个塔式图像，求解所选择的塔式图像的差分来生成边缘各方向的差分图像。此外，各层次的塔式图像的大小各不相同，故在生成差分图像时，对较小一方的塔式图像实施向上转换。

[0096] 若按预先决定的数量生成了边缘各方向的差分图像，差分计算部149至差分计算部152就使所生成的这些差分图像标准化，并提供给边缘信息映射生成部153至边缘信息映射生成部156。边缘信息映射生成部153至边缘信息映射生成部156基于从差分计算部149至差分计算部 152提供的差分图像，生成各方向的边缘信息映射，并提供给拍摄物映射生成部46。

[0097] 图5是表示图1的脸部信息提取部44的构成例的框图。

[0098] 脸部信息提取部44由脸部检测部181以及脸部信息映射生成部182构成。 [0099] 脸部检测部181从被提供的输入图像中检测出作为拍摄物的人的脸部区域，并将其检测结果提供给脸部信息映射生成部182。脸部信息映射生成部182基于来自脸部检测部181的检测结果生成脸部信息映射，并提供给拍摄物映射生成部46。

[0100] 图6是表示图1的运动信息提取部45的构成例的框图。

[0101] 运动信息提取部45由局部运动矢量提取部211、全局运动矢量提取部212、差分计算部213以及运动信息映射生成部214所构成。

[0102] 局部运动矢量提取部211使用被提供的输入图像和拍摄时刻不同于该输入图像的其他输入图像，检测出输入图像的各像素的运动矢量作为局部运动矢量，并提供给差分计算部213。全局运动矢量提取部212使用被提供的输入图像和拍摄时刻不同于该输入图像的其他输入图像，求解输入图像的各像素的运动矢量，进而例如将这些各像素的运动矢量的平均值设为全局运动矢量，提供给差分计算部213。此全局运动矢量表示输入图像整体的运动方向。

[0103] 差分计算部213求解来自局部运动矢量提取部211的局部运动矢量与来自全局运动矢量提取部212的全局运动矢量之间的差分的绝对值来生成运动差分图像，并提供给运动信息映射生成部214。这里，运动差分图像中的任意像素的像素值表示与该像素处于相同位置的输入图像的像素的局部运动矢量和输入图像整体的全局运动矢量之间的差分的绝对值。从而，运动差分图像的像素的像素值表示输入图像的像素所表示的物体(或者背景)相对于输入图像整体的、也就是说相对于背景的相对运动量。

[0104] 运动信息映射生成部214基于来自差分计算部213的运动差分图像 生成运动信息映射，并提供给拍摄物映射生成部46。此外，更详细而言，在作为输入图像被提供了时间上连续拍摄的图像时，例如输入图像为连拍的图像或运动图像时进行运动信息映射的生成。

[0105] 图7是表示图1的模糊判定部51的构成例的框图。

[0106] 模糊判定部51由边缘映射生成部241、动态范围检测部242、运算参数调整部243、局部最大值生成部244、边缘点提取部245、提取量判定部246、边缘分析部247以及模糊度检测部248所构成。

[0107] 边缘映射生成部241使用被提供的输入图像、和来自拍摄物映射生成部46的拍摄物映射，从输入图像中提取被推定为包含拍摄物的区域作为拍摄物图像。 [0108] 另外，边缘映射生成部241基于拍摄物图像，以大小互不相同的3种块为单位来检测出拍摄物图像边缘的强度(边缘强度)，并生成将所检测出的边缘强度作为像素值的边缘映射。按每个块的大小生成此边缘映射，并从块较小的开始按顺序设为标度SC1至标度SC3的边缘映射。边缘映射生成部241将所生成的这些3个边缘映射提供给动态范围检测部242以及局部最大值生成部244。

[0109] 动态范围检测部242使用来自边缘映射生成部241的边缘映射来检测拍摄物图像边缘强度的最大值与最小值的差即动态范围，并将其检测结果提供给运算参数调整部243。 [0110] 运算参数调整部243基于从动态范围检测部242提供的检测结果来调整用于边缘点提取的运算参数，以使得在拍摄物图像的模糊情况检测中所使用的边缘点的提取量(以下也称为边缘点提取量)成为适当的值。这里，边缘点是指图像内的构成边缘的像素。 [0111] 另外，在运算参数中包含用于判定是否为边缘点的边缘基准值、以及用于判定边缘点提取量是否适当的提取基准值。运算参数调整部243将边缘基准值提供给边缘点提取部245以及提取量判定部246，并将提取基准值提供给提取量判定部246。 [0112] 局部最大值生成部244，将从边缘映射生成部241提供的边缘映射 分别分割成规定大小的块，并提取各块的像素值的最大值，由此来生成局部最大值。按每个边缘映射的标度生成局部最大值，并从局部最大值生成部244提供给边缘点提取部245以及边缘分析部247。以下，将根据标度SC1至标度SC3的边缘映射所生成的局部最大值分别称为局部最大值LM1至局部最大值LM3。

[0113] 边缘点提取部245基于来自拍摄物映射生成部46的拍摄物映射、来自运算参数调整部243的边缘基准值、以及来自局部最大值生成部244的局部最大值，从拍摄物图像上的拍摄物区域提取边缘点。另外，边缘点提取部245生成表示所提取出的边缘点的信息的边缘点表，并提供给提取量判定部246。此外，以下将根据局部最大值LM1至局部最大值LM3的每个得到的边缘点表称为边缘点表ET1至边缘点表ET3。

[0114] 提取量判定部246基于来自边缘点提取部245的边缘点表、以及来自运算参数调整部243的提取基准值来判定边缘点提取量是否适当。提取量判定部246在边缘点提取量不适当的情况下，将表示边缘点提取量不适当的信息通知给运算参数调整部243，在边缘点提取量适当的情况下，将此时的边缘基准值以及边缘点表提供给边缘分析部247。 [0115] 边缘分析部247基于来自提取量判定部246的边缘点表，来分析拍摄物图像中的拍摄物区域的边缘点，并将其分析结果提供给模糊度检测部248。模糊度检测部248基于边缘点的分析结果来检测作为表示输入图像上的拍摄物的模糊情况的指标的模糊度，并将该模糊度提供给得分计算部54。

[0116] [图像处理装置的动作]

[0117] 若将输入图像提供给了图像处理装置11，图像处理装置11就开始图像评价处理，求解并输出表示针对输入图像的评价的得分。以下，参照图8的流程图就图像评价处理进行说明。

[0118] 在步骤S11中，亮度信息提取部41进行亮度信息提取处理，基于被提供的输入图像生成亮度信息映射，并提供给拍摄物映射生成部46。而且，在步骤S12中，颜色信息提取部42进行颜色信息提取处理，基于被提供的输入图像生成颜色信息映射，并提供给拍摄物映射生成部 46。

[0119] 在步骤S13中，边缘信息提取部43进行边缘信息提取处理，基于被提供的输入图像生成边缘信息映射，并提供给拍摄物映射生成部46。另外，在步骤S14中，脸部信息提取部44进行脸部信息提取处理，基于被提供的输入图像生成脸部信息映射，并提供给拍摄物映射生成部46。进而，在步骤S15中，运动信息提取部45进行运动信息提取处理，基于被提供的输入图像生成运动信息映射，并提供给拍摄物映射生成部46。

[0120] 此外，这些亮度信息提取处理、颜色信息提取处理、边缘信息提取处理、脸部信息提取处理以及运动信息提取处理的细节将在后叙述。另外，更详细而言，在未将时间上连续拍摄的输入图像提供给拍摄物提取部21的情况下不进行运动信息提取处理。 [0121] 在步骤S16中，拍摄物映射生成部46使用从亮度信息提取部41至运动信息提取部45提供的亮度信息映射至运动信息映射，生成拍摄物映射并提供给模糊判定部51。 [0122] 例如，拍摄物映射生成部46使用按每个信息映射预先求得的加权即信息加权Wb将各信息映射进行线性结合，进而，对作为其结果而获得的映射的像素值乘以预先求出的加权即拍摄物加权Wc来进行标准化并作为拍摄物映射。

[0123] 也就是说，若将现在要求解出的拍摄物映射上的要关注的位置(像素)设为关注位置，则对与各信息映射的关注位置相同的位置(像素)的像素值乘以针对每个信息映射的信息加权Wb，将乘以信息加权Wb后的像素值的总和设为关注位置的像素值。进而，对这样求出的拍摄物映射的各位置的像素值乘以针对拍摄物映射预先求出的拍摄物加权Wc来进行标准化，作为最终的拍摄物映射。

[0124] 此外，更详细而言，使用RG差分的颜色信息映射、BY差分的颜色信息映射作为颜色信息映射，并使用0度、45度、90度、135度的各个方向的边缘信息映射作为边缘信息映射，来生成拍摄物映射。另外，预先通过学习求得拍摄物加权Wc，并以使拍摄物映射的各像素的像素值成 为从0到1之间的值的方式实施标准化。

[0125] 在步骤S17中，模糊判定部51使用来自拍摄物映射生成部46的拍摄物映射和被提供的输入图像进行模糊判定处理以检测出模糊度，并将其模糊度提供给得分计算部54。此外，此模糊判定处理的细节将在后叙述，在模糊判定处理中，使用拍摄物映射来检测出输入图像中的拍摄物区域的模糊情况。

[0126] 在步骤S18中，曝光判定部52进行曝光判定处理，以检测出输入图像整体上的曝光的适当程度，并将其检测结果提供给得分计算部54。例如，曝光判定部52使用被提供的输入图像，来求解将横轴设为R(红)、G(绿)以及B(蓝)的各成分的值并将纵轴设为频数(像素的出现频率)的输入图像整体上的各成分的分布，并根据这些成分的分布来求解表示曝光的适当程度的值。例如根据在各成分的分布中的规定的横轴的值上的各成分的频数与预先决定的频数之间的差分决定此表示曝光的适当程度的值。

[0127] 在步骤S19中，白平衡判定部53进行白平衡判定处理，以检测出输入图像整体上的白平衡的适当程度，并将其检测结果提供给得分计算部54。例如，白平衡判定部53基于被提供的输入图像来求解输入图像整体的平均亮度，并将根据该平均亮度而决定的值设为表示白平衡的适当程度的值。

[0128] 此外，还可以是从拍摄物映射生成部46向曝光判定部52以及白平衡判定部53提供拍摄物映射，仅将根据拍摄物映射所确定的、输入图像上的拍摄物区域作为处理对象来进行曝光判定处理以及白平衡判定处理。

[0129] 在步骤S20中，得分计算部54基于分别从模糊判定部51、曝光判定部52、以及白平衡判定部53提供的检测结果来计算并输出输入图像的得分。

[0130] 例如，得分计算部54对被提供的作为检测结果的表示模糊度的值、表示曝光的适当程度的值以及表示白平衡的适当程度的值，使用预先求出的加权进行线性结合，并将作为其结果而得到的值设为针对输入图像 的得分。

[0131] 另外，还可以是，得分计算部54将表示输入图像是否为最佳照片的信息与所求出的得分一起进行输出。在这种情况下，在所求出的得分的值大于等于预先决定的阈值时就认为输入图像是最佳照片，在得分的值低于阈值时则认为输入图像是劣质照片。这样，若输出了针对输入图像的得分，则结束图像评价处理。

[0132] 如以上那样，图像处理装置11根据输入图像生成拍摄物映射，并使用拍摄物映射来检测输入图像中的拍摄物区域的模糊度。而且，图像处理装置11根据拍摄物的模糊度、输入图像的曝光的适当程度以及白平衡的适当程度来进行针对输入图像的评价。 [0133] 这样，通过使用拍摄物映射来检测输入图像中的拍摄物区域的模糊度，并基于其检测结果来求解针对输入图像的得分，就能够更确切地评价输入图像上的拍摄物是何种程度模糊不清、亦即清晰地拍下了拍摄物的清晰程度。从而，就能够更确切地判定作为评价对象的输入图像是否是被推定为值得用户欣赏的图像，也就是说是否是最佳照片，并能够简单且确切地仅选择评价较高的输入图像。

[0134] 具体而言，因在输入图像的得分中考虑了拍摄物的模糊度，故在输入图像上的拍摄物区域被推定为较模糊不清的情况下，则不论输入图像的拍摄物以外的区域(背景)是否模糊不清，输入图像的得分都较低。也就是说，如果输入图像中的拍摄物区域不模糊(如果焦点对准拍摄物)则输入图像的得分较高。从而，就能够防止在焦点对准输入图像的背景而拍摄物模糊不清的情况下，输入图像的得分较高而误判定为是最佳照片的情况。 [0135] 如果使用以上那样求出的得分，就能够从多个输入图像之中仅仅简单地挑选出被认为是最佳照片的输入图像。

[0136] 接着，参照图9至图13的流程图，就分别与图8的步骤S11至步骤S15的处理相对应的处理进行说明。

[0137] 首先，参照图9的流程图，就与图8的步骤S11的处理相对应的亮度信息提取处理进行说明。

[0138] 在步骤S51中，亮度图像生成部81使用被提供的输入图像生成亮度图像，并提供给塔式图像生成部82。例如，亮度图像生成部81对输入图像的像素R、G以及B的各成分的值乘以按每个成分预先决定的系数，并将乘以系数后的各成分的值的和设为与输入图像的像素处于相同位置的亮度图像的像素的像素值。也就是说，求解由亮度成分(Y)以及色差成分(Cb，Cr)所构成的组分(component)信号的亮度成分。此外，也可以将像素R、G以及B各成分的值的平均值设为亮度图像的像素的像素值。

[0139] 在步骤S52中，塔式图像生成部82基于从亮度图像生成部81提供的亮度图像，生成等级L1至等级L8的各层次的塔式图像，并提供给差分计算部83。

[0140] 在步骤S53中，差分计算部83使用从塔式图像生成部82提供的塔式图像生成差分图像并进行标准化，提供给亮度信息映射生成部84。以使差分图像的像素的像素值例如成为0至255之间的值的方式进行标准化。

[0141] 具体而言，差分计算部83求解各层次亮度的塔式图像之中的等级L6和等级L3、等级L7和等级L3、等级L7和等级L4、等级L8和等级L4、以及等级L8和等级L5的各层次的组合的塔式图像的差分。据此，获得合计5个亮度差分图像。

[0142] 例如，在生成等级L6和等级L3的组合的差分图像的情况下，对等级L6的塔式图像实施向上转换以配合等级L3的塔式图像的大小。也就是说，向上转换前的等级L6的塔式图像的一个像素的像素值成为与该像素相对应的、向上转换后的等级L6的塔式图像的相互邻接的几个像素的像素值。而且，求解等级L6的塔式图像的像素的像素值和与该像素处于相同位置的等级L3的塔式图像的像素的像素值之间的差分，并将该差分设为差分图像的像素的像素值。

[0143] 生成这些差分图像的处理等价于对亮度图像实施采用了带通滤波器的滤波处理从亮度图像中提取规定的频率成分。这样所获得的差分图像的像素的像素值表示各等级的塔式图像的亮度值的差、也就是表示输入图像中的规定的像素处的亮度和该像素周围的平均亮度的差。

[0144] 一般而言，在图像中与周围的亮度差较大的区域就是吸引观看该图像的人关注的区域，所以该区域是拍摄物区域的可能性较高。因此，可以说在各差分图像中像素值较大的像素表示是拍摄物区域的可能性较高的区域。

[0145] 在步骤S54中，亮度信息映射生成部84基于从差分计算部83提供的差分图像生成亮度信息映射，并提供给拍摄物映射生成部46。若亮度信息映射被从亮度信息映射生成部84提供给了拍摄物映射生成部46，就结束亮度信息提取处理，处理进入图8的步骤S12。 [0146] 例如，亮度信息映射生成部84利用预先求出的每个差分图像的加权即差分加权Wa对被提供的5个差分图像进行加权相加运算，求得一个图像。亦即，对各差分图像的处于相同位置的像素的像素值的每个乘以差分加权Wa，求得乘以差分加权Wa后的像素值的总和。

[0147] 此外，在生成亮度信息映射时，进行差分图像的向上转换以使各差分图像成为相同大小。

[0148] 这样，亮度信息提取部41根据输入图像求得亮度图像，并根据该亮度图像生成亮度信息映射。根据这样获得的亮度信息映射，就能够在输入图像中简单地检测出亮度差较大的区域、也就是看了输入图像一眼的观察者易于关注的区域。

[0149] 接着，参照图10的流程图，就与图8的步骤S12的处理相对应的颜色信息提取处理进行说明。

[0150] 在步骤S81中，RG差分图像生成部111使用被提供的输入图像生成RG差分图像，并提供给塔式图像生成部113。

[0151] 在步骤S82中，BY差分图像生成部112使用被提供的输入图像生成BY差分图像，并提供给塔式图像生成部114。

[0152] 在步骤S83中，塔式图像生成部113以及塔式图像生成部114使用来自RG差分图像生成部111的RG差分图像、以及来自BY差分图像生成部112的BY差分图像生成塔式图像。

[0153] 例如，塔式图像生成部113通过生成分辨率不同的多个RG差分图 像来生成等级L1至等级L8的各层次的塔式图像，并提供给差分计算部115。同样地，塔式图像生成部114通过生成分辨率不同的多个BY差分图像来生成等级L1至等级L8的各层次的塔式图像，并提供给差分计算部116。

[0154] 在步骤S84中，差分计算部115和差分计算部116基于从塔式图像生成部113和塔式图像生成部114提供的塔式图像生成差分图像并进行标准化，提供给颜色信息映射生成部117和颜色信息映射生成部118。通过差分图像的标准化，例如使像素的像素值成为0至255之间的值。

[0155] 例如，差分计算部115求解各层次的RG差分的塔式图像之中的等级L6和等级L3、等级L7和等级L3、等级L7和等级L4、等级L8和等级L4、以及等级L8和等级L5的各层次的组合的塔式图像的差分。据此，获得合计5个RG差分的差分图像。

[0156] 同样地，差分计算部116求解各层次的BY差分的塔式图像之中的等级L6和等级L3、等级L7和等级L3、等级L7和等级L4、等级L8和等级L4、以及等级L8和等级L5的各层次的组合的塔式图像的差分。据此，获得合计5个BY差分的差分图像。

[0157] 生成这些差分图像的处理等价于对RG差分图像或者BY差分图像实施使用了带通滤波器的滤波处理从RG差分图像或者BY差分图像中提取出规定的频率成分。这样获得的差分图像的像素的像素值表示各等级的塔式图像的特定颜色成分的差、也就是表示输入图像的像素中的特定颜色的成分和该像素周围的平均的特定颜色的成分之间的差分。 [0158] 一般而言，在图像中与周围相比颜色显眼的区域、也就是说特定颜色成分与周围的差分较大的区域就是吸引观看该图像的人关注的区域，所以该区域是拍摄物区域的可能性较高。因此，可以说在各差分图像中像素值较大的像素表示是拍摄物区域的可能性较高的区域。

[0159] 在步骤S85中，颜色信息映射生成部117和颜色信息映射生成部118使用来自差分计算部115的差分图像、和来自差分计算部116的差分图像生成颜色信息映射，并提供给拍摄物映射生成部46。

[0160] 例如，颜色信息映射生成部117利用预先求出的按每个差分图像 的差分加权Wa对从差分计算部115提供的RG差分的差分图像进行加权相加运算，作为一个RG差分的颜色信息映射。

[0161] 同样地，颜色信息映射生成部118利用预先求出的差分加权Wa对从差分计算部116提供的BY差分的差分图像进行加权相加运算，作为一个BY差分的颜色信息映射。此外，在生成颜色信息映射时，进行差分图像的向上转换以使各差分图像成为相同的大小。 [0162] 若颜色信息映射生成部117和颜色信息映射生成部118将这样获得的RG差分的颜色信息映射、和BY差分的颜色信息映射提供给了拍摄物映射生成部46，就结束颜色信息提取处理，处理进入图8的步骤S13。

[0163] 这样，颜色信息提取部42根据输入图像求得特定颜色成分的差分的图像，并根据该图像生成颜色信息映射。根据这样获得的颜色信息映射，就能够在输入图像中简单地检测出特定颜色成分的差较大的区域、也就是说看了输入图像一眼的观察者易于关注的区域。

[0164] 此外，虽然说明的是由颜色信息提取部42提取R(红)成分和G(绿)成分的差分、以及B(蓝)成分和Y(黄)成分之间的差分，作为从输入图像提取的颜色的信息，但也可以提取色差成分Cr和色差成分Cb等。这里，色差成分Cr是R成分和亮度成分之间的差分，色差成分Cb是B成分和亮度成分之间的差分。

[0165] 图11是说明与图8的步骤S13的处理相对应的边缘信息提取处理的流程图。以下，就这一边缘信息提取处理进行说明。

[0166] 在步骤S111中，边缘图像生成部141至边缘图像生成部144对被提供的输入图像实施采用了伽柏滤波器的滤波处理，生成将0度、45度、90度以及135度方向的边缘强度设为像素的像素值的边缘图像。而且，边缘图像生成部141至边缘图像生成部144将所生成的边缘图像提供给塔式图像生成部145至塔式图像生成部148。

[0167] 在步骤S112中，塔式图像生成部145至塔式图像生成部148使用来自边缘图像生成部141至边缘图像生成部144的边缘图像生成塔式图像，并提供给差分计算部149至差分计算部152。

[0168] 例如，塔式图像生成部145通过生成分辨率不同的多个0度方向的边缘图像来生成等级L1至等级L8的各层次的塔式图像，并提供给差分计算部149。同样地，塔式图像生成部146至塔式图像生成部148生成等级L1至等级L8的各层次的塔式图像并提供给差分计算部150至差分计算部152。

[0169] 在步骤S113中，差分计算部149至差分计算部152使用来自塔式图像生成部145至塔式图像生成部148的塔式图像生成差分图像并进行标准化，提供给边缘信息映射生成部153至边缘信息映射生成部156。例如以使像素的像素值成为0至255之间的值的方式进行差分图像的标准化。

[0170] 例如，差分计算部149求解从塔式图像生成部145提供的各层次的0度方向的边缘塔式图像之中的等级L6和等级L3、等级L7和等级L3、等级L7和等级L4、等级L8和等级L4以及等级L8和等级L5的组合的塔式图像的差分。据此，获得合计5个边缘差分图像。 [0171] 同样地，差分计算部150至差分计算部152求解各层次的塔式图像之中的等级L6和等级L3、等级L7和等级L3、等级L7和等级L4、等级L8和等级L4以及等级L8和等级L5的各层次的组合的塔式图像的差分。据此，关于各方向的边缘分别获得合计5个差分图像。 [0172] 生成这些差分图像的处理等价于对边缘图像实施使用了带通滤波器的滤波处理从边缘图像中提取规定的频率成分。这样获得的差分图像的像素的像素值表示各等级塔式图像的边缘强度的差、也就是说表示输入图像的规定位置的边缘强度和该位置周围的平均的边缘强度之间的差。

[0173] 一般而言，在图像中与周围相比边缘强度较强的区域就是吸引观看该图像的人关注的区域，所以该区域是拍摄物区域的可能性较高。因此，可以说在各差分图像中像素值较大的像素表示是拍摄物区域的可能性较高的区域。

[0174] 在步骤S114中，边缘信息映射生成部153至边缘信息映射生成部156使用来自差分计算部149至差分计算部152的差分图像生成各方向 的边缘信息映射，并提供给拍摄物映射生成部46。

[0175] 例如，边缘信息映射生成部153利用预先求出的差分加权Wa对从差分计算部149提供的差分图像进行加权相加运算并设为0度方向的边缘信息映射。

[0176] 同样地，边缘信息映射生成部154利用差分加权Wa对来自差分计算部150的差分图像进行加权相加运算，边缘信息映射生成部155利用差分加权Wa对来自差分计算部151的差分图像进行加权相加运算，边缘信息映射生成部156利用差分加权Wa对来自差分计算部152的差分图像进行加权相加运算。据此，获得45度、90度以及135度的各方向的边缘信息映射。此外，在生成边缘信息映射时，进行差分图像的向上转换以使各差分图像成为相同的大小。

[0177] 若边缘信息映射生成部153至边缘信息映射生成部156将这样获得的各方向合计4个边缘信息映射提供给了拍摄物映射生成部46，就结束边缘信息提取处理，处理进入图8的步骤S14。

[0178] 这样，边缘信息提取部43根据输入图像求解特定方向的边缘差分图像，并根据该差分图像生成边缘信息映射。根据这样获得的每个方向的边缘信息映射，就能够在输入图像中简单地检测出与周围区域相比朝向特定方向的边缘强度较大的区域、也就是说看了输入图像一眼的观察者易于关注的区域。

[0179] 此外，虽然说明的是在边缘信息提取处理中，在边缘提取上使用了伽柏滤波器，但除此以外还可以采用索伯尔(Sobel)滤波器或罗伯特(Roberts)滤波器等边缘提取滤波器。

[0180] 另外，参照图9至图11所说明的从图像中提取亮度、颜色、边缘等信息的方法例如被详细地记载于“Laurent Itti，Christof Koch，andErnst Niebur，″A Model of Saliency-Based Visual Attention forRapid Scene Analysis″”。

[0181] 下面，参照图12的流程图，对与图8的步骤S14的处理相对应的脸部信息提取处理进行说明。

[0182] 在步骤S141中，脸部检测部181从被提供的输入图像中检测人的脸部区域，并将其检测结果提供给脸部信息映射生成部182。例如，脸部检测部181对输入图像实施使用了伽柏滤波器的滤波处理，通过从输入图像中提取人的眼、口、鼻等特征性区域来检测出输入图像中的脸部区域。

[0183] 在步骤S142中，脸部信息映射生成部182使用来自脸部检测部181的检测结果生成脸部信息映射，并提供给拍摄物映射生成部46。

[0184] 例如，检测出多个被推定为包含脸部的输入图像上的矩形区域(以下称为候补区域)作为从输入图像检测出的脸部检测结果。这里，设，在输入图像上规定的位置附近检测出多个候补区域，这些候补区域的一部分有时相互重叠。亦即，例如在对于输入图像上的一个脸部区域，获得了包含该脸部的多个区域作为候补区域的情况下，这些候补区域的一部分就会相互重叠。

[0185] 脸部信息映射生成部182对通过脸部检测所获得的候补区域，按每个候补区域生成与输入图像大小相同的检测图像。对于此检测图像，将检测图像上的与作为处理对象的候补区域相同的区域内的像素的像素值设为比与候补区域不同的区域内的像素的像素值大的值。

[0186] 另外，对于检测图像上的像素的像素值，越是与被推定为包含人的脸部的可能性较高的候补区域的像素相同位置的像素，像素值越大。脸部信息映射生成部182将这样获得的检测图像加在一起，生成一个图像并进行标准化，作为脸部信息映射。从而，在脸部信息映射上，对于输入图像上的多个候补区域的一部分重叠的区域，与此区域相同的区域的像素的像素值较大，包含脸部的可能性高。此外，以使脸部信息映射的像素的像素值成为例如0至255之间的值的方式进行标准化。

[0187] 若生成了脸部信息映射，就结束脸部信息提取处理，处理进入图8的步骤S15。 [0188] 这样，脸部信息提取部44从输入图像中检测脸部，并根据其检测结果生成脸部信息映射。根据这样获得的脸部信息映射，就能够在输入图像中简单地检测出作为拍摄物的人的脸部区域。

[0189] 进而，参照图13的流程图，就与图8的步骤S15的处理相对应的运动信息提取处理进行说明。

[0190] 在步骤S171中，局部运动矢量提取部211使用被提供的输入图像，通过梯度法等来检测输入图像各像素的局部运动矢量，并提供给差分计算部213。

[0191] 在步骤S172中，全局运动矢量提取部212使用被提供的输入图像来检测全局运动矢量，并提供给差分计算部213。

[0192] 在步骤S173中，差分计算部213求解来自局部运动矢量提取部211的局部运动矢量、和来自全局运动矢量提取部212的全局运动矢量之间的差分的绝对值生成运动差分图像。而且，差分计算部213将所生成的运动差分图像提供给运动信息映射生成部214。 [0193] 在步骤S174中，运动信息映射生成部214将从差分计算部213提供的差分图像进行标准化作为运动信息映射，并提供给拍摄物映射生成部46。这里，以使各像素的像素值成为例如0至255之间的值的方式进行差分图像的标准化。若生成了运动信息映射，就结束运动信息提取处理，处理进入图8的步骤S16。

[0194] 这样，运动信息提取部45根据输入图像检测运动，并根据其检测结果生成运动信息映射。根据这样获得的运动信息映射，就能够在输入图像中简单地检测出有运动的物体的区域。在输入图像中有运动的物体的区域就是看了输入图像一眼的观察者易于关注的区域，作为拍摄物的可能性较高。

[0195] 通过在以上所说明的亮度信息提取处理至运动信息提取处理获得各信息映射，并根据这些信息映射生成拍摄物映射。

[0196] 下面，参照图14的流程图，对与图8的步骤S17的处理相对应的模糊判定处理进行说明。

[0197] 在步骤S211中，边缘映射生成部241使用被提供的输入图像和来自拍摄物映射生成部46的拍摄物映射生成边缘映射。

[0198] 具体而言，边缘映射生成部241使用拍摄物映射从输入图像中提 取拍摄物图像。亦即，将输入图像中的与像素值大于等于规定值的拍摄物映射的像素是相同像素的区域设为输入图像上的拍摄物区域，将包含该区域的输入图像上的规定大小的区域设为拍摄物图像。

[0199] 另外，边缘映射生成部241将拍摄物图像分割成2×2像素大小的块，并根据下式(1)至式(6)来计算出各块内的像素之间的像素值的差分的绝对值MTL-TR至绝对值MBL-BR。 [0200] 数学公式1

[0201] MTL-TR＝|a-b| …(1)

[0202] MTL-BL＝|a-c| …(2)

[0203] MTL-BR＝|a-d| …(3)

[0204] MTR-BL＝|b-c| …(4)

[0205] MTR-BR＝|b-d| …(5)

[0206] MBL-BR＝|c-d| …(6)

[0207] 此外，在式(1)至式(6)中，a、b、c、d分别表示拍摄物图像的2×2像素大小的块内的像素的像素值。例如，如图15所示那样，像素值a表示块内的图中左上像素的像素值。另外，像素值b表示图中块内右上像素的像素值，像素值c表示块内左下像素的像素值，像素值d表示块内右下像素的像素值。

[0208] 接着，边缘映射生成部241根据下式(7)来计算绝对值MTL-TR至绝对值MBL-BR的平均值MAve。此平均值MAve表示块内上下、左右以及斜向的边缘强度的平均值。 [0209] 数学公式2

[0210]

[0211] 边缘映射生成部241通过将计算出的平均值MAve按与拍摄物图像的对应块相同的顺序进行排列，来生成标度SC1的边缘映射。

[0212] 进而，边缘映射生成部241为了生成标度SC2以及标度SC3的边缘映射，利用下式(8)生成标度SC2以及标度SC3的平均化图像。

[0213] 数学公式3

[0214]

[0215] 此外，在式(8)中，Pi(x，y)表示标度SCi(其中，1≤i≤3)的平均化图像中的位于坐标(x，y)的像素的像素值。另外，Pi+1(x，y)表示标度SCi+1的平均化图像中的位于坐标(x，y)的像素的像素值。此外，设标度SC1的平均化图像为拍摄物图像。从而，标度SC2的平均化图像就是以将拍摄物图像分割成2×2像素大小的块的各块内像素的像素值的平均值作为一个像素的像素值的图像。另外，标度SC3的平均化图像就是以将标度SC2的平均化图像分割成2×2像素大小的块的各块内像素的像素值的平均值作为一个像素的像素值的图像。

[0216] 边缘映射生成部241对标度SC2以及标度SC3的平均化图像，分别使用式(1)至式(7)进行与对拍摄物图像进行的处理相同的处理，生成标度SC2以及标度SC3的边缘映射。

[0217] 从而，标度SC1至标度SC3的边缘映射就分别成为从输入图像中提取不同频带的边缘成分而获得的图像。此外，标度SC1的边缘映射的像素数为拍摄物图像的1/4(纵1/2×横1/2)，标度SC2的边缘映射的像素数为拍摄物图像的1/16(纵1/4×横1/4)，标度SC3的边缘映射的像素数为拍摄物图像的1/64(纵1/8×横1/8)。

[0218] 边缘映射生成部241将所生成的标度SC1至标度SC3的边缘映射提供给动态范围检测部242以及局部最大值生成部244。这样，通过以不同大小的块为单位生成不同标度的边缘映射，就能够抑制边缘强度的波动。

[0219] 在步骤S212中，动态范围检测部242使用从边缘映射生成部241提供的边缘映射来检测拍摄物图像的动态范围，并将其检测结果提供给运算参数调整部243。 [0220] 具体而言，动态范围检测部242从标度SC1至标度SC3的边缘映射之中检测出像素值的最大值和最小值，并设从检测出的像素值的最大值中减去最小值而得到的值为拍摄物图像的边缘强度的动态范围。亦即，检测出拍摄物图像的边缘强度的最大值与最小值的差作为动态范围。

[0221] 此外，除上述方法以外，例如还考虑按每个边缘映射检测出动态范围，并采用检测出的动态范围的最大值或平均值等作为实际使用的动态范围。

[0222] 在步骤S213中，运算参数调整部243根据从动态范围检测部242提供的动态范围设定运算参数的初始值。

[0223] 亦即，运算参数调整部243在动态范围低于规定的阈值的情况下，将拍摄物图像设为低动态范围的图像，在动态范围大于等于阈值的情况下，将拍摄物图像设为高动态范围的图像。

[0224] 而且，运算参数调整部243在拍摄物图像为低动态范围的图像时，将运算参数设定为低动态范围的图像用的初始值。另外，运算参数调整部243在拍摄物图像为高动态范围的图像时，将运算参数设定为高动态范围的图像用的初始值。

[0225] 这里，低动态范围的图像被推定为与高动态范围的图像相比较边缘较少且所提取出的边缘点的量较少。因此，将低动态范围的图像用的边缘基准值的初始值设为比高动态范围的图像用的边缘基准值的初始值小的值，以能够提取出充分量的边缘点而使得拍摄物图像的模糊度检测精度在一定等级以上。另外，将低动态范围的图像用的提取基准值的初始值设为比高动态范围的图像用的提取基准值的初始值小的值。

[0226] 运算参数调整部243将根据动态范围设定的边缘基准值提供给边缘点提取部245，并将边缘基准值以及提取基准值提供给提取量判定部246。

[0227] 在步骤S214中，局部最大值生成部244使用从边缘映射生成部241提供的边缘映射生成局部最大值，并提供给边缘点提取部245以及边缘分析部247。

[0228] 例如，局部最大值生成部244如图16的左侧所示那样，将标度SC1的边缘映射分割成2×2像素的块。而且，局部最大值生成部244提取出边缘映射的各块的最大值，并将提取出的最大值按与对应块相同的顺序进行排列，由此来生成标度SC1的局部最大值LM1。也就是说，各块内的像素的像素值的最大值被提取出来。

[0229] 另外，局部最大值生成部244如图中中央所示那样，将标度SC2的边缘映射分割成4×4像素的块。而且，局部最大值生成部244提取出边缘映射的各块的最大值，并将提取出的最大值按与对应块相同的顺序进行排列，由此来生成标度SC2的局部最大值LM2。 [0230] 进而，局部最大值生成部244如图中右侧所示那样，将标度SC3的边缘映射分割成
8×8像素的块。而且，局部最大值生成部244提取出边缘映射的各块的最大值，并将提取出的最大值按与对应块相同的顺序进行排列，由此来生成标度SC3的局部最大值LM3。 [0231] 在步骤S215中，边缘点提取部245使用从局部最大值生成部244提供的局部最大值和从拍摄物映射生成部46提供的拍摄物映射，从拍摄物图像的拍摄物区域中提取边缘点。

[0232] 具体而言，边缘点提取部245参照拍摄物映射，选择拍摄物图像中的拍摄物区域内的一个像素，作为关注像素。此外，将拍摄物图像上的拍摄物区域设为由处于与像素值大于等于规定值的拍摄物映射的像素相同的位置的、拍摄物图像上的像素所构成的区域。 [0233] 另外，边缘点提取部245将所选择的关注像素在拍摄物图像上的xy坐标系的坐标设为(x，y)，并利用下式(9)求解与关注像素相对应的局部最大值LM1的像素的坐标(x1，y1)。

[0234] (x1，y1)＝(x/4，y/4)…(9)

[0235] 此外，在式(9)中，将x/4以及y/4的值的小数点以下舍去。

[0236] 由于由拍摄物图像的4×4像素的块生成局部最大值LM1的一个像素，故与拍摄物图像的关注像素相对应的局部最大值LM1的像素的坐标成为分别使关注像素的x坐标以及y坐标成为1/4后的值。

[0237] 同样地，边缘点提取部245利用下式(10)以及式(11)来求解与关注像素相对应的局部最大值LM2的像素的坐标(x2，y2)、以及与关注像素相对应的局部最大值LM3的像素的坐标(x3，y3)。

[0238] (x2，y2)＝(x/16，y/16)…(10)

[0239] (x3，y3)＝(x/64，y/64)…(11)

[0240] 此外，在式(10)以及式(11)中，将x/16、y/16、x/64以及y/64的值的小数点以下舍去。

[0241] 进而，在局部最大值LM1的坐标(x1，y1)的像素的像素值大于等于边缘基准值的情况下，边缘点提取部245将关注像素作为局部最大值LM1中的边缘点进行提取。而且，边缘点提取部245将关注像素的坐标(x，y)和局部最大值LM1的坐标(x1，y1)的像素值对应起来进行存储。

[0242] 同样地，在局部最大值LM2的坐标(x2，y2)的像素的像素值大于等于边缘基准值的情况下，边缘点提取部245将关注像素作为局部最大值LM2中的边缘点进行提取，并将关注像素的坐标(x，y)和局部最大值LM2的坐标(x2，y2)的像素值对应起来进行存储。另外，在局部最大值LM3的坐标(x3，y3)的像素的像素值大于等于边缘基准值的情况下，边缘点提取部245将关注像素作为局部最大值LM3中的边缘点进行提取，并将关注像素的坐标(x，y)和局部最大值LM3的坐标(x3，y3)的像素值对应起来进行存储。

[0243] 边缘点提取部245反复进行以上处理直到拍摄物图像中的拍摄物区域内的所有像素被设为关注像素为止。

[0244] 据此，基于局部最大值LM1，提取出拍摄物图像上的拍摄物区域内的4×4像素块之中的、边缘强度大于等于边缘基准值的块中所包含的像素，作为边缘点。 [0245] 同样地，基于局部最大值LM2，提取出拍摄物图像上的拍摄物区域内的16×16像素块之中的、块内的边缘强度大于等于边缘基准值的块中所包含的像素，作为边缘点。另外，基于局部最大值LM3，提取出拍摄物图像上的拍摄物区域内的64×64像素块之中的、块内的边缘强 度大于等于边缘基准值的块中所包含的像素，作为边缘点。 [0246] 从而，边缘强度大于等于边缘基准值的拍摄物区域的4×4像素、16×16像素或者64×64像素的块的至少一个中所包含的像素作为边缘点被提取出来。

[0247] 边缘点提取部245生成将基于局部最大值LM1所提取出的边缘点的坐标(x，y)和与该边缘点相对应的局部最大值LM1的像素的像素值对应起来的表即边缘点表ET1。 [0248] 同样地，边缘点提取部245生成将基于局部最大值LM2所提取出的边缘点的坐标(x，y)和与该边缘点相对应的局部最大值LM2的像素的像素值对应起来的边缘点表ET2。另外，边缘点提取部245还生成将基于局部最大值LM3所提取出的边缘点的坐标(x，y)和与该边缘点相对应的局部最大值LM3的像素的像素值对应起来的边缘点表ET3。 [0249] 而且，边缘点提取部245将所生成的这些边缘点表提供给提取量判定部246。 [0250] 在步骤S216中，提取量判定部246使用从边缘点提取部245提供的边缘点表来判定边缘点提取量是否适当。例如，在所提取出的边缘点的合计数、亦即边缘点表ET1至边缘点表ET3的数据数的合计低于从运算参数调整部243提供的提取基准值的情况下，就判定为边缘点提取量不适当。

[0251] 当在步骤S216中判定为边缘点提取量不适当的情况下，提取量判定部246将表示边缘点提取量不适当的信息通知给运算参数调整部243，处理进入步骤S217。 [0252] 在步骤S217中，运算参数调整部243根据来自提取量判定部246的通知来调整运算参数。

[0253] 例如，为了提取出比当前时间点多的边缘点，运算参数调整部243使边缘基准值成为从当前时间点已设定的值中相应地减小规定的值后的值。运算参数调整部243将经过调整的边缘基准值提供给边缘点提取部245以及提取量判定部246。

[0254] 若调整了运算参数，之后的处理就返回到步骤S215，并反复进行上述处理直到判定为边缘点提取量适当为止。

[0255] 另外，当在步骤S216中判定为边缘点提取量适当的情况下，提取量判定部246将来自运算参数调整部243的边缘基准值和边缘点表提供给边缘分析部247，处理进入步骤S218。

[0256] 通过以上处理，为了提高模糊度的检测精度，对于低动态范围的拍摄物图像，也从边缘强度较弱的块中提取边缘点，以便能够确保充分量的边缘点而使得拍摄物的模糊度检测精度在一定等级以上。另一方面，对于高动态范围的拍摄物图像，则尽量从边缘强度较强的块中提取边缘点，以使得构成较强边缘的边缘点被提取出来。

[0257] 在步骤S218中，边缘分析部247使用从提取量判定部246提供的边缘基准值及边缘点表、和从局部最大值生成部244提供的局部最大值进行边缘分析。

[0258] 具体地，边缘分析部247基于边缘点表ET1至边缘点表ET3，将从拍摄物图像中提取出的边缘点之中的一个设为关注像素。而且，边缘分析部247将关注像素的xy坐标系的坐标设为(x，y)，并利用上述的式(9)至(11)来求解与关注像素相对应的局部最大值LM1至局部最大值LM3的像素的坐标(x1，y1)至坐标(x3，y3)。

[0259] 边缘分析部247将以局部最大值LM1的坐标(x1，y1)的像素作为左上角像素的m×m像素(例如，4×4像素)的局部最大值LM1上的块内像素的像素值的最大值设定成Local Max1(x1，y1)。另外，边缘分析部247将以局部最大值LM2的坐标(x2，y2)的像素作为左上角像素的n×n像素(例如，2×2像素)的块内像素值的最大值设定成Local Max2(x2，y2)，将局部最大值LM3的坐标(x3，y3)的像素值设定成Local Max3(x3，y3)。 [0260] 此外，用于设定Local Max1(x1，y1)的m×m、以及用于设定LocalMax2(x2，y2)的n×n参数是用于调整局部最大值LM1至局部最大值LM3的与一个像素相对应的拍摄物图像的块的大小的差的参数。

[0261] 边缘分析部247判定Local Max1(x1，y1)、Local Max2(x2，y2)以及Local Max3(x3，y3)是否满足以下条件式(12)。在Local Max1(x1，y1)、Local Max2(x2，y2)以及Local Max3(x3，y3)满足条件式(12)的情况下，边缘分析部247将变量Nedge的值递增一。

[0262] 数学公式4

[0263] Local max1(x1，y1)＞边缘基准值

[0264] 或

[0265] Local max2(x2，y2)＞边缘基准值 …(12)

[0266] 或

[0267] Local max3(x3，y3)＞边缘基准值

[0268] 此外，满足条件式(12)的边缘点被推定为构成图17的A至图17的D所示的边缘等、不论其构造如何都具有一定以上强度的边缘的边缘点。

[0269] 这里，图17的A所示的边缘被设为陡峭的脉冲状边缘，图17的B所示的边缘被设为斜率比图17的A的边缘缓的脉冲状边缘，图17的C所示的边缘被设为斜率大致垂直的台阶状边缘。另外，图17的D所示的边缘被设为斜率比图17的C的边缘缓的台阶状边缘。 [0270] 在Local Max1(x1，y1)、Local Max2(x2，y2)以及Local Max3(x3，y3)满足条件式(12)的情况下，边缘分析部247进一步判定是否满足以下的条件式(13)或者条件式(14)。在Local Max1(x1，y1)、Local Max2(x2，y2)以及Local Max3(x3，y3)满足条件式(13)或者条件式(14)的情况下，边缘分析部247将变量Nsmallblur的值递增一。 [0271] 数学公式5

[0272] Local max1(x1，y1)＜Local max2(x2，y2)＜Local max3(x3，y3) [0273] …(13) [0274] Local max2(x2，y2)＞Local max1(x1，y1)

[0275] 和 …(14) [0276] Local max2(x2，y2)＞Local max3(x3，y3)

[0277] 此外，满足条件式(12)、且满足条件式(13)或者条件式(14)的边缘点被推定为构成如下的边缘的边缘点，即虽然具有一定以上强度但强度与图17的A或者图17的C的边缘相比较弱，具有图17的B或者图17的D的构造的边缘。

[0278] 进而，在Local Max1(x1，y1)、Local Max2(x2，y2)以及LocalMax3(x3，y3)满足条件式(12)、且满足条件式(13)或者条件式(14)的情况下，边缘分析部247判定Local Max1(x1，y1)是否满足以下的条件式(15)。在Local Max1(x1，y1)满足条件式(15)的情况下，边缘分析部17将变量Nlargeblur的值递增一。

[0279] 数学公式6

[0280] Local max1(x1，y1)＜边缘基准值 …(15)

[0281] 此外，满足条件式(12)、且满足条件式(13)或者条件式(14)、且满足条件式(15)的边缘点被推定为构成具有一定以上强度的图17的B或者图17的D的构造的边缘之中的、产生模糊而失去清晰的边缘的边缘点。换言之，推定为在该边缘点产生模糊。 [0282] 边缘分析部247反复进行以上处理直到从拍摄物图像所提取出的所有边缘点被设为关注像素为止。据此，求得所提取出的边缘点之中的、边缘点的数量Nedge、边缘点的数量Nsmallblur以及边缘点的数量Nlargeblur。

[0283] 这里，数量Nedge是满足条件式(13)的边缘点的数量，数量Nsmallblur是满足条件式(12)、且满足条件式(13)或者条件式(14)的边缘点的数量。另外，数量Nlargeblur是满足条件式(12)、且满足条件式(13)或者条件式(14)、且满足条件式(15)的边缘点的数量。

[0284] 边缘分析部247将计算出的数量Nsmallblur以及数量Nlargeblur提供给模糊度检测部248。

[0285] 在步骤S219中，模糊度检测部248使用来自边缘分析部247的数量Nsmallblur以及数量Nlargeblur来计算下式(16)，以检测出作为输入图像中的拍摄物的模糊情况的指标的模糊度BlurEstimation。

[0286] 数学公式7

[0287]

[0288] 亦即，模糊度BlurEstimation就是在被推定为构成具有一定以上强度的图17的B或者图17的D的构造的边缘的边缘点之中，被推定为构成发生模糊的边缘的边缘点所占的比率。从而，模糊度BlurEstimation越大则推定为拍摄物的模糊情况越重，模糊度BlurEstimation越小则推定为拍摄物的模糊情况越轻。

[0289] 模糊度检测部248，若求出了模糊度BlurEstimation，就基于模糊度BlurEstimation来求解拍摄物的模糊情况越轻则值越大的模糊度作为最终模糊度。而且，模糊度检测部248将所求出的最终模糊度提供给得分计算部54，结束模糊判定处理，处理进入图8的步骤S18。

[0290] 这里，求解拍摄物的模糊情况越轻则值越大的那样的模糊度作为最终模糊度是因为拍摄物的模糊情况越轻则输入图像的得分越成为大的值的缘故。

[0291] 如以上那样，模糊判定部51根据输入图像和拍摄物映射计算出表示输入图像上的拍摄物区域的模糊情况的模糊度。在计算模糊度时，由于根据拍摄物图像适当地控制提取边缘点的条件以及边缘点的提取量，所以能够以较高精度检测出拍摄物的模糊情况。 [0292] 另外，由于使用拍摄物映射检测拍摄物区域的模糊情况，因此，对于肖像、风景画等，能够不依赖于拍摄物而确切地检测出拍摄物的模糊情况。而且，由于将模糊情况的检测对象仅设为拍摄物区域来进行即可，所以与以往所进行的利用小波变换来检测拍摄物的模糊情况的方法相比，能够实现1.5倍左右的高速化。

[0293] 此外，虽然在以上说明的是通过生成拍摄物映射来确定输入图像上的拍摄物区域，但是确定输入图像上的拍摄物区域的方法并不限于拍摄物映射，利用怎样的方法都可以。例如，既可以是将输入图像中的处于所谓黄金线上的物体作为拍摄物检测出来，也可以是将从输入图像检测出的人的脸部设为拍摄物。

[0294] 另外，求解输入图像上的拍摄物区域的模糊度的处理也是利用怎样的方法都可以。例如，还可以利用小波变换来提取构成输入图像的拍摄物区域内的边缘的边缘点，并对该边缘点的类型进行分析，由此来求解拍摄物的模糊度。

[0295] 这种利用小波变换来检测拍摄物的模糊度的方法，例如被记载于“Hanghang Tong，Mingjing Li，Hongjiang Zhang and Changshui Zhang，″Blur Detection for Digital Images Using Wavelet Transform″”等。

[0296] 进而，虽然说明的是将输入图像上的拍摄物区域作为处理对象来检测拍摄物的模糊度，但还可以在未从输入图像检测出拍摄物的情况下，例如在拍摄物映射中没有大于等于规定值的像素的情况下，将输入图像整体作为处理对象来求解输入图像整体的模糊度。这样求出的输入图像的模糊度被提供给得分计算部54，用于输入图像的得分计算。 [0297] [加权学习的概要]

[0298] 而且，图像处理装置11从输入图像中检测出拍摄物，并考虑输入图像的拍摄物区域的模糊程度来求解输入图像的得分。

[0299] 以往，作为从图像中检测出拍摄物的方法，已知有将图像上的前景和背景进行分离的方法(例如，参照日本特开2003-16448号公报)。在此方法中，通过进行将图像分割成多个块并使用颜色和亮度将相似块联系起来的分割(segmentation)处理，来将图像分离成前景和背景。另外，作为从图像中检测出拍摄物的方法，还有将脸部或者肤色区域作为拍摄物区域从图像中检测出的方法(例如，参照日本特开2004-72655号公报)。 [0300] 但是，利用这些技术从图像中确切地检测出拍摄物却有困难。 [0301] 例如，在将图像中的脸部或者肤色区域作为拍摄物区域的方法中，因只能检测出人的脸部或者人的皮肤作为拍摄物，故在拍摄物为动物或植物、建筑物等的情况下，无法从图像中检测出这些拍摄物。

[0302] 另外，在将图像分离成前景和背景的方法中，因根据各块的颜色 和亮度的相似性来进行前景和背景的分离，故被设为前景的区域也未必成为拍摄物区域。并且，因每个块每个块地进行分割(segmentation)，故可能无法正确地判定图像上有无特征(texture)，有时无法确切地检测出拍摄物。

[0303] 相对于此，在图像处理装置11中，从输入图像提取被推定为拍摄物区域较多具有的多个信息，并使用这些信息来生成拍摄物映射，由此就能够更确切地从输入图像中检测出拍摄物区域。而且，在输入图像上越是被推定为看了输入图像一眼的观察者较为关注的区域，拍摄物映射的像素值就越大，所以并不限于拍摄物为人的情况，即便是动物或植物、建筑物等一般物体也能够检测出来。

[0304] 通过从输入图像中提取亮度、颜色、边缘、脸部、运动等信息来生成这种拍摄物映射。亦即，将根据这些提取出的信息的塔式图像所获得的差分图像利用差分加权Wa进行加权相加运算，作为信息映射，将这些信息映射利用信息加权Wb进行加权相加运算。而且，进一步对作为其结果而获得的图像(映射)乘以拍摄物加权Wc，作为拍摄物映射。 [0305] 例如通过基于神经网络的学习来求解在生成拍摄物映射时所使用的这些差分加权Wa、信息加权Wb以及拍摄物加权Wc。作为在这些加权的学习时使用的学习图像，并不限于人，如果利用包含一般的拍摄物的图像，则通过学习获得加权，并利用使用该加权生成的拍摄物映射，就能够更确切地从输入图像中检测出一般的拍摄物。

[0306] 以下，对为了生成拍摄物映射而使用的差分加权Wa、信息加权Wb以及拍摄物加权Wc的学习进行说明。

[0307] 首先，参照图18以及图19，对基于神经网络的学习的概要进行说明。 [0308] 在学习时，如图18所示使用被赋予了初始值的差分加权Wa、信息加权Wb以及拍摄物加权Wc和包含拍摄物的学习图像，生成拍摄物映射。

[0309] 具体而言，就是生成在拍摄物映射生成时从学习图像提取出的每个信息的差分图像An(m)(其中，1≤n≤N，1≤m≤6)。这里，差分图像 An(1)至差分图像An(6)就是从学习图像提取出的与一个信息有关的差分图像。

[0310] 例如，差分图像A1(1)至差分图像A1(6)被设为使用从学习图像所获得的亮度的塔式图像而生成的、亮度的差分图像。另外，例如，差分图像AN(1)至差分图像AN(6)被设为使用从学习图像所获得的0度方向边缘的塔式图像而生成的、0度方向的差分图像。 [0311] 此外，虽然在图18中对按从学习图像提取的每个信息获得6个差分图像的例子进行了表示，但差分图像的数量为多少都可以。

[0312] 若根据学习图像获得了每个信息的差分图像An(m)，则根据这些差分图像和按每个差分图像的差分加权Wa来生成信息映射。此外，以下将用于与差分图像An(m)相乘的差分加权Wa也称为差分加权Wan(m)。

[0313] 例如，利用每个差分图像的差分加权Wa1(1)至差分加权Wa1(6)对差分图像A1(1)至差分图像A1(6)进行加权相加运算，作为信息映射B1in。进而，对此信息映射B1in进行基于预先决定的函数f(x)的运算，作为其结果而获得信息映射B1out。

[0314] 例如，函数f(x)被设为下式(17)所示的双曲线余弦函数(双曲线正切函数)。 [0315] f(x)＝a×tanh(x×b) …(17)

[0316] 此外，在式(17)中，a以及b表示预先决定的常数，x表示图像上的像素的像素值。从而，在求解信息映射B1out的情况下，x就是信息映射B1in的像素的像素值。 [0317] 亦即，将信息映射B1in的像素的像素值x代入式(17)而得到的值f(x)就是处于与该像素相同的位置的信息映射B1out的像素的像素值。这样得到的信息映射B1out相当于在图像处理装置11中生成的信息映射、例如亮度信息映射。

[0318] 此外，函数f(x)并不限于双曲线余弦函数，利用怎样的函数都可以。例如，作为理想模型，将函数f(x)设为在x≥0时输出值为“1”，在x＜0时输出值为“-1”的Sigmoid函数。

[0319] 若如以上那样得到了N个信息映射B1out至信息映射BNout，则利用按每个信息映射的信息加权Wb对这些信息映射Bnout(其中，1≤n≤N)进行加权相加运算，作为拍摄物映射Cin。而且，对此拍摄物映射Cin进行基于预先决定的函数f(x)的运算，作为其结果得到拍摄物映射Cout。进而，对此拍摄物映射Cout乘以拍摄物加权Wc进行标准化，作为最终的拍摄物映射。

[0320] 此外，更详细而言，在生成拍摄物映射Cin时，还使用不用生成差分图像而得到的信息映射、例如脸部信息映射等信息映射来进行加权相加运算。另外，以下将用于与信息映射Bnout相乘的信息加权Wb也称为信息加权Wbn。

[0321] 将这样在学习时生成拍摄物映射的处理称为ForwardPropagation(向前延伸)。若生成了拍摄物映射，则接着如图19所示那样进行被称为Back Propagation(向后延伸)的处理，更新差分加权Wa、信息加权Wb以及拍摄物加权Wc。在称为Back Propagation的处理中，使用所生成的拍摄物映射和对学习图像预先准备的、表示学习图像上的拍摄物区域的信息即图像标签，来求解应当使各加权增减的值即加权的差分。

[0322] 这里，图像标签是与学习图像相同大小的图像，就是位于与学习图像上的拍摄物区域的像素相同的位置的像素的像素值被设为1、位于与学习图像上的无拍摄物区域的像素相同的位置的像素的像素值被设为0的图像。

[0323] 在Back Propagation中，首先求解拍摄物映射和图像标签之间的差分，将作为其结果而得到的图像作为评价映射。而且，利用下式(18)根据评价映射和拍摄物映射Cin来求解应当使拍摄物加权Wc变化的量即拍摄物加权差分ΔWc。

[0324] ΔWc＝η×Cin×ΔC …(18)

[0325] 在式(18)中，η表示预先决定的常数即学习速度，Cin表示拍摄物映射Cin。此外，更详细而言，式(18)中的Cin被设为拍摄物映射Cin的一个像素的像素值，按每个像素求解拍摄物加权差分ΔWc。另外，ΔC是 拍摄物映射的差分，根据下式(19)来求解。 [0326] ΔC＝EV×f’(Cin) …(19)

[0327] 在式(19)中，EV表示评价映射，f’(Cin)是将拍摄物映射Cin代入对函数f(x)进行微分而得到的函数中所获得的值。对函数f(x)进行微分而得到的函数f’(x)具体而言2
就是“a×b×sech(x×b)”。

[0328] 若这样得到了拍摄物加权差分ΔWc，则将拍摄物加权差分ΔWc加在这之前的拍摄物加权Wc上进行更新，求解出新的拍摄物加权Wc。

[0329] 接着，利用下式(20)使用经过更新的拍摄物加权Wc和在生成拍摄物映射时生成的信息映射Bnin来求解应当使信息加权Wbn变化的量即信息加权差分ΔWbn。 [0330] ΔWbn＝η×Bnin×ΔBn …(20)

[0331] 在式(20)中，η表示预先决定的常数即学习速度，Bnin表示信息映射Bnin。此外，更详细而言，将式(20)中的Bnin设为信息映射Bnin的一个像素的像素值，按每个像素求解信息加权差分ΔWbn。另外，ΔBn是信息映射的差分，利用下式(21)来求解。 [0332] ΔBn＝ΔC ×f’(Bnin)×Wc …(21)

[0333] 在式(21)中，ΔC表示计算上述式(19)而得到的值，f’(Bnin)是将信息映射Bnin代入对函数f(x)进行微分而得到的函数中所获得的值。另外，Wc是经过更新的拍摄物加权Wc。

[0334] 若这样得到了针对信息映射Bnin的信息加权差分ΔWbn，则将信息加权差分ΔWbn与信息映射Bnin的信息加权Wbn相加进行更新，求解出新的信息加权Wbn。 [0335] 进而，利用下式(22)使用经过更新的信息加权Wbn和在生成拍摄物映射时生成的差分图像An(m)来求解应当使差分加权Wa变化的量即差分加权的差分ΔWan(m)。 [0336] ΔWan(m)＝η×An(m)×ΔAn(m) …(22)

[0337] 在式(22)中，η表示预先决定的常数即学习速度，An(m)表示差分图像An(m)。此外，更详细而言，将式(22)中的An(m)设为差分图像An(m)的一个像素的像素值，按每个像素求解差分ΔWan(m)。另外，ΔAn(m)是差分图像的差分，利用下式(23)来求解。 [0338] ΔAn(m)＝ΔBn×f’(An(m))×Wbn …(23)

[0339] 在式(23)中，ΔBn表示计算上述式(21)而得到的值，f’(An(m))是将差分图像An(m)代入对函数f(x)进行微分而得到的函数中所获得的值。另外，Wbn是经过更新的信息加权Wbn。

[0340] 若这样得到了针对差分图像An(m)的差分加权的差分ΔWan(m)，则将差分加权的差分ΔWan(m)与差分图像An(m)的差分加权Wan(m)相加进行更新，求解出新的差分加权Wan(m)。

[0341] 而且，使用以上那样被更新的差分加权Wa、信息加权Wb以及拍摄物加权Wc和学习图像反复进行上述处理，得到最终的差分加权Wa、信息加权Wb以及拍摄物加权Wc。 [0342] 这样，在基于神经网络的学习中，根据使用预先提供的加权而生成的拍摄物映射和图像标签生成评价映射，进而根据评价映射通过反运算来求解应当使各加权变化的变化量即加权的差分。

[0343] 这里，因图像标签是表示学习图像上的拍摄物区域的信息，因此可以说是表示拍摄物映射的正确解答的信息。因此，拍摄物映射和图像标签之间的差分即评价映射就表示理想的拍摄物映射和使用被提供的加权而生成的拍摄物映射之间的误差，若使用评价映射进行反运算就求得被提供的加权和理想的加权之间的误差。

[0344] 而且，所求出的误差就是应当使被提供的加权变化的变化量，如果将此变化量加在加权上就求得当前时间点的理想加权。若使用这样新求出的加权生成拍摄物映射，就能够利用该拍摄物映射更确切地从图像中检测出拍摄物。在基于神经网络的学习中，作为加权的变化量求解差分ΔWan(m)、信息加权差分ΔWbn以及拍摄物加权差分ΔWc，并将各加权更新。

[0345] [学习装置的构成]

[0346] 接着，对通过基于神经网络的学习来求解在以上说明的差分加权Wa、信息加权Wb以及拍摄物加权Wc的学习装置进行说明。

[0347] 图20是表示应用了本发明的学习装置的一实施方式的构成例的图。 [0348] 图像数据库302以及图像标签数据库303与学习装置301连接。图像数据库302记录有学习图像，图像标签数据库303记录有与图像数据库302中记录的学习图像有关的图像标签。学习装置301使用从图像数据库302以及图像标签数据库303所取得的学习图像以及图像标签来进行学习。

[0349] 学习装置301由拍摄物提取部311以及加权计算部312构成。

[0350] 拍摄物提取部311使用从图像数据库302取得的学习图像和从加权计算部312提供的差分加权Wa、信息加权Wb以及拍摄物加权Wc，根据学习图像生成拍摄物映射并提供给加权计算部312。加权计算部312使用从图像标签数据库303取得的图像标签和从拍摄物提取部311提供的拍摄物映射，来更新差分加权Wa、信息加权Wb以及拍摄物加权Wc并提供给拍摄物提取部311。

[0351] 例如，拍摄物提取部311如图21所示那样构成。亦即，拍摄物提取部311由亮度信息提取部341、颜色信息提取部342、边缘信息提取部343、脸部信息提取部44、运动信息提取部45以及拍摄物映射生成部344所构成。此外，在图21中，对与图1的情况相对应的部分附加同一标记，适当地省略其说明。

[0352] 亮度信息提取部341使用来自图像数据库302的学习图像和来自加权计算部312的差分加权Wa生成亮度信息映射，并提供给拍摄物映射生成部344。颜色信息提取部342使用来自图像数据库302的学习图像和来自加权计算部312的差分加权Wa生成颜色信息映射，并提供给拍摄物映射生成部344。另外，边缘信息提取部343使用来自图像数据库302的学习图像和来自加权计算部312的差分加权Wa生成边缘信息映射，并提供给拍摄物映射生成部344。

[0353] 脸部信息提取部44使用来自图像数据库302的学习图像生成脸部信息映射，并提供给拍摄物映射生成部344。运动信息提取部45使用来自图像数据库302的学习图像生成运动信息映射，并提供给拍摄物映射生成部344。另外，亮度信息提取部341至边缘信息提取部343将差分图像提供给拍摄物映射生成部344。

[0354] 拍摄物映射生成部344使用来自亮度信息提取部341至运动信息提取部45的亮度信息映射至运动信息映射、来自加权计算部312的信息加权Wb以及拍摄物加权Wc生成拍摄物映射。另外，拍摄物映射生成部344将所生成的拍摄物映射和来自亮度信息提取部341至运动信息提取部45的各信息映射以及差分图像提供给加权计算部312。 [0355] 更详细而言，图21的亮度信息提取部341至边缘信息提取部343如图22至图24所示那样构成。

[0356] 图22是表示亮度信息提取部341的构成例的图。

[0357] 亮度信息提取部341由亮度图像生成部371、塔式图像生成部372、差分计算部373以及亮度信息映射生成部374构成。此外，因亮度图像生成部371至差分计算部373的每个与图2的亮度图像生成部81至差分计算部83的每个相同，故省略其说明。 [0358] 亮度信息映射生成部374使用来自加权计算部312的差分加权Wa，对来自差分计算部373的差分图像(相当于差分图像An(m))进行加权相加运算。而且，亮度信息映射生成部374将通过加权相加运算而得到的图像(相当于信息映射Bnin)代入函数f(x)进行运算，由此生成亮度信息映射(相当于信息映射Bnout)并提供给拍摄物映射生成部344。 [0359] 图23是表示图21的颜色信息提取部342的构成例的图。

[0360] 颜色信息提取部342由RG差分图像生成部401、BY差分图像生成部402、塔式图像生成部403、塔式图像生成部404、差分计算部405、差分计算部406、颜色信息映射生成部407以及颜色信息映射生成部408构成。此外，因RG差分图像生成部401至差分计算部406的每个与图3的RG差分图像生成部111至差分计算部116的每个相同，故省略其说明。 [0361] 颜色信息映射生成部407使用来自加权计算部312的差分加权Wa，对来自差分计算部405的RG差分的差分图像(相当于差分图像An(m))进行加权相加运算。而且，颜色信息映射生成部407将通过加权相加运算而得到的图像(相当于信息映射Bnin)代入函数f(x)进行运算，由此生成RG差分的颜色信息映射(相当于信息映射Bnout)。 [0362] 同样地，颜色信息映射生成部408使用来自加权计算部312的差分加权Wa，对来自差分计算部406的BY差分的差分图像进行加权相加运算，并将由此所获得的图像代入函数f(x)进行运算，生成BY差分的颜色信息映射。颜色信息映射生成部407以及颜色信息映射生成部408将所生成的RG差分的颜色信息映射以及BY差分的颜色信息映射提供给拍摄物映射生成部344。

[0363] 图24是表示图21的边缘信息提取部343的构成例的图。

[0364] 边缘信息提取部343由边缘图像生成部441至边缘图像生成部444、塔式图像生成部445至塔式图像生成部448、差分计算部449至差分计算部452、以及边缘信息映射生成部453至边缘信息映射生成部456构成。此外，因边缘图像生成部441至差分计算部452的每个与图4的边缘图像生成部141至差分计算部152的每个相同，故省略其说明。 [0365] 边缘信息映射生成部453使用来自加权计算部312的差分加权Wa，对来自差分计算部449的0度方向的差分图像(相当于差分图像An(m))进行加权相加运算。而且，边缘信息映射生成部453将通过加权相加运算而得到的图像(相当于信息映射Bnin)代入函数f(x)进行运算，由此生成0度方向的边缘信息映射(相当于信息映射Bnout)。 [0366] 同样地，边缘信息映射生成部454至边缘信息映射生成部456使用来自加权计算部312的差分加权Wa，对从差分计算部450至差分计算部452提供的各方向的差分图像进行加权相加运算并进行函数f(x)的运算，生成各方向的边缘信息映射。边缘信息映射生成部453至边缘信息映射生成部456将所生成的各方向的边缘信息映射提供给拍摄物映射生成部344。

[0367] 另外，更详细而言，图20的加权计算部312如图25所示那样构 成。亦即，加权计算部312由评价映射生成部481、加权差分计算部482至加权差分计算部484、以及加权更新部485构成。

[0368] 评价映射生成部481使用来自拍摄物映射生成部344的拍摄物映射、来自图像标签数据库303的图像标签生成评价映射，并提供给加权差分计算部482。 [0369] 加权差分计算部482使用来自评价映射生成部481的评价映射、来自拍摄物映射生成部344的拍摄物映射Cin生成拍摄物加权差分ΔWc，并提供给加权更新部485。另外，加权差分计算部482将在计算拍摄物加权差分ΔWc时所求出的拍摄物映射的差分ΔC提供给加权差分计算部483。

[0370] 加权差分计算部483使用来自加权差分计算部482的拍摄物映射的差分ΔC、来自拍摄物映射生成部344的信息映射Bnin、以及来自加权更新部485的拍摄物加权Wc生成信息加权差分ΔWbn，并提供给加权更新部485。另外，加权差分计算部483将在计算信息加权差分ΔWbn时所求出的信息映射的差分ΔBn提供给加权差分计算部484。 [0371] 加权差分计算部484使用来自加权差分计算部483的信息映射的差分ΔBn、来自拍摄物映射生成部344的差分图像An(m)、以及来自加权更新部485的信息加权Wbn生成差分加权的差分ΔWan(m)，并提供给加权更新部485。

[0372] 加权更新部485使用来自加权差分计算部482至加权差分计算部484的拍摄物加权差分ΔWc、信息加权差分ΔWbn以及差分加权的差分ΔWan(m)，对拍摄物加权Wc、信息加权Wb以及差分加权Wa进行更新。另外，加权更新部485将经过更新的拍摄物加权以及信息加权提供给拍摄物映射生成部344，并且将差分加权提供给亮度信息提取部341至边缘信息提取部343、或者将拍摄物加权、信息加权以及差分加权设为通过学习而得到的最终加权进行输出。

[0373] [学习装置的动作]

[0374] 接着，参照图26的流程图，来说明学习装置301使用学习图像以及图像标签通过学习来求解拍摄物加权Wc、信息加权Wb以及差分加权 Wa的处理即学习处理。 [0375] 在步骤S251中，亮度信息提取部341进行亮度信息提取处理来生成亮度信息映射，并将所生成的亮度信息映射以及差分图像提供给拍摄物映射生成部344。此外，因亮度信息提取处理与参照图9所说明的亮度信息提取处理相同，故省略其说明。 [0376] 但是，在步骤S251中使用来自图像数据库302的学习图像生成亮度图像。另外，在与图9的步骤S54相对应的处理中，亮度信息映射生成部374使用从加权更新部485提供的差分加权Wa，对来自差分计算部373的差分图像进行加权相加运算，生成亮度信息映射。

[0377] 亦即，利用差分加权Wan(m)对作为差分图像An(m)的亮度差分图像进行加权相加运算，并设为信息映射Bnin，进而对信息映射Bnin进行式(17)的运算，生成作为信息映射Bnout的亮度信息映射。

[0378] 在生成信息映射Bnin时，对亮度的各差分图像An(m)的像素的像素值乘以按每个差分图像的差分加权Wan(m)，并将乘过差分加权的、处于相同位置的各差分图像的像素的像素值的总和设为信息映射Bnin的像素的像素值。另外，在式(17)的运算中，将信息映射Bnin的各像素的像素值x代入式(17)而得到的值被设为作为信息映射Bnout的亮度信息映射的像素的像素值。

[0379] 亮度信息映射生成部374将来自差分计算部373的差分图像、所生成的亮度信息映射以及作为信息映射Bnin的亮度信息映射提供给拍摄物映射生成部344。 [0380] 在步骤S252中，颜色信息提取部342进行颜色信息提取处理以生成颜色信息映射，并将所生成的颜色信息映射以及差分图像提供给拍摄物映射生成部344。此外，因颜色信息提取处理与参照图10所说明的颜色信息提取处理相同，故省略其说明。 [0381] 但是，在步骤S252中使用来自图像数据库302的学习图像生成RG差分图像以及BY差分图像。另外，在与图10的步骤S85相对应的处理中，颜色信息映射生成部407和颜色信息映射生成部408使用来自加权更新部485的差分加权Wa，对来自差分计算部405和差分计算部406 的差分图像进行加权相加运算，生成颜色信息映射。

[0382] 亦即，利用差分加权Wan(m)对作为差分图像An(m)的RG差分的差分图像、或者BY差分的差分图像进行加权相加运算，并设为信息映射Bnin。进而对信息映射Bnin进行式(17)的运算，生成作为信息映射Bnout的RG差分的颜色信息映射或者BY差分的颜色信息映射。

[0383] 颜色信息映射生成部407和颜色信息映射生成部408将来自差分计算部405和差分计算部406的差分图像、所生成的颜色信息映射以及作为信息映射Bnin的颜色信息映射提供给拍摄物映射生成部344。

[0384] 在步骤S253中，边缘信息提取部343进行边缘信息提取处理来生成边缘信息映射，并将所生成的边缘信息映射以及差分图像提供给拍摄物映射生成部344。此外，因边缘信息提取处理与参照图11所说明的边缘信息提取处理相同，故省略其说明。 [0385] 但是，在步骤S253中使用来自图像数据库302的学习图像生成各方向的边缘图像。另外，在与图11的步骤S114相对应的处理中，边缘信息映射生成部453至边缘信息映射生成部456使用来自加权更新部485的差分加权Wa，对来自差分计算部449至差分计算部452的差分图像进行加权相加运算，生成边缘信息映射。

[0386] 亦即，按这些方向的每个利用差分加权Wan(m)对作为差分图像An(m)的各方向的差分图像进行加权相加运算，并设为信息映射Bnin。进而对信息映射Bnin进行式(17)的运算，作为信息映射Bnout生成0度、45度、90度、135度的各方向的边缘信息映射。 [0387] 边缘信息映射生成部453至边缘信息映射生成部456将来自差分计算部449至差分计算部452的差分图像、所生成的各方向的边缘信息映射以及作为信息映射Bnin的各方向的边缘信息映射提供给拍摄物映射生成部344。

[0388] 在步骤S254中，脸部信息提取部44使用来自图像数据库302的学习图像进行脸部信息提取处理，生成作为信息映射Bnout的脸部信息映射并提供给拍摄物映射生成部344。此外，因这一脸部信息提取处理与参照图12所说明的脸部信息提取处理相同，故省略其说明。

[0389] 在步骤S255中，运动信息提取部45使用来自图像数据库302的学习图像进行运动信息提取处理，生成作为信息映射Bnout的运动信息映射并提供给拍摄物映射生成部344。此外，因这一运动信息提取处理与参照图13所说明的运动信息提取处理相同，故省略其说明。

[0390] 在步骤S256中，拍摄物映射生成部344使用来自亮度信息提取部341至运动信息提取部45的亮度信息映射至运动信息映射、来自加权更新部485的信息加权Wb以及拍摄物加权Wc生成拍摄物映射。

[0391] 亦即，拍摄物映射生成部344对作为信息映射Bnout的亮度信息映射至运动信息映射乘以按每个信息映射的信息加权Wbn进行加权相加运算生成拍摄物映射Cin。这里，将乘了信息加权Wbn的、各信息映射的相同位置的像素的像素值的总和设为拍摄物映射Cin的像素的像素值。

[0392] 另外，拍摄物映射生成部344，把将拍摄物映射Cin的各像素的像素值x代入式(17)而得到的值作为拍摄物映射Cout的像素的像素值，进而，对拍摄物映射Cout的各像素的像素值乘以拍摄物加权Wc进行标准化，作为最终的拍摄物映射。

[0393] 拍摄物映射生成部344将所生成的最终的拍摄物映射提供给评价映射生成部481，并且将拍摄物映射Cin提供给加权差分计算部482。另外，拍摄物映射生成部344将来自亮度信息提取部341至运动信息提取部45的各信息映射Bnin提供给加权差分计算部
483，将来自亮度信息提取部341至边缘信息提取部343的各差分图像提供给加权差分计算部484。此外，在此情况下，作为信息映射Bnout所生成的脸部信息映射以及运动信息映射就作为信息映射Bnin被处理，并被提供给加权差分计算部483。

[0394] 在步骤S257中，评价映射生成部481通过求解来自拍摄物映射生成部344的拍摄物映射和来自图像标签数据库303的图像标签之间的差分，来生成评价映射。亦即，若将拍摄物映射的规定像素设为关注像素，则求解关注像素的像素值和处于与关注像素相同的位置的图像标签的像素的像素值之间的差分，并将该差分设为与关注像素相同位置的评价映射的像素的像素值。评价映射生成部481将所生成的评价映射提供给加权差分计算部482。 [0395] 在步骤S258中，加权更新部485对拍摄物加权Wc进行更新。亦即，加权差分计算部482使用从评价映射生成部481提供的评价映射EV和来自拍摄物映射生成部344的拍摄物映射Cin，计算上述式(18)以及式(19)，求解拍摄物加权差分ΔWc。 [0396] 加权差分计算部482将所求出的拍摄物加权差分ΔWc提供给加权更新部485，并且将通过式(19)的计算所求出的拍摄物映射的差分ΔC提供给加权差分计算部483。而且，加权更新部485将来自加权差分计算部482的拍摄物加权差分ΔWc与所保持的拍摄物加权Wc相加，来更新拍摄物加权Wc。

[0397] 在步骤S259中，加权更新部485对信息加权Wbn进行更新。亦即，加权差分计算部483使用从加权差分计算部482提供的拍摄物映射的差分ΔC、来自拍摄物映射生成部344的信息映射Bnin、以及来自加权更新部485的经过更新的拍摄物加权Wc，计算上述的式(20)以及式(21)，求解信息加权差分ΔWbn。按每个信息映射、也就是说对亮度信息映射、RG差分的颜色信息映射、BY差分的颜色信息映射、0度方向至135度的各方向的边缘信息映射、脸部信息映射以及运动信息映射的每个求解此信息加权差分ΔWbn。 [0398] 加权差分计算部483将所求出的信息加权差分ΔWbn提供给加权更新部485，并且将通过式(21)的计算所求出的信息映射的差分ΔBn提供给加权差分计算部484。而且，加权更新部485将来自加权差分计算部483的信息加权差分ΔWbn与所保持的信息加权Wbn相加来更新信息加权Wbn。

[0399] 据此，亮度信息映射、RG差分的颜色信息映射、BY差分的颜色信息映射、0度方向至135度的各方向的边缘信息映射、脸部信息映射以及运动信息映射各自的信息加权Wb被更新。

[0400] 在步骤S260中，加权更新部485对差分加权Wa进行更新。亦即，加权差分计算部484使用从加权差分计算部483提供的信息映射的差分ΔBn、来自拍摄物映射生成部344的差分图像An(m)、以及来自加权更新部485的经过更新的信息加权Wbn，计算上述的式(22)以及式(23)，求解差分加权的差分ΔWan(m)。对各信息映射按每个差分图像求解此差 分加权的差分ΔWan(m)。例如，如上述那样，因为根据5个亮度差分图像求解亮度信息映射，所以，对于亮度信息映射，按这些5个差分图像的每个求解差分加权的差分ΔWan(m)。 [0401] 加权差分计算部484将所求出的差分ΔWan(m)提供给加权更新部485，加权更新部485将来自加权差分计算部484的差分ΔWan(m)与所保持的差分加权Wan(m)相加来更新差分加权Wan(m)。

[0402] 通过以上的处理，得到经过更新的差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc。

[0403] 在步骤S261中，加权计算部312判定是否结束对差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc反复更新的处理。例如，最后当在步骤S257中所求出的评价映射的像素的像素值的最大值的绝对值小于等于预先决定的阈值、且在预先决定的次数以上进行了差分加权、信息加权以及拍摄物加权更新的情况下，判定为结束处理。 [0404] 亦即，在使用根据图像生成的信息映射、所求出的差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc，得到了以充分的精度从图像中提取出拍摄物的拍摄物映射的情况下，就判定为结束处理。

[0405] 当在步骤S261中判定为不结束处理的情况下，加权更新部485将经过更新的差分加权Wan(m)提供给亮度信息提取部341至边缘信息提取部343，并将信息加权Wbn以及拍摄物加权Wc提供给拍摄物映射生成部344。而且，之后，处理返回到步骤S251，反复进行上述处理。

[0406] 此外，在反复进行的步骤S251至步骤S255的处理中，使用与在此之前所使用的学习图像相同的图像生成各信息映射。因此，也可以在步骤S251至步骤S253的处理中，原封不动地使用上次已使用过的差分图像生成信息映射。另外，在步骤S254以及步骤S255的处理中，也可以将上次已使用过的信息映射原封不动地设为所生成的信息映射。 [0407] 另一方面，当在步骤S261中判定为结束处理的情况下，因已求出用于获得以充分的精度从图像提取拍摄物的拍摄物映射的加权，故处理进入步骤S262。 [0408] 在步骤S262中，加权更新部485将经过更新的差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc设为通过学习所求出的最终加权进行输出，结束学习处理。 [0409] 这样，学习装置301使用包含一般的拍摄物的学习图像进行学习处理，生成为了生成拍摄物映射而使用的加权。因此，若使用通过学习所获得的加权来生成拍摄物映射，就能够利用该拍摄物映射更确切地从图像中检测出一般的拍摄物。

[0410] 另外，在使用从图像中提取被推定为与其他区域相比拍摄物更多具有的信息而得到的信息映射和加权生成拍摄物映射的情况下，通过基于神经网络的学习来生成加权，由此能够简单地获得加权。

[0411] 亦即，根据差分图像生成信息映射并根据信息映射生成拍摄物映射的构造，与神经网络的模型很相似，通过将被称为神经网络的学习方法应用于加权的学习中，就能够以简单的处理来求解加权。另外，在基于神经网络的学习中，由于能够通过并行处理来求解各信息映射的加权和各差分图像的加权，所以能够更迅速地生成加权。

[0412] 此外，虽然说明的是在学习装置301中，将最后被更新的差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc作为最终的加权进行输出，但也可以将通过更新而求出的加权之中的、评价最高的加权作为最终的加权进行输出。在这种情况下，每当更新加权时，记录该加权和使用该加权所获得的评价映射，并在对加权更新了规定次数以后，输出所记录的加权之中的、根据评价映射的像素的像素值的绝对值所求得的评价值最高的加权。 [0413] 还可以将以上所说明的学习装置301例如作为与上述的图像处理装置11一起构成图像评价系统的装置而组装于摄像装置等中。

[0414] 在这种情况下，图像评价系统例如如图27所示那样构成。亦即，图像评价系统由图像处理装置11、学习装置301、图像数据库302、图像标签数据库303、显示部511以及操作输入接受部512所构成。此外，在图27中，对与图1以及图20的情况相对应的部分附加同一标记，适当省略其说明。

[0415] 在此图像评价系统中，通过拍摄所获得的输入图像、或者预先记录在图像数据库302中的图像被设为学习图像。

[0416] 例如，在图像数据库302中所记录的图像被用作学习图像的情况下，学习装置301使用从图像数据库302取得的学习图像和从图像标签数据库303取得的图像标签来进行学习处理。而且，通过学习处理所获得的差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc被从学习装置301提供到图像处理装置11。图像处理装置11使用从学习装置301提供的加权和所输入的输入图像进行参照图8所说明的图像评价处理，求解并输出针对输入图像的得分。

[0417] 相对于此，在使用输入图像来进行学习的情况下，输入图像被提供给显示部511、图像处理装置11以及学习装置301。显示部511例如由液晶显示器等构成，显示所输入的输入图像。

[0418] 另外，在显示部511上例如重叠了由触摸面板等构成的操作输入接受部512，用户进行针对操作输入接受部512的操作，指定在显示部511显示的输入图像中的应当设为拍摄物的区域。于是，操作输入接受部512根据用户的操作生成图像标签并提供给学习装置301。

[0419] 例如，操作输入接受部512将今后要生成的标签图像中的、与输入图像上用户指定的区域相同的区域内的像素的像素值设为1，将此以外的区域的像素的像素值设为0。亦即，标签图像中的、与输入图像上用户未指定的区域相同的区域的像素的像素值被设为0。 [0420] 学习装置301将所输入的输入图像作为学习图像，并使用学习图像和从操作输入接受部512提供的图像标签进行学习处理，生成差分加权Wan(m)、信息加权Wbn以及拍摄物加权Wc。而且，学习装置301将所生成的加权提供给图像处理装置11，图像处理装置11使用来自学习装置301的加权进行图像评价处理，求解并输出针对输入图像的得分。 [0421] 从而，如果将这种图像评价系统内置于摄像装置中，摄像装置就能够基于从图像处理装置11输出的得分，来显示所拍摄的输入图像是否为最佳照片、针对输入图像的得分等。

[0422] 此外，操作输入接受部512并不限于触摸面板，还可以由传感器 等构成，该传感器用于利用红外线来检测看取景器的用户的视线方向。在这种情况下，就对操作输入接受部512供给输入图像，将输入图像上的根据由传感器检测出的视线方向而确定的区域中所包含的物体设为拍摄物，并生成图像标签。

[0423] 另外，上述一系列的处理既能够通过硬件来执行，也能够通过软件来执行。在通过软件来执行一系列处理的情况下，将构成该软件的程序从程序记录介质安装到组装在专用硬件上的计算机，或者可以通过安装各种程序来执行各种功能的、例如通用个人计算机等中。

[0424] 图28是表示通过程序来执行上述一系列处理的计算机的硬件的构成例的框图。 [0425] 在计算机中，CPU(Central Processing Unit)601、ROM(Read OnlyMemory)602和RAM(Random Access Memory)603通过总线604相互连接起来。

[0426] 在总线604上进一步连接有输入输出接口605。由键盘、鼠标、麦克风等构成的输入部606、由显示器、扬声器等构成的输出部607、由硬盘或非易失性存储器等构成的记录部608、由网络接口等构成的通信部609、驱动磁盘、光盘、光磁盘、或者半导体存储器等移动介质611的驱动器610与输入输出接口605连接。

[0427] 在如以上那样构成的计算机中，CPU601例如将记录部608中所记录的程序经由输入输出接口605及总线604装入RAM603中并执行，由此来进行上述一系列处理。 [0428] 将计算机(CPU601)执行的程序例如记录在由磁盘(包含软盘)、光盘(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital VersatileDisc)等)、光磁盘、或者半导体存储器等构成的通用介质即移动介质611上，或者经由局域网、因特网、数字卫星广播之类的有线或者无线传播介质来提供。

[0429] 而且，可以通过将移动介质611安装到驱动器610上，经由输入输出接口605将程序安装到记录部608中。另外，还可以经由有线或者无线传输介质利用通信部609接收程序并安装到记录部608中。除此以 外还可以将程序预先安装到ROM602或记录部608中。 [0430] 此外，计算机执行的程序既可以是按着在本说明书中说明的顺序按时间序列进行处理的程序，也可以是并行地或者在进行了调用等必要的定时进行处理的程序。 [0431] 此外，本发明的实施方式并不限定于上述的实施方式，在不脱离本发明要点的范围内可以进行各种变更。