信息处理装置和方法转让专利
申请号 : CN200710122748.9
文献号 : CN101102489B
文献日 : 2010-06-09
发明人 : 小川要 , 叶多启二 , 山田诚 , 阵野比吕志
申请人 : 索尼株式会社
摘要 :
一种信息处理装置，控制包括允许用户选择图像内容的整体或部分的索引的图形用户界面图像的显示。该信息处理装置包括控制器，被配置为控制包括至少一个图像内容的每一个的索引的第一图形用户界面图像的显示，以及控制包括面部缩略图像的第二图形用户界面图像的显示，其中，面部缩略图像用作允许用户选择与由用户从第一图形用户界面图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
权利要求 :
1.一种信息处理装置，控制包括允许用户选择图像内容的整体或部分的索引的图形用户界面图像的显示，包括：
控制装置，用于控制包括至少一个图像内容的每一个的索引的第一图形用户界面图像的显示，以及用于控制包括面部缩略图像的第二图形用户界面图像的显示，其中，所述面部缩略图像用作允许用户选择与由用户从所述第一图形用户界面图像中选择的索引相对应的图像内容的整体或部分的索引，所述面部缩略图像对应于从所述图像内容的整体或部分中检测的面部，其中，所述至少一个图像内容包括动画内容，并且从所述动画内容的至少一个部分的每一个中检测的面部是与在另一个部分中检测的面部不相同的面部，以及当用户从所述第一图形用户界面图像中选择所述动画内容的索引时，所述控制装置控制包括作为所述动画内容的所述至少一个部分的每一个的索引的至少一个面部缩略图像的第二图形用户界面图像的显示，所述至少一个面部缩略图像对应于从所述至少一个部分的每一个中检测的面部。
2.根据权利要求1所述的信息处理装置，其中，当所述用户从所述第二图形用户界面图像中选择至少一个所述面部缩略图像时，所述控制装置还控制与从所述第一图形用户界面图像中选择的索引相对应的所述图像内容的整体或部分的再生，对应于所述面部缩略图像的面部是从所述图像内容的整体或部分中检测的。
3.根据权利要求1所述的信息处理装置，其中，所述动画内容的所述至少一个部分的一个的所述面部缩略图像是作为提取包含由所述至少一个部分的一个所生成的静止图像中所包括的所述面部的区域的结果而获得的图像本身，或者是由所述图像本身生成的图像。
4.根据权利要求3所述的信息处理装置，其中，代替所述第二图形用户界面图像，所述控制装置还显示包括与从所述第二图形用户界面图像的至少一个面部缩略图像的每一个中生成的所述静止图像的源相对应的至少一个缩略图像的第三图形用户界面图像，所述第三图形用户界面图像的所述至少一个面部缩略图像被用作所述动画内容的所述至少一个部分的每一个的索引。
5.根据权利要求3所述的信息处理装置，其中，所述控制装置还显示第四图形用户界面图像，所述第四图形用户界面图像包括表示与在所述第二图形用户界面图像中选择的所述面部缩略图像相对应的部分在所述动画内容中的位置的图像。
6.根据权利要求1所述的信息处理装置，所述动画内容和所述至少一个面部缩略图像彼此相关联地记录在记录介质上，并且所述控制装置控制至少一个面部缩略图像从所述记录介质中的读出，以及控制包括所读出的至少一个面部缩略图像的所述第二图形用户界面图像的显示。
7.一种用于信息处理装置的信息处理方法，所述信息处理装置控制包括允许用户选择图像内容的整体或部分的索引的图形用户界面图像的显示，包括以下步骤：控制包括至少一个图像内容的每一个的索引的第一图形用户界面图像的显示；以及
控制包括面部缩略图像的第二图形用户界面图像的显示，其中，所述面部缩略图像用作允许用户选择与由用户从所述第一图形用户界面图像中选择的索引相对应的图像内容的整体或部分的索引，所述面部缩略图像对应于从所述图像内容的整体或部分中检测的面部，其中，所述至少一个图像内容包括动画内容，并且从所述动画内容的至少一个部分的每一个中检测的面部是与在另一个部分中检测的面部不相同的面部，以及当用户从所述第一图形用户界面图像中选择所述动画内容的索引时，控制包括作为所述动画内容的所述至少一个部分的每一个的索引的至少一个面部缩略图像的第二图形用户界面图像的显示，所述至少一个面部缩略图像对应于从所述至少一个部分的每一个中检测的面部。
说明书 :
技术领域
本发明涉及信息图像装置和方法、以及程序，更具体地，涉及可将出现在动画内容中的人物和人物位置展现给用户以便用户可容易了解和识别他们的信息处理装置和方法、以及程序。
背景技术
在大多数情况下，动画内容包含各种人物。因此，用户从人物中了解内容的类型或者从各种人物中搜索特定人物的场景并将其再生的需求正在不断增长。
如上所述，为了处理包含各种人物的动画内容，已知例如在专利号3315888和日本未审查专利申请公开第2004-363775号中披露的下列技术。
如上所述，为了处理包含各种人物的动画内容，已知例如在专利号3315888和日本未审查专利申请公开第2004-363775号中披露的下列技术。
发明内容
然而，在那些公开物披露的已知技术中，难以完全满足上述要求。仅利用上述公开物中披露的已知技术的组合，很难将在动画内容中出现的人物和人物位置展现给用户以便用户可以容易了解和识别他们。
因此，期望将出现在动画内容中的人物和人物位置展现给用户以便用户可容易了解和识别他们。
根据本发明的实施例，提供了一种信息处理装置，其控制包括允许用户选择图像内容的整体或部分的索引的图形用户界面(GUI)图像的显示。该信息处理装置包括控制装置，用于控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示，以及用于控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
当用户从第二GUI图像中选择至少一个面部缩略图像时，控制装置还可以控制与从第一GUI图像中选择的索引相对应的图像内容的整体或部分的再生，对应于面部缩略图像的面部是从图像内容的整体或部分中检测的。
至少一个图像内容可包括动画内容，并且从动画内容的至少一个部分的每一个中检测的面部可以是与在另一个部分中检测的面部不相同的面部。当用户从第一GUI图像中选择动画内容的索引时，控制装置可控制包括作为动画内容的至少一个部分的每一个的索引的至少一个面部缩略图像的第二GUI图像的显示，至少一个面部缩略图像对应于从至少一个部分的每一个中检测的面部。
动画内容的至少一个部分的一个的面部缩略图像可以是作为提取包含由至少一个部分的一个所生成的静止图像中所包括的面部的区域的结果而获得的图像本身，或者可以是由图像本身生成的图像。
代替第二GUI图像，控制装置还可显示包括与从第二GUI图像的至少一个面部缩略图像的每一个中生成的静止图像的源相对应的至少一个缩略图像的第三GUI图像，第三GUI图像的至少一个面部缩略图像被用作动画内容的至少一个部分的每一个的索引。
控制装置还可显示第四GUI图像，第四GUI图像包括表示与在第二GUI图像中选择的面部缩略图像相对应的部分在动画内容中的位置的图像，可将在出现动画内容中的第四GUI图像的人物和位置展现给用户以便用户可容易地了解和识别他们。
动画内容和至少一个面部缩略图像可彼此相关联地记录在记录介质上，并且控制装置可以控制至少一个面部缩略图像从记录介质中的读出，以及可以控制包括读出的面部缩略图像的第二GUI图像的显示。
根据本发明的另一实施例，提供了一种用于信息处理装置的信息处理方法，该信息处理装置控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理处理方法包括步骤：控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示，以及控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
根据本发明的另一实施例，提供了一种对应于上述图像处理方法的程序。
根据信息处理装置和方法、以及程序，如下控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示。控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择对应于由用户从第一GUI图像中选择的索引的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
根据本发明的实施例，可将出现在动画内容中的人物和人物位置展现给用户。具体地，可将出现在动画内容中的人物和人物位置展现给用户以便用户可容易地了解和识别他们。
因此，期望将出现在动画内容中的人物和人物位置展现给用户以便用户可容易了解和识别他们。
根据本发明的实施例，提供了一种信息处理装置，其控制包括允许用户选择图像内容的整体或部分的索引的图形用户界面(GUI)图像的显示。该信息处理装置包括控制装置，用于控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示，以及用于控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
当用户从第二GUI图像中选择至少一个面部缩略图像时，控制装置还可以控制与从第一GUI图像中选择的索引相对应的图像内容的整体或部分的再生，对应于面部缩略图像的面部是从图像内容的整体或部分中检测的。
至少一个图像内容可包括动画内容，并且从动画内容的至少一个部分的每一个中检测的面部可以是与在另一个部分中检测的面部不相同的面部。当用户从第一GUI图像中选择动画内容的索引时，控制装置可控制包括作为动画内容的至少一个部分的每一个的索引的至少一个面部缩略图像的第二GUI图像的显示，至少一个面部缩略图像对应于从至少一个部分的每一个中检测的面部。
动画内容的至少一个部分的一个的面部缩略图像可以是作为提取包含由至少一个部分的一个所生成的静止图像中所包括的面部的区域的结果而获得的图像本身，或者可以是由图像本身生成的图像。
代替第二GUI图像，控制装置还可显示包括与从第二GUI图像的至少一个面部缩略图像的每一个中生成的静止图像的源相对应的至少一个缩略图像的第三GUI图像，第三GUI图像的至少一个面部缩略图像被用作动画内容的至少一个部分的每一个的索引。
控制装置还可显示第四GUI图像，第四GUI图像包括表示与在第二GUI图像中选择的面部缩略图像相对应的部分在动画内容中的位置的图像，可将在出现动画内容中的第四GUI图像的人物和位置展现给用户以便用户可容易地了解和识别他们。
动画内容和至少一个面部缩略图像可彼此相关联地记录在记录介质上，并且控制装置可以控制至少一个面部缩略图像从记录介质中的读出，以及可以控制包括读出的面部缩略图像的第二GUI图像的显示。
根据本发明的另一实施例，提供了一种用于信息处理装置的信息处理方法，该信息处理装置控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理处理方法包括步骤：控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示，以及控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
根据本发明的另一实施例，提供了一种对应于上述图像处理方法的程序。
根据信息处理装置和方法、以及程序，如下控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示。控制包括面部缩略图像的第二GUI图像的显示，其中，面部缩略图像用作允许用户选择对应于由用户从第一GUI图像中选择的索引的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
根据本发明的实施例，可将出现在动画内容中的人物和人物位置展现给用户。具体地，可将出现在动画内容中的人物和人物位置展现给用户以便用户可容易地了解和识别他们。
附图说明
图1示出了可通过本发明实施例实现的用于再生动画内容的再生指示操作的实例；
图2示出了用于指定面部区间的技术实例和用于创建面部缩略图像的技术实例；
图3示出了用于生成指定面部区间和创建面部缩略图像所必需的静止图像的技术实例；
图4示出了应用本发明实施例的记录介质的结构实例；
图5示出了包括在图4所示记录介质的元数据(meta)文件中的面部区间元数据信息的结构实例；
图6示出了用作根据本发明实施例的信息处理装置的再生装置的功能结构实例；
图7示出了图6所示的随机存储器(RAM)的管理信息区的结构实例；
图8示出了可记录在图7所示的管理信息区中的数据实例；
图9示出了说明响应于由用户执行的再生指示操作，图6中所示再生装置的可能状态的状态转换图；
图10和图11示出了当再生装置处于图9所示动画选择屏幕显示状态时所显示的图像实例；
图12和图13示出了当再生装置处于图9所示面部区间再生选择屏幕显示状态时所显示的图像实例；
图14是示出图9中所示面部区间再生选择屏幕显示状态的细节的状态转移图；
图15示出了应用本发明实施例的集体写入/传送技术；
图16示出了当将集体写入/传送技术应用于图12所示图像时的图像实例；
图17是示出应用可以实现集体写入/传送技术并用作根据本发明的另一个实施例的信息处理装置的记录/再生装置的功能结构实例的功能框图；
图18是示出通过图17所示的记录/再生装置执行集体写入处理的流程图；
图19示出了通过图18所示的集体写入处理所获取的处理结果的特定实例；
图20示出了将面部缩略图像应用于静止图像内容的情况下的实例；
图21是示出图9所示静止图像选择屏幕显示状态的细节的状态转移图；
图22示出了当再生装置处于图21所示的面部缩略图屏幕显示状态时所显示的图像实例；
图23示出了当再生装置处于图21所示的面部缩略图源图像屏幕显示状态时所显示的图像实例；
图24示出了当再生装置处于图21所示的面部缩略图屏幕显示状态时所显示的图像实例；
图25示出了当再生装置处于图21所示的选择人物源图像列表屏幕显示状态时所显示的图像实例；
图26示出了当再生装置处于图21所示的静止图像显示状态时所显示的图像实例；
图27示出了当将集体写入/传送技术应用于静止图像内容时所显示的图像实例；
图28是示出用作根据本发明另一实施例的信息处理装置的图像记录装置的功能结构实例的功能框图；
图29是示出图28所示图像记录装置的图像处理器的功能结构细节的实例的功能框图；
图30是示出了图29所示图像处理器的图像信息检测器的功能结构细节的实例的功能框图；
图31是示出通过图30所示图像信息检测器执行的源数据生成/记录处理的实例的流程图；
图32～图34示出了图31所示的源数据生成/记录处理的处理结果的特定实例；
图35示出了通过图31所示源数据生成/记录处理的面部图像表生成/更新处理来生成/更新的面部图像表的实例；
图36和图37示出了图31所示源数据生成/记录处理的处理结果的特定实例；
图38～图42示出了图31所示源数据生成/记录处理的面部图像表生成/更新处理的操作实例；
图43是示出图31所示源数据生成/记录处理的面部图像表生成/更新处理的细节的流程图；以及
图44是示出用作根据本发明实施例的信息处理装置的个人计算机的结构实例的框图。
图2示出了用于指定面部区间的技术实例和用于创建面部缩略图像的技术实例；
图3示出了用于生成指定面部区间和创建面部缩略图像所必需的静止图像的技术实例；
图4示出了应用本发明实施例的记录介质的结构实例；
图5示出了包括在图4所示记录介质的元数据(meta)文件中的面部区间元数据信息的结构实例；
图6示出了用作根据本发明实施例的信息处理装置的再生装置的功能结构实例；
图7示出了图6所示的随机存储器(RAM)的管理信息区的结构实例；
图8示出了可记录在图7所示的管理信息区中的数据实例；
图9示出了说明响应于由用户执行的再生指示操作，图6中所示再生装置的可能状态的状态转换图；
图10和图11示出了当再生装置处于图9所示动画选择屏幕显示状态时所显示的图像实例；
图12和图13示出了当再生装置处于图9所示面部区间再生选择屏幕显示状态时所显示的图像实例；
图14是示出图9中所示面部区间再生选择屏幕显示状态的细节的状态转移图；
图15示出了应用本发明实施例的集体写入/传送技术；
图16示出了当将集体写入/传送技术应用于图12所示图像时的图像实例；
图17是示出应用可以实现集体写入/传送技术并用作根据本发明的另一个实施例的信息处理装置的记录/再生装置的功能结构实例的功能框图；
图18是示出通过图17所示的记录/再生装置执行集体写入处理的流程图；
图19示出了通过图18所示的集体写入处理所获取的处理结果的特定实例；
图20示出了将面部缩略图像应用于静止图像内容的情况下的实例；
图21是示出图9所示静止图像选择屏幕显示状态的细节的状态转移图；
图22示出了当再生装置处于图21所示的面部缩略图屏幕显示状态时所显示的图像实例；
图23示出了当再生装置处于图21所示的面部缩略图源图像屏幕显示状态时所显示的图像实例；
图24示出了当再生装置处于图21所示的面部缩略图屏幕显示状态时所显示的图像实例；
图25示出了当再生装置处于图21所示的选择人物源图像列表屏幕显示状态时所显示的图像实例；
图26示出了当再生装置处于图21所示的静止图像显示状态时所显示的图像实例；
图27示出了当将集体写入/传送技术应用于静止图像内容时所显示的图像实例；
图28是示出用作根据本发明另一实施例的信息处理装置的图像记录装置的功能结构实例的功能框图；
图29是示出图28所示图像记录装置的图像处理器的功能结构细节的实例的功能框图；
图30是示出了图29所示图像处理器的图像信息检测器的功能结构细节的实例的功能框图；
图31是示出通过图30所示图像信息检测器执行的源数据生成/记录处理的实例的流程图；
图32～图34示出了图31所示的源数据生成/记录处理的处理结果的特定实例；
图35示出了通过图31所示源数据生成/记录处理的面部图像表生成/更新处理来生成/更新的面部图像表的实例；
图36和图37示出了图31所示源数据生成/记录处理的处理结果的特定实例；
图38～图42示出了图31所示源数据生成/记录处理的面部图像表生成/更新处理的操作实例；
图43是示出图31所示源数据生成/记录处理的面部图像表生成/更新处理的细节的流程图；以及
图44是示出用作根据本发明实施例的信息处理装置的个人计算机的结构实例的框图。
具体实施方式
在描述本发明实施例之前，下面讨论权利要求书的特征和本发明中公开的实施例之间的对应关系。该描述旨在保证在说明书中描述了支持所要求的本发明的实施例。因此，即使在随后实施例中的元件没有被描述为与本发明的某一特征相关，也不一定表示该元件不与权利要求书的该特征不相关。相反，即使本文中将某元件描述为与权利要求的某一特征相关，也并一定表示该元件与权利要求的其它特征不相关。
根据本发明实施例的信息处理装置(例如，图6所示的再生装置)控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理装置包括控制装置(例如，图6所示的控制器71)，用于控制包括至少一个图像内容的每一个的索引的第一GUI图像(例如，图10或图11所示的动画选择GUI图像150)的显示，以及用于控制包括面部缩略图像(例如，分别对应于图1所示动画内容1的面部区间11至14的面部缩略图像21至24)的第二GUI图像(图12或图13所示的面部缩略GUI图像161)的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引(例如，在图11所示实例中选择光标152所在位置的缩略图像151)，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
当用户从第二GUI图像中选择至少一个面部缩略图像时，控制装置还可以控制与从第一GUI图像中选择的索引相对应的图像内容的整体或部分的再生(例如，由于通过图12实例中的光标201选择面部缩略图像，所以控制图1所示面部区间的再生)，对应于面部缩略图像的面部是从图像内容的整体或部分中检测的(例如，图6所示控制器71的系统控制器91控制视频解码器76和图像合成器78以在图像显示单元79上显示动画)。
至少一个图像内容可包括动画内容(例如，图1所示的动画内容1)，并且从动画内容的至少一个部分的每一个中检测的面部可以是与在另一个部分中检测的面部不相同的面部。当用户从第一GUI图像中选择动画内容的索引时，控制装置可控制包括作为动画内容的至少一个部分的每一个的索引的至少一个面部缩略图像(例如，图1或图12所示的面部缩略图像21至24)的第二GUI图像的显示，至少一个面部图像对应于从至少一个部分的每一个中检测的面部。
动画内容的至少一个部分的一个的面部缩略图像(例如，图1所示的面部缩略图像21)可以是作为提取包含由至少一个部分的一个所生成的静止图像(例如，图2所示的静止图像31-1)中所包含的面部(例如，图2所示的面部32-1)的区域的结果而获得的图像本身，或者可以是由图像本身生成的图像。
代替第二GUI图像，控制装置还可以显示包括与从第二GUI图像的至少一个面部缩略图像(例如，图12或图13的面部缩略图像21至24)的每一个中生成的静止图像的源相对应的至少一个缩略图像(例如，图12或图13所示的缩略图像181至184)的第三GUI图像(图12或图13所示的源场景GUI图像162)。第三GUI图像的至少一个面部缩略图像被用作动画内容的至少一个部分的每一个的索引。
控制装置还可显示第四GUI图像(例如，图12或图13所示的时间线GUI图像163)，第四GUI图像包括表示与在第二GUI图像中选择的面部缩略图像相对应的部分在动画内容中的位置的图像(例如，图12或图13所示的时间线191)。
动画内容和至少一个面部缩略图像可彼此相关联地记录在记录介质(例如，图4所示的记录介质51)上，并且控制装置可以控制至少一个面部缩略图像从记录介质中的读出，以及可以控制包括读出的面部缩略图像的第二GUI图像的显示。
根据本发明的另一个实施例，提供了一种用于信息处理装置的信息处理方法(例如，通过图6所示再生装置执行的图14所示的处理方法)，信息处理装置控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理处理方法包括步骤：控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示(例如，保持图14所示的动画选择屏幕显示状态S3-2)，以及控制包括面部缩略图像的第二GUI图像的显示(例如，满足状态转换条件C12)，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部(例如，将再生装置的状态从动画选择屏幕显示状态S3-2转换为面部缩略图屏幕显示状态S5-1并保持状态S5-1)。
根据本发明的另一实施例的程序包括上述信息处理方法的步骤并通过图44所示的个人计算机来执行。
为了易于理解本发明，首先参照图1讨论可通过本发明的实施例执行的用于给出再生动画内容的指示的操作。
内容包括由人类的创造行为所生成的作品，并且在多个内容中，至少包括图像的内容被称作“图像内容”。可将图像内容大致分为主要包括动画的动画内容和主要包括静止图像的静止图像内容。在本申请中，所谓的“内容数据”，即，由人类的创造行为所生成并被转换为可通过机器处理的形式的作品(例如，电子信号或记录在记录介质上的数据)也被称作“内容”。
在下面的描述中，以文件为基础将内容记录在记录介质上，并且还通过文件的个数表示内容的个数。即，一个内容是可作为单个文件记录在记录介质上的内容。
已知用于给出指示来从多个动画内容中再生期望内容的以下再生指示操作。将用作多个动画内容的索引的缩略图像列表展示给用户。然后，用户从列表中选择对应于期望动画内容的缩略图像。
在本发明的该实施例中，除上述再生指示操作之外，还可以执行例如图1所示的再生指示操作。
在图1所示的实例中，将被再生的动画内容1包括特定人物连续出现的区间11，并且该特定人物的面部图像作为缩略图像21与区间11相关联。
与区间11一样，在动画中特定人物连续出现的区间在下文中称作“面部区间”。如果通过缩略图像来表示面部图像，则与缩略图像21一样，将缩略图称作“面部缩略图像”。
除面部区间11之外，动画内容1还包括面部区间12至14，并且缩略图像22至24分别与面部区间12至14相关联。
在上面构造的动画内容1中，可以执行以下的再生指示操作。面部缩略图像21至24的列表作为动画内容1的面部区间11至14的索引列表展现给用户。然后，用户从列表中选择对应于期望面部区间的面部缩略图像。该再生指示操作和响应于该指示操作通过装置执行的处理细节将在下面参照图4至26进行讨论。
换句话说，为了将出现在动画内容中的特定人物和其位置展现给用户以便用户可容易地理解和识别他们，引入面部区间作为一种表示人物出现位置的方法，并且引入包括出现在面部区间中的人物面部的面部缩略图像作为面部区间的索引。因此，面部缩略图像和面部区间的使用可以满足上述要求，即，用户希望从人物了解内容的类型或者从各种人物中搜索特定人物的场景并将其再生。
下面，将参照图2和图3讨论用于指定面部区间的技术和用于生成面部缩略图像的技术。在下面的描述中，执行处理的实体被简称为“装置”。
在图2所示的实例中，将动画内容1形成为运动图像专家组(MPEG)数据。即，动画内容1包括多个画面组(GOP)
在这种情况下，装置将动画内容1分为预定基本单位，并从每个基本单位中生成一个静止图像。不特别限制用于划分动画内容1的基本单位。在下面讨论的另一个实例中，一个GOP被用作基本单位(下文称作“1GOP单位”，并且包括k个GOP的基本单位称作“kGOP单位”)。在该实例中，将2个GOP用作基本单位，即，从2GOP单位中生成一个静止图像。
不特别限制生成静止图像的方法，并且在图2所示的实例中，从2GOP单位的第一GOP中生成静止图像。同样也不特别限制从第一GOP生成静止图像的技术，并且例如可以使用图3所示的技术。
在图3中，由B表示的四边形代表双向预测编码画面(B画面)。由I表示的四边形代表内编码画面(I画面)。由P表示四边形代表预测编码画面(P画面)。在每个画面的左下方处所示的数字表示以相关GOP的顺序从开头开始设置的画面编号。在图3所示的实例中，一个GOP由15个画面形成。
在这种情况下，例如，从B画面中生成静止图像。更具体地，装置读取I画面作为参考画面，并基于参考I画面从B画面中生成静止图像。在图3所示的实例中，参照第三I画面从第一B画面中生成静止图像。
可选地，装置可从GOP的开头顺序读取图像，并当第一次读取I画面时，可从读取的I画面中生成静止图像。在图3所示实例中，从第三I画面中生成静止图像。
返回参照图2，在装置从2GOP单位中生成静止图像之后，其尝试从静止图像中检测面部。
现在，假设来自图2左边的第三个2GOP单位是目标单位，并从目标单位中生成静止图像31-l在图2所示的实例中，椭圆形代表面部。在这种情况下，由于静止图像31-1包括面部，所以检测到包括面部的区域。然后，装置从静止图像31-1中提取包括检测面部区域的图像32-1(这种图像在下文中称作“面部图像”)。
在这种情况下，如果在目标单位紧前的2GOP单位(即，图2所示实例中的第二2GOP单位)中没有检测到面部，则装置确定目标单位的开头位置(即，图2中的第三2GOP单位的开头位置)作为面部区间11的开始位置。
例如，如果用于生成静止图像的基本单位是2GOP单位或更多数目的GOP，则存在相同人物的面部包含在前一单位的第二和随后GOP中的可能性。因此，替代确定第三2GOP单位的开头位置作为面部区间11的开始位置，装置仅将第三2GOP单位的开头位置确定为开始位置的候选。然后，装置进一步确定是否在候选之前的若干GOP中包含相同人物的面部。如果没有找到包含相同人物面部的GOP，装置就将开始位置的候选设定为面部区间11的开始位置。如果找到包含相同人物面部的GOP，装置就将包含相同人物面部的第一GOP的开头位置设定为面部区间11的开始位置。
在设定面部区间11的开始位置之后，装置顺序将每一个2GOP单位设定为目标单位，从每一个目标单位中生成静止图像，然后从静止图像中提取面部图像。将反复执行这个过程。
在图2所示的实例中，如果第四2GOP单位是目标单位，则生成静止图像31-2，并从静止图像31-2中提取面部图像32-2。在这种情况下，装置将面部图像32-2与前一面部图像32-1进行比较，如果两个面部图像表示相同人物的面部，则装置确定提取面部图像32-2的2GOP单位(即，第四2GOP单位)也包含在面部区间11内。
类似地，装置将第五2GOP单位设定为目标单位，并生成静止图像31-3，以及从静止图像31-3中提取面部图像32-3。然后，装置将面部图像32-3与前一面部图像32-2进行比较，如果两个面部图像表示相同人物的面部，则装置确定提取面部图像32-3的2GOP单位(即，第五2GOP单位)也包含在面部区间11内。
然后，装置将第六2GOP单位设定为目标单位，并生成静止图像31-4，以及试图检测静止图像31-4中的面部。然而，由于在静止图像31-4中没有包含面部，所以没有检测到面部。因此，装置将没有检测到面部的2GOP单位的开头位置(即，第六2GOP单位的开头位置，第五2GOP单位的终止位置)设定为面部区间11的终止位置的候选。
仅将第六2GOP单位的开头位置设定为候选的原因如下。对于人类，对应于2GOP单位的时间是很短的时间周期，即使在这样短的时间周期内没有检测到面部，但如果在较短的时间周期之后再次检测到相同人物的面部，用户就可感觉面部区间仍在继续。即，即使在确定面部区间11的终止位置的候选之后，装置仍继续检测随后若干2GOP单位的面部，并且如果在一定的时间周期内连续没有检测到面部，装置就将候选设定为面部区间11的终止位置。
在指定面部区间11之后，装置生成面部缩略图像21作为面部区间11的索引，并将面部缩略图像21与面部区间11相关联。不特别限制面部区间11的面部缩略图像21，只要用户能够识别与从静止图像31-1至31-3中检测的面部相同的面部即可。因此，在确定面部区间11之后，装置可从面部区间11中生成新的面部图像，并使用生成的图像作为面部缩略图像21可选地，装置可将指定面部区间11时使用的面部图像中的一个设定为面部缩略图像21。在图2所示的实例中，采用第二种方法，并且在面部图像32-1至32-3中，采用第一面部图像32-1作为面部缩略图像21。
为了用户的方便，装置从包括面部缩略图像21的面部的整个静止图像中不仅可以生成面部缩略图像21，还可以生成缩略图像41作为面部区间11的索引。在图2所示的实例中，由于面部图像32-1被用作面部缩略图像21，所以使用提取面部图像32-1的静止图像31-1的整体被用作缩略图像41。
即，尽管在图1中没有示出，但是作为动画内容1的面部区间11至14的索引，从相关的整个静止图像中不仅可以分别生成面部缩略图像21至24，还可以生成缩略图像。在这种情况下，可以执行以下的再生指示操作。将这种缩略图像的列表展现给用户，用户选择对应于期望面部区间的缩略图像。下面将参照图4至图26讨论再生指示操作和通过装置执行的相应处理的细节。
已经参照图2和图3描述了用于指定面部区间的技术和用于生成面部缩略图的技术。下面将参照图31进一步讨论各个技术的细节。
当在记录介质上记录内容使得可通过指定面部缩略图像再生面部区间时，可以使用具有诸如图4所示结构的记录介质。
在图4所示的记录介质51中，形成实数据区52和源数据区53。
在实数据区52中，记录N(N是0以上的整数)个内容64-1至64-N。在图4所示的实例中，一个内容64-K(K是1至N中的一个值)包括视频数据和音频数据。即，内容64-K相当于一个包括视频数据和音频数据的文件。
对于一个内容64-K，在源数据区53中记录用于再生内容64-K所需的源数据65-K。
源数据65-K包括关于内容64-K的信息和数据，例如，管理信息、缩略图信息和各个缩略图、内容元数据信息、面部区间元数据信息以及面部缩略图。
管理信息包括一组用于整个管理内容64-K的信息的各种项。
缩略图像是作为内容64-K的预定再生周期的索引的图像(例如，图2所示的缩略图像41)。将这种图像作为具有预定格式的图像数据记录在源数据区53中。
缩略图信息包括一组关于上述各个缩略图信息的各种项。
内容元数据信息是关于内容64-K的元数据信息，并包括例如除随后的面部区间元数据信息之外用于再生内容64-K所需的基本信息。
面部区间元数据信息包括一组用于再生诸如图1所示的面部区间11至14的面部区间所需的信息的各种项。在该实施例中，如图5所示，面部区间元数据信息包括再生信息、开始时间、再生时间以及记录位置。再生信息是关于内容64-K的所谓的“编码译码器信息(codec information)”。开始时间是根据再生时间或与面部区间开始位置相关的GOP的GOP号的关于面部区间的开始位置的信息。再生时间是例如根据再生持续时间或GOP号的关于面部区间长度的信息。记录位置是用于指定记录面部区间的实数据区域中位置的信息，例如，如果记录介质51是光盘，则为表示扇区的信息。
返回参照图4，面部缩略图是用作面部区间的索引的图像，例如，图1所示的面部缩略图像21至24。将这种缩略图像作为具有预定格式的图像数据记录在源数据区53中。与相关面部区间的面部区间元数据信息相关联地记录面部缩略图。
在图4所示的实例中，与内容64-K相关的源数据65-K不被记录为单个文件，而是通过将其分为管理信息文件61、缩略图像文件62和元数据文件63来记录。
换句话说，关于内容64-1的管理信息至关于内容64-N的管理信息共同包括在管理文件61中。内容64-1至64-N的缩略信息和对应的缩略图共同包括在缩略图像文件62中。内容64-1至64-N的内容元数据信息、面部区间元数据信息和面部缩略图共同包括在元数据文件63中。
即，多对面部区间元数据信息和相关面部缩略图作为关于内容64-K的一个元数据信息包括在元数据文件63中。更具体地，如果内容64-K是图1所示的动画内容1，则关于面部区间11的面部区间元数据信息和面部缩略图像21的配对、关于面部区间12的面部区间元数据信息和面部缩略图像22的配对、关于面部区间13的面部区间元数据信息和面部缩略图像23的配对和关于面部区间14的面部区间元数据信息和面部缩略图像24的配对，以及内容1的一组内容元数据信息包括在元数据文件63中。
源数据(例如，源数据65-K)的使用在不需要进行重新搜索的情况下实现人物面部的列表及其位置的高速显示。此外，响应于来自外部源的关于内容的信息的搜索请求，足以发送源数据。结果，可提高响应性。
源数据的使用还使得可以提取记录特定人物的部分并生成新的动画数据，或者再生或备份只记录特定人物的动画数据。因此，当执行自动编辑、自动再生、或自动备份时，源数据可用于提取数据。
图6是示出用于再生记录在具有图4所示结构的记录介质51上的内容64-K的再生装置的功能结构的框图。图6所示的再生装置用作根据本发明实施例的信息处理装置。
通过使用图6所示的再生装置，用户可以通过指定面部缩略图像执行参照图1所讨论的再生指示操作，即，用于给出指示以再生面部区间的操作。换句话说，图6所示的再生装置可以执行对应于上述再生指示操作的处理，以及还可以执行用于通过再生指示操作指示的从记录在记录介质51上的内容64-K中提取面部区间和用于再生所提取面部区间的处理。
为了执行上述处理，图6所示的再生装置包括控制单元71、信号分离器(demultiplexer)72、随机存储器(RAM)73、音频解码器74、声音输出单元75、视频解码器76、静止图像解码器77、图像合成器78、图像显示单元79以及操作单元80。
控制单元71包括系统控制器91、用户界面(UI)控制器92、和内容管理信息控制器93。随机存储器73包括管理信息区101和实数据区102。
系统控制器91对音频解码器74、视频解码器76、静止图像解码器77和图像合成器78执行各种类型的控制处理。
UI控制器92通过使用操作单元80和显示在图像显示单元79上的GUI图像(例如，下面描述的图10至图13所示的GUI图像)，对图形用户界面(GUI)执行各种类型的控制。
如果需要，内容管理信息控制器93将用于再生记录在记录介质51上的图4所示的内容64-K的管理信息(即，从源数据65-K中选择的必要信息)扩展到RAM 73的管理信息区101中。内容管理信息控制器93还通过使用扩展到管理信息区101的各种信息项，以图像数据的形式生成或更新图10至13所示的GUI图像，并将图像数据提供给静止图像解码器77。扩展到管理信息区101的信息的具体实例将参照图7和8在下面进行讨论。
信号分离器72读取将从记录在记录介质51上的内容64-1至64-N中再生的内容64-K的至少一部分。然后，信号分离器72将读取的数据分离为音频数据和视频数据，并将它们存储在RAM 73的实数据区102中。使用术语“读取内容64-K的至少一部分”是因为可以再生内容64-K的特定区间，例如，面部区间。
在RAM 73的实数据区102中，存储从记录介质51读取的诸如视频数据和音频数据的数据。在管理信息区101中，将记录在记录介质51上的源数据65-K中的多个信息作为管理信息来存储。管理信息区101的细节将参照图7和图8在下面作进一步讨论。
在系统控制器91的控制下，音频解码器74从实数据区102中读出音频数据并将音频数据转换为具有符合声音输出单位75的格式的声音信号，并将得到的声音信号提供给声音输出单位75。声音输出单位75输出对应于由音频解码器74提供的声音信号的声音，即，对应于内容64-K的音频数据的声音。
在系统控制器91的控制下，视频解码器76从实数据区102中读出视频数据并将视频数据转换为具有符合图像显示单位79的格式的图像信号。如果视频数据是MPEG数据，则视频解码器76执行MPEG解码处理并将得到的图像信号提供给图像合成器78。
在系统控制器91的控制下，静止图像解码器77从管理信息区101中读出静止图像数据(例如，GUI静止图像)，并将静止图像数据转换为具有符合图像显示单位79的格式的图像信号，并将得到的图像信号提供给图像合成器78。
图像合成器78将从视频解码器76输出的图像信号和从静止图像解码器77输出的图像信号合成，并将得到的合成图像信号提供给图像显示单位79。图像显示单位79显示对应于从图像合成器78输出的图像信号的图像，即，对应于内容64-K的视频数据的动画或诸如图10至图13所示的那些GUI图像。在图像显示单位79上还显示下面将参照图14至图16讨论的静止图像。
下面将参照图7和图8给出RAM 73的管理信息区101的细节。
如图7所示，管理信息区101包括图像处理区111、特性区112、缩略图区113以及元数据区114。
在图像处理区111中，存储在下面讨论的图10至13所示的GUI图像的图像数据以及通过内容管理信息控制器93对图像数据执行图像处理所需的信息的各种项。
在特性区112中，存储用于访问图4所示记录介质51所需的公共信息(例如，条目数目和内容64-K的大小)以及每个条目的特性数据(下文中称作“特性条目”)。
条目是给出再生指示的区间，例如，图1所示的面部区间11至14可以是条目。因此，属性条目包含各种用于再生相对应区间所必需的信息项。
在缩略图区113中，存储关于每个条目的缩略图的信息(下文中称作“缩略图条目”)。
在元数据区114中，存储关于每个条目的元数据的信息(下文称作“元数据条目”)。如果面部区间是条目，则对应的面部区间元信息和面部缩略图的配对(参见图4)包含在条目的元数据条目中。
应当注意，每个条目的特性条目、缩略图条目和元数据条目不是分别存储在特性区112、缩略图区113和元数据区114中，而是如图8箭头所示，以相互联系的方式存储每个条目的特性条目、缩略图条目和元数据条目。
下面，给出通过使用图6所示的再生装置由用户执行的再生指示操作以及响应于再生指示操作通过再生装置执行的处理的描述。
图9示出了响应于再生指示操作的再生装置的可能状态的实例。
在图9中，每个状态是由一个方框来表示的，并且通过从方框引出的符号“S”来识别方框。如果满足预定条件(下文中称作“状态转换条件”)，则执行图9中由箭头表示的从一个状态到另一个状态的状态转换(包括再生装置保持在相同状态的情况)。在图9中，通过附加在箭头上的符号“C”来表示状态转换条件。这些同样应用于其它状态转换图。
例如，响应于用于通过操作单元80给出再生指示的开始操作，UI控制器92确定满足状态转换条件C1，并将再生装置的状态转换为介质列表显示状态S1。
在再生装置的状态转换为介质列表显示状态S1之后，内容管理信息控制器93在RAM 73的管理信息区101中以图像数据的形式生成介质列表GUI图像，并将介质列表GUI图像提供给静止图像解码器77。系统控制器91控制静止图像解码器77和图像合成器78，以将介质列表GUI图像从图像数据变换为图像信号，并将变换的介质列表GUI图像提供给图像显示单元79。然后，在图像显示单元79上，显示介质列表GUI图像。结果，可以实现使用介质列表GUI图像和操作单元80的GUI。
介质列表是每个可通过再生装置再生的记录介质的索引列表。即，尽管没有示出，但允许显示介质列表并从列表中接收用于选择对应于期望记录介质的索引操作的GUI图像是介质列表GUI图像。
用于在图像显示单元79上显示另一个GUI图像和使用GUI图像和操作单元80实现GUI的一系列处理基本上类似于用于上述介质列表GUI图像的处理。因此，这样一系列处理简称为“GUI图像显示处理”，并省略了详细解释。
在通过操作单元80执行的用于从介质列表中选择期望记录介质的操作之后，UI控制器92确定满足状态转换条件C2，并将再生装置的状态从介质列表显示状态S1转换到文件/文件夹列表显示状态S2。
在再生装置的状态转换为文件/文件夹列表显示状态S2之后，控制单元71执行用于显示文件/文件夹列表GUI图像的处理。
文件/文件夹列表包含在所选记录介质中的、树结构形式的文件夹和文件的图标列表。即，尽管没有示出，但允许显示文件/文件夹列表并接收用于选择对应于期望文件/文件夹的图标的操作的GUI图像是文件/文件夹列表GUI图像。
文件/文件夹列表GUI图像包含用于重新显示例如介质列表GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C3，并将再生装置的状态从文件/文件夹列表显示状态S2转换为介质列表显示状态S1。
响应于通过操作单元80执行的用于从文件/文件夹列表GUI图像中选择期望文件/文件夹的操作，UI控制器92确定满足状态转换条件C4，并将再生装置的状态从文件/文件夹列表显示状态S2转换为文件夹文件显示状态S3。
更具体地，在该实施例中，文件夹文件显示状态S3包括三种状态，例如，一般显示状态S3-1，动画选择屏幕显示状态S3-2和静止图像选择屏幕显示状态S3-3。在这三种状态中，再生装置的状态从文件/文件夹列表显示状态S2转换为一般显示状态S3-1。即，一般显示状态S3-1是文件夹文件显示状态S3的默认状态。
在再生装置的状态转换为一般显示状态S3-1之后，控制单元71执行用于显示文件选择GUI图像的处理。
尽管没有示出，但文件选择GUI图像包含用于重新显示例如文件/文件夹列表GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C5，并将再生装置从一般显示状态S3-1转换为文件/文件夹列表显示状态S2。
文件选择GUI图像是允许显示包含在所选记录介质的文件夹中的各个文件的图标显示并接收用于选择预定图标的操作的GUI图像。选择图标是选择与该图标相关的文件。
在这种情况下，如果所选记录介质是图4所示的记录介质51，则用作动画内容的内容64-l1至内容64-N形成为文件。因此，选择内容64-K的文件是给出指示以再生内容64-K。
然而，对于用户难以视觉上确定图标是表示动画内容的文件还是另一种类型内容的文件。即使用户可以识别图标表示动画内容的文件，也难以了解动画内容的类型。
因此，在该实施例中，提供了如图10所示的动画选择GUI图像150。即，动画选择GUI图像是允许作为动画内容索引的各个动画内容的代表图像的列表显示为缩略图像151以及从列表中接收用于选择预定缩略图像151的操作的GUI图像。
尽管没有示出，但文件选择GUI图像包含用于显示例如动画选择GUI图像150的软件按钮。如果操作软件按钮，则确定满足图9所示的状态转换条件C6，并将再生装置的状态从一般显示状态S3-1转换为动画选择屏幕显示状态S3-2。
在将装置的状态转换为动画选择屏幕显示状态S3-2之后，控制单元71执行用于显示图10所示动画选择GUI图像150的处理。
尽管没有示出，但动画选择GUI图像包含用于重新显示例如文件选择GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C7，并将再生装置的状态从动画选择屏幕显示状态S3-2转换为一般显示状态S3-1。
在显示图10所示动画选择GUI图像150时，如图11所示，用户操作操作单元80，来将光标152移动到期望缩略图像151，并通过使用操作单元80执行预定操作来设定由光标152表示的缩略图像151。
在这种情况下，选择缩略图像151是给出指示以再生与缩略图像151相关联的动画内容。在该实施例中，如参照图1所讨论的，至少具有两种类型的再生指示操作，例如，用于给出指示以再生整个动画内容的再生指示操作(下文种称作“整体再生指示操作”)以及用于给出指示以再生作为动画内容一部分的面部区间的再生指示操作(下文中称作“面部区间再生指示操作”)。
因此，用于缩略图像151的选择操作还包括两种类型的再生指示操作，例如，对应于整体再生指示操作的第一选择操作和对应于面部区间再生指示操作的第二选择操作。
如果执行第一选择操作，则确定满足图9所示的状态转换条件C10，并将再生装置的状态从动画屏幕显示状态S3-2转换为动画再生状态S6。
在将再生装置的状态转换为动画再生状态S6之后，控制单元71再生执行整体再生指示操作的动画内容。即，从记录介质中读取整个动画内容并从头开始再生。从参照图6的再生装置的描述中可容易地理解用于整个动画内容的再生操作，并在此忽略其描述。
在完成动画内容的再生或响应于用于中断动画内容再生的操作之后，确定满足状态转换条件C11，并将再生装置的状态从动画再生状态S6转换为动画选择屏幕显示状态S3-2。
相反，如果执行对应于面部再生指示操作的第二选择操作，则确定满足状态转换条件C12，并将再生装置的状态从动画选择屏幕显示状态S3-2转换为面部区间再生选择屏幕显示状态S5。
在将再生装置的状态转换为面部区间再生选择屏幕显示状态S5之后，执行用于显示面部区间再生选择GUI图像的处理。
面部区间再生选择GUI图像是指示用户从动画选择屏幕GUI图像中所选的动画内容中选择期望面部区间的GUI图像。
在该实施例中，作为面部区间再生选择GUI图像，提供了如图12所示的三种GUI图像161至163。
在图12中，在左侧示出的GUI图像161是允许面部缩略图像的列表被显示为包含在动画内容中的面部区间的索引列表并接收用于从该列表中选择期望面部图像缩略图的操作的GUI图像。下文中将GUI图像161称作“面部缩略图GUI图像161”。
在图12所示的实例中，假设选择图1所示的内容1，并且包括在内容1中的、分别与面部区间11至14相关联的面部缩略图像21至24的列表显示为面部缩略图GUI图像161。
在显示面部缩略图GUI图像161时，用户可以操作操作单元80以将光标201移动到期望面部缩略图像，如图12所示，并且可以通过操作单元80执行预定操作以给出指示来再生对应于由光标201表示的面部缩略图像的面部区间。
在图12所示的实例中，由于光标201位于面部缩略图像22处，所以用户给出指示以再生图1所示的面部区间12。在这种情况下，从记录介质51中读取动画内容1的面部区间12并进行再生。从参照图6的再生装置的描述中可以容易地理解用于面部区间12的再生操作，因此在此忽略其解释。
下面将简要讨论用于指定作为面部区间12而读取的动画内容1的范围的技术实例。如上所述，可以通过记录在记录介质51上的关于面部区间12的面部区间元数据信息(图5)指定对应于面部区间12的动画内容1的范围。因此，如果在选择面部缩略图像22之前已经加入了面部区间12，则关于面部区间12的面部区间元数据信息被记录在管理信息区101中作为面部区间12的元数据条目(图8)。然后，通过使用该元数据条目，可以指定作为面部区间12而读取的动画内容1的范围。如果当选择面部缩略图像22时还没有加入面部区间12，则在该点处将其加入。
与面部缩略GUI图像161相反，代替面部图像，GUI图像162包含对应于从中提取面部图像的源场景静止图像的整体的缩略图像。下文中将GUI图像162称作“源场景GUI图像162”。
在图12所示的实例中，分别对应于从中提取面部缩略图像21至24的源场景静止图像的缩略图像181至184分别显示在源场景GUI图像162中作为面部区间11至14的索引。
因此，当正在显示源场景GUI图像162时，如图12所示，用户可操作操作单元80以将光标201移动到期望缩略图像，并可通过操作单元80执行预定操作，以给出指示来再生对应于定位光标201位置处的缩略图像的面部区间。
在图12所示的实例中，由于光标201位于缩略图像182处，所以用户给出指示以再生图1所示的面部区间12。然后，从记录介质51中读取动画内容1的面部区间12并将其再生。
在该实施例中，在将光标201定位于面部缩略图像161中的期望面部缩略图像之后，或者在将光标201定位于源场景GUI图像162中的期望缩略图像之后，即，在面部缩略GUI图像161或源场景GUI图像162中选择期望面部区间之后，用户可通过操作单元80执行预定操作，以显示动画内容1中包括表示预定面部时间的位置的时间线191的GUI图像163。在图12所示的实例中，如上所述，由于选择了面部区间12，所以对应于图1所示动画内容1的带状图像显示为时间线191，并且只有表示面部区间12的图像显示在带状图像中。下文中将GUI图像163称作“时间线GUI图像163”。
当显示时间GUI图像163时，用户可以通过操作单元80执行预定操作，以给出指示来再生由显示在时间线191中的图像所表示的面部。
在图12所示的实例中，由于在时间线191中显示表示图1所示面部区间12的图像，所以用户可以给出指示以再生面部区间12。然后，从记录介质51中读取动画内容1的面部区间12并将其再生。
在图12所示的实例中，只选择了一个面部缩略图像22或一个缩略图像182。然而，如图13所示，可以选择所有的面部缩略图像21至24或所有的缩略图像181至184，或者可以选择面部缩略图像21至24中的一些或缩略图像181至184中的一些。即，可以通过一个再生指示操作选择多个面部区间。
在这种情况下，例如，在图13中，由一个再生指示操作选择的面部区间，依次连续再生面部区间11至14(参见图1)。
如上所述，在该实施例中，作为面部区间再生选择GUI图像，提供了三种GUI图像，例如，图12所示的面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163。因此，如图14所示，面部区间再生选择屏幕显示状态S5包括显示面部缩略图GUI图像161的面部缩略图屏幕显示状态S5-1、显示源场景GUI图像162的源场景屏幕显示状态S5-2和显示时间线GUI图像163的时间线屏幕显示状态S5-3。
如果在面部缩略图屏幕显示状态S5-1、源场景屏幕显示状态S5-2和时间线屏幕显示状态S5-3中至少执行一次上述面部区间再生指示操作，则确定分别满足状态转换条件C14-1、C14-2和C14-3，并将再生装置的状态转换为动画再生状态S6。
如上所述，在将再生装置的状态转换为动画再生状态S6之后，控制单元71连续再生执行再生指示操作的一个或多个面部区间。
在到最终完成一个或多个面部区间的再生操作或响应于停止再生操作的指示之后，确定满足状态转换条件C11，并将再生装置的状态从动画再生状态S6转换为动画选择屏幕显示状态S3-2。
尽管没有示出，但在面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163的每一个中包含用于重新显示例如动画选择GUI图像150的软件按钮。如果操作软件按钮，则确定满足状态转换条件C13-1、C13-2或C13-3，并将再生装置的状态转换为动画选择屏幕显示状态S3-2。
尽管没有示出，但在面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163的每一个中包含用于重新显示例如另一个面部区间选择GUI图像的另一个软件按钮。如果操作该软件按钮，则确定满足状态转换条件C21至C26中的一个，并将再生装置的状态转换为面部缩略图屏幕显示状态S5-1、源场景屏幕显示状态S5-2和时间线屏幕显示状态S5-3中相对应的一个。
如上所述，根据本发明实施例的上述图6所示构造的再生装置为用户展现面部缩略图GUI图像161、源场景GUI图像162或时间线GUI图像163，并指示用户选择面部缩略图像，使得可以再生对应于所选面部缩略图像的面部区间。
用户可以选择多个面部缩略图像。在这种情况下，连续再生对应于所选多个面部缩略图像的多个面部区间。在图13所示的实例中，选择分别对应于图1所示动画内容1的面部区间11至14的面部缩略图像21至24或缩略图像181至184。因此，以那种顺序连续再生面部区间11至14。
此外，一个或多个所选面部区间可形成为一个新内容，即，新文件，并将其记录在外部介质(例如，记录介质51)上。可选地，可以通过网络将一个或多个所选面部区间传送至外部装置(未示出)。这种技术被称作“集体写入/传送技术”。
更具体地，在图15所示的实例中，可以实现以下的集体写入/传送技术。在选择分别对应于动画内容1的面部区间11至14的面部缩略图像21至24之后，可生成新内容211，从而通过执行预定操作以这种次序再生面部区间11至14。然后，可将缩略图像212添加到动画选择GUI图像150作为新内容211的索引，或者可将新内容211记录在记录介质51上。
为了将集体写入/传送技术应用于再生装置，除参照图4至图14所讨论的上述结构和操作之外，图16至图18所示附加措施也是必要的。
即，如图16所示，为了通过使用图12所示的面部缩略图GUI图像161和源场景GUI图像162来实现集体写入/传送技术，可将软件按钮251-1至253-1添加至面部缩略图GUI图像161以及可将软件按钮251-2至253-2添加至源场景GUI图像162。
除非需要将它们彼此区分，否则下文中将软件按钮251-1至253-1和251-2至253-2简称为“软件按钮251至253”。如图16所示，软件按钮251至253也分别被称作再生按钮251、文件生成按钮252和外部写入按钮253。
再生按钮251是用于执行再生指示操作软件按钮，再生指示操作用于以与一个或多个所选面部缩略图像或缩略图像相关联的顺序连续再生一个或多个面部区间。
文件生成按钮252是用于从与一个或多个所选面部缩略图像或缩略图像相关联的一个或多个面部区间中生成新内容作为新文件以及用于将新文件存储在再生装置的内置存储器中(例如，下面讨论的图17所示的RAM 73)的软件按钮。通过操作文件生成按钮252，如图15所示的新内容211，将对应于生成的新内容的缩略图像添加至动画选择GUI图像150。因此，用户可选择附加缩略图像以给出指示来再生新内容。
外部写入按钮253是用于从与一个或多个所选面部缩略图像或缩略图像相关联的一个或多个面部区间中生成新内容作为新文件以及用于将生成的新内容记录在外部介质(例如，记录介质51)中，或者经网络将新文件传送至外部装置的软件按钮。通过操作外部写入按钮253，用户可将诸如图15所示新内容211的新内容记录在记录介质51上。
图17示出了实现集体写入/传送技术的记录/再生装置的结构实例。即，记录/再生装置用作根据本发明实施例的信息处理装置，并且不同于图6所示的再生装置。
在图17所示的记录/再生装置中，对应于图6所示再生装置的元件以相同的参考数字来表示，并忽略其解释。
如上所述，根据集体写入/传送技术，通过使用面部缩略图像或缩略图像选择的一个或多个面部区间可被形成一个内容，即，新文件。然而，在这种情况下，如果选择多于一个的面部区间，则用于组合这些面部区间的编辑操作变得很必要。在该实施例中，当它们为基带信号形式时，对面部区间执行该编辑操作。因此，在图17所示的记录/再生装置中，代替图6所示再生装置的音频解码器74、视频解码器76和静止图像解码器77，设置了除解码功能(压缩编码处理)之外还具有编码功能(扩展解码(expansion-decoding)处理)的诸如音频编码器/解码器261、视频编码器/解码器262和静止图像编码器/解码器263的功能块。
例如，当生成图15所示的新内容211时，图17所示的记录/再生装置执行下列处理。假设面部区间11至14以MPEG数据的形式存储在RAM 73中。在这种情况下，视频编码器/解码器262对每个面部区间11至14执行所谓的MPEG编码(扩展解码处理)，以将MPEG数据转换为基带信号。然后，将基带信号形式的面部区间11至14存储在RAM 73的管理信息区101的图像处理区111(图7)中。控制单元71通过组合基带信号形式的面部区间11至14来生成新内容211，并将新内容211提供给视频编码器/解码器262。然后，视频编码器/解码器262对新内容211执行所谓的MPEG解码(压缩编码处理)，以将基带信号转换为MPEG数据，随后将MPEG数据存储在RAM 73的实数据区102中。
如果在新内容211中包括声音，则音频编码器/解码器261以与视频编码器/解码器262类似的方式执行处理。
在图17所示的记录/再生装置中，为了将诸如新内容211的新内容记录在记录介质51上，实现通过内容管理信息控制器93对记录介质51的直接访问。
图17所示上述构造的记录/再生装置可以类似于图6所示再生装置的方式执行参照图9至图14所讨论的处理。即，图17所示的记录/再生装置可执行对应于由用户执行的再生指示操作的处理以及用于将响应于再生指示操作再生内容的处理。
如图18的流程图所示，图17所示的记录/再生装置还可以执行集体写入处理。
当记录/再生装置的状态处于图14所示的面部区间再生选择屏幕显示状态S5时，执行集体写入处理。即，在该实施例中，当图16所示的面部缩略图GUI图像161或源场景GUI图像162显示在图像显示单元79上时，执行集体写入处理。
图18是示出通过记录/再生装置执行的集体写入处理实例的流程图。
在步骤S21中，图17所示的控制单元71的UI控制器92确定是否已经操作了文件生成按钮252或外部写入按钮253。
如果在步骤S21中确定没有操作生成按钮252或外部写入按钮253，则处理返回到步骤S21，并重复步骤S21中的确定处理。
如果在步骤S21中确定已经操作了生成按钮252或外部写入按钮253，则处理前进到步骤S22。
在步骤S22中，内容管理控制器93生成用于连续再生对应于所选面部缩略图像或缩略图像的部分的源数据。
在步骤S23中，内容管理控制器93在RAM 73的管理信息区101中生成包括源数据的临时文件夹。
更具体地，例如，假设在通过使用面部缩略图GUI图像161选择面部缩略图像21至24之后，操作文件生成按钮252-1或外部写入按钮253-1。
在这种情况下，面部缩略图像21至24分别用作面部区间11至14的索引。因此，在步骤S22中，生成分别用于再生面部区间11至14的源数据项271至274。然后，在步骤S23中，将包括源数据项271至274的临时文件夹261记录在RAM 73的管理信息区101中。源数据项271至274分别是包括多对关于面部区间11至14的面部缩略图和面部区间元数据信息的数据(参见图4)。
在图18的步骤S24中，UI控制器92确定操作的按钮是否是文件生成按钮252。
如果在步骤S24中确定已经操作了文件生成按钮252，则处理前进到步骤S25。
在步骤S25中，内容管理信息控制器93将关于临时文件夹的信息写入RAM 73的公共管理信息区，使得可将临时文件夹转换为永久文件夹。然后，完成集体写入处理。
如果在步骤S24中确定操作的按钮不是文件生成按钮252，即，操作的按钮是外部写入按钮253，则处理前进到步骤S26。
在步骤S26中，内容管理信息控制器93和系统控制器91将临时文件夹中的源数据与实数据结合，以生成新内容作为新文件。已经通过上面视频编码器/解码器262的描述讨论了实数据生成处理。
在步骤S27中，内容管理信息控制器93将新内容记录在外部介质(例如，记录介质51)上作为新文件。然后，完成集体写入处理。
如果图17所示的记录/再生装置具有与其它装置进行通信的功能，则即使没有示出这种功能，在步骤S27中，也可通过使用通信功能将新内容传送至另一装置。
在上述实例中，面部缩略图像与动画内容相关联。然而，他们可与静止图像内容相关联。然后，与在动画内容中一样，通过使用包括面部缩略图像列表的GUI图像，用户可对静止图像内容执行搜索操作或再生指示操作。
在大多数情况下，有可能静止图像内容的数目远远大于动画内容的数目。因此，代替显示与所有静止图像内容相关联的面部缩略图像的列表，排列静止图像内容的下列方法对于用户更加方便。确定包括相同人物的多个静止图像形成一组，然后，从每一组中提取一个面部缩略图像作为代表的面部缩略图像。随后显示代表面部缩略图像的列表。
更具体地，如果记录在记录介质51上的多个静止图像属于表示三个人物的三个组，则如图20所示，设置用于三个组的文件夹271至273(下文中称作“人物文件夹271至273”)。然后，用于显示属于每组的至少一个静止图像的源数据包括在人物文件夹271至273中对应的一个中。作为源数据，可以使用包括相应面部缩略图像和用于将面部缩略图像链接至静止图像内容的链接信息的数据。
在这种情况下，可将人物文件夹271至273预先存储在记录介质51中，或者可通过图6所示的再生装置生成然后存储在RAM73的管理信息区101中。
现在，给出当人物文件夹271至273存储在RAM73的管理信息区101中时，通过图6所示的再生装置所执行处理实例的描述。
在这种情况下，在图9所示的状态中，再生装置的状态处于没有讨论的静止图像选择屏幕显示状态S3-3。
静止图像选择屏幕显示状态S3-3是显示静止图像选择GUI图像的状态。
静止图像选择GUI图像是允许相应的代表面部缩略图像显示为每个人物文件的索引以及接收用于选择与期望人物文件相关联的代表面部缩略图像的操作的GUI图像。在这种情况下，在从GUI图像中选择一个人物文件之后，可将包括在所选人物文件中的缩略图像的列表显示为GUI图像，这种GUI图像也被称作静止图像选择GUI图像。下面将参照图22至图25描述静止图像选择GUI图像的具体实例。
尽管没有示出，但用于显示这种静止图像选择GUI图像的软件按钮包括在以一般显示状态S3-1显示的文件选择GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C8，并将再生装置的状态从一般显示状态S3-1转换为静止图像选择屏幕显示状态S3-3。
在将再生装置转换到静止图像选择屏幕显示状态S3-3之后，图6所示的控制单元71执行静止图像选择GUI图像的显示处理。
更具体地，在该实施例中，如图21所示，静止图像选择屏幕显示状态S3-3包括四个状态，例如，静止图像列表屏幕显示状态S31、面部缩略如屏幕显示状态S32、面部缩略图源图像屏幕显示状态S33、选择人物源图像列表屏幕显示状态S34。
再生装置从一般显示状态S3-1转换到静止图像列表屏幕显示状态S31。即，静止图像列表屏幕显示状态S31是静止图像选择屏幕显示状态S3-3的默认状态。
在将再生装置转换到静止图像列表屏幕显示状态S31之后，控制单元71执行静止图像列表GUI图像的显示处理。
用于重新显示例如文件选择GUI图像的软件按钮包括在静止图像列表GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C9，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为一般显示状态S3-l
尽管没有示出，但静止图像列表GUI图像是允许与包括在所选文件夹中的所有静止图像内容相关联的缩略图像的列表显示为多个静止图像内容的索引以及接收用于从列表中选择期望缩略图像的操作的GUI图像。
如果在显示静止图像列表GUI图像时选择预定缩略图像，即，如果给出再生对应于所选缩略图像的静止图像内容的指示，则确定满足状态转换条件C15-1，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为静止图像显示状态S4。
在将再生装置转换为静止图像显示状态S4之后，控制单元71再生已经执行的再生指示操作的静止图像内容。即，如果由于满足状态转换条件C15而将再生装置的状态转换为静止图像显示状态S4，从记录介质51中读取静止图像内容并将其再生。即，将静止图像显示在图6所示的图像显示单元79上。除使用图6所示的静止图像解码器77代替图6所示的视频解码器76之外，用于静止图像内容的再生操作基本上与用于动画内容的再生操作类似，因此省略其解释。
如果给出停止静止图像内容的再生操作的指示，则确定满足状态转换条件C16-1，并将再生装置的状态从静止图像显示状态S4转换为静止图像列表屏幕显示状态S31。
如上所述，在静止图像列表GUI中，显示所有静止图像内容。因此，如果静止图像内容的数目很大，则缩略图像的数目也变得很大。因此，用户很难从很多缩略图像中选择期望的一个。
因此，在该实施例中，如上所述，表示每个人物的代表面部缩略图像与相应的人物文件夹相关联。设置允许显示代表面部缩略图像的列表并接收用于选择期望的代表面部缩略图像的操作的GUI图像。这种GUI图像也被称作“面部缩略图GUI图像”。
尽管没有示出，但用于显示例如面部缩略GUI图像的软件按钮包含在静止图像列表GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C51，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为面部缩略图屏幕显示状态S32。
在将再生装置转换到面部缩略图屏幕显示状态S32之后，控制单元71执行面部缩略图GUI图像的显示操作。
然后，显示诸如图22所示的面部缩略图GUI图像301。在图22所示的实例中，在面部缩略图GUI图像301中显示作为四个人物文件夹的索引的代表面部缩略图像311至314的列表。
在每个代表面部缩略图像311至314中，包含了对应人物的面部图像。然而，为了易于理解，在图22所示的实例中，示出了表示人物名称的α、β、γ、和θ。即，在图22所示的实例中，代表面部缩略图像311是人物α的人物文件夹的索引并包含人物α的面部图像。同样地，代表面部缩略图像312是人物β的人物文件夹的索引并包含人物β的面部图像。代表面部缩略图像313是人物γ的人物文件夹的索引并包含人物γ的面部图像。代表面部缩略图像314是人物θ的人物文件夹的索引并包含人物θ的面部图像。
在该实施例中，如图23所示，作为人物文件夹的索引，不仅显示代表面部图像，还显示了包括从中提取代表面部图像中的源静止图像的GUI图像302。GUI图像302被称作“面部缩略图源图像GUI图像302”。
在图23所示的实例中，在面部缩略如源图像GUI图像302中显示作为从中分别提取图22所示代表面部缩略图像311至314的源静止图像的缩略图像321至324。下面给出光标331的描述。
尽管没有示出，但用于显示图23所示面部缩略图源图像GUI图像302的软件按钮包含在图22所示的面部缩略图GUI图像301中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C53，并将再生装置的状态从面部缩略图屏幕显示状态S32转换为面部缩略图源图像屏幕显示状态S33。
在将再生装置转换为面部缩略图源图像屏幕显示状态S33之后，控制单元71执行用于面部缩略图源图像GUI图像302的显示处理。然后，显示图23所示的面部缩略图源图像GUI图像302。
尽管没有示出，但用于显示图22所示的面部缩略图GUI图像301的软件按钮包含在图23所示的面部缩略图源图像GUI图像302中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C54，并将再生装置的状态从面部缩略图源图像屏幕显示状态S33转换为面部缩略图屏幕显示状态S32。
如图24所示，当正在显示图22所示的面部缩略GUI图像301时，用户可操作操作单元80以将光标341移动到期望的代表面部缩略图像311，然后在操作单元80上执行预定操作以给出指示来再生对应于光标341所处位置处的代表缩略图像311的人物文件夹，即，人物α的人物文件夹。
同样地，当正在显示图23所示的面部缩略GUI图像302时，如图23所示，用户可操作操作单元80以将光标331移动到期望的代表面部缩略图像321，然后通过操作单元80执行预定操作以给出指示来再生对应于光标331所处位置处的代表缩略图像321的人物文件夹，即，人物α的人物文件夹。
以这种方式，如果在正在显示图24所示面部缩略图GUI图像301的状态下给出再生人物α的人物文件夹的指示，则确定满足图21所示的状态转换条件C55。如果在正在显示图23所示面部缩略图源图像GUI图像302的状态下给出再生人物α的人物文件夹的指示，则确定满足图21所示的状态转换条件C57。结果，将再生装置的状态转换为选择人物源图像列表屏幕显示状态S34。
在将再生装置转换为选择人物源图像列表屏幕显示状态S34之后，控制单元71执行选择人物源图像列表GUI图像的显示处理。
选择人物源图像列表GUI图像是允许包含在所选人物文件夹中的所有静止图像内容(即，包含所选人物的多个静止图像内容)显示为缩略图像的列表并接收用于选择预定缩略图像的操作的GUI图像。
例如，由于选择了人物α的人物文件夹，所以如图25所示，在选择人物源图像列表GUI图像303中显示包含人物α的图像的静止图像351至356作为缩略图像的列表。
尽管没有示出，但用于显示例如图22所示面部缩略图GUI图像301的软件按钮包括在选择人物源图像列表GUI图像303中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C56，并将再生装置的状态从选择人物源图像列表屏幕显示状态S34转换为面部缩略图屏幕显示状态S32。
当正在显示图25所示的选择人物源图像列表GUI图像303时，用户了操作操作单元80以将光标361移动到期望的缩略图像356，然后通过操作单元80执行预定操作以给出指示来再生对应于光标361所处位置处的缩略图像356的静止图像内容。
响应于再生静止图像内容的指示，确定满足图21所示的状态转换条件C15-2，并将再生装置的状态从选择人物源图像列表屏幕显示状态S34转换为静止图像显示状态S4。
在将再生装置转换为静止图像显示状态S4之后，控制单元71再生执行了再生指示操作的静止图像内容。即，如果由于满足状态转换条件C15-1而将再生装置转换为静止图像显示状态S4，则从记录介质51中读取静止图像内容并将其再生。更具体地，如图26所示，显示包括将被再生的静止图像356的GUI304。
为了描述的简要，由相同的参考编号表示图25和图26所示的静止图像356。然而，实际上，图26所述的静止图像356是原始尺寸(原始分辨率)，并且具有原始尺寸的实图像的缩小图像被用作图25所示的选择人物源图像列表GUI图像303中的缩略图像。
如果指示停止再生静止图像内容，则确定满足图21所示的状态转换条件C16-2，并将再生装置的状态从静止图像显示状态S4转换为选择人物源图像列表屏幕显示状态S34。
已经参照图21至图26讨论了响应于再生静止图像内容的指示所执行的处理。在该描述中，执行处理的实体是如图6所示构造的再生装置。然而，执行处理的实体并不限制为图6所示的再生装置，例如图17所示的记录/再生装置也可以是执行处理的实体。
在这种情况下，可将参照图15讨论的集体写入/传送技术应用于图17所示的记录/再生装置。因此，通过将集体写入/传送技术应用于静止图像内容，可执行下列处理。在图17所示的记录/再生装置中，可生成新的人物文件夹，以及可将对应于人物文件夹的代表面部缩略图像添加至面部缩略图GUI图像301。可选地，可将新的人物文件夹和相应的多个静止图像内容记录在外部介质(例如，记录介质51)上，或者可通过网络将其传送至外部装置(未示出)。
更具体地，如图27所示，将类似于图16所示对应物的再生按钮251-3、文件生成按钮252-3和外部写入按钮253-3添加至静止图像列表GUI图像362。通过这种配置，图17所示的记录/再生装置可以执行下列处理。
在图27所示的实例中，静止图像列表GUI图像362中的缩略图像371至374分别形成为静止图像内容381至384的索引。
例如，现在假设在选择静止图像列表GUI图像362中的所有缩略图像371至374之后，操作文件生成按钮252-3或外部写入按钮253-3。
在这种情况下，图17所示记录/再生装置的控制单元71生成用于分别再生静止图像内容381至384的源数据项391至394，并将包括源数据项391至394的临时文件夹398记录在例如RAM73的管理信息区101中。作为源数据项391至394，可使用与静止图像内容381至384相关联的面部缩略图像和将面部缩略图像与静止图像内容381至384链接的链接信息。在这种情况下，面部缩略图像中的一个可被用作代表面部缩略图像。
如果操作文件生成按钮252-3，则图17所示的内容管理信息控制器93将关于临时文件夹398的信息写入RAM73的公共管理信息区，以将临时文件夹398转换为永久文件夹。然后，完成集体写入处理。
相反，如果操作外部写入按钮253-3，则图17所示的内容管理信息控制器93和系统控制器91将临时文件夹中的源数据项391至394与静止图像内容381至384组合以生成新的内容文件。然后，内容管理信息控制器93将新内容记录在外部介质(例如，记录介质53)作为文件，或将新内容传送至另一个装置(未示出)。
作为本发明实施例的信息处理装置的应用，已经给出了对可以再生记录在图4所示记录介质51上的动画内容或静止图像内容以及可以展现利用面部缩略图像的再生指示操作GUI的装置的描述。
作为本发明实施例的信息处理装置的另一个应用，现在给出对可以将动画内容或静止图像内容记录在记录介质51上以及可以展现利用面部缩略图像的再生指示操作GUI的图像记录装置的描述。
图28示出了这种图像记录装置401的功能结构的实例。
图像记录装置401包括控制器411、图像拍摄单元412、图像处理器413、图像压缩器414和写入器415。
例如，控制器411包括中央处理单元(CPU)，并根据存储在例如只读存储器(ROM)(未示出)中的程序执行各种类型的控制处理。即，控制器411控制控制图像拍摄单元412、图像处理器413、图像压缩器414和写入器415的操作。
例如，图像拍摄单元412包括数码摄像机，并拍摄目标图像以及将作为拍摄操作结果所获取的图像信号以基带信号的形式提供给图像处理器413。
图像处理器413对从图像拍摄单元412提供的图像信号执行各种类型的图像处理，使得可以处理对应于图像信号的动画或静止图像。然后，图像处理器413将得到的图像信号以基带信号的形式提供给图像压缩器414。在该描述中，通过图像处理器413执行的图像处理包括上述处理，例如，指定面部区间以及形成面部缩略图像和缩略图像作为面部区间的索引。还将关于面部区间以及面部缩略图像和缩略图像的信息作为预定数据从图像处理器413输出至控制器411或写入器415。下面讨论图像处理的细节。
图像压缩器414对以基带信号的形式通过图像处理器413从图像拍摄单元412提供的图像信号执行预定的压缩编码处理。更具体地，如果图像信号是动画信号，则图像压缩器414执行例如MPEG解码处理，然后将得到的压缩图像数据提供给写入器415。有时可将压缩图像数据(例如，MPEG数据)提供给图像处理器413作为用于检测面部区间的图像信号。
写入器415将由图像压缩器414提供的图像数据写入记录介质51作为图像内容(即，文件)，并将图像内容的源数据写入记录介质51。源数据包括关于由图像处理器413或控制器411提供的面部缩略图像和面部区间的信息。即，将关于面部缩略图像和面部区间的信息写入记录介质51的源数据区53作为参照图4讨论的面部缩略图和面部区间元数据信息的配对。
图29示出了图像记录装置401的图像处理器413的功能结构的实例。
在图29所示的实例中，图像处理器413包括噪声消除器421、帧存储器422、放大/缩小单元423、信号变换器424、图像合成器425、帧存储器426和图像信息检测器427。
噪声消除器421执行用于消除对应于由图像拍摄单元412提供的图像信号的拍摄图像中所包含的不需要的噪声的噪声消除处理。然后，噪声消除器421将得到的图像信号提供给放大/缩小单元423。
更具体地，噪音消除器421通过使用帧存储器422执行作为噪声消除处理的下列处理。通过使用从帧存储器422读取的前一帧(目标帧之前的一帧)的图像信号和从图像拍摄单元412输入的目标帧的图像信号，噪声消除器421从两个图像信号中获得噪声分量并将它们从目标帧的图像信号中消除。然后，噪声消除器421将没有噪声的图像信号提供给放大/缩小单元423。将这个图像信号写回到帧存储器422，以便其可用作随后的目标帧之前一帧的图像信号。在这种情况下，由控制器411提供用于调整噪声消除级别的参数，因此，噪声消除器421可根据由图像拍摄单元412拍摄的图像来执行噪声消除处理。
放大/缩小单元423根据由控制器411提供的预定放大/缩小率对由噪声消除器421提供的图像信号执行放大/缩小处理，然后将得到的图像信号提供给信号变换器424。如果控制器411没有给出指示或者如果放大/缩小率是100％，那么放大/缩小单元423直接将图像信号提供给信号变换器424而不改变其大小。
信号变换器424对由放大/缩小单元423提供的图像信号执行关于由控制器411指示的视频效果类型的图像处理。然后，信号变换器424将得到的图像信号提供给图像合成器425，并且还将其提供给图像信息检测器427。不特别限制通过信号变换器424执行的图像处理的类型，可以是变为深褐色或黑白色的色彩变换，或者是正负变换，或者是马赛克或模糊处理。信号变换器424可以在不对图像信号执行任何图像处理的情况下，将从放大/缩小单元423输出的图像信号提供给图像合成器425或图像信息检测器427。
图像合成器425根据由控制器411指示的合成处理的类型对由信号变换器424提供的图像信号执行合成处理，然后将得到的图像信号提供给图像压缩器414。不特别限制通过图像合成器425执行图像处理的类型，其可以是利用与存储在帧存储器426中的图形图像合成的阿尔法(α)的透过合成处理，或者是用于沿时间轴逐渐淡入或淡出存储在帧存储器426中的图像的调节合成处理。图像合成器425可在不对图像信号执行任何图像处理的情况下，将由信号变换器424提供的图像信号输出至图像压缩器414。
在控制器411的控制下，图像信号检测器427对由信号变换器424或图像压缩器414提供的图像信号执行各种类型的图像处理以提取人物信息或面部信息，并将提取的信息提供给写入器415或控制器411。面部信息包括关于上述面部区间和面部缩略图像的信息。
图30示出了图像信息检测器427的功能结构的实例。
如图30所示，图像信息检测器427包括静止图像生成器431、面部图像处理器432和缩略图生成器433。
静止图像生成器431从由信号变换器424或图像压缩器414提供的图像信号中生成图像数据格式的静止图像，然后将生成的静止图像提供给面部图像处理器432。如果对应于静止图像的图像信号是由信号变换器424或图像压缩器414提供的，那么将图像信号直接提供给面部图像处理器432。
在控制器411的控制下，面部图像处理器432执行各种类型的处理，例如，从由静止图像生成器431提供的静止图像中检测人物面部以及从静止图像中提取面部图像。将图像处理的结果提供给控制器411和缩略图生成器433。图像处理的结果包括下面参照图35所描述的面部图像表。
在控制器411的控制下，缩略图生成器433通过使用来自面部图像处理器432或控制器411的信息指定面部区间并生成面部缩略图像作为面部区间的索引，并将关于面部区间和面部缩略图像的信息提供给控制器411和写入器415。
下面将参照图31的流程图描述通过图30所示的图像信息检测器427或控制器411执行的源数据生成/记录处理的实例。
源数据生成/记录处理是用于将源数据65-K(具体地，源数据65-K的面部缩略图和面部区间元数据信息的配对)与动画内容64-K一起记录在图4所示记录介质51上的处理。更具体地，源数据生成/记录处理是用于生成面部缩略图和面部区间元数据信息的配对直至将配对记录在记录介质上的一系列处理。
在通过图31所示的流程图表示的处理中，由图像压缩器414提供的图像信号是MPEG数据。即，将形成MPEG数据的多个GOP以预定次序顺序提供给图像信息检测器427。换句话说，用于生成参照图2讨论的静止图像的基本单位是1GOP。如果基本单位不是1GOP，则可通过相应的基本单位代替1GOP来执行下面所讨论的源数据生成/记录处理。
在步骤S101中，图像信息检测器427的静止图像生成器431将最新的GOP设定为目标GOP。
在步骤S102中，静止图像生成器431从目标GOP中生成静止图像。在步骤S102中，不特别限制生成静止图像的方法。在这种情况下，由于以GOP的形式提供MPEG数据，因此可采用参照图3所讨论的方法。
在步骤S103中，静止图像生成器431改变静止图像的大小并将得到的静止图像提供给面部图像处理器432。
然后，在步骤S104中，面部图像处理器432试图从静止图像中检测面部。不特别限制用于检测面部的技术。在这种情况下，如果在静止图像中包含多个面部，则一个接一个地进行检测。
在步骤S105中，面部图像处理器432确定是否已经检测到面部。
如果在步骤S105中确定已经检测到一个面部，则处理前进到步骤S106。在下面所讨论的步骤S106中，面部图像处理器432生成关于所检测面部的面部检测信息。
然后，处理返回到步骤S104。即，如果在静止图像中包含多个面部，将对它们进行连续检测，并生成关于多个面部中每一个的面部检测信息。
下面将参照图32和图33描述面部检测信息的特定实例。
例如，在步骤S101中，将图32所示的GOP设定为目标GOP，并且在步骤S102中，生成静止图像501。然后，在步骤S103中，改变静止图像501的大小，生成静止图像502。
如图33所示，静止图像502包括面部区间502-1和502-2(下文中简称为“面部502-1和502-2”)。
在这种情况下，在步骤S104中，检测面部502-1在步骤S105中确定已经检测到面部之后，在步骤S106中，如图33所示，生成面部检测信息503-1。
在图33所示的实例中，面部检测信息503-1包括GOP号、面部ID、位置、高度、宽度、大小和相似性(分数)。GOP号是附加至目标GOP的数字。面部ID是用于区分面部502-1和其它面部的标识符。位置是面部502-1在静止图像502中的位置，更具体地，是面部502-1左上端的像素位置。高度是面部502-1的垂直像素数。宽度是面部502-1的水平像素数。大小是面部502-1的大小，即，分辨率。下面讨论相似性(分数)，并在步骤S106的时间点上，设定预定的初始值(例如，0)。
在生成面部检测信息503-1之后，处理返回到检测面部502-2的步骤S104。在步骤S105中确定已经检测到面部之后，在步骤S106中，生成图33所示的面部检测信息503-2。
然后，处理返回到步骤S104，并在该点处，在静止图像502中不包含面部。因此，在步骤S105中确定没有检测到面部，处理进行到步骤S107。
在步骤S107中，面部图像处理器432确定是否已经生成至少一项面部检测信息。
尽管没有示出这种情况，但如果在静止图像中不包含面部，没有检测到面部也不生成面部检测信息。在这种情况下，在步骤S107中确定还没有生成面部检测信息，并且处理进行到步骤S110。
相反，如果在静止图像中包含至少一个面部并且已经成功检测到，则生成至少一项面部检测信息。因此，在步骤S107中确定已经生成至少一项面部检测信息，并且处理进行到步骤S108。
在步骤S108中，面部图像处理器432基于面部检测信息的对应项从静止图像中提取至少一个面部图像的每一个。
更具体地，例如如图33所示，如果生成两项面部检测信息503-1和503-2，则提取图34所示的面部图像511-1和511-2。面部图像511-1是对应于图33所示静止图像502的面部502-1的静止图像，以及面部图像511-2是对应于图33所示静止图像502的面部502-2的静止图像。
在步骤S109中，面部图像处理器432执行用于生成或更新如图35所示的表所必需的各种类型的处理。
如果目标GOP的GOP号是1，则将生成新表。在这个阶段，该表包括表示GOP号1的代表面部图像的列和表示GOP号1的唯一一行。然后，当目标GOP的GOP号是i(在图35所示的实例中，i是1到n的任意值)时，将对应于GOP号i的行添加至该表，并将“面部信息”或“没有面部信息”列在图35所示的表中。以这种方式，将表进行更新。
更具体地，在图35所示的表中，在GOP号i的行中表示下列信息。在图35所示表中的每一列表示出现在生成源数据的动画内容中的人物。在图35的实例中，为了简单表示，在列的顶端表明人物名A至H。然而，在实际表中并不是必须表示这种人物名。在该表中，假设对应于一列的人物不同于对应于另一列的人物。然而，在实际中，它们可以是相同的个人。即，例如，尽管人物B和人物D在实际中是相同的个人(图36中的个人b)，但在图35所示的实例中，认为他们是不同的人物。下面将参照图36对其进行详细描述。
例如，在图35中的表的最左列中，即，在表示人物A的列的顶端，将人物A的代表面部图像以图像数据的形式存储。人物A的代表面部图像是在图31的步骤S108中对每个GOP号1至n执行的提取的人物A的面部图像的预定面部图像。在该实施例中，第一面部图像用作代表图像。
在表示人物A的列中，在行i中表示“面部信息”或“没有面部信息”。如果在行i中表示“面部信息”，则意味着人物A包含在由GOP号i生成的静止图像中。相反，如果在行i中表示“没有面部信息”，则意味着人物A不包含在由GOP号i生成的静止图像中。不特别限制确定是否包含人物A的方法。下面将参照图38至41描述该方法的特定实例。
图35所示的表被称作“面部图像表”。在步骤S109中的上述处理中，更具体地，当目标GOP的GOP号为1时生成图35所示的面部图像表，并在GOP1的行的每一列中表示“面部信息”或“没有面部信息”。如果目标GOP的GOP号为i，则在GOPi的行的每一列中表示“面部信息”或“没有面部信息”。这种处理被称作“面部图像表生成/更新处理”。下面将参照图38至图42给出步骤S109中面部图像表生成/更新处理的细节。
在步骤S109之后，在步骤S110中，面部图像处理器432确定目标GOP是否是最后的GOP。
如果目标GOP不是最后的GOP，则处理返回到步骤S101。在图35所示的实例中，由于最后的GOP是GOP号n，所以对GOP号1至GOP号n的每一个重复步骤S101至步骤S110的循环处理。
在步骤S109中对最后的GOP号n完成面部图像表生成/更新处理之后，如图35所示更新面部图像表，并在步骤S110中确定目标GOP是最后的GOP。然后，将面部图像表提供给缩略图生成器433。
然后，在步骤S111中，缩略生成器433基于面部图像表生成面部缩略图像并指定每个人物的面部区间。对注册在面部图像表中的每个人物(更具体地，在图35所示实例中的人物A至人物H的每一个)都执行步骤S111。
下面将参照图36和图37详细描述步骤S111。
图36是示出关于图35所示面部图像表中的人物A至人物E的信息的时序图。在图36中，水平轴表示GOP号，以及垂直轴表示个人a、b、c和d。通过水平方向上具有椭圆形的矩形累积来表示时序图。每个具有椭圆形的矩形表示从预定GOP中提取的一个面部图像。即，如果以GOP号i表示面部图像，则意味着在图35所示表中的GOP号i中具有“面部信息”的显示。如果没有表示的面部信息，则意味着在GOP号i中具有“没有面部信息”的显示。时序图下面的大写字母表表示图像35所示实例中的人物名。
应当注意，在图35的实例中，大写字母被用作人物名，以及在图36的实例中，将具有真实个人表示的小写字母用作人物名。即，如下所述，在图35的实例中由大写字母表示的人物A至E是通过图像信息检测器427检测到的人物。相反，在图36的实例中由小写字母表示的个人a至d是真实世界中的个人。通过图像信息检测器427检测的作为不同个人的人物B和人物D在真实世界中是相同的个人b。下面将讨论其原因。
关于个人a，面部图像包含在GOP号1至3中，并且在GOP号4中不包含面部图像。然后，面部图像再次包含在GOP号5和6中。以这种方式，如果仅在较短的时间间隔中(即，在几个GOP中)不生成面部图像，则认为仍然出现相同的人物A。即，在这种情况下，缩略生成器433将人物A的面部区间不是指定为GOP1至GOP3的区间，而是指定为如图37所示的GOP1至GOP6的区间521-A。然后，缩略图生成器433生成面部缩略图像522-A作为人物A的面部区间521-A的索引。
不特别限制用于生成面部缩略图像522-A的技术。例如，可生成新的缩略图像。然而，在这种情况下，由于人物A的代表图像包含在图35所示的面部图像表中，因此将其用作面部缩略图像522-A。这同样应用于其它面部缩略图像。
关于个人b，面部图像包含在GOP号1至4中，并且在较长的时间间隔中不包含面部图像，以及面部图像再次包含在GOP号n-5至n中。这样，如果在较长的时间间隔中没有生成面部图像，则面部图像处理器432确定在一组GOP中生成的面部图像和在另一组GOP中生成的面部图像属于不同的人物B和D。结果，在图35的面部图像表中，将相同的个人注册为不同的人物B和D。下面将参照图42对其进行详细讨论。
在这种情况下，如图37所示，缩略图生成器433将人物B的面部区间指定为GOP号1至GOP号4的区间521-B。然后，缩略生成器433生成面部缩略图像522-B作为人物B的面部区间521-B的索引。
如图37所示，缩略图生成器433还将人物D的面部区间指定为GOP号n-5至GOP号n的区间521-D。然后，缩略生成器433生成面部缩略图像522-D作为人物D的面部区间521-D的索引。
不特别限制用作用于确定出现在不同区间中的人物是否是相同个人的参数的间隔。即，如果没有出现面部图像的间隔只是很短的间隔，则认为其是连续面部区间的一部分。相反，如果这样的间隔是较长的间隔，则不认为其是连续面部区间的一部分。不特别限制确定这样的间隔是短间隔还是长间隔的方法。例如，可以采用下列方法。将用于生成面部图像的基本单位的预定整数倍(即，在图36或图37所示的实例中，1GOP的整数倍)预置为阈值，以及如果没有出现面部图像的间隔小于或等于阈值，则认为其是面部区间的一部分。如果这样的间隔超出阈值，则不认为其是面部区间的一部分。采用这种方法的处理是在下面描述的图42中的步骤S124。
关于其他个人，以于上述类似的方式指定面部区间和生成面部缩略图。
更具体地，关于个人c，如图37所示，缩略图生成器433将人物C的面部区间指定为从GOP号2至GOP号n的区间521-C。缩略图生成器433还生成面部缩略图像522-C作为人物C的面部区间521-C的索引。
关于个人d，如图37所示，缩略图生成器433将人物E的面部区间指定为从GOP号n-3至GOP号n的区间521-E。缩略图生成器433还生成面部缩略图像522-E作为人物E的面部区间521-E的索引。
尽管没有示出，但关于图35所示的人物F至H，指定面部区间并生成对应于面部区间的面部缩略图像。
然后，完成图31中的步骤S111，并将处理结果，即，关于每个人物的面部区间和面部缩略图的每一匹配对从缩略图生成器433提供给控制器411或写入器415。
在步骤S112中，控制器411或写入器415生成包括每个人物的面部缩略图和面部区间的元数据信息，即，包括每对面部区间元数据信息和面部缩略图的元数据信息。如果通过控制器411生成元数据信息，则将其提供给写入器415。
在步骤S113中，写入器415将在步骤S112中生成的元数据信息于管理信息一起记录在记录介质51上作为内容的源数据。
然后，完成源数据生成/记录处理。
现在，参照图38至图43给出图31所示源数据生成/记录处理的步骤S109中的处理的描述，即，面部图像表生成/更新处理的细节。
如通过图35所示面部图像表所讨论的，在面部图像表生成/更新处理中，在对应于GOP号i的行的每一列中列出“面部信息”或
“没有面部信息”。更具体地，例如，关于人物A，如果人物A的面部图像出现在GOP号i中，则在对应于表示人物A的列的GOP号i的行中列出“面部信息”。如果人物A的面部图像没有出现在GOP号i中，则在对应于表示人物A的列的GOP号i的行中列出“没有面部信息”。这同样应用于人物B至H。
在面部图像表生成/更新处理中，确定特定人物的面部图像是否出现在目标GOP号i中是必要的。不特别限制用于这种确定的算法(即，确定技术)。在该实施例中，采用图38至图41所示的技术。即，图38至41所示的技术是根据本发明实施例的一种技术，并在下文中被称作“面部图像存在/不存在确定技术”。
在图38中，静止图像602是在图31的步骤S102中由目标GOP号i生成的静止图像。面部图像612-1至612-3是对应于分别在步骤S104中从静止图像602中检测的面部602-1至602-3的面部图像。即，在步骤S108中从静止图像602中提取的面部图像是面部图像612-1至612-3。
静止图像601是由目标GOP号i之前一个的GOP号(即，GOP号i-1)生成的静止图像。面部图像611-1和611-2是对应于分别从静止图像601检测的面部601-1和601-2的面部图像。即，从静止图像601中提取的面部图像是面部图像611-1和611-2。
在这种情况下，图30所示的面部图像处理器432对目标GOP号i的面部图像612-1至612-3与GOP号i-1的面部图像611-1和611-2的所有组合执行比较处理，即，匹配处理。作为比较结果，面部图像处理器432确定目标GOP号i中的面部图像和前一GOP号i-1中的面部图像是否属于同一个人。
不特别限制匹配处理技术。在该实施例中，例如，采用下列技术。关于组合k(k是组合数，并可以是1至组合总数中的任意值)，通过使用目标GOP号i中的面部图像和前一GOP号i-1中的面部图像之间的相似性(下文中称作“ak”)以及目标GOP号i中的静止图像中面部图像的坐标和前一GOP号i-1中的静止图像中面部图像的坐标之间的距离(下文中称作“bk”)来执行预定计算。作为执行计算结果的分数Sk用于确定目标GOP号i中的面部图像和前一GOP号i-1中的面部图像是否属于相同的个人。
为了计算分数Sk，充分使用ak和bk。在该实施例中，例如，通过下列公式(1)计算分数Sk：
其中，α和β表示用于允许距离和相似度用于比较处理的参数，即，标准化参数。
也不特别限制ak的计算方法，例如，可采用使用主成分分析法的相似性计算方法。对于bk的计算方法，可使用下列方法。基于与面部图像相关联的面部检测信息生成将要比较的面部图像。如图33所示，面部检测信息包括关于静止图像中的面部位置的信息。因此，可将两个面部图像的面部检测信息中所表示的位置之间的差设定为bk。
以这种方式，图30所示的面部图像处理器432为进行比较处理的面部图像的所有组合计算分数Sk，然后，从所有组合中选择可确定为属于相同个人的面部图像对(匹配对)。
更具体地，在该实施例中，如图39至41所示，选择匹配对。
图39示出了选择匹配对的原则。在图39中，示出了与图38中的面部图像类似的面部图像，即，进行比较处理的面部图像612-1至612-3和面部图像611-1和611-2。
在图39中，由双向箭头链接的面部图像612-1至612-3中的预定一个面部图像以及面部图像611-1和611-2中的预定一个面部图像表示计算分数Sk的组合。实线的双向箭头表示具有最高分数Sk的组合，以及虚线的双向箭头表示其它组合。然而，如果具有最高分数Sk的组合小于或等于阈值，则由虚线的双向箭头来表示，下面将给出这种情况的细节。这同样应用于图40和41。
如图39所示的双向箭头所表示，原则上，图30所示的面部图像处理器432选择现有组合中具有最高分数Sk的组合并确定所选组合作为匹配对。
更具体地，如图39最左边所表示的，在面部图像612-1至612-3以及面部图像611-1和611-2的所有组合中，通过实线的双向箭头链接面部图像612-1和面部图像611-1，即，它们具有最高分数Sk。因此，首先选择该组合作为匹配对。
然后，面部图像处理器432从用于下一匹配对的候选中排除包括选择作为匹配对的面部图像611-1和612-1中的一个的所有组合。结果，如图39的最右侧所示，面部图像612-2和612-3以及面部图像611-2的所有组合是用于下一匹配对的候选。在这种情况下，由于通过实线的双向箭头链接面部图像612-3和面部图像611-2，即，由于它们具有最高分数Sk，所以将该组合选择作为匹配对。
在图39的实例中，如果排除了包括被选择作为匹配对的面部图像611-2和612-3中的一个的所有组合，则没有用于计算分数Sk的面部图像的组合。因此，在该点处完成匹配处理。如果仍然剩余面部图像的组合，则重复上述一系列处理来选择匹配对，直到没有剩余组合。
已经参照图39讨论了选择匹配对的原则，并且在该实施例中，采用了用于基于该原则选择图40和图41所示匹配对的技术。在图40和图41所示的实例中，为了简单表示，将面部图像612-3从比较候选中省略。下面主要通过与图39所示原则的不同来讨论图40和图41所示的匹配对选择技术。
在图39所示的实例中，为了简单表示，将目标GOP号i中的面部图像与目标GOP号i前一个GOP的GOP号i-1中的面部图像611-1和611-2进行比较。然而，由GOPi-1生成的静止图像不必须包括特定人物的面部。因此，在该实施例中，为了比较特定人物的面部图像，将目标GOP中的面部图像同先前最近GOP中的面部图像(下文中称作“最新的面部图像”)进行比较。
更具体地，在图40的实例中，已经从目标GOP号i前一个的GOP号i-1中生成人物A的面部图像611-1和人物B的面部图像611-2。已经从目标GOP号i前两个的GOP号i-2中生成人物A的面部图像610-1和人物B的面部图像610-2。然后，已经从目标GOP号i前三个的GOP号i-3中生成人物B的面部图像609-2和人物C的面部图像609-3。
在这种情况下，人物A和人物B最新的面部图像分别是面部图像611-1和611-2。因此，如图39中的实例，将面部图像611-1和611-2与目标GOP号1的对应面部图像进行比较。然而，人物C没有出现在GOP号i-1或GOP号i-2中，即，没有生成人物C的面部图像。因此，从GOP号i-3中生成的面部图像609-3用作人物C最新的面部图像，因此，与目标GOP号i的面部图像进行比较。
以这种方式，原则上，在确定与目标GOP的面部图像进行比较的面部图像之后，进行参照图39所讨论的匹配处理，以顺序选择匹配对。
在图40所示的实例中，如图39所示的实例，首先选择面部图像612-1和611-1的组合作为匹配对。因此，将GOP号i的面部图像612-1确定为人物A的面部图像，结果，在图35所示面部图像表的人物A的行数i和列中列出“面部信息”。
然后，从下一匹配对的可能候选中排除包括被选择作为匹配对的面部图像611-1和612-1中的至少一个的所有组合。然后，在图40所示的实例中，面部图像612-2和611-2的组合以及面部图像612-2和609-3的组合是下一匹配对的候选。并且从这两个候选中选择下一匹配对。更具体地，由于通过实线的双向箭头链接面部图像612-2和611-2，即，由于它们具有最高分数Sk，所以将该组合选择作为下一匹配对。然后，将GOP号i的面部图像612-2确定为人物B的面部图像。结果，在图35所示面部图像表的人物B的行数i和列中列出“面部信息”。
然而，即使在现有组合中面部图像612-2和611-2的组合具有最高分数Sk，但如果最高分数Sk很低，也难以确定GOP号i的面部图像612-2是人物B的面部图像。在该实施例中，通过考虑这种情况：如果面部图像的组合的分数Sk低于或等于预定阈值，则不将这样的组合确定为匹配对(从匹配对候选中排除)，并将包括在该组合中的面部图像确定为另一人物的面部图像。
在图41所示的实例中，面部图像612-2和611-2的组合的分数Sk低于或等于预定阈值，结果，确定面部图像612-2不是人物B的面部图像，而是人物D的面部图像。在这种情况下，在图35所示的面部图像表中注册人物D的新列，并在人物D的行数1至i-1中和列中列出“没有面部信息”，以及在人物D的行数i中和列中列出“面部信息”。
此外，如图36所示，关于在真实世界中的个人b，在GOP号4之后的长时间间隔中不生成面部图像，然后在GOP号n-5中再次生成面部图像。如果GOP号n-5是目标GOP，则与目标GOP进行比较的人物B的最新面部图像是GOP号4的面部图像。在这种情况下，即使GOP号n-5的面部图像和GOP号4的面部图像具有最高分数Sk，两个面部图像的间隔太长，因此，将GOP号n-5的面部图像确定为不同于人物B的人物D的面部图像。在这种情况下，注册人物D的列，并在行数1至n-6中列出“没有面部信息”，以及在行数n-5中列出“面部信息”。
不特别限制用于确定出现在中间的两个面部图像是否是不同人物的间隔，其可以是期望值，例如，等于三秒的间隔。
如上所述选择的匹配对的分数列在包括在匹配对中的对象面部图像的面部检测信息的“相似性(分数)”的项中(参见图33)。
以上，已经参照图38至图41讨论了作为根据本发明实施例的一种技术的面部图像存在/不存在确定技术。
通过图42中的流程图表示应用面部图像存在/不存在确定技术的图31中步骤S109的细节，即，面部图像表生成/更新处理实例的细节。
在步骤S121中，图30所示的面部图像处理器432对目标GOP的至少一个面部图像和注册在面部图像表中的所有人物的每一个面部图像的所用组合执行匹配处理以计算分数Sk。
更具体地，将目标GOP的至少一个面部图像与注册在面部图像表中的所有人物的用作最新图像的每一个面部图像进行比较。注册在面部图像表中的所有人物是图35实例中的人物A至H。
在步骤S122中，面部图像处理器432将具有最高分数Sk的组合设定为候选配对。
在步骤S123中，面部图像处理器432确定候选配对的分数Sk是否超过阈值。
如果在步骤S123中确定分数Sk超过阈值，则处理进行到步骤S124，以确定候选配对的时间间隔是否小于或等于预定阈值。该时间间隔是生成两个图像的两个GOP之间的时间间隔。更具体地，如果目标GOP号为i以及如果具有包括在候选配对中的面部图像的GOP号为j(j是小于或等于i-1的整数)，则可将i-j用作时间间隔。
如果在步骤S124中发现候选配对的时间间隔小于或等于阈值，则处理进行到步骤S125。
在步骤S125中，面部图像处理器432将该候选配对设定为匹配对。
然后，在步骤S126中，面部图像处理器432确定包含在匹配对中的目标GOP的面部图像的人物和包含在匹配对中的其它面部图像的人物是相同的个人。
在步骤S127中，面部图像处理器432在与包含在匹配对中的面部图像相关联的人物的目标GOP的列中表示“面部信息”。
在步骤S128中，面部图像处理器432排除包括在匹配配对中所包含的至少一个面部图像的所有组合(包括匹配对)。
在步骤S129中，面部图像处理器432确定是否还存在要处理的其它组合。
如果在步骤S129中确定存在组合要被处理，则处理返回到步骤S122。更具体地，在步骤S122中，选择具有最高分数Sk的组合，并重复步骤S123至S130。
如果在步骤S123中确定分数Sk低于或等于阈值，或者在步骤S124中确定时间间隔超出阈值，则处理进行到步骤S130。
在步骤S130中，面部图像处理器432将包含在候选配对中的面部图像注册为新人物的代表图像。然后，处理进行到步骤S129。
如果在步骤S129中确定在执行步骤S122至步骤S130的循环处理之后没有要处理的组合，则处理进行到步骤S131。
在步骤S131中，面部图像处理器432在面部图像表的目标GOP的剩余列中表示“没有面部信息”。
然后，完成面部信息表生成/更新处理。即，完成图31中的步骤S109，并且处理进行到步骤S110。
已经讨论了通过图29所示的图像处理器413的图像信息检测器427生成和记录用于动画内容的源数据的处理，即，图31所示的源数据生成/记录处理。
通过执行由图43中的流程图所表示的静止图像源数据生成/记录处理，图像信息检测器427还将例如图20所示的人物文件夹271至273作为静止图像内容的源数据记录在记录介质51上。
在步骤S151中，图像信息检测器427将至少一个静止图像内容的预定静止图像设定为目标静止图像。至少一个静止图像内容是指记录在图20所示实例中的记录介质51上的所有静止图像内容。
在步骤S151之后，执行步骤S152至S157。步骤S152至步骤S157基本上分别与图31中的步骤S103至S108相似，因此在这里省略其解释。然而，在该处理中，如果在步骤S156中确定没有生成面部检测信息，则处理进行到步骤S164。
在步骤S157中从目标静止图像中提取至少一个面部图像之后，处理进行到步骤S158。
在步骤S158中，图像信息检测器427将预定面部图像设定为目标面部图像。
然后，在步骤S159中，图像信息检测器427确定目标面部图像是否是新人物的面部图像。
如果在步骤S159中确定目标面部图像是新人物的面部图像，则处理进行到步骤S160。在步骤S160中，图像信息检测器427生成用于新人物的人物文件夹。
如果在步骤S159中确定目标面部图像不是新人物的面部图像，即，目标面部图像是现有人物的面部图像，则图像信息检测器427跳过步骤S160而前进到步骤S161。
在步骤S161中，图像信息检测器427从目标面部图像中生成静止图像源数据，例如，面部缩略图像。然后，在步骤S162中，图像信息检测器427将静止图像源数据输入相应的人物文件夹。
在步骤S163中，图像信息检测器427确定是否还存在没有设定的任何面部图像。
如果在步骤S163中确定在步骤S157中从目标静止图像中提取的至少一个面部图像中还存在没有设定的面部图像，则处理返回到步骤S158。
即，对于在步骤S157中从目标静止图像中提取的至少一个面部图像，重复步骤S158至步骤S163的循环处理。然后，在步骤S163中确定不存在没有设定的面部图像，处理进行到步骤S164。
如上所述，如果在步骤S156中确定没有生成面部检测信息，则处理也进行到步骤S164。
在步骤S164中，图像信息检测器427确定是否有存在没有设定的任何静止图像内容。
如果存在没有设定的静止图像内容，则处理返回到步骤S151。
即，对于至少一个静止图像内容的每一个，重复步骤S151至步骤S164的循环处理。然后，在步骤S164中确定不存在静止图像内容，处理进行到步骤S165。
在步骤S165中，图像信息检测器427将每个人物文件夹与管理信息一起记录在记录介质51上作为静止图像源数据。
然后，完成静止图像源数据生成处理。
可通过硬件或软件执行上述一系列处理。如果使用软件执行这一系列处理，那么将相应的软件程序从程序记录介质安装到嵌入专用硬件的计算机或个人计算机上(例如，通用计算机)，其可以通过在其中安装各种程序来执行各种功能。
图44是示出通过程序执行上述系列处理的个人计算机的结构实例的框图。即，通过图44所示的个人计算机可以部分或整体地形成图6所示的再生装置、图17所示记录/再生装置或图28所示的图像记录装置401。
在图44中，中央处理单元701根据存储在ROM 702或存储单元708中的程序执行各种类型的处理。在RAM 703中，存储由CPU701执行的程序和数据。CPU 701、ROM 702和RAM 703利用其间的总线704彼此连接。
输入/输出接口705经由其间的总线704连接至CPU 701。输入/输出接口705还连接至包括键盘、鼠标、麦克风等的输入单元706以及包括显示器、扬声器等的输出单元707。CPU 701响应于从输入单元706输入的指示执行各种类型的处理。然后，CPU 701将处理结果输出至输出单元707。
连接至输入/输出接口705的存储单元708由例如硬盘形成，并存储由CPU 701执行的程序和各种数据。通信单元709经由网络(例如，因特网或局域网(LAN))与外部装置进行通信。
程序可通过通信单元709获得并存储在存储单元708中。
连接至输入/输出接口705的驱动器710驱动加载到驱动器710中的可移动介质711(例如，磁盘、光盘、磁光盘或半导体存储器)，并获取存储在可移动介质711中的程序或数据。如果有必要，可将获取的程序或数据传送并存储在存储单元708中。
如图44所示，存储安装在计算机中并可被计算机执行的程序的程序记录介质包括可移动介质711(其为封装介质，由磁盘(包括软盘)、光盘(包括光盘驱动器(CD-ROM)和数字通用盘(DVD))、磁光盘或半导体存储器形成)、或者永久或临时存储程序的ROM702、或者形成存储单元708的硬盘。程序可通过通信单元709存储在程序记录介质中，通信单元709用作接口(例如，路由器或调制解调器)，或者有线或无线通信介质(例如，LAN、因特网、或数字卫星广播)。
在该说明书中，形成存储在程序记录介质中的程序的步骤包括根据在本说明中指出的次序以时序方式执行的处理。然而，并不限于以时序方式执行的处理，也可以包括以并行或个别的方式执行的处理。
在该说明书中，系统是包括多个装置或电路的完整装置或电路。
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。
相关申请的交叉参考
本发明包含于2006年7月4日向日本专利局提交的日本专利申请JP 2006-184685的主题，其全部内容结合于此作为参考。
根据本发明实施例的信息处理装置(例如，图6所示的再生装置)控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理装置包括控制装置(例如，图6所示的控制器71)，用于控制包括至少一个图像内容的每一个的索引的第一GUI图像(例如，图10或图11所示的动画选择GUI图像150)的显示，以及用于控制包括面部缩略图像(例如，分别对应于图1所示动画内容1的面部区间11至14的面部缩略图像21至24)的第二GUI图像(图12或图13所示的面部缩略GUI图像161)的显示，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引(例如，在图11所示实例中选择光标152所在位置的缩略图像151)，面部缩略图像对应于从图像内容的整体或部分中检测的面部。
当用户从第二GUI图像中选择至少一个面部缩略图像时，控制装置还可以控制与从第一GUI图像中选择的索引相对应的图像内容的整体或部分的再生(例如，由于通过图12实例中的光标201选择面部缩略图像，所以控制图1所示面部区间的再生)，对应于面部缩略图像的面部是从图像内容的整体或部分中检测的(例如，图6所示控制器71的系统控制器91控制视频解码器76和图像合成器78以在图像显示单元79上显示动画)。
至少一个图像内容可包括动画内容(例如，图1所示的动画内容1)，并且从动画内容的至少一个部分的每一个中检测的面部可以是与在另一个部分中检测的面部不相同的面部。当用户从第一GUI图像中选择动画内容的索引时，控制装置可控制包括作为动画内容的至少一个部分的每一个的索引的至少一个面部缩略图像(例如，图1或图12所示的面部缩略图像21至24)的第二GUI图像的显示，至少一个面部图像对应于从至少一个部分的每一个中检测的面部。
动画内容的至少一个部分的一个的面部缩略图像(例如，图1所示的面部缩略图像21)可以是作为提取包含由至少一个部分的一个所生成的静止图像(例如，图2所示的静止图像31-1)中所包含的面部(例如，图2所示的面部32-1)的区域的结果而获得的图像本身，或者可以是由图像本身生成的图像。
代替第二GUI图像，控制装置还可以显示包括与从第二GUI图像的至少一个面部缩略图像(例如，图12或图13的面部缩略图像21至24)的每一个中生成的静止图像的源相对应的至少一个缩略图像(例如，图12或图13所示的缩略图像181至184)的第三GUI图像(图12或图13所示的源场景GUI图像162)。第三GUI图像的至少一个面部缩略图像被用作动画内容的至少一个部分的每一个的索引。
控制装置还可显示第四GUI图像(例如，图12或图13所示的时间线GUI图像163)，第四GUI图像包括表示与在第二GUI图像中选择的面部缩略图像相对应的部分在动画内容中的位置的图像(例如，图12或图13所示的时间线191)。
动画内容和至少一个面部缩略图像可彼此相关联地记录在记录介质(例如，图4所示的记录介质51)上，并且控制装置可以控制至少一个面部缩略图像从记录介质中的读出，以及可以控制包括读出的面部缩略图像的第二GUI图像的显示。
根据本发明的另一个实施例，提供了一种用于信息处理装置的信息处理方法(例如，通过图6所示再生装置执行的图14所示的处理方法)，信息处理装置控制包括允许用户选择图像内容的整体或部分的索引的GUI图像的显示。信息处理处理方法包括步骤：控制包括至少一个图像内容的每一个的索引的第一GUI图像的显示(例如，保持图14所示的动画选择屏幕显示状态S3-2)，以及控制包括面部缩略图像的第二GUI图像的显示(例如，满足状态转换条件C12)，其中，面部缩略图像用作允许用户选择与由用户从第一GUI图像中选择的索引相对应的图像内容的整体或部分的索引，面部缩略图像对应于从图像内容的整体或部分中检测的面部(例如，将再生装置的状态从动画选择屏幕显示状态S3-2转换为面部缩略图屏幕显示状态S5-1并保持状态S5-1)。
根据本发明的另一实施例的程序包括上述信息处理方法的步骤并通过图44所示的个人计算机来执行。
为了易于理解本发明，首先参照图1讨论可通过本发明的实施例执行的用于给出再生动画内容的指示的操作。
内容包括由人类的创造行为所生成的作品，并且在多个内容中，至少包括图像的内容被称作“图像内容”。可将图像内容大致分为主要包括动画的动画内容和主要包括静止图像的静止图像内容。在本申请中，所谓的“内容数据”，即，由人类的创造行为所生成并被转换为可通过机器处理的形式的作品(例如，电子信号或记录在记录介质上的数据)也被称作“内容”。
在下面的描述中，以文件为基础将内容记录在记录介质上，并且还通过文件的个数表示内容的个数。即，一个内容是可作为单个文件记录在记录介质上的内容。
已知用于给出指示来从多个动画内容中再生期望内容的以下再生指示操作。将用作多个动画内容的索引的缩略图像列表展示给用户。然后，用户从列表中选择对应于期望动画内容的缩略图像。
在本发明的该实施例中，除上述再生指示操作之外，还可以执行例如图1所示的再生指示操作。
在图1所示的实例中，将被再生的动画内容1包括特定人物连续出现的区间11，并且该特定人物的面部图像作为缩略图像21与区间11相关联。
与区间11一样，在动画中特定人物连续出现的区间在下文中称作“面部区间”。如果通过缩略图像来表示面部图像，则与缩略图像21一样，将缩略图称作“面部缩略图像”。
除面部区间11之外，动画内容1还包括面部区间12至14，并且缩略图像22至24分别与面部区间12至14相关联。
在上面构造的动画内容1中，可以执行以下的再生指示操作。面部缩略图像21至24的列表作为动画内容1的面部区间11至14的索引列表展现给用户。然后，用户从列表中选择对应于期望面部区间的面部缩略图像。该再生指示操作和响应于该指示操作通过装置执行的处理细节将在下面参照图4至26进行讨论。
换句话说，为了将出现在动画内容中的特定人物和其位置展现给用户以便用户可容易地理解和识别他们，引入面部区间作为一种表示人物出现位置的方法，并且引入包括出现在面部区间中的人物面部的面部缩略图像作为面部区间的索引。因此，面部缩略图像和面部区间的使用可以满足上述要求，即，用户希望从人物了解内容的类型或者从各种人物中搜索特定人物的场景并将其再生。
下面，将参照图2和图3讨论用于指定面部区间的技术和用于生成面部缩略图像的技术。在下面的描述中，执行处理的实体被简称为“装置”。
在图2所示的实例中，将动画内容1形成为运动图像专家组(MPEG)数据。即，动画内容1包括多个画面组(GOP)
在这种情况下，装置将动画内容1分为预定基本单位，并从每个基本单位中生成一个静止图像。不特别限制用于划分动画内容1的基本单位。在下面讨论的另一个实例中，一个GOP被用作基本单位(下文称作“1GOP单位”，并且包括k个GOP的基本单位称作“kGOP单位”)。在该实例中，将2个GOP用作基本单位，即，从2GOP单位中生成一个静止图像。
不特别限制生成静止图像的方法，并且在图2所示的实例中，从2GOP单位的第一GOP中生成静止图像。同样也不特别限制从第一GOP生成静止图像的技术，并且例如可以使用图3所示的技术。
在图3中，由B表示的四边形代表双向预测编码画面(B画面)。由I表示的四边形代表内编码画面(I画面)。由P表示四边形代表预测编码画面(P画面)。在每个画面的左下方处所示的数字表示以相关GOP的顺序从开头开始设置的画面编号。在图3所示的实例中，一个GOP由15个画面形成。
在这种情况下，例如，从B画面中生成静止图像。更具体地，装置读取I画面作为参考画面，并基于参考I画面从B画面中生成静止图像。在图3所示的实例中，参照第三I画面从第一B画面中生成静止图像。
可选地，装置可从GOP的开头顺序读取图像，并当第一次读取I画面时，可从读取的I画面中生成静止图像。在图3所示实例中，从第三I画面中生成静止图像。
返回参照图2，在装置从2GOP单位中生成静止图像之后，其尝试从静止图像中检测面部。
现在，假设来自图2左边的第三个2GOP单位是目标单位，并从目标单位中生成静止图像31-l在图2所示的实例中，椭圆形代表面部。在这种情况下，由于静止图像31-1包括面部，所以检测到包括面部的区域。然后，装置从静止图像31-1中提取包括检测面部区域的图像32-1(这种图像在下文中称作“面部图像”)。
在这种情况下，如果在目标单位紧前的2GOP单位(即，图2所示实例中的第二2GOP单位)中没有检测到面部，则装置确定目标单位的开头位置(即，图2中的第三2GOP单位的开头位置)作为面部区间11的开始位置。
例如，如果用于生成静止图像的基本单位是2GOP单位或更多数目的GOP，则存在相同人物的面部包含在前一单位的第二和随后GOP中的可能性。因此，替代确定第三2GOP单位的开头位置作为面部区间11的开始位置，装置仅将第三2GOP单位的开头位置确定为开始位置的候选。然后，装置进一步确定是否在候选之前的若干GOP中包含相同人物的面部。如果没有找到包含相同人物面部的GOP，装置就将开始位置的候选设定为面部区间11的开始位置。如果找到包含相同人物面部的GOP，装置就将包含相同人物面部的第一GOP的开头位置设定为面部区间11的开始位置。
在设定面部区间11的开始位置之后，装置顺序将每一个2GOP单位设定为目标单位，从每一个目标单位中生成静止图像，然后从静止图像中提取面部图像。将反复执行这个过程。
在图2所示的实例中，如果第四2GOP单位是目标单位，则生成静止图像31-2，并从静止图像31-2中提取面部图像32-2。在这种情况下，装置将面部图像32-2与前一面部图像32-1进行比较，如果两个面部图像表示相同人物的面部，则装置确定提取面部图像32-2的2GOP单位(即，第四2GOP单位)也包含在面部区间11内。
类似地，装置将第五2GOP单位设定为目标单位，并生成静止图像31-3，以及从静止图像31-3中提取面部图像32-3。然后，装置将面部图像32-3与前一面部图像32-2进行比较，如果两个面部图像表示相同人物的面部，则装置确定提取面部图像32-3的2GOP单位(即，第五2GOP单位)也包含在面部区间11内。
然后，装置将第六2GOP单位设定为目标单位，并生成静止图像31-4，以及试图检测静止图像31-4中的面部。然而，由于在静止图像31-4中没有包含面部，所以没有检测到面部。因此，装置将没有检测到面部的2GOP单位的开头位置(即，第六2GOP单位的开头位置，第五2GOP单位的终止位置)设定为面部区间11的终止位置的候选。
仅将第六2GOP单位的开头位置设定为候选的原因如下。对于人类，对应于2GOP单位的时间是很短的时间周期，即使在这样短的时间周期内没有检测到面部，但如果在较短的时间周期之后再次检测到相同人物的面部，用户就可感觉面部区间仍在继续。即，即使在确定面部区间11的终止位置的候选之后，装置仍继续检测随后若干2GOP单位的面部，并且如果在一定的时间周期内连续没有检测到面部，装置就将候选设定为面部区间11的终止位置。
在指定面部区间11之后，装置生成面部缩略图像21作为面部区间11的索引，并将面部缩略图像21与面部区间11相关联。不特别限制面部区间11的面部缩略图像21，只要用户能够识别与从静止图像31-1至31-3中检测的面部相同的面部即可。因此，在确定面部区间11之后，装置可从面部区间11中生成新的面部图像，并使用生成的图像作为面部缩略图像21可选地，装置可将指定面部区间11时使用的面部图像中的一个设定为面部缩略图像21。在图2所示的实例中，采用第二种方法，并且在面部图像32-1至32-3中，采用第一面部图像32-1作为面部缩略图像21。
为了用户的方便，装置从包括面部缩略图像21的面部的整个静止图像中不仅可以生成面部缩略图像21，还可以生成缩略图像41作为面部区间11的索引。在图2所示的实例中，由于面部图像32-1被用作面部缩略图像21，所以使用提取面部图像32-1的静止图像31-1的整体被用作缩略图像41。
即，尽管在图1中没有示出，但是作为动画内容1的面部区间11至14的索引，从相关的整个静止图像中不仅可以分别生成面部缩略图像21至24，还可以生成缩略图像。在这种情况下，可以执行以下的再生指示操作。将这种缩略图像的列表展现给用户，用户选择对应于期望面部区间的缩略图像。下面将参照图4至图26讨论再生指示操作和通过装置执行的相应处理的细节。
已经参照图2和图3描述了用于指定面部区间的技术和用于生成面部缩略图的技术。下面将参照图31进一步讨论各个技术的细节。
当在记录介质上记录内容使得可通过指定面部缩略图像再生面部区间时，可以使用具有诸如图4所示结构的记录介质。
在图4所示的记录介质51中，形成实数据区52和源数据区53。
在实数据区52中，记录N(N是0以上的整数)个内容64-1至64-N。在图4所示的实例中，一个内容64-K(K是1至N中的一个值)包括视频数据和音频数据。即，内容64-K相当于一个包括视频数据和音频数据的文件。
对于一个内容64-K，在源数据区53中记录用于再生内容64-K所需的源数据65-K。
源数据65-K包括关于内容64-K的信息和数据，例如，管理信息、缩略图信息和各个缩略图、内容元数据信息、面部区间元数据信息以及面部缩略图。
管理信息包括一组用于整个管理内容64-K的信息的各种项。
缩略图像是作为内容64-K的预定再生周期的索引的图像(例如，图2所示的缩略图像41)。将这种图像作为具有预定格式的图像数据记录在源数据区53中。
缩略图信息包括一组关于上述各个缩略图信息的各种项。
内容元数据信息是关于内容64-K的元数据信息，并包括例如除随后的面部区间元数据信息之外用于再生内容64-K所需的基本信息。
面部区间元数据信息包括一组用于再生诸如图1所示的面部区间11至14的面部区间所需的信息的各种项。在该实施例中，如图5所示，面部区间元数据信息包括再生信息、开始时间、再生时间以及记录位置。再生信息是关于内容64-K的所谓的“编码译码器信息(codec information)”。开始时间是根据再生时间或与面部区间开始位置相关的GOP的GOP号的关于面部区间的开始位置的信息。再生时间是例如根据再生持续时间或GOP号的关于面部区间长度的信息。记录位置是用于指定记录面部区间的实数据区域中位置的信息，例如，如果记录介质51是光盘，则为表示扇区的信息。
返回参照图4，面部缩略图是用作面部区间的索引的图像，例如，图1所示的面部缩略图像21至24。将这种缩略图像作为具有预定格式的图像数据记录在源数据区53中。与相关面部区间的面部区间元数据信息相关联地记录面部缩略图。
在图4所示的实例中，与内容64-K相关的源数据65-K不被记录为单个文件，而是通过将其分为管理信息文件61、缩略图像文件62和元数据文件63来记录。
换句话说，关于内容64-1的管理信息至关于内容64-N的管理信息共同包括在管理文件61中。内容64-1至64-N的缩略信息和对应的缩略图共同包括在缩略图像文件62中。内容64-1至64-N的内容元数据信息、面部区间元数据信息和面部缩略图共同包括在元数据文件63中。
即，多对面部区间元数据信息和相关面部缩略图作为关于内容64-K的一个元数据信息包括在元数据文件63中。更具体地，如果内容64-K是图1所示的动画内容1，则关于面部区间11的面部区间元数据信息和面部缩略图像21的配对、关于面部区间12的面部区间元数据信息和面部缩略图像22的配对、关于面部区间13的面部区间元数据信息和面部缩略图像23的配对和关于面部区间14的面部区间元数据信息和面部缩略图像24的配对，以及内容1的一组内容元数据信息包括在元数据文件63中。
源数据(例如，源数据65-K)的使用在不需要进行重新搜索的情况下实现人物面部的列表及其位置的高速显示。此外，响应于来自外部源的关于内容的信息的搜索请求，足以发送源数据。结果，可提高响应性。
源数据的使用还使得可以提取记录特定人物的部分并生成新的动画数据，或者再生或备份只记录特定人物的动画数据。因此，当执行自动编辑、自动再生、或自动备份时，源数据可用于提取数据。
图6是示出用于再生记录在具有图4所示结构的记录介质51上的内容64-K的再生装置的功能结构的框图。图6所示的再生装置用作根据本发明实施例的信息处理装置。
通过使用图6所示的再生装置，用户可以通过指定面部缩略图像执行参照图1所讨论的再生指示操作，即，用于给出指示以再生面部区间的操作。换句话说，图6所示的再生装置可以执行对应于上述再生指示操作的处理，以及还可以执行用于通过再生指示操作指示的从记录在记录介质51上的内容64-K中提取面部区间和用于再生所提取面部区间的处理。
为了执行上述处理，图6所示的再生装置包括控制单元71、信号分离器(demultiplexer)72、随机存储器(RAM)73、音频解码器74、声音输出单元75、视频解码器76、静止图像解码器77、图像合成器78、图像显示单元79以及操作单元80。
控制单元71包括系统控制器91、用户界面(UI)控制器92、和内容管理信息控制器93。随机存储器73包括管理信息区101和实数据区102。
系统控制器91对音频解码器74、视频解码器76、静止图像解码器77和图像合成器78执行各种类型的控制处理。
UI控制器92通过使用操作单元80和显示在图像显示单元79上的GUI图像(例如，下面描述的图10至图13所示的GUI图像)，对图形用户界面(GUI)执行各种类型的控制。
如果需要，内容管理信息控制器93将用于再生记录在记录介质51上的图4所示的内容64-K的管理信息(即，从源数据65-K中选择的必要信息)扩展到RAM 73的管理信息区101中。内容管理信息控制器93还通过使用扩展到管理信息区101的各种信息项，以图像数据的形式生成或更新图10至13所示的GUI图像，并将图像数据提供给静止图像解码器77。扩展到管理信息区101的信息的具体实例将参照图7和8在下面进行讨论。
信号分离器72读取将从记录在记录介质51上的内容64-1至64-N中再生的内容64-K的至少一部分。然后，信号分离器72将读取的数据分离为音频数据和视频数据，并将它们存储在RAM 73的实数据区102中。使用术语“读取内容64-K的至少一部分”是因为可以再生内容64-K的特定区间，例如，面部区间。
在RAM 73的实数据区102中，存储从记录介质51读取的诸如视频数据和音频数据的数据。在管理信息区101中，将记录在记录介质51上的源数据65-K中的多个信息作为管理信息来存储。管理信息区101的细节将参照图7和图8在下面作进一步讨论。
在系统控制器91的控制下，音频解码器74从实数据区102中读出音频数据并将音频数据转换为具有符合声音输出单位75的格式的声音信号，并将得到的声音信号提供给声音输出单位75。声音输出单位75输出对应于由音频解码器74提供的声音信号的声音，即，对应于内容64-K的音频数据的声音。
在系统控制器91的控制下，视频解码器76从实数据区102中读出视频数据并将视频数据转换为具有符合图像显示单位79的格式的图像信号。如果视频数据是MPEG数据，则视频解码器76执行MPEG解码处理并将得到的图像信号提供给图像合成器78。
在系统控制器91的控制下，静止图像解码器77从管理信息区101中读出静止图像数据(例如，GUI静止图像)，并将静止图像数据转换为具有符合图像显示单位79的格式的图像信号，并将得到的图像信号提供给图像合成器78。
图像合成器78将从视频解码器76输出的图像信号和从静止图像解码器77输出的图像信号合成，并将得到的合成图像信号提供给图像显示单位79。图像显示单位79显示对应于从图像合成器78输出的图像信号的图像，即，对应于内容64-K的视频数据的动画或诸如图10至图13所示的那些GUI图像。在图像显示单位79上还显示下面将参照图14至图16讨论的静止图像。
下面将参照图7和图8给出RAM 73的管理信息区101的细节。
如图7所示，管理信息区101包括图像处理区111、特性区112、缩略图区113以及元数据区114。
在图像处理区111中，存储在下面讨论的图10至13所示的GUI图像的图像数据以及通过内容管理信息控制器93对图像数据执行图像处理所需的信息的各种项。
在特性区112中，存储用于访问图4所示记录介质51所需的公共信息(例如，条目数目和内容64-K的大小)以及每个条目的特性数据(下文中称作“特性条目”)。
条目是给出再生指示的区间，例如，图1所示的面部区间11至14可以是条目。因此，属性条目包含各种用于再生相对应区间所必需的信息项。
在缩略图区113中，存储关于每个条目的缩略图的信息(下文中称作“缩略图条目”)。
在元数据区114中，存储关于每个条目的元数据的信息(下文称作“元数据条目”)。如果面部区间是条目，则对应的面部区间元信息和面部缩略图的配对(参见图4)包含在条目的元数据条目中。
应当注意，每个条目的特性条目、缩略图条目和元数据条目不是分别存储在特性区112、缩略图区113和元数据区114中，而是如图8箭头所示，以相互联系的方式存储每个条目的特性条目、缩略图条目和元数据条目。
下面，给出通过使用图6所示的再生装置由用户执行的再生指示操作以及响应于再生指示操作通过再生装置执行的处理的描述。
图9示出了响应于再生指示操作的再生装置的可能状态的实例。
在图9中，每个状态是由一个方框来表示的，并且通过从方框引出的符号“S”来识别方框。如果满足预定条件(下文中称作“状态转换条件”)，则执行图9中由箭头表示的从一个状态到另一个状态的状态转换(包括再生装置保持在相同状态的情况)。在图9中，通过附加在箭头上的符号“C”来表示状态转换条件。这些同样应用于其它状态转换图。
例如，响应于用于通过操作单元80给出再生指示的开始操作，UI控制器92确定满足状态转换条件C1，并将再生装置的状态转换为介质列表显示状态S1。
在再生装置的状态转换为介质列表显示状态S1之后，内容管理信息控制器93在RAM 73的管理信息区101中以图像数据的形式生成介质列表GUI图像，并将介质列表GUI图像提供给静止图像解码器77。系统控制器91控制静止图像解码器77和图像合成器78，以将介质列表GUI图像从图像数据变换为图像信号，并将变换的介质列表GUI图像提供给图像显示单元79。然后，在图像显示单元79上，显示介质列表GUI图像。结果，可以实现使用介质列表GUI图像和操作单元80的GUI。
介质列表是每个可通过再生装置再生的记录介质的索引列表。即，尽管没有示出，但允许显示介质列表并从列表中接收用于选择对应于期望记录介质的索引操作的GUI图像是介质列表GUI图像。
用于在图像显示单元79上显示另一个GUI图像和使用GUI图像和操作单元80实现GUI的一系列处理基本上类似于用于上述介质列表GUI图像的处理。因此，这样一系列处理简称为“GUI图像显示处理”，并省略了详细解释。
在通过操作单元80执行的用于从介质列表中选择期望记录介质的操作之后，UI控制器92确定满足状态转换条件C2，并将再生装置的状态从介质列表显示状态S1转换到文件/文件夹列表显示状态S2。
在再生装置的状态转换为文件/文件夹列表显示状态S2之后，控制单元71执行用于显示文件/文件夹列表GUI图像的处理。
文件/文件夹列表包含在所选记录介质中的、树结构形式的文件夹和文件的图标列表。即，尽管没有示出，但允许显示文件/文件夹列表并接收用于选择对应于期望文件/文件夹的图标的操作的GUI图像是文件/文件夹列表GUI图像。
文件/文件夹列表GUI图像包含用于重新显示例如介质列表GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C3，并将再生装置的状态从文件/文件夹列表显示状态S2转换为介质列表显示状态S1。
响应于通过操作单元80执行的用于从文件/文件夹列表GUI图像中选择期望文件/文件夹的操作，UI控制器92确定满足状态转换条件C4，并将再生装置的状态从文件/文件夹列表显示状态S2转换为文件夹文件显示状态S3。
更具体地，在该实施例中，文件夹文件显示状态S3包括三种状态，例如，一般显示状态S3-1，动画选择屏幕显示状态S3-2和静止图像选择屏幕显示状态S3-3。在这三种状态中，再生装置的状态从文件/文件夹列表显示状态S2转换为一般显示状态S3-1。即，一般显示状态S3-1是文件夹文件显示状态S3的默认状态。
在再生装置的状态转换为一般显示状态S3-1之后，控制单元71执行用于显示文件选择GUI图像的处理。
尽管没有示出，但文件选择GUI图像包含用于重新显示例如文件/文件夹列表GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C5，并将再生装置从一般显示状态S3-1转换为文件/文件夹列表显示状态S2。
文件选择GUI图像是允许显示包含在所选记录介质的文件夹中的各个文件的图标显示并接收用于选择预定图标的操作的GUI图像。选择图标是选择与该图标相关的文件。
在这种情况下，如果所选记录介质是图4所示的记录介质51，则用作动画内容的内容64-l1至内容64-N形成为文件。因此，选择内容64-K的文件是给出指示以再生内容64-K。
然而，对于用户难以视觉上确定图标是表示动画内容的文件还是另一种类型内容的文件。即使用户可以识别图标表示动画内容的文件，也难以了解动画内容的类型。
因此，在该实施例中，提供了如图10所示的动画选择GUI图像150。即，动画选择GUI图像是允许作为动画内容索引的各个动画内容的代表图像的列表显示为缩略图像151以及从列表中接收用于选择预定缩略图像151的操作的GUI图像。
尽管没有示出，但文件选择GUI图像包含用于显示例如动画选择GUI图像150的软件按钮。如果操作软件按钮，则确定满足图9所示的状态转换条件C6，并将再生装置的状态从一般显示状态S3-1转换为动画选择屏幕显示状态S3-2。
在将装置的状态转换为动画选择屏幕显示状态S3-2之后，控制单元71执行用于显示图10所示动画选择GUI图像150的处理。
尽管没有示出，但动画选择GUI图像包含用于重新显示例如文件选择GUI图像的软件按钮。如果操作软件按钮，则确定满足状态转换条件C7，并将再生装置的状态从动画选择屏幕显示状态S3-2转换为一般显示状态S3-1。
在显示图10所示动画选择GUI图像150时，如图11所示，用户操作操作单元80，来将光标152移动到期望缩略图像151，并通过使用操作单元80执行预定操作来设定由光标152表示的缩略图像151。
在这种情况下，选择缩略图像151是给出指示以再生与缩略图像151相关联的动画内容。在该实施例中，如参照图1所讨论的，至少具有两种类型的再生指示操作，例如，用于给出指示以再生整个动画内容的再生指示操作(下文种称作“整体再生指示操作”)以及用于给出指示以再生作为动画内容一部分的面部区间的再生指示操作(下文中称作“面部区间再生指示操作”)。
因此，用于缩略图像151的选择操作还包括两种类型的再生指示操作，例如，对应于整体再生指示操作的第一选择操作和对应于面部区间再生指示操作的第二选择操作。
如果执行第一选择操作，则确定满足图9所示的状态转换条件C10，并将再生装置的状态从动画屏幕显示状态S3-2转换为动画再生状态S6。
在将再生装置的状态转换为动画再生状态S6之后，控制单元71再生执行整体再生指示操作的动画内容。即，从记录介质中读取整个动画内容并从头开始再生。从参照图6的再生装置的描述中可容易地理解用于整个动画内容的再生操作，并在此忽略其描述。
在完成动画内容的再生或响应于用于中断动画内容再生的操作之后，确定满足状态转换条件C11，并将再生装置的状态从动画再生状态S6转换为动画选择屏幕显示状态S3-2。
相反，如果执行对应于面部再生指示操作的第二选择操作，则确定满足状态转换条件C12，并将再生装置的状态从动画选择屏幕显示状态S3-2转换为面部区间再生选择屏幕显示状态S5。
在将再生装置的状态转换为面部区间再生选择屏幕显示状态S5之后，执行用于显示面部区间再生选择GUI图像的处理。
面部区间再生选择GUI图像是指示用户从动画选择屏幕GUI图像中所选的动画内容中选择期望面部区间的GUI图像。
在该实施例中，作为面部区间再生选择GUI图像，提供了如图12所示的三种GUI图像161至163。
在图12中，在左侧示出的GUI图像161是允许面部缩略图像的列表被显示为包含在动画内容中的面部区间的索引列表并接收用于从该列表中选择期望面部图像缩略图的操作的GUI图像。下文中将GUI图像161称作“面部缩略图GUI图像161”。
在图12所示的实例中，假设选择图1所示的内容1，并且包括在内容1中的、分别与面部区间11至14相关联的面部缩略图像21至24的列表显示为面部缩略图GUI图像161。
在显示面部缩略图GUI图像161时，用户可以操作操作单元80以将光标201移动到期望面部缩略图像，如图12所示，并且可以通过操作单元80执行预定操作以给出指示来再生对应于由光标201表示的面部缩略图像的面部区间。
在图12所示的实例中，由于光标201位于面部缩略图像22处，所以用户给出指示以再生图1所示的面部区间12。在这种情况下，从记录介质51中读取动画内容1的面部区间12并进行再生。从参照图6的再生装置的描述中可以容易地理解用于面部区间12的再生操作，因此在此忽略其解释。
下面将简要讨论用于指定作为面部区间12而读取的动画内容1的范围的技术实例。如上所述，可以通过记录在记录介质51上的关于面部区间12的面部区间元数据信息(图5)指定对应于面部区间12的动画内容1的范围。因此，如果在选择面部缩略图像22之前已经加入了面部区间12，则关于面部区间12的面部区间元数据信息被记录在管理信息区101中作为面部区间12的元数据条目(图8)。然后，通过使用该元数据条目，可以指定作为面部区间12而读取的动画内容1的范围。如果当选择面部缩略图像22时还没有加入面部区间12，则在该点处将其加入。
与面部缩略GUI图像161相反，代替面部图像，GUI图像162包含对应于从中提取面部图像的源场景静止图像的整体的缩略图像。下文中将GUI图像162称作“源场景GUI图像162”。
在图12所示的实例中，分别对应于从中提取面部缩略图像21至24的源场景静止图像的缩略图像181至184分别显示在源场景GUI图像162中作为面部区间11至14的索引。
因此，当正在显示源场景GUI图像162时，如图12所示，用户可操作操作单元80以将光标201移动到期望缩略图像，并可通过操作单元80执行预定操作，以给出指示来再生对应于定位光标201位置处的缩略图像的面部区间。
在图12所示的实例中，由于光标201位于缩略图像182处，所以用户给出指示以再生图1所示的面部区间12。然后，从记录介质51中读取动画内容1的面部区间12并将其再生。
在该实施例中，在将光标201定位于面部缩略图像161中的期望面部缩略图像之后，或者在将光标201定位于源场景GUI图像162中的期望缩略图像之后，即，在面部缩略GUI图像161或源场景GUI图像162中选择期望面部区间之后，用户可通过操作单元80执行预定操作，以显示动画内容1中包括表示预定面部时间的位置的时间线191的GUI图像163。在图12所示的实例中，如上所述，由于选择了面部区间12，所以对应于图1所示动画内容1的带状图像显示为时间线191，并且只有表示面部区间12的图像显示在带状图像中。下文中将GUI图像163称作“时间线GUI图像163”。
当显示时间GUI图像163时，用户可以通过操作单元80执行预定操作，以给出指示来再生由显示在时间线191中的图像所表示的面部。
在图12所示的实例中，由于在时间线191中显示表示图1所示面部区间12的图像，所以用户可以给出指示以再生面部区间12。然后，从记录介质51中读取动画内容1的面部区间12并将其再生。
在图12所示的实例中，只选择了一个面部缩略图像22或一个缩略图像182。然而，如图13所示，可以选择所有的面部缩略图像21至24或所有的缩略图像181至184，或者可以选择面部缩略图像21至24中的一些或缩略图像181至184中的一些。即，可以通过一个再生指示操作选择多个面部区间。
在这种情况下，例如，在图13中，由一个再生指示操作选择的面部区间，依次连续再生面部区间11至14(参见图1)。
如上所述，在该实施例中，作为面部区间再生选择GUI图像，提供了三种GUI图像，例如，图12所示的面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163。因此，如图14所示，面部区间再生选择屏幕显示状态S5包括显示面部缩略图GUI图像161的面部缩略图屏幕显示状态S5-1、显示源场景GUI图像162的源场景屏幕显示状态S5-2和显示时间线GUI图像163的时间线屏幕显示状态S5-3。
如果在面部缩略图屏幕显示状态S5-1、源场景屏幕显示状态S5-2和时间线屏幕显示状态S5-3中至少执行一次上述面部区间再生指示操作，则确定分别满足状态转换条件C14-1、C14-2和C14-3，并将再生装置的状态转换为动画再生状态S6。
如上所述，在将再生装置的状态转换为动画再生状态S6之后，控制单元71连续再生执行再生指示操作的一个或多个面部区间。
在到最终完成一个或多个面部区间的再生操作或响应于停止再生操作的指示之后，确定满足状态转换条件C11，并将再生装置的状态从动画再生状态S6转换为动画选择屏幕显示状态S3-2。
尽管没有示出，但在面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163的每一个中包含用于重新显示例如动画选择GUI图像150的软件按钮。如果操作软件按钮，则确定满足状态转换条件C13-1、C13-2或C13-3，并将再生装置的状态转换为动画选择屏幕显示状态S3-2。
尽管没有示出，但在面部缩略图GUI图像161、源场景GUI图像162和时间线GUI图像163的每一个中包含用于重新显示例如另一个面部区间选择GUI图像的另一个软件按钮。如果操作该软件按钮，则确定满足状态转换条件C21至C26中的一个，并将再生装置的状态转换为面部缩略图屏幕显示状态S5-1、源场景屏幕显示状态S5-2和时间线屏幕显示状态S5-3中相对应的一个。
如上所述，根据本发明实施例的上述图6所示构造的再生装置为用户展现面部缩略图GUI图像161、源场景GUI图像162或时间线GUI图像163，并指示用户选择面部缩略图像，使得可以再生对应于所选面部缩略图像的面部区间。
用户可以选择多个面部缩略图像。在这种情况下，连续再生对应于所选多个面部缩略图像的多个面部区间。在图13所示的实例中，选择分别对应于图1所示动画内容1的面部区间11至14的面部缩略图像21至24或缩略图像181至184。因此，以那种顺序连续再生面部区间11至14。
此外，一个或多个所选面部区间可形成为一个新内容，即，新文件，并将其记录在外部介质(例如，记录介质51)上。可选地，可以通过网络将一个或多个所选面部区间传送至外部装置(未示出)。这种技术被称作“集体写入/传送技术”。
更具体地，在图15所示的实例中，可以实现以下的集体写入/传送技术。在选择分别对应于动画内容1的面部区间11至14的面部缩略图像21至24之后，可生成新内容211，从而通过执行预定操作以这种次序再生面部区间11至14。然后，可将缩略图像212添加到动画选择GUI图像150作为新内容211的索引，或者可将新内容211记录在记录介质51上。
为了将集体写入/传送技术应用于再生装置，除参照图4至图14所讨论的上述结构和操作之外，图16至图18所示附加措施也是必要的。
即，如图16所示，为了通过使用图12所示的面部缩略图GUI图像161和源场景GUI图像162来实现集体写入/传送技术，可将软件按钮251-1至253-1添加至面部缩略图GUI图像161以及可将软件按钮251-2至253-2添加至源场景GUI图像162。
除非需要将它们彼此区分，否则下文中将软件按钮251-1至253-1和251-2至253-2简称为“软件按钮251至253”。如图16所示，软件按钮251至253也分别被称作再生按钮251、文件生成按钮252和外部写入按钮253。
再生按钮251是用于执行再生指示操作软件按钮，再生指示操作用于以与一个或多个所选面部缩略图像或缩略图像相关联的顺序连续再生一个或多个面部区间。
文件生成按钮252是用于从与一个或多个所选面部缩略图像或缩略图像相关联的一个或多个面部区间中生成新内容作为新文件以及用于将新文件存储在再生装置的内置存储器中(例如，下面讨论的图17所示的RAM 73)的软件按钮。通过操作文件生成按钮252，如图15所示的新内容211，将对应于生成的新内容的缩略图像添加至动画选择GUI图像150。因此，用户可选择附加缩略图像以给出指示来再生新内容。
外部写入按钮253是用于从与一个或多个所选面部缩略图像或缩略图像相关联的一个或多个面部区间中生成新内容作为新文件以及用于将生成的新内容记录在外部介质(例如，记录介质51)中，或者经网络将新文件传送至外部装置的软件按钮。通过操作外部写入按钮253，用户可将诸如图15所示新内容211的新内容记录在记录介质51上。
图17示出了实现集体写入/传送技术的记录/再生装置的结构实例。即，记录/再生装置用作根据本发明实施例的信息处理装置，并且不同于图6所示的再生装置。
在图17所示的记录/再生装置中，对应于图6所示再生装置的元件以相同的参考数字来表示，并忽略其解释。
如上所述，根据集体写入/传送技术，通过使用面部缩略图像或缩略图像选择的一个或多个面部区间可被形成一个内容，即，新文件。然而，在这种情况下，如果选择多于一个的面部区间，则用于组合这些面部区间的编辑操作变得很必要。在该实施例中，当它们为基带信号形式时，对面部区间执行该编辑操作。因此，在图17所示的记录/再生装置中，代替图6所示再生装置的音频解码器74、视频解码器76和静止图像解码器77，设置了除解码功能(压缩编码处理)之外还具有编码功能(扩展解码(expansion-decoding)处理)的诸如音频编码器/解码器261、视频编码器/解码器262和静止图像编码器/解码器263的功能块。
例如，当生成图15所示的新内容211时，图17所示的记录/再生装置执行下列处理。假设面部区间11至14以MPEG数据的形式存储在RAM 73中。在这种情况下，视频编码器/解码器262对每个面部区间11至14执行所谓的MPEG编码(扩展解码处理)，以将MPEG数据转换为基带信号。然后，将基带信号形式的面部区间11至14存储在RAM 73的管理信息区101的图像处理区111(图7)中。控制单元71通过组合基带信号形式的面部区间11至14来生成新内容211，并将新内容211提供给视频编码器/解码器262。然后，视频编码器/解码器262对新内容211执行所谓的MPEG解码(压缩编码处理)，以将基带信号转换为MPEG数据，随后将MPEG数据存储在RAM 73的实数据区102中。
如果在新内容211中包括声音，则音频编码器/解码器261以与视频编码器/解码器262类似的方式执行处理。
在图17所示的记录/再生装置中，为了将诸如新内容211的新内容记录在记录介质51上，实现通过内容管理信息控制器93对记录介质51的直接访问。
图17所示上述构造的记录/再生装置可以类似于图6所示再生装置的方式执行参照图9至图14所讨论的处理。即，图17所示的记录/再生装置可执行对应于由用户执行的再生指示操作的处理以及用于将响应于再生指示操作再生内容的处理。
如图18的流程图所示，图17所示的记录/再生装置还可以执行集体写入处理。
当记录/再生装置的状态处于图14所示的面部区间再生选择屏幕显示状态S5时，执行集体写入处理。即，在该实施例中，当图16所示的面部缩略图GUI图像161或源场景GUI图像162显示在图像显示单元79上时，执行集体写入处理。
图18是示出通过记录/再生装置执行的集体写入处理实例的流程图。
在步骤S21中，图17所示的控制单元71的UI控制器92确定是否已经操作了文件生成按钮252或外部写入按钮253。
如果在步骤S21中确定没有操作生成按钮252或外部写入按钮253，则处理返回到步骤S21，并重复步骤S21中的确定处理。
如果在步骤S21中确定已经操作了生成按钮252或外部写入按钮253，则处理前进到步骤S22。
在步骤S22中，内容管理控制器93生成用于连续再生对应于所选面部缩略图像或缩略图像的部分的源数据。
在步骤S23中，内容管理控制器93在RAM 73的管理信息区101中生成包括源数据的临时文件夹。
更具体地，例如，假设在通过使用面部缩略图GUI图像161选择面部缩略图像21至24之后，操作文件生成按钮252-1或外部写入按钮253-1。
在这种情况下，面部缩略图像21至24分别用作面部区间11至14的索引。因此，在步骤S22中，生成分别用于再生面部区间11至14的源数据项271至274。然后，在步骤S23中，将包括源数据项271至274的临时文件夹261记录在RAM 73的管理信息区101中。源数据项271至274分别是包括多对关于面部区间11至14的面部缩略图和面部区间元数据信息的数据(参见图4)。
在图18的步骤S24中，UI控制器92确定操作的按钮是否是文件生成按钮252。
如果在步骤S24中确定已经操作了文件生成按钮252，则处理前进到步骤S25。
在步骤S25中，内容管理信息控制器93将关于临时文件夹的信息写入RAM 73的公共管理信息区，使得可将临时文件夹转换为永久文件夹。然后，完成集体写入处理。
如果在步骤S24中确定操作的按钮不是文件生成按钮252，即，操作的按钮是外部写入按钮253，则处理前进到步骤S26。
在步骤S26中，内容管理信息控制器93和系统控制器91将临时文件夹中的源数据与实数据结合，以生成新内容作为新文件。已经通过上面视频编码器/解码器262的描述讨论了实数据生成处理。
在步骤S27中，内容管理信息控制器93将新内容记录在外部介质(例如，记录介质51)上作为新文件。然后，完成集体写入处理。
如果图17所示的记录/再生装置具有与其它装置进行通信的功能，则即使没有示出这种功能，在步骤S27中，也可通过使用通信功能将新内容传送至另一装置。
在上述实例中，面部缩略图像与动画内容相关联。然而，他们可与静止图像内容相关联。然后，与在动画内容中一样，通过使用包括面部缩略图像列表的GUI图像，用户可对静止图像内容执行搜索操作或再生指示操作。
在大多数情况下，有可能静止图像内容的数目远远大于动画内容的数目。因此，代替显示与所有静止图像内容相关联的面部缩略图像的列表，排列静止图像内容的下列方法对于用户更加方便。确定包括相同人物的多个静止图像形成一组，然后，从每一组中提取一个面部缩略图像作为代表的面部缩略图像。随后显示代表面部缩略图像的列表。
更具体地，如果记录在记录介质51上的多个静止图像属于表示三个人物的三个组，则如图20所示，设置用于三个组的文件夹271至273(下文中称作“人物文件夹271至273”)。然后，用于显示属于每组的至少一个静止图像的源数据包括在人物文件夹271至273中对应的一个中。作为源数据，可以使用包括相应面部缩略图像和用于将面部缩略图像链接至静止图像内容的链接信息的数据。
在这种情况下，可将人物文件夹271至273预先存储在记录介质51中，或者可通过图6所示的再生装置生成然后存储在RAM73的管理信息区101中。
现在，给出当人物文件夹271至273存储在RAM73的管理信息区101中时，通过图6所示的再生装置所执行处理实例的描述。
在这种情况下，在图9所示的状态中，再生装置的状态处于没有讨论的静止图像选择屏幕显示状态S3-3。
静止图像选择屏幕显示状态S3-3是显示静止图像选择GUI图像的状态。
静止图像选择GUI图像是允许相应的代表面部缩略图像显示为每个人物文件的索引以及接收用于选择与期望人物文件相关联的代表面部缩略图像的操作的GUI图像。在这种情况下，在从GUI图像中选择一个人物文件之后，可将包括在所选人物文件中的缩略图像的列表显示为GUI图像，这种GUI图像也被称作静止图像选择GUI图像。下面将参照图22至图25描述静止图像选择GUI图像的具体实例。
尽管没有示出，但用于显示这种静止图像选择GUI图像的软件按钮包括在以一般显示状态S3-1显示的文件选择GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C8，并将再生装置的状态从一般显示状态S3-1转换为静止图像选择屏幕显示状态S3-3。
在将再生装置转换到静止图像选择屏幕显示状态S3-3之后，图6所示的控制单元71执行静止图像选择GUI图像的显示处理。
更具体地，在该实施例中，如图21所示，静止图像选择屏幕显示状态S3-3包括四个状态，例如，静止图像列表屏幕显示状态S31、面部缩略如屏幕显示状态S32、面部缩略图源图像屏幕显示状态S33、选择人物源图像列表屏幕显示状态S34。
再生装置从一般显示状态S3-1转换到静止图像列表屏幕显示状态S31。即，静止图像列表屏幕显示状态S31是静止图像选择屏幕显示状态S3-3的默认状态。
在将再生装置转换到静止图像列表屏幕显示状态S31之后，控制单元71执行静止图像列表GUI图像的显示处理。
用于重新显示例如文件选择GUI图像的软件按钮包括在静止图像列表GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C9，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为一般显示状态S3-l
尽管没有示出，但静止图像列表GUI图像是允许与包括在所选文件夹中的所有静止图像内容相关联的缩略图像的列表显示为多个静止图像内容的索引以及接收用于从列表中选择期望缩略图像的操作的GUI图像。
如果在显示静止图像列表GUI图像时选择预定缩略图像，即，如果给出再生对应于所选缩略图像的静止图像内容的指示，则确定满足状态转换条件C15-1，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为静止图像显示状态S4。
在将再生装置转换为静止图像显示状态S4之后，控制单元71再生已经执行的再生指示操作的静止图像内容。即，如果由于满足状态转换条件C15而将再生装置的状态转换为静止图像显示状态S4，从记录介质51中读取静止图像内容并将其再生。即，将静止图像显示在图6所示的图像显示单元79上。除使用图6所示的静止图像解码器77代替图6所示的视频解码器76之外，用于静止图像内容的再生操作基本上与用于动画内容的再生操作类似，因此省略其解释。
如果给出停止静止图像内容的再生操作的指示，则确定满足状态转换条件C16-1，并将再生装置的状态从静止图像显示状态S4转换为静止图像列表屏幕显示状态S31。
如上所述，在静止图像列表GUI中，显示所有静止图像内容。因此，如果静止图像内容的数目很大，则缩略图像的数目也变得很大。因此，用户很难从很多缩略图像中选择期望的一个。
因此，在该实施例中，如上所述，表示每个人物的代表面部缩略图像与相应的人物文件夹相关联。设置允许显示代表面部缩略图像的列表并接收用于选择期望的代表面部缩略图像的操作的GUI图像。这种GUI图像也被称作“面部缩略图GUI图像”。
尽管没有示出，但用于显示例如面部缩略GUI图像的软件按钮包含在静止图像列表GUI图像中。如果操作该软件按钮，则确定满足状态转换条件C51，并将再生装置的状态从静止图像列表屏幕显示状态S31转换为面部缩略图屏幕显示状态S32。
在将再生装置转换到面部缩略图屏幕显示状态S32之后，控制单元71执行面部缩略图GUI图像的显示操作。
然后，显示诸如图22所示的面部缩略图GUI图像301。在图22所示的实例中，在面部缩略图GUI图像301中显示作为四个人物文件夹的索引的代表面部缩略图像311至314的列表。
在每个代表面部缩略图像311至314中，包含了对应人物的面部图像。然而，为了易于理解，在图22所示的实例中，示出了表示人物名称的α、β、γ、和θ。即，在图22所示的实例中，代表面部缩略图像311是人物α的人物文件夹的索引并包含人物α的面部图像。同样地，代表面部缩略图像312是人物β的人物文件夹的索引并包含人物β的面部图像。代表面部缩略图像313是人物γ的人物文件夹的索引并包含人物γ的面部图像。代表面部缩略图像314是人物θ的人物文件夹的索引并包含人物θ的面部图像。
在该实施例中，如图23所示，作为人物文件夹的索引，不仅显示代表面部图像，还显示了包括从中提取代表面部图像中的源静止图像的GUI图像302。GUI图像302被称作“面部缩略图源图像GUI图像302”。
在图23所示的实例中，在面部缩略如源图像GUI图像302中显示作为从中分别提取图22所示代表面部缩略图像311至314的源静止图像的缩略图像321至324。下面给出光标331的描述。
尽管没有示出，但用于显示图23所示面部缩略图源图像GUI图像302的软件按钮包含在图22所示的面部缩略图GUI图像301中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C53，并将再生装置的状态从面部缩略图屏幕显示状态S32转换为面部缩略图源图像屏幕显示状态S33。
在将再生装置转换为面部缩略图源图像屏幕显示状态S33之后，控制单元71执行用于面部缩略图源图像GUI图像302的显示处理。然后，显示图23所示的面部缩略图源图像GUI图像302。
尽管没有示出，但用于显示图22所示的面部缩略图GUI图像301的软件按钮包含在图23所示的面部缩略图源图像GUI图像302中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C54，并将再生装置的状态从面部缩略图源图像屏幕显示状态S33转换为面部缩略图屏幕显示状态S32。
如图24所示，当正在显示图22所示的面部缩略GUI图像301时，用户可操作操作单元80以将光标341移动到期望的代表面部缩略图像311，然后在操作单元80上执行预定操作以给出指示来再生对应于光标341所处位置处的代表缩略图像311的人物文件夹，即，人物α的人物文件夹。
同样地，当正在显示图23所示的面部缩略GUI图像302时，如图23所示，用户可操作操作单元80以将光标331移动到期望的代表面部缩略图像321，然后通过操作单元80执行预定操作以给出指示来再生对应于光标331所处位置处的代表缩略图像321的人物文件夹，即，人物α的人物文件夹。
以这种方式，如果在正在显示图24所示面部缩略图GUI图像301的状态下给出再生人物α的人物文件夹的指示，则确定满足图21所示的状态转换条件C55。如果在正在显示图23所示面部缩略图源图像GUI图像302的状态下给出再生人物α的人物文件夹的指示，则确定满足图21所示的状态转换条件C57。结果，将再生装置的状态转换为选择人物源图像列表屏幕显示状态S34。
在将再生装置转换为选择人物源图像列表屏幕显示状态S34之后，控制单元71执行选择人物源图像列表GUI图像的显示处理。
选择人物源图像列表GUI图像是允许包含在所选人物文件夹中的所有静止图像内容(即，包含所选人物的多个静止图像内容)显示为缩略图像的列表并接收用于选择预定缩略图像的操作的GUI图像。
例如，由于选择了人物α的人物文件夹，所以如图25所示，在选择人物源图像列表GUI图像303中显示包含人物α的图像的静止图像351至356作为缩略图像的列表。
尽管没有示出，但用于显示例如图22所示面部缩略图GUI图像301的软件按钮包括在选择人物源图像列表GUI图像303中。如果操作该软件按钮，则确定满足图21所示的状态转换条件C56，并将再生装置的状态从选择人物源图像列表屏幕显示状态S34转换为面部缩略图屏幕显示状态S32。
当正在显示图25所示的选择人物源图像列表GUI图像303时，用户了操作操作单元80以将光标361移动到期望的缩略图像356，然后通过操作单元80执行预定操作以给出指示来再生对应于光标361所处位置处的缩略图像356的静止图像内容。
响应于再生静止图像内容的指示，确定满足图21所示的状态转换条件C15-2，并将再生装置的状态从选择人物源图像列表屏幕显示状态S34转换为静止图像显示状态S4。
在将再生装置转换为静止图像显示状态S4之后，控制单元71再生执行了再生指示操作的静止图像内容。即，如果由于满足状态转换条件C15-1而将再生装置转换为静止图像显示状态S4，则从记录介质51中读取静止图像内容并将其再生。更具体地，如图26所示，显示包括将被再生的静止图像356的GUI304。
为了描述的简要，由相同的参考编号表示图25和图26所示的静止图像356。然而，实际上，图26所述的静止图像356是原始尺寸(原始分辨率)，并且具有原始尺寸的实图像的缩小图像被用作图25所示的选择人物源图像列表GUI图像303中的缩略图像。
如果指示停止再生静止图像内容，则确定满足图21所示的状态转换条件C16-2，并将再生装置的状态从静止图像显示状态S4转换为选择人物源图像列表屏幕显示状态S34。
已经参照图21至图26讨论了响应于再生静止图像内容的指示所执行的处理。在该描述中，执行处理的实体是如图6所示构造的再生装置。然而，执行处理的实体并不限制为图6所示的再生装置，例如图17所示的记录/再生装置也可以是执行处理的实体。
在这种情况下，可将参照图15讨论的集体写入/传送技术应用于图17所示的记录/再生装置。因此，通过将集体写入/传送技术应用于静止图像内容，可执行下列处理。在图17所示的记录/再生装置中，可生成新的人物文件夹，以及可将对应于人物文件夹的代表面部缩略图像添加至面部缩略图GUI图像301。可选地，可将新的人物文件夹和相应的多个静止图像内容记录在外部介质(例如，记录介质51)上，或者可通过网络将其传送至外部装置(未示出)。
更具体地，如图27所示，将类似于图16所示对应物的再生按钮251-3、文件生成按钮252-3和外部写入按钮253-3添加至静止图像列表GUI图像362。通过这种配置，图17所示的记录/再生装置可以执行下列处理。
在图27所示的实例中，静止图像列表GUI图像362中的缩略图像371至374分别形成为静止图像内容381至384的索引。
例如，现在假设在选择静止图像列表GUI图像362中的所有缩略图像371至374之后，操作文件生成按钮252-3或外部写入按钮253-3。
在这种情况下，图17所示记录/再生装置的控制单元71生成用于分别再生静止图像内容381至384的源数据项391至394，并将包括源数据项391至394的临时文件夹398记录在例如RAM73的管理信息区101中。作为源数据项391至394，可使用与静止图像内容381至384相关联的面部缩略图像和将面部缩略图像与静止图像内容381至384链接的链接信息。在这种情况下，面部缩略图像中的一个可被用作代表面部缩略图像。
如果操作文件生成按钮252-3，则图17所示的内容管理信息控制器93将关于临时文件夹398的信息写入RAM73的公共管理信息区，以将临时文件夹398转换为永久文件夹。然后，完成集体写入处理。
相反，如果操作外部写入按钮253-3，则图17所示的内容管理信息控制器93和系统控制器91将临时文件夹中的源数据项391至394与静止图像内容381至384组合以生成新的内容文件。然后，内容管理信息控制器93将新内容记录在外部介质(例如，记录介质53)作为文件，或将新内容传送至另一个装置(未示出)。
作为本发明实施例的信息处理装置的应用，已经给出了对可以再生记录在图4所示记录介质51上的动画内容或静止图像内容以及可以展现利用面部缩略图像的再生指示操作GUI的装置的描述。
作为本发明实施例的信息处理装置的另一个应用，现在给出对可以将动画内容或静止图像内容记录在记录介质51上以及可以展现利用面部缩略图像的再生指示操作GUI的图像记录装置的描述。
图28示出了这种图像记录装置401的功能结构的实例。
图像记录装置401包括控制器411、图像拍摄单元412、图像处理器413、图像压缩器414和写入器415。
例如，控制器411包括中央处理单元(CPU)，并根据存储在例如只读存储器(ROM)(未示出)中的程序执行各种类型的控制处理。即，控制器411控制控制图像拍摄单元412、图像处理器413、图像压缩器414和写入器415的操作。
例如，图像拍摄单元412包括数码摄像机，并拍摄目标图像以及将作为拍摄操作结果所获取的图像信号以基带信号的形式提供给图像处理器413。
图像处理器413对从图像拍摄单元412提供的图像信号执行各种类型的图像处理，使得可以处理对应于图像信号的动画或静止图像。然后，图像处理器413将得到的图像信号以基带信号的形式提供给图像压缩器414。在该描述中，通过图像处理器413执行的图像处理包括上述处理，例如，指定面部区间以及形成面部缩略图像和缩略图像作为面部区间的索引。还将关于面部区间以及面部缩略图像和缩略图像的信息作为预定数据从图像处理器413输出至控制器411或写入器415。下面讨论图像处理的细节。
图像压缩器414对以基带信号的形式通过图像处理器413从图像拍摄单元412提供的图像信号执行预定的压缩编码处理。更具体地，如果图像信号是动画信号，则图像压缩器414执行例如MPEG解码处理，然后将得到的压缩图像数据提供给写入器415。有时可将压缩图像数据(例如，MPEG数据)提供给图像处理器413作为用于检测面部区间的图像信号。
写入器415将由图像压缩器414提供的图像数据写入记录介质51作为图像内容(即，文件)，并将图像内容的源数据写入记录介质51。源数据包括关于由图像处理器413或控制器411提供的面部缩略图像和面部区间的信息。即，将关于面部缩略图像和面部区间的信息写入记录介质51的源数据区53作为参照图4讨论的面部缩略图和面部区间元数据信息的配对。
图29示出了图像记录装置401的图像处理器413的功能结构的实例。
在图29所示的实例中，图像处理器413包括噪声消除器421、帧存储器422、放大/缩小单元423、信号变换器424、图像合成器425、帧存储器426和图像信息检测器427。
噪声消除器421执行用于消除对应于由图像拍摄单元412提供的图像信号的拍摄图像中所包含的不需要的噪声的噪声消除处理。然后，噪声消除器421将得到的图像信号提供给放大/缩小单元423。
更具体地，噪音消除器421通过使用帧存储器422执行作为噪声消除处理的下列处理。通过使用从帧存储器422读取的前一帧(目标帧之前的一帧)的图像信号和从图像拍摄单元412输入的目标帧的图像信号，噪声消除器421从两个图像信号中获得噪声分量并将它们从目标帧的图像信号中消除。然后，噪声消除器421将没有噪声的图像信号提供给放大/缩小单元423。将这个图像信号写回到帧存储器422，以便其可用作随后的目标帧之前一帧的图像信号。在这种情况下，由控制器411提供用于调整噪声消除级别的参数，因此，噪声消除器421可根据由图像拍摄单元412拍摄的图像来执行噪声消除处理。
放大/缩小单元423根据由控制器411提供的预定放大/缩小率对由噪声消除器421提供的图像信号执行放大/缩小处理，然后将得到的图像信号提供给信号变换器424。如果控制器411没有给出指示或者如果放大/缩小率是100％，那么放大/缩小单元423直接将图像信号提供给信号变换器424而不改变其大小。
信号变换器424对由放大/缩小单元423提供的图像信号执行关于由控制器411指示的视频效果类型的图像处理。然后，信号变换器424将得到的图像信号提供给图像合成器425，并且还将其提供给图像信息检测器427。不特别限制通过信号变换器424执行的图像处理的类型，可以是变为深褐色或黑白色的色彩变换，或者是正负变换，或者是马赛克或模糊处理。信号变换器424可以在不对图像信号执行任何图像处理的情况下，将从放大/缩小单元423输出的图像信号提供给图像合成器425或图像信息检测器427。
图像合成器425根据由控制器411指示的合成处理的类型对由信号变换器424提供的图像信号执行合成处理，然后将得到的图像信号提供给图像压缩器414。不特别限制通过图像合成器425执行图像处理的类型，其可以是利用与存储在帧存储器426中的图形图像合成的阿尔法(α)的透过合成处理，或者是用于沿时间轴逐渐淡入或淡出存储在帧存储器426中的图像的调节合成处理。图像合成器425可在不对图像信号执行任何图像处理的情况下，将由信号变换器424提供的图像信号输出至图像压缩器414。
在控制器411的控制下，图像信号检测器427对由信号变换器424或图像压缩器414提供的图像信号执行各种类型的图像处理以提取人物信息或面部信息，并将提取的信息提供给写入器415或控制器411。面部信息包括关于上述面部区间和面部缩略图像的信息。
图30示出了图像信息检测器427的功能结构的实例。
如图30所示，图像信息检测器427包括静止图像生成器431、面部图像处理器432和缩略图生成器433。
静止图像生成器431从由信号变换器424或图像压缩器414提供的图像信号中生成图像数据格式的静止图像，然后将生成的静止图像提供给面部图像处理器432。如果对应于静止图像的图像信号是由信号变换器424或图像压缩器414提供的，那么将图像信号直接提供给面部图像处理器432。
在控制器411的控制下，面部图像处理器432执行各种类型的处理，例如，从由静止图像生成器431提供的静止图像中检测人物面部以及从静止图像中提取面部图像。将图像处理的结果提供给控制器411和缩略图生成器433。图像处理的结果包括下面参照图35所描述的面部图像表。
在控制器411的控制下，缩略图生成器433通过使用来自面部图像处理器432或控制器411的信息指定面部区间并生成面部缩略图像作为面部区间的索引，并将关于面部区间和面部缩略图像的信息提供给控制器411和写入器415。
下面将参照图31的流程图描述通过图30所示的图像信息检测器427或控制器411执行的源数据生成/记录处理的实例。
源数据生成/记录处理是用于将源数据65-K(具体地，源数据65-K的面部缩略图和面部区间元数据信息的配对)与动画内容64-K一起记录在图4所示记录介质51上的处理。更具体地，源数据生成/记录处理是用于生成面部缩略图和面部区间元数据信息的配对直至将配对记录在记录介质上的一系列处理。
在通过图31所示的流程图表示的处理中，由图像压缩器414提供的图像信号是MPEG数据。即，将形成MPEG数据的多个GOP以预定次序顺序提供给图像信息检测器427。换句话说，用于生成参照图2讨论的静止图像的基本单位是1GOP。如果基本单位不是1GOP，则可通过相应的基本单位代替1GOP来执行下面所讨论的源数据生成/记录处理。
在步骤S101中，图像信息检测器427的静止图像生成器431将最新的GOP设定为目标GOP。
在步骤S102中，静止图像生成器431从目标GOP中生成静止图像。在步骤S102中，不特别限制生成静止图像的方法。在这种情况下，由于以GOP的形式提供MPEG数据，因此可采用参照图3所讨论的方法。
在步骤S103中，静止图像生成器431改变静止图像的大小并将得到的静止图像提供给面部图像处理器432。
然后，在步骤S104中，面部图像处理器432试图从静止图像中检测面部。不特别限制用于检测面部的技术。在这种情况下，如果在静止图像中包含多个面部，则一个接一个地进行检测。
在步骤S105中，面部图像处理器432确定是否已经检测到面部。
如果在步骤S105中确定已经检测到一个面部，则处理前进到步骤S106。在下面所讨论的步骤S106中，面部图像处理器432生成关于所检测面部的面部检测信息。
然后，处理返回到步骤S104。即，如果在静止图像中包含多个面部，将对它们进行连续检测，并生成关于多个面部中每一个的面部检测信息。
下面将参照图32和图33描述面部检测信息的特定实例。
例如，在步骤S101中，将图32所示的GOP设定为目标GOP，并且在步骤S102中，生成静止图像501。然后，在步骤S103中，改变静止图像501的大小，生成静止图像502。
如图33所示，静止图像502包括面部区间502-1和502-2(下文中简称为“面部502-1和502-2”)。
在这种情况下，在步骤S104中，检测面部502-1在步骤S105中确定已经检测到面部之后，在步骤S106中，如图33所示，生成面部检测信息503-1。
在图33所示的实例中，面部检测信息503-1包括GOP号、面部ID、位置、高度、宽度、大小和相似性(分数)。GOP号是附加至目标GOP的数字。面部ID是用于区分面部502-1和其它面部的标识符。位置是面部502-1在静止图像502中的位置，更具体地，是面部502-1左上端的像素位置。高度是面部502-1的垂直像素数。宽度是面部502-1的水平像素数。大小是面部502-1的大小，即，分辨率。下面讨论相似性(分数)，并在步骤S106的时间点上，设定预定的初始值(例如，0)。
在生成面部检测信息503-1之后，处理返回到检测面部502-2的步骤S104。在步骤S105中确定已经检测到面部之后，在步骤S106中，生成图33所示的面部检测信息503-2。
然后，处理返回到步骤S104，并在该点处，在静止图像502中不包含面部。因此，在步骤S105中确定没有检测到面部，处理进行到步骤S107。
在步骤S107中，面部图像处理器432确定是否已经生成至少一项面部检测信息。
尽管没有示出这种情况，但如果在静止图像中不包含面部，没有检测到面部也不生成面部检测信息。在这种情况下，在步骤S107中确定还没有生成面部检测信息，并且处理进行到步骤S110。
相反，如果在静止图像中包含至少一个面部并且已经成功检测到，则生成至少一项面部检测信息。因此，在步骤S107中确定已经生成至少一项面部检测信息，并且处理进行到步骤S108。
在步骤S108中，面部图像处理器432基于面部检测信息的对应项从静止图像中提取至少一个面部图像的每一个。
更具体地，例如如图33所示，如果生成两项面部检测信息503-1和503-2，则提取图34所示的面部图像511-1和511-2。面部图像511-1是对应于图33所示静止图像502的面部502-1的静止图像，以及面部图像511-2是对应于图33所示静止图像502的面部502-2的静止图像。
在步骤S109中，面部图像处理器432执行用于生成或更新如图35所示的表所必需的各种类型的处理。
如果目标GOP的GOP号是1，则将生成新表。在这个阶段，该表包括表示GOP号1的代表面部图像的列和表示GOP号1的唯一一行。然后，当目标GOP的GOP号是i(在图35所示的实例中，i是1到n的任意值)时，将对应于GOP号i的行添加至该表，并将“面部信息”或“没有面部信息”列在图35所示的表中。以这种方式，将表进行更新。
更具体地，在图35所示的表中，在GOP号i的行中表示下列信息。在图35所示表中的每一列表示出现在生成源数据的动画内容中的人物。在图35的实例中，为了简单表示，在列的顶端表明人物名A至H。然而，在实际表中并不是必须表示这种人物名。在该表中，假设对应于一列的人物不同于对应于另一列的人物。然而，在实际中，它们可以是相同的个人。即，例如，尽管人物B和人物D在实际中是相同的个人(图36中的个人b)，但在图35所示的实例中，认为他们是不同的人物。下面将参照图36对其进行详细描述。
例如，在图35中的表的最左列中，即，在表示人物A的列的顶端，将人物A的代表面部图像以图像数据的形式存储。人物A的代表面部图像是在图31的步骤S108中对每个GOP号1至n执行的提取的人物A的面部图像的预定面部图像。在该实施例中，第一面部图像用作代表图像。
在表示人物A的列中，在行i中表示“面部信息”或“没有面部信息”。如果在行i中表示“面部信息”，则意味着人物A包含在由GOP号i生成的静止图像中。相反，如果在行i中表示“没有面部信息”，则意味着人物A不包含在由GOP号i生成的静止图像中。不特别限制确定是否包含人物A的方法。下面将参照图38至41描述该方法的特定实例。
图35所示的表被称作“面部图像表”。在步骤S109中的上述处理中，更具体地，当目标GOP的GOP号为1时生成图35所示的面部图像表，并在GOP1的行的每一列中表示“面部信息”或“没有面部信息”。如果目标GOP的GOP号为i，则在GOPi的行的每一列中表示“面部信息”或“没有面部信息”。这种处理被称作“面部图像表生成/更新处理”。下面将参照图38至图42给出步骤S109中面部图像表生成/更新处理的细节。
在步骤S109之后，在步骤S110中，面部图像处理器432确定目标GOP是否是最后的GOP。
如果目标GOP不是最后的GOP，则处理返回到步骤S101。在图35所示的实例中，由于最后的GOP是GOP号n，所以对GOP号1至GOP号n的每一个重复步骤S101至步骤S110的循环处理。
在步骤S109中对最后的GOP号n完成面部图像表生成/更新处理之后，如图35所示更新面部图像表，并在步骤S110中确定目标GOP是最后的GOP。然后，将面部图像表提供给缩略图生成器433。
然后，在步骤S111中，缩略生成器433基于面部图像表生成面部缩略图像并指定每个人物的面部区间。对注册在面部图像表中的每个人物(更具体地，在图35所示实例中的人物A至人物H的每一个)都执行步骤S111。
下面将参照图36和图37详细描述步骤S111。
图36是示出关于图35所示面部图像表中的人物A至人物E的信息的时序图。在图36中，水平轴表示GOP号，以及垂直轴表示个人a、b、c和d。通过水平方向上具有椭圆形的矩形累积来表示时序图。每个具有椭圆形的矩形表示从预定GOP中提取的一个面部图像。即，如果以GOP号i表示面部图像，则意味着在图35所示表中的GOP号i中具有“面部信息”的显示。如果没有表示的面部信息，则意味着在GOP号i中具有“没有面部信息”的显示。时序图下面的大写字母表表示图像35所示实例中的人物名。
应当注意，在图35的实例中，大写字母被用作人物名，以及在图36的实例中，将具有真实个人表示的小写字母用作人物名。即，如下所述，在图35的实例中由大写字母表示的人物A至E是通过图像信息检测器427检测到的人物。相反，在图36的实例中由小写字母表示的个人a至d是真实世界中的个人。通过图像信息检测器427检测的作为不同个人的人物B和人物D在真实世界中是相同的个人b。下面将讨论其原因。
关于个人a，面部图像包含在GOP号1至3中，并且在GOP号4中不包含面部图像。然后，面部图像再次包含在GOP号5和6中。以这种方式，如果仅在较短的时间间隔中(即，在几个GOP中)不生成面部图像，则认为仍然出现相同的人物A。即，在这种情况下，缩略生成器433将人物A的面部区间不是指定为GOP1至GOP3的区间，而是指定为如图37所示的GOP1至GOP6的区间521-A。然后，缩略图生成器433生成面部缩略图像522-A作为人物A的面部区间521-A的索引。
不特别限制用于生成面部缩略图像522-A的技术。例如，可生成新的缩略图像。然而，在这种情况下，由于人物A的代表图像包含在图35所示的面部图像表中，因此将其用作面部缩略图像522-A。这同样应用于其它面部缩略图像。
关于个人b，面部图像包含在GOP号1至4中，并且在较长的时间间隔中不包含面部图像，以及面部图像再次包含在GOP号n-5至n中。这样，如果在较长的时间间隔中没有生成面部图像，则面部图像处理器432确定在一组GOP中生成的面部图像和在另一组GOP中生成的面部图像属于不同的人物B和D。结果，在图35的面部图像表中，将相同的个人注册为不同的人物B和D。下面将参照图42对其进行详细讨论。
在这种情况下，如图37所示，缩略图生成器433将人物B的面部区间指定为GOP号1至GOP号4的区间521-B。然后，缩略生成器433生成面部缩略图像522-B作为人物B的面部区间521-B的索引。
如图37所示，缩略图生成器433还将人物D的面部区间指定为GOP号n-5至GOP号n的区间521-D。然后，缩略生成器433生成面部缩略图像522-D作为人物D的面部区间521-D的索引。
不特别限制用作用于确定出现在不同区间中的人物是否是相同个人的参数的间隔。即，如果没有出现面部图像的间隔只是很短的间隔，则认为其是连续面部区间的一部分。相反，如果这样的间隔是较长的间隔，则不认为其是连续面部区间的一部分。不特别限制确定这样的间隔是短间隔还是长间隔的方法。例如，可以采用下列方法。将用于生成面部图像的基本单位的预定整数倍(即，在图36或图37所示的实例中，1GOP的整数倍)预置为阈值，以及如果没有出现面部图像的间隔小于或等于阈值，则认为其是面部区间的一部分。如果这样的间隔超出阈值，则不认为其是面部区间的一部分。采用这种方法的处理是在下面描述的图42中的步骤S124。
关于其他个人，以于上述类似的方式指定面部区间和生成面部缩略图。
更具体地，关于个人c，如图37所示，缩略图生成器433将人物C的面部区间指定为从GOP号2至GOP号n的区间521-C。缩略图生成器433还生成面部缩略图像522-C作为人物C的面部区间521-C的索引。
关于个人d，如图37所示，缩略图生成器433将人物E的面部区间指定为从GOP号n-3至GOP号n的区间521-E。缩略图生成器433还生成面部缩略图像522-E作为人物E的面部区间521-E的索引。
尽管没有示出，但关于图35所示的人物F至H，指定面部区间并生成对应于面部区间的面部缩略图像。
然后，完成图31中的步骤S111，并将处理结果，即，关于每个人物的面部区间和面部缩略图的每一匹配对从缩略图生成器433提供给控制器411或写入器415。
在步骤S112中，控制器411或写入器415生成包括每个人物的面部缩略图和面部区间的元数据信息，即，包括每对面部区间元数据信息和面部缩略图的元数据信息。如果通过控制器411生成元数据信息，则将其提供给写入器415。
在步骤S113中，写入器415将在步骤S112中生成的元数据信息于管理信息一起记录在记录介质51上作为内容的源数据。
然后，完成源数据生成/记录处理。
现在，参照图38至图43给出图31所示源数据生成/记录处理的步骤S109中的处理的描述，即，面部图像表生成/更新处理的细节。
如通过图35所示面部图像表所讨论的，在面部图像表生成/更新处理中，在对应于GOP号i的行的每一列中列出“面部信息”或
“没有面部信息”。更具体地，例如，关于人物A，如果人物A的面部图像出现在GOP号i中，则在对应于表示人物A的列的GOP号i的行中列出“面部信息”。如果人物A的面部图像没有出现在GOP号i中，则在对应于表示人物A的列的GOP号i的行中列出“没有面部信息”。这同样应用于人物B至H。
在面部图像表生成/更新处理中，确定特定人物的面部图像是否出现在目标GOP号i中是必要的。不特别限制用于这种确定的算法(即，确定技术)。在该实施例中，采用图38至图41所示的技术。即，图38至41所示的技术是根据本发明实施例的一种技术，并在下文中被称作“面部图像存在/不存在确定技术”。
在图38中，静止图像602是在图31的步骤S102中由目标GOP号i生成的静止图像。面部图像612-1至612-3是对应于分别在步骤S104中从静止图像602中检测的面部602-1至602-3的面部图像。即，在步骤S108中从静止图像602中提取的面部图像是面部图像612-1至612-3。
静止图像601是由目标GOP号i之前一个的GOP号(即，GOP号i-1)生成的静止图像。面部图像611-1和611-2是对应于分别从静止图像601检测的面部601-1和601-2的面部图像。即，从静止图像601中提取的面部图像是面部图像611-1和611-2。
在这种情况下，图30所示的面部图像处理器432对目标GOP号i的面部图像612-1至612-3与GOP号i-1的面部图像611-1和611-2的所有组合执行比较处理，即，匹配处理。作为比较结果，面部图像处理器432确定目标GOP号i中的面部图像和前一GOP号i-1中的面部图像是否属于同一个人。
不特别限制匹配处理技术。在该实施例中，例如，采用下列技术。关于组合k(k是组合数，并可以是1至组合总数中的任意值)，通过使用目标GOP号i中的面部图像和前一GOP号i-1中的面部图像之间的相似性(下文中称作“ak”)以及目标GOP号i中的静止图像中面部图像的坐标和前一GOP号i-1中的静止图像中面部图像的坐标之间的距离(下文中称作“bk”)来执行预定计算。作为执行计算结果的分数Sk用于确定目标GOP号i中的面部图像和前一GOP号i-1中的面部图像是否属于相同的个人。
为了计算分数Sk，充分使用ak和bk。在该实施例中，例如，通过下列公式(1)计算分数Sk：
其中，α和β表示用于允许距离和相似度用于比较处理的参数，即，标准化参数。
也不特别限制ak的计算方法，例如，可采用使用主成分分析法的相似性计算方法。对于bk的计算方法，可使用下列方法。基于与面部图像相关联的面部检测信息生成将要比较的面部图像。如图33所示，面部检测信息包括关于静止图像中的面部位置的信息。因此，可将两个面部图像的面部检测信息中所表示的位置之间的差设定为bk。
以这种方式，图30所示的面部图像处理器432为进行比较处理的面部图像的所有组合计算分数Sk，然后，从所有组合中选择可确定为属于相同个人的面部图像对(匹配对)。
更具体地，在该实施例中，如图39至41所示，选择匹配对。
图39示出了选择匹配对的原则。在图39中，示出了与图38中的面部图像类似的面部图像，即，进行比较处理的面部图像612-1至612-3和面部图像611-1和611-2。
在图39中，由双向箭头链接的面部图像612-1至612-3中的预定一个面部图像以及面部图像611-1和611-2中的预定一个面部图像表示计算分数Sk的组合。实线的双向箭头表示具有最高分数Sk的组合，以及虚线的双向箭头表示其它组合。然而，如果具有最高分数Sk的组合小于或等于阈值，则由虚线的双向箭头来表示，下面将给出这种情况的细节。这同样应用于图40和41。
如图39所示的双向箭头所表示，原则上，图30所示的面部图像处理器432选择现有组合中具有最高分数Sk的组合并确定所选组合作为匹配对。
更具体地，如图39最左边所表示的，在面部图像612-1至612-3以及面部图像611-1和611-2的所有组合中，通过实线的双向箭头链接面部图像612-1和面部图像611-1，即，它们具有最高分数Sk。因此，首先选择该组合作为匹配对。
然后，面部图像处理器432从用于下一匹配对的候选中排除包括选择作为匹配对的面部图像611-1和612-1中的一个的所有组合。结果，如图39的最右侧所示，面部图像612-2和612-3以及面部图像611-2的所有组合是用于下一匹配对的候选。在这种情况下，由于通过实线的双向箭头链接面部图像612-3和面部图像611-2，即，由于它们具有最高分数Sk，所以将该组合选择作为匹配对。
在图39的实例中，如果排除了包括被选择作为匹配对的面部图像611-2和612-3中的一个的所有组合，则没有用于计算分数Sk的面部图像的组合。因此，在该点处完成匹配处理。如果仍然剩余面部图像的组合，则重复上述一系列处理来选择匹配对，直到没有剩余组合。
已经参照图39讨论了选择匹配对的原则，并且在该实施例中，采用了用于基于该原则选择图40和图41所示匹配对的技术。在图40和图41所示的实例中，为了简单表示，将面部图像612-3从比较候选中省略。下面主要通过与图39所示原则的不同来讨论图40和图41所示的匹配对选择技术。
在图39所示的实例中，为了简单表示，将目标GOP号i中的面部图像与目标GOP号i前一个GOP的GOP号i-1中的面部图像611-1和611-2进行比较。然而，由GOPi-1生成的静止图像不必须包括特定人物的面部。因此，在该实施例中，为了比较特定人物的面部图像，将目标GOP中的面部图像同先前最近GOP中的面部图像(下文中称作“最新的面部图像”)进行比较。
更具体地，在图40的实例中，已经从目标GOP号i前一个的GOP号i-1中生成人物A的面部图像611-1和人物B的面部图像611-2。已经从目标GOP号i前两个的GOP号i-2中生成人物A的面部图像610-1和人物B的面部图像610-2。然后，已经从目标GOP号i前三个的GOP号i-3中生成人物B的面部图像609-2和人物C的面部图像609-3。
在这种情况下，人物A和人物B最新的面部图像分别是面部图像611-1和611-2。因此，如图39中的实例，将面部图像611-1和611-2与目标GOP号1的对应面部图像进行比较。然而，人物C没有出现在GOP号i-1或GOP号i-2中，即，没有生成人物C的面部图像。因此，从GOP号i-3中生成的面部图像609-3用作人物C最新的面部图像，因此，与目标GOP号i的面部图像进行比较。
以这种方式，原则上，在确定与目标GOP的面部图像进行比较的面部图像之后，进行参照图39所讨论的匹配处理，以顺序选择匹配对。
在图40所示的实例中，如图39所示的实例，首先选择面部图像612-1和611-1的组合作为匹配对。因此，将GOP号i的面部图像612-1确定为人物A的面部图像，结果，在图35所示面部图像表的人物A的行数i和列中列出“面部信息”。
然后，从下一匹配对的可能候选中排除包括被选择作为匹配对的面部图像611-1和612-1中的至少一个的所有组合。然后，在图40所示的实例中，面部图像612-2和611-2的组合以及面部图像612-2和609-3的组合是下一匹配对的候选。并且从这两个候选中选择下一匹配对。更具体地，由于通过实线的双向箭头链接面部图像612-2和611-2，即，由于它们具有最高分数Sk，所以将该组合选择作为下一匹配对。然后，将GOP号i的面部图像612-2确定为人物B的面部图像。结果，在图35所示面部图像表的人物B的行数i和列中列出“面部信息”。
然而，即使在现有组合中面部图像612-2和611-2的组合具有最高分数Sk，但如果最高分数Sk很低，也难以确定GOP号i的面部图像612-2是人物B的面部图像。在该实施例中，通过考虑这种情况：如果面部图像的组合的分数Sk低于或等于预定阈值，则不将这样的组合确定为匹配对(从匹配对候选中排除)，并将包括在该组合中的面部图像确定为另一人物的面部图像。
在图41所示的实例中，面部图像612-2和611-2的组合的分数Sk低于或等于预定阈值，结果，确定面部图像612-2不是人物B的面部图像，而是人物D的面部图像。在这种情况下，在图35所示的面部图像表中注册人物D的新列，并在人物D的行数1至i-1中和列中列出“没有面部信息”，以及在人物D的行数i中和列中列出“面部信息”。
此外，如图36所示，关于在真实世界中的个人b，在GOP号4之后的长时间间隔中不生成面部图像，然后在GOP号n-5中再次生成面部图像。如果GOP号n-5是目标GOP，则与目标GOP进行比较的人物B的最新面部图像是GOP号4的面部图像。在这种情况下，即使GOP号n-5的面部图像和GOP号4的面部图像具有最高分数Sk，两个面部图像的间隔太长，因此，将GOP号n-5的面部图像确定为不同于人物B的人物D的面部图像。在这种情况下，注册人物D的列，并在行数1至n-6中列出“没有面部信息”，以及在行数n-5中列出“面部信息”。
不特别限制用于确定出现在中间的两个面部图像是否是不同人物的间隔，其可以是期望值，例如，等于三秒的间隔。
如上所述选择的匹配对的分数列在包括在匹配对中的对象面部图像的面部检测信息的“相似性(分数)”的项中(参见图33)。
以上，已经参照图38至图41讨论了作为根据本发明实施例的一种技术的面部图像存在/不存在确定技术。
通过图42中的流程图表示应用面部图像存在/不存在确定技术的图31中步骤S109的细节，即，面部图像表生成/更新处理实例的细节。
在步骤S121中，图30所示的面部图像处理器432对目标GOP的至少一个面部图像和注册在面部图像表中的所有人物的每一个面部图像的所用组合执行匹配处理以计算分数Sk。
更具体地，将目标GOP的至少一个面部图像与注册在面部图像表中的所有人物的用作最新图像的每一个面部图像进行比较。注册在面部图像表中的所有人物是图35实例中的人物A至H。
在步骤S122中，面部图像处理器432将具有最高分数Sk的组合设定为候选配对。
在步骤S123中，面部图像处理器432确定候选配对的分数Sk是否超过阈值。
如果在步骤S123中确定分数Sk超过阈值，则处理进行到步骤S124，以确定候选配对的时间间隔是否小于或等于预定阈值。该时间间隔是生成两个图像的两个GOP之间的时间间隔。更具体地，如果目标GOP号为i以及如果具有包括在候选配对中的面部图像的GOP号为j(j是小于或等于i-1的整数)，则可将i-j用作时间间隔。
如果在步骤S124中发现候选配对的时间间隔小于或等于阈值，则处理进行到步骤S125。
在步骤S125中，面部图像处理器432将该候选配对设定为匹配对。
然后，在步骤S126中，面部图像处理器432确定包含在匹配对中的目标GOP的面部图像的人物和包含在匹配对中的其它面部图像的人物是相同的个人。
在步骤S127中，面部图像处理器432在与包含在匹配对中的面部图像相关联的人物的目标GOP的列中表示“面部信息”。
在步骤S128中，面部图像处理器432排除包括在匹配配对中所包含的至少一个面部图像的所有组合(包括匹配对)。
在步骤S129中，面部图像处理器432确定是否还存在要处理的其它组合。
如果在步骤S129中确定存在组合要被处理，则处理返回到步骤S122。更具体地，在步骤S122中，选择具有最高分数Sk的组合，并重复步骤S123至S130。
如果在步骤S123中确定分数Sk低于或等于阈值，或者在步骤S124中确定时间间隔超出阈值，则处理进行到步骤S130。
在步骤S130中，面部图像处理器432将包含在候选配对中的面部图像注册为新人物的代表图像。然后，处理进行到步骤S129。
如果在步骤S129中确定在执行步骤S122至步骤S130的循环处理之后没有要处理的组合，则处理进行到步骤S131。
在步骤S131中，面部图像处理器432在面部图像表的目标GOP的剩余列中表示“没有面部信息”。
然后，完成面部信息表生成/更新处理。即，完成图31中的步骤S109，并且处理进行到步骤S110。
已经讨论了通过图29所示的图像处理器413的图像信息检测器427生成和记录用于动画内容的源数据的处理，即，图31所示的源数据生成/记录处理。
通过执行由图43中的流程图所表示的静止图像源数据生成/记录处理，图像信息检测器427还将例如图20所示的人物文件夹271至273作为静止图像内容的源数据记录在记录介质51上。
在步骤S151中，图像信息检测器427将至少一个静止图像内容的预定静止图像设定为目标静止图像。至少一个静止图像内容是指记录在图20所示实例中的记录介质51上的所有静止图像内容。
在步骤S151之后，执行步骤S152至S157。步骤S152至步骤S157基本上分别与图31中的步骤S103至S108相似，因此在这里省略其解释。然而，在该处理中，如果在步骤S156中确定没有生成面部检测信息，则处理进行到步骤S164。
在步骤S157中从目标静止图像中提取至少一个面部图像之后，处理进行到步骤S158。
在步骤S158中，图像信息检测器427将预定面部图像设定为目标面部图像。
然后，在步骤S159中，图像信息检测器427确定目标面部图像是否是新人物的面部图像。
如果在步骤S159中确定目标面部图像是新人物的面部图像，则处理进行到步骤S160。在步骤S160中，图像信息检测器427生成用于新人物的人物文件夹。
如果在步骤S159中确定目标面部图像不是新人物的面部图像，即，目标面部图像是现有人物的面部图像，则图像信息检测器427跳过步骤S160而前进到步骤S161。
在步骤S161中，图像信息检测器427从目标面部图像中生成静止图像源数据，例如，面部缩略图像。然后，在步骤S162中，图像信息检测器427将静止图像源数据输入相应的人物文件夹。
在步骤S163中，图像信息检测器427确定是否还存在没有设定的任何面部图像。
如果在步骤S163中确定在步骤S157中从目标静止图像中提取的至少一个面部图像中还存在没有设定的面部图像，则处理返回到步骤S158。
即，对于在步骤S157中从目标静止图像中提取的至少一个面部图像，重复步骤S158至步骤S163的循环处理。然后，在步骤S163中确定不存在没有设定的面部图像，处理进行到步骤S164。
如上所述，如果在步骤S156中确定没有生成面部检测信息，则处理也进行到步骤S164。
在步骤S164中，图像信息检测器427确定是否有存在没有设定的任何静止图像内容。
如果存在没有设定的静止图像内容，则处理返回到步骤S151。
即，对于至少一个静止图像内容的每一个，重复步骤S151至步骤S164的循环处理。然后，在步骤S164中确定不存在静止图像内容，处理进行到步骤S165。
在步骤S165中，图像信息检测器427将每个人物文件夹与管理信息一起记录在记录介质51上作为静止图像源数据。
然后，完成静止图像源数据生成处理。
可通过硬件或软件执行上述一系列处理。如果使用软件执行这一系列处理，那么将相应的软件程序从程序记录介质安装到嵌入专用硬件的计算机或个人计算机上(例如，通用计算机)，其可以通过在其中安装各种程序来执行各种功能。
图44是示出通过程序执行上述系列处理的个人计算机的结构实例的框图。即，通过图44所示的个人计算机可以部分或整体地形成图6所示的再生装置、图17所示记录/再生装置或图28所示的图像记录装置401。
在图44中，中央处理单元701根据存储在ROM 702或存储单元708中的程序执行各种类型的处理。在RAM 703中，存储由CPU701执行的程序和数据。CPU 701、ROM 702和RAM 703利用其间的总线704彼此连接。
输入/输出接口705经由其间的总线704连接至CPU 701。输入/输出接口705还连接至包括键盘、鼠标、麦克风等的输入单元706以及包括显示器、扬声器等的输出单元707。CPU 701响应于从输入单元706输入的指示执行各种类型的处理。然后，CPU 701将处理结果输出至输出单元707。
连接至输入/输出接口705的存储单元708由例如硬盘形成，并存储由CPU 701执行的程序和各种数据。通信单元709经由网络(例如，因特网或局域网(LAN))与外部装置进行通信。
程序可通过通信单元709获得并存储在存储单元708中。
连接至输入/输出接口705的驱动器710驱动加载到驱动器710中的可移动介质711(例如，磁盘、光盘、磁光盘或半导体存储器)，并获取存储在可移动介质711中的程序或数据。如果有必要，可将获取的程序或数据传送并存储在存储单元708中。
如图44所示，存储安装在计算机中并可被计算机执行的程序的程序记录介质包括可移动介质711(其为封装介质，由磁盘(包括软盘)、光盘(包括光盘驱动器(CD-ROM)和数字通用盘(DVD))、磁光盘或半导体存储器形成)、或者永久或临时存储程序的ROM702、或者形成存储单元708的硬盘。程序可通过通信单元709存储在程序记录介质中，通信单元709用作接口(例如，路由器或调制解调器)，或者有线或无线通信介质(例如，LAN、因特网、或数字卫星广播)。
在该说明书中，形成存储在程序记录介质中的程序的步骤包括根据在本说明中指出的次序以时序方式执行的处理。然而，并不限于以时序方式执行的处理，也可以包括以并行或个别的方式执行的处理。
在该说明书中，系统是包括多个装置或电路的完整装置或电路。
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。
相关申请的交叉参考
本发明包含于2006年7月4日向日本专利局提交的日本专利申请JP 2006-184685的主题，其全部内容结合于此作为参考。