信息处理系统及方法

摘要

一种信息处理设备，包括：显示图像的显示装置；接收用户的操作输入的操作输入接收装置；和显示控制装置，用于把一个或多个图像排列在具有无限空间大小的虚拟桌面上，并在一部分桌面被设为显示区的情况下，进行使显示装置显示所述显示区的显示控制，其中当进行选择排列在桌面上的一个或多个图像中的预定图像的选择操作时，作为显示控制，显示控制装置移动显示区在桌面上的相对位置，以致预定图像被包括在显示区的中心。

权利要求

1.一种信息处理系统，包括：

用于允许显示图像和接收用户的操作输入的信息处理设备把一个或多个图像排列在具有无限空间大小的虚拟桌面上，并在一部分桌面被设为显示区的情况下，执行显示所述显示区的显示控制的装置，其中在进行显示控制时，当进行选择排列在桌面上的一个或多个图像中的预定图像的选择操作时，作为显示控制，显示区在桌面上的相对位置被移动，以致所述预定图像被包括在显示区的中心。

2.按照权利要求1所述的信息处理系统，其中当显示在显示区中并且不同于所述预定图像的图像被设为基础图像时，用户使手指接触所述基础图像、并且随后在使手指与信息处理设备的显示装置保持接触的同时把手指移动到所述预定图像的划线操作被用作选择操作。

3.按照权利要求1所述的信息处理系统，其中当预定图像也被包括在包括基础图像的显示区中时，作为显示控制，所述装置还禁止显示区的移动。

4.按照权利要求3所述的信息处理系统，其中当在所述装置禁止显示区的移动之后，进行放大或缩小显示区的操作时，作为显示控制，所述装置还移动显示区在桌面上的相对位置，以致所述预定图像被包括在显示区的中心，并使信息处理设备的显示装置放大或缩小移动后的显示区并进行显示。

5.一种信息处理方法，包括下述步骤：

允许显示图像和接收用户的操作输入的信息处理设备把一个或多个图像排列在具有无限空间大小的虚拟桌面上，并在一部分桌面被设为显示区的情况下，执行显示所述显示区的显示控制，其中在进行显示控制时，当进行选择排列在桌面上的一个或多个图像中的预定图像的选择操作时，作为显示控制，显示区在桌面上的相对位置被移动，以致所述预定图像被包括在显示区的中心。

说明书

信息处理系统及方法

技术领域

[0001] 本发明涉及信息处理设备、信息处理方法和计算机程序，更具体地说，涉及在确保图像的显示尺寸的同时，允许用户在如其所愿排列图像之后查看图像的信息处理设备、信息处理方法和计算机程序。

背景技术

[0002] 在近年来的数字照相机中(参见JP-A-2007-019685)，内置闪速存储器和可移除介质的容量趋向于增大。伴随容量的增大，可拍摄图像的数目也增大。

[0003] 另一方面，不同于过去的银盐照相机，数字照相机具有能够当场再现拍摄的图像，允许用户检查图像的重大优点。

发明内容

[0004] 不过，在数字照相机中，由于各种限制的缘故，液晶面板的尺寸有限。数字照相机允许用户每次检查的图像的数目，即，能够显示在液晶面板上的图像的数目有限。如果减小一个图像的显示尺寸，那么能够显示在液晶面板上的图像的数目增大。不过，即使用户看见图像，用户也难以识别这么小的图像是什么。这导致不合理的结果。

[0005] 在过去的数字照相机中，作为使用户检查图像的一种方法，采用把图像排列成矩阵形式的图像表现方法。不过，过去的这种图像表现方法不能满足用户的在如其所愿排列图像之后查看图像的希望。

[0006] 于是，期望在确保图像的显示尺寸的同时，允许用户在如其所愿排列图像之后查看图像。

[0007] 按照本发明的一个实施例，提供一种信息处理设备，包括：显示图像的显示装置；接收用户的操作输入的操作输入接收装置；和显示 控制装置，用于把一个或多个图像排列在具有无限空间大小的虚拟桌面上，并在一部分桌面被设为显示区的情况下，进行使显示装置显示所述显示区的显示控制。当进行选择排列在桌面上的一个或多个图像中的预定图像的选择操作时，作为显示控制，显示控制装置移动显示区在桌面上的相对位置，以致预定图像被包括在显示区的中心。

[0008] 当显示在显示区中并且不同于所述预定图像的图像被设为基础图像时，用户使手指接触所述基础图像、并且随后在使手指与显示装置保持接触的同时把手指移动到所述预定图像的划线操作被用作选择操作。

[0009] 当预定图像也被包括在包括基础图像的显示区中时，作为显示控制，显示控制装置还禁止显示区的移动。

[0010] 当在显示控制装置禁止显示区的移动之后，进行放大或缩小显示区的操作时，作为显示控制，显示控制装置还移动显示区在桌面上的相对位置，以致所述预定图像被包括在显示区的中心，并使显示装置放大或缩小移动后的显示区并进行显示。

[0011] 按照本发明的另一实施例，提供一种与所述信息处理设备对应的信息处理方法和计算机程序。

[0012] 在所述信息处理方法和计算机程序中，一个或多个图像被排列在具有无限空间大小的虚拟桌面上，在一部分桌面被设为显示区的情况下，显示图像和接收用户的操作输入的信息处理设备执行显示所述显示区的显示控制。当进行选择排列在桌面上的一个或多个图像中的预定图像的选择操作时，作为显示控制，显示区在桌面上的相对位置被移动，以致所述预定图像被包括在显示区的中心。

[0013] 如上所述，按照本发明的实施例，在确保图像的显示尺寸的同时，用户能够在如其所愿排列图像之后查看图像。

附图说明

[0014] 图1是作为按照本发明的一个实施例的信息处理设备的一个例子的成像设备的配置例子的方框图；

[0015] 图2A和2B是表示图1中所示的成像设备的外部配置例子的立体图；

[0016] 图3A-3E是说明成像设备的相关图像检索操作方法的第一例子的示图； [0017] 图4是说明第一相关图像检索处理的例子的流程图；

[0018] 图5是说明第1A相关图像检索处理的例子的流程图；

[0019] 图6是说明第1B相关图像检索处理的例子的流程图；

[0020] 图7A-7E是说明成像设备的相关图像检索操作方法的第二例子的示图； [0021] 图8是说明第二相关图像检索处理的例子的流程图；

[0022] 图9A-9F是说明成像设备的相关图像检索操作方法的第三例子的示图； [0023] 图10是说明第三相关图像检索处理的例子的流程图；

[0024] 图11是说明作为表现分类项目的方法，使用缩略图图像的方法的例子的示图； [0025] 图12A-12E是说明成像设备的相关图像检索操作方法的第四例子的示图； [0026] 图13是说明第四相关图像检索处理的例子的流程图；

[0027] 图14是说明第四关联图像检索处理的步骤S65中的依据接触区的图像分析处理的具体例子的流程图；

[0028] 图15是说明第四关联图像检索处理的步骤S66中的图像分析和检索处理的具体例子的流程图；

[0029] 图16是说明成像设备的关联菜单检索操作的例子的示图；

[0030] 图17是说明成像设备的关联菜单检索操作的另一例子的示图；

[0031] 图18A-18C是说明成像设备的关联图像检索操作方法的第五例子的示图； [0032] 图19是说明第五关联图像检索处理的例子的流程图；

[0033] 图20A-20C是说明放大/缩小成像显示处理中涉及的操作方法的例子的示图； [0034] 图21是说明放大/缩小图像显示处理的例子的流程图；以及

[0035] 图22是按照本发明的实施例的信息处理设备的配置例子的方框图，该配置例子不同于图1中所示的配置例子。

具体实施方式

[0036] 下面参考附图，详细说明本发明的实施例。

[0037] 图1是作为按照本发明的实施例的图像处理设备的例子的成像设备的配置例子的方框图。

[0038] 在图1中所示的例子中，成像设备包括从镜头单元11到触摸面板28的组件。 [0039] 镜头单元11包括成像透镜、光圈和聚焦透镜。成像器件12，例如CCD(电荷耦合器件)被布置在经镜头单元11入射的被摄体光的光路上。

[0040] 成像器件12、模拟信号处理单元13、A/D(模拟/数字)转换单元14和数字信号处理单元15按照上述顺序连接。

[0041] 液晶面板17、记录装置19和触摸面板28与数字信号处理单元15连接。 [0042] 用于调整包括在镜头单元11中的光圈和移动聚焦透镜的致动器20与镜头单元11连接。马达驱动器21也与致动器20连接。马达驱动器21进行致动器20的驱动控制。 [0043] CPU(中央处理单元)23控制整个成像设备。于是，模拟信号处理单元13、A/D转换单元14、数字信号处理单元15、马达驱动器21、TG(定时发生器)22、操作单元24、EEPROM(电可擦除可编程ROM)25、程序ROM(只读存储器)26、RAM(随机存取存储器)27、触摸面板16和触摸面板28与CPU 23连接。

[0044] 触摸屏18包括触摸面板16和液晶面板17。触摸面板28被布置在成像设备的与触摸屏18相反的表面上，即，成像透镜一侧的表面上(参见后面提及的图2A和2B)。 [0045] 记录装置19包括光盘，例如DVD(数字多功能光盘)，半导体存 储器，例如存储卡，或者其它可移除记录介质。记录装置19能够可移除地附加在成像设备主体上。 [0046] EEPROM 25保存设定的各种信息。其它信息，例如即使当电源状态被设定为关闭时也应被保存的信息被保存在EEPROM 25中。

[0047] 程序ROM 26保存由CPU 23执行的程序，和执行所述程序所必需的数据。 [0048] RAM 27作为当CPU 23执行各种处理时的工作区，保存必需的程序和数据。 [0049] 下面概述具有图1中所示配置的整个成像设备的操作。

[0050] CPU 23执行保存在程序ROM 26中的程序，从而控制成像设备的各个单元。CPU 23按照来自触摸面板16或者触摸面板28的信号，和来自操作单元24的信号，执行预定处理。后面将参考流程图说明所述处理的具体例子。

[0051] 操作单元24由用户操作，并且向CPU 23提供与所述操作对应的信号。 [0052] 当使用户的手指接触触摸屏18或者触摸面板28，例如，手指接触触摸屏18或者触摸面板28上的任意位置时，即，当用户进行预定操作输入时，触摸屏18或者触摸面板28检测接触位置的坐标。触摸屏18或者触摸面板28把指示检测的坐标的电信号(下面称为坐标信号)传给CPU 23。CPU 23根据坐标信号识别接触位置的坐标，获得与所述坐标相关的预定信息，并根据所述信息执行预定处理。

[0053] 本说明书中，“接触”不仅包括静态接触(只接触一个预定区域)，而且包括动态接触(移动的同时画出预定轨迹的接触物体(例如手指)的接触)。例如，与纸张的翻动类似的手指在图像上的划线(stroking)是一种形式的接触。

[0054] 按照致动器20的驱动，使镜头单元11从成像设备的外壳中伸出，或者把镜头单元11缩回到所述外壳中。此外，按照致动器20的驱动，进行包括在镜头单元11中的光圈的调整和包括在镜头单元11中的聚焦透镜的移动。

[0055] 根据CPU 23的控制，TG 22向成像器件12提供定时信号。按照定时信号控制成像器件12中的曝光时间等。

[0056] 成像器件12根据从TG 22提供的定时信号进行工作，从而接收经镜头单元11入射的被摄体光，并进行光电转换。成像器件12把与接收的光量对应的模拟图像信号提供给模拟信号处理单元13。马达驱动器21根据CPU 23的控制，驱动致动器20。

[0057] 模拟信号处理单元13根据CPU 23的控制，对从成像器件12提供的模拟图像信号应用模拟信号处理，例如放大。模拟信号处理单元13把通过模拟信号处理获得的模拟图像信号提供给A/D转换单元14。

[0058] A/D转换单元14根据CPU 23的控制，A/D转换来自模拟信号处理单元13的模拟图像信号。A/D转换单元14把通过A/D转换获得的数字图像信号提供给数字信号处理单元15。

[0059] 数字信号处理单元15根据CPU 23的控制，对从A/D转换单元14提供的数字图像信号进行数字信号处理，例如噪声消除处理。数字信号处理单元15使液晶面板17把与数字图像信号对应的图像显示成拍摄图像。

[0060] 数字信号处理单元15按照预定的压缩编码系统，例如JPEG(联合图像专家组)，压缩-编码从A/D转换单元14提供的数字图像信号。数字信号处理单元15使记录装置19记录压缩-编码的数字图像信号。

[0061] 数字信号处理单元15从记录装置19读取压缩-编码的数字图像信号，按照与预定的压缩编码系统对应的扩展解码系统，对读取的数字图像信号扩展解码。数字信号处理单元15使液晶面板17把与数字图像信号对应的图像显示成记录图像。

[0062] 另外，数字信号处理单元15根据CPU 23的控制，产生用于表示AF(自动聚焦)功能的框图像(下面称为AF框)，并使液晶面板17显示该图像。

[0063] 成像器件12拾取的图像(拍摄的图像)被显示在液晶面板17上。这种情况下，AF框被设置于显示在液晶面板17上的图像上。根据AF框内的图像控制聚焦。

[0064] 如上所述，成像设备具有AF功能。除了聚焦控制功能之外，AF功能还包括在显示在液晶面板17上的图像上的任意位置设置AF框的功能。此外，AF功能包括仅仅按照包括液晶面板17和触摸面板16的触摸屏18上的操作，控制AF框的位置、大小等的功能。 [0065] 通过CPU 23读取并执行程序ROM 26中的程序，执行用于实现AF功能的处理。另外，成像设备具有AE(自动曝光)功能和AWB(自动白平衡)功能。这些功能也是通过CPU23读取程序ROM 26中的程序实现的。

[0066] 另外，AF功能、AE功能和AWB功能仅仅是成像设备的功能的例子。成像设备具有与拍摄相关的各种功能。在各种功能之中，与拍摄相关的基本功能被称为基本功能，与拍摄相关的应用功能被称为应用功能。除了AF功能，AE功能和AWB功能之外，例如，“拍摄模式选择功能”和“拍摄定时器设定功能”可被用作基本功能。例如，“像素数目改变功能”和“色度调节功能”可被用作应用功能。

[0067] 图2A和2B是图1中所示例子的成像设备的外部配置例子的立体图。

[0068] 在成像设备的各个表面中，当用户拍摄被摄体的图像时与被摄体相对的表面，即，布置镜头单元11的表面被称为正面。另一方面，在成像设备的各个表面中，当用户拍摄被摄体的图像时与用户相对的表面，即，在正面的相反一侧的表面被称为背面。此外，在成像设备的各个表面中，当用户拍摄被摄体的图像时，置于上侧的表面和置于下侧的表面分别被称为上表面和下表面。

[0069] 图2A是成像设备的正面的外部配置例子的立体图。图2B是成像设备的背面的外部配置例子的立体图。

[0070] 成像设备的正面可被透镜盖47覆盖。当在图中向下打开正面上的透镜盖47时，成像设备变成图2A中所示的状态。如图2A中所示，在其中移除透镜盖47的覆盖的正面的上部中，包括在镜头单元11中的成像透镜45和AF照明器46从所述上部的右侧开始按该顺序排列。在覆盖透镜盖47的正面的下部中，触摸面板28被布置在成像设备中 心附近的部分中，当用户拍摄被摄体的图像时，该部分不会被握住。

[0071] AF照明器46还用作自拍定时器灯。从图2A中的左侧开始，变焦杆(长焦/广角)41、快门按钮42、播放按钮43和电源按钮44按该顺序排列在成像设备的上表面上。变焦杆41、快门按钮42、播放按钮43和电源按钮44包括在图1中所示的操作单元24中。 [0072] 如图2B中所示，触摸屏18被布置在成像设备的整个背面上。

[0073] 如上所述，由于触摸屏18被设置在成像设备的背面上，因此，当用户拍摄被摄体的图像时，在保持成像设备的正面对着被摄体的时候，用户能够利用触摸屏18执行GUI(图形用户界面)操作。

[0074] 在本实施例中，例如，关于作为基础的任意图像(下面称为基础图像)，搜索和检索与基础图像具有强关联性的图像(下面称为关联图像)的操作被用作利用触摸屏18执行的GUI操作。这种操作是不必为其提供特殊的检索屏幕等的操作，是通过使用触摸屏18进行的直观操作。于是，该操作是允许用户容易地找出关联图像的操作。于是，下面把这种操作称为关联图像检索操作。

[0075] 作为关联图像检索操作的前提，假定可以是基础图像或者关联图像的目标(下面称为检索目标图像)是记录在记录装置19中的所有图像。对于所有检索目标图像，假定已根据下面说明的附加信息，预先在数据库等检索了关联强度。

[0076] 涉及关联强度的检索并不局限于上面说明的例子。每次进行关联图像检索操作时，都可检索关联强度。不过，为了简化说明，在本说明书中描述的所有实施例中，都假定已预先检索了关联强度。

[0077] 在本实施例中，假定面部信息、位置/地点信息、时间信息和颜色信息可被用作所述附加信息。面部信息意味关于人脸的信息和足以识别某人的信息。位置/地点信息意味由GPS(全球定位系统)等获得的纬度和经度信息，或者能够通过对图像的图像识别视为特定地点的信息(地名)。时间信息意味关于拍摄时间的信息。颜色信息意味关于在图像中的最多数地方中使用的颜色的信息。

[0078] 检索目标图像并不局限于静止图像，还包括运动图像。不过，当 运动图像是检索目标图像时，运动图像的附加信息是从形成运动图像的各个单元图像(场、帧等)获得的信息组。

[0079] 基础图像不同于其它图像，被按照清楚地指示基础图像的方式显示。例如，基础图像可被显示成大于其它图像，可被显示成其它图像更明亮，或者可被边框环绕。 [0080] 下面参考图3A-3E，说明关联图像检索操作的第一例子。

[0081] 首先，用户选择任意图像作为基础图像P1。选择操作本身并不特别受限。当选择了基础图像P1时，触摸屏18的显示状态变成图3A中所示的状态。图3A中表示了基础图像P1被显示在触摸屏18上的状态。

[0082] 在触摸屏18的显示状态为图3A中所示的状态的时候，用户使手指f1接触基础图像P1(触摸屏18上显示基础图像P1的区域)，如图3B中所示。随后，如图3C中所示，在保持接触触摸屏18的同时，用户进行从基础图像P1，沿预定方向把手指f1移动预定距离(在图3A-3E中所示的例子中，用虚线箭头指示的距离)的操作。下面把这种操作称为划线操作。

[0083] 之后，当用户松开手指f1时，触摸屏18的显示状态变成图3D中所示的状态。在触摸屏18上，基础图像P1的关联图像P2被显示在松开手指f1的区域中，而基础图像P1被显示在初始区域中。关联图像P2可以是与基础图像P1相关的多个关联图像中的任意一个。不过，在本实施例中，与基础图像P1的关联强度最高的图像被显示成关联图像P2。 [0084] 此外，当用户在使手指f1接触关联图像P2并进行划线操作之后松开手指f1时，如图3E中所示，在松开手指f1的区域中显示关联图像P3。

[0085] 在一些情况下，关联图像P3是基础图像P1的关联图像，在其它情况下，关联图像P3是关联图像P2的关联图像。

[0086] 当用户从触摸屏18松开手指f1时，这意味划线操作的结束。于是，每次进行划线操作时，按照关联图像的关联强度的顺序，在触摸 屏18上结束划线操作时的区域中依次显示基础图像P1的关联图像。换句话说，通过重复划线操作，用户能够执行好像用户搜索关联图像似的操作。

[0087] 此外，还可对划线操作的方向赋予含意。与基础图像P1的关系的相应分类项目和划线操作的相应方向相联系。从而，当沿预定方向反复执行划线操作时，按照与预定方向相关的分类项目的关联强度的顺序，关联图像被依次显示在触摸屏18上。这种分类项目可被理解为关联图像的检索条件。于是，分类项目也被酌情称为限制条件。

[0088] 具体地说，例如，在本实施例中，假定“人物”、“地点”、“时间”和“颜色”被用作限制条件(分类项目)。这种情况下，假定已分别利用附加信息中的面部信息、位置/地点信息、时间信息和颜色信息，预先检索了“人物”、“地点”、“时间”和“颜色”的关联强度。 [0089] 例如，假定“时间”与划线操作的右斜上方向相关，“人物”与划线操作的右斜下方向相关。

[0090] 这种情况下，例如，图3E中所示的关联图像P2，即，在执行沿右斜下方向的划线操作之后显示的关联图像P2是与基础图像P1具有强的“人物”关联性的关联图像，例如和基础图像P1包括相同人物的关联图像。

[0091] 另一方面，例如，图3E中所示的关联图像P4，即，在执行沿右斜上方向的划线操作之后显示的关联图像P4是与基础图像P1具有强的“时间”关联性的关联图像，例如，拍摄时间与基础图像P1的拍摄时间接近的关联图像。

[0092] 下面说明响应按照图3A-3E的操作例子，即，关联图像检索操作的第一例子的操作，由图1中所示的成像设备执行的处理。下面把响应关联图像检索操作，由成像设备执行的处理称为关联图像检索处理。特别地，响应按照本实施例的关联图像检索操作的第K个例子(K是等于或大于1的整数)的操作的关联图像检索处理被称为第K个关联图像检索处理。

[0093] 当关联图像检索操作检索的关联图像是基础图像(在图3A-3E中 所示的例子中，基础图像P1)的关联图像(在图3A-3E中所示的例子中，关联图像P2或P4)时，进行的第一关联图像检索处理的详细例子是第1A关联图像检索处理。当关联图像检索操作检索的关联图像是关联图像(在图3A-3E中所示的例子中，关联图像P2)的关联图像(在图3A-3E中所示的例子中，关联图像P3)时，进行的第一关联图像检索处理的详细例子是第1B关联图像检索处理。后面参考图5和6说明这些种类的处理。

[0094] 图4是说明第一关联图像检索处理的例子的流程图。

[0095] 在步骤S1，CPU 23确定是否选择了基础图像。

[0096] 当未选择基础图像时，CPU 23在步骤S1中确定未选择基础图像(步骤S1中“否”)，并使处理返回步骤S1。在选择了基础图像之前，CPU 23反复执行步骤S1中的确定处理。

[0097] 之后，当选择了基础图像时，CPU 23确定选择了基础图像(步骤S1中“是”)，处理进入步骤S2。

[0098] 在步骤S2，CPU 23控制数字信号处理单元15把基础图像显示在触摸屏18上。基础图像可被显示在触摸屏18的任意区域中。不过，可取的是把基础图像显示在考虑到之后的划线操作的便利性而确定的区域中。例如，在图3A-3E中所示的例子中，如图3A中所示，考虑到沿向右方向的划线操作，基础图像P1被显示在位于触摸屏18左端的区域中。 [0099] 在步骤S3，CPU 23确定触摸屏18的基础图像中的区域是否被触摸。

[0100] 当没有触摸基础图像中的任何区域时，CPU 23在步骤S3中确定基础图像中的区域未被触摸(步骤S3中“否”)，并使处理返回步骤S3。在基础图像中的任意区域被触摸之前，CPU 23反复执行步骤S3中的确定处理。

[0101] 之后，当基础图像中的任意区域被触摸时，CPU 23在步骤S3确定基础图像中的一个区域被触摸(步骤S3中“是”)，处理进入步骤S4。

[0102] 例如，如图3B中所示，当手指f1触摸基础图像P1中的区域时，从包括在触摸屏18中的触摸面板16把坐标信号输入CPU 23中。

[0103] 于是，当坐标信号被输入CPU 23时，在步骤S3中的处理中，CPU 23确定基础图像中的区域被触摸(步骤S3中“是”)，并根据坐标信号识别接触地点(基础图像P1的坐标)。

[0104] 当识别的接触地点在基础图像P1的显示区之外时，CPU 23在步骤S3中确定基础图像中的区域未被触摸(步骤S3中“否”)，使处理返回步骤S3，并重复步骤S3和后续步骤中的处理。

[0105] 另一方面，当识别的接触地点在基础图像P1的显示区之内时，CPU 23在步骤S3确定基础图像中的区域被触摸(步骤S3中“是”)，处理进入步骤S4。

[0106] 在步骤S4，CPU 23确定是否从基础图像开始进行了划线操作。

[0107] 通过监视来自包括在触摸屏18中的触摸面板16的坐标信号，CPU 23能够确定是否进行了划线操作。换句话说，根据坐标信号的时序，CPU 23能够识别手指f1的轨迹。于是，根据识别结果，CPU23检测是否进行了划线操作。

[0108] 于是，当按照手指f1的轨迹的识别结果，未检测到划线操作时，CPU 23在步骤S4确定未进行划线操作(步骤S4中“否”)，使处理返回步骤S4，并反复执行步骤S4和后续步骤中的处理。换句话说，在检测到划线操作之前，CPU 23反复执行步骤S4中的确定处理。 [0109] 之后，当按照手指f1的轨迹的识别结果，检测到从基础图像开始的划线操作时，CPU 23在步骤S4确定进行了划线操作(步骤S4中“是”)，处理进入步骤S5。例如，在图3A-3E中所示的例子中，当触摸屏18的显示状态变成图3C中所示的状态时，CPU 23在步骤S4确定进行了划线操作(步骤S4中“是”)，处理进入步骤S5。

[0110] 在步骤S5，CPU 23从记录在记录装置19中的所有图像中检索关联图像。在本实施例中，CPU 23检索与基础图像具有最高关联强度的图像作为关联图像。不过，当设定各种限制条件时，通过使用与划线操作的方向相关的限制条件来检索关联图像。 [0111] 在步骤S6，CPU 23确定是否从触摸屏18松开了手指f1，即，划线操作是否结束。具体地说，当不再从包括在触摸屏18中的触摸面板16输入坐标信号时，CPU 23能够确定手指f1被松开。

[0112] 于是，只要坐标信号被输入，CPU 23就在步骤S6确定手指f1未被松开(步骤S6中“否”)，并使处理返回步骤S6。换句话说，只要划线操作被继续，CPU 23就反复执行步骤S6中的确定处理。

[0113] 之后，当坐标信号的输入停止时，即，当划线操作结束时，CPU23在步骤S6确定手指f1被松开(步骤S6中“是”)，处理进入步骤S7。

[0114] 在步骤S7，CPU 23控制数字信号处理单元15在触摸屏18上的松开手指f1的位置显示关联图像。

[0115] 例如，在图3A-3E中所示的例子中，当在触摸屏18上，图3D中所示的位置松开手指f1时，关联图像P2被显示在该位置。

[0116] 在步骤S8，CPU 23确定是否指示了处理的结束。

[0117] 除非指示了处理的结束，否则CPU 23在步骤S8确定未指示处理的结束(步骤S8中“否”)，使处理返回步骤S3，重复步骤S3和后续步骤中的处理。具体地说，每次进行从基础图像(例如，图3A-3E中所示的基础图像P1)开始的划线操作时，反复执行步骤S3中的“是”，步骤S4中的“是”，步骤S5，步骤S6中的“是”，步骤S7，和步骤S8中的“否”的循环处理，并在松开手指f1的位置(结束划线操作的位置)显示新的关联图像。从而，能够关于基础图像(例如，图3A-3E中所示的基础图像P1)显示多个关联图像(例如，图3D和3E中所示的关联图像P2和P4)。换句话说，通过重复划线操作，用户能够反复执行步骤S4中的“是”，步骤S5，步骤S6中的“是”，步骤S7和步骤S8中的“否”的循环处理，好像用户搜索基础图像的关联图像似的。

[0118] 之后，当指示了处理的结束时，CPU 23在步骤S8确定指示了处理的结束(步骤S8中“是”)，处理进入步骤S9。

[0119] 在步骤S9，作为步骤S1-S8中的处理的结果，CPU 23把显示在触摸屏18上的基础图像和各个关联图像的历史信息(下面称为显示图像历史信息)保存在记录装置19中。 [0120] 从而，结束第一关联图像检索处理。

[0121] 尽管图中未示出，不过，例如当检测到用户的手指f1等在基础图像或关联图像上的触摸操作时，CPU 23还能够控制数字信号处理单元15把保存在记录装置19中的显示图像历史信息显示在触摸屏18上。

[0122] 尽管图中未示出，不过，例如当检测到用户的手指f1等在包括在显示图像历史信息中的一个图像上的触摸操作时，CPU 23能够检索被设为基础图像的该图像的一个或多个关联图像，并使触摸屏18显示关联图像。

[0123] 上面参考图3A-3E说明了关联图像检索操作的第一例子。上面参考图4的流程图说明了与第一例子对应的第一关联图像检索处理的例子。

[0124] 下面参考图5的流程图，说明与第一例子对应的第1A关联图像检索处理的例子。该例子是当关联图像检索操作检索的关联图像是基础图像(图3A-3E中所示例子中的基础图像P1)的关联图像时进行的第一关联图像检索处理的详细例子。

[0125] 图5中的步骤S21-S27中的各类处理基本上和图4中的步骤S1-S7中的各类处理相同。于是，这些种类的处理的描述被省略。

[0126] 于是，说明在步骤S27中的处理中，CPU 23控制数字信号处理单元15把关联图像显示在触摸屏18上的松开手指的位置之后的处理。当步骤S27中的这种处理结束时，处理进入步骤S28。

[0127] 在步骤S28，CPU 23确定显示在触摸屏18上的关联图像中的区域是否被触摸。换句话说，CPU 23确定在步骤S27显示的关联图像(在图3A-3E中所示的例子中，关联图像P2)中的区域是否被触摸。

[0128] 当关联图像中的区域未被触摸时，CPU 23在步骤S28确定关联图像中的区域未被触摸(步骤S28中“否”)，并使处理返回步骤S28。在关联图像中的任意区域被触摸之前，CPU 23反复执行步骤S28中的确定处理。

[0129] 之后，当关联图像中的任意区域被触摸时，CPU 23在步骤S28 中确定关联图像中的区域被触摸(步骤S28中“是”)，处理进入步骤S29。

[0130] 例如，如图3E中所示，当手指f1接触关联图像P2中的区域时，从包括在触摸屏18中的触摸面板16向CPU 23输入坐标信号。

[0131] 于是，当坐标信号被输入CPU 23时，在步骤S28中的处理中，CPU 23确定基础图像中的区域被触摸(步骤S28中“是”)，并根据坐标信号识别接触地点(基础图像P2的坐标)。

[0132] 当识别的接触地点在基础图像P2的显示区之外时，CPU 23在步骤S28中确定基础图像中的区域未被触摸(步骤S28中“否”)，处理被返回到步骤S28，重复步骤S28和后续步骤中的处理。

[0133] 另一方面，当识别的接触地点在基础图像P2的显示区之内时，CPU 23在步骤S28确定基础图像中的区域被触摸(步骤S28中“是”)，处理进入步骤S29。

[0134] 在步骤S29，CPU 23确定是否从基础图像开始进行了划线操作。

[0135] 通过监视来自包括在触摸屏18中的触摸面板16的坐标信号，CPU 23能够确定是否进行了划线操作。换句话说，根据坐标信号的时序，CPU 23能够识别手指f1的轨迹。于是，根据识别结果，CPU23检测是否进行了划线操作。

[0136] 于是，当按照手指f1的轨迹的识别结果，未检测到划线操作时，CPU 23在步骤S29确定未进行划线操作(步骤S29中“否”)，使处理返回步骤S29，并反复执行步骤S29和后续步骤中的处理。换句话说，在检测到划线操作之前，CPU 23反复执行步骤S29中的确定处理。

[0137] 之后，当按照手指f1的轨迹的识别结果，检测到从关联图像开始的划线操作时，CPU 23在步骤S29确定进行了划线操作(步骤S29中“是”)，处理进入步骤S30。 [0138] 在步骤S30，CPU 23从记录在记录装置19中的所有图像中检索关联图像。在本实施例中，CPU 23检索与基础图像具有最高关联强度的图像作为关联图像。不过，在基础图像的关联图像之中，除目前显示的关联图像(在图3A-3E中所示的例子中，关联图像P2)之外的、 与基础图像P1的关联强度最高的图像被显示成关联图像P3。换句话说，关联图像P3是仅次于关联图像P2、具有与基础图像P的第二高关联强度的图像。当设定各种限制条件时，通过使用与划线操作的方向相关的限制条件来检索关联图像。

[0139] 在步骤S31，CPU 23确定是否从触摸屏18松开了手指f1，即，划线操作是否结束。具体地说，当不再从包括在触摸屏18中的触摸面板16输入坐标信号时，CPU 23能够确定手指f1被松开。

[0140] 于是，只要坐标信号被输入，CPU 23就在步骤S31确定手指f1未被松开(步骤S31中“否”)，并使处理返回步骤S31。换句话说，只要划线操作被继续，CPU 23就反复执行步骤S31中的确定处理。

[0141] 之后，当坐标信号的输入停止时，即，当划线操作结束时，CPU23在步骤S31确定手指f1被松开(步骤S31中“是”)，处理进入步骤S32。

[0142] 在步骤S32，CPU 23控制数字信号处理单元15在触摸屏18上的松开手指f1的位置显示关联图像。

[0143] 例如，在图3A-3E中所示的例子中，当在触摸屏18上图3E中所示的位置松开手指f1时，关联图像P3被显示在该位置。

[0144] 在步骤S33，CPU 23确定是否指示了处理的结束。

[0145] 除非指示了处理的结束，否则CPU 23在步骤S33确定未指示处理的结束(步骤S33中“否”)，使处理返回步骤S23，重复步骤S23和后续步骤中的处理。具体地说，每次进行从基础图像(例如，图3A-3E中所示的基础图像P1)开始的划线操作时，反复执行步骤S23-S33的循环处理，并在松开手指f1的位置(结束划线操作的位置)显示新的关联图像。从而，能够关于基础图像(例如，图3A-3E中所示的基础图像P1)显示多个关联图像(例如，图3D和3E中所示的关联图像P2和P4)。换句话说，通过重复划线操作，用户能够反复执行步骤S23-S33的循环处理，好像用户搜索基础图像的关联图像似的。

[0146] 之后，当指示了处理的结束时，CPU 23在步骤S33确定指示了处理的结束(步骤S33中“是”)，处理进入步骤S34。

[0147] 在步骤S34，作为步骤S21-S33中的处理的结果，CPU 23把显示在触摸屏18上的基础图像和各个关联图像的历史信息(下面称为显示图像历史信息)保存在记录装置19中。

[0148] 从而，结束第1A关联图像检索处理。

[0149] 下面参考图6的流程图，说明与第一例子对应的第1B关联图像检索处理的例子。该例子是当关联图像检索操作检索的关联图像是关联图像(在图3A-3E中所示的例子中，关联图像P2)的关联图像时，进行的第一关联图像检索处理的具体例子。

[0150] 图6中的步骤S41-S47中的各类处理基本上和图4中的步骤S1-S7中的各类处理相同。于是，这些种类的处理的描述被省略。

[0151] 于是，说明在步骤S47中的处理中，CPU 23控制数字信号处理单元15把关联图像显示在触摸屏18上的松开手指的位置之后的处理。当步骤S47中的这种处理结束时，处理进入步骤S48。

[0152] 在步骤S48，CPU 23把该关联图像设为基础图像。具体地说，CPU 23把在步骤S47中显示的关联图像(在图3A-3E中所示的例子中，关联图像P2)设为基础图像。

[0153] 在步骤S49，CPU 23确定是否指示了处理的结束。

[0154] 除非指示了处理的结束，否则CPU 23在步骤S49确定未指示处理的结束(步骤S49中“否”)，使处理返回步骤S43，重复步骤S43和后续步骤中的处理。具体地说，每次进行从基础图像(例如，图3A-3E中所示的基础图像P1或P2)开始的划线操作时，反复执行步骤S43-S49的循环处理，并在松开手指f1的位置(结束划线操作的位置)显示新的关联图像。从而，能够关于基础图像(例如，图3A-3E中所示的基础图像P1或P2)显示多个关联图像(例如，图3E中所示的关联图像P3)。换句话说，通过重复划线操作，用户能够反复执行步骤S43-S49的循环处理，好像用户搜索基础图像的关联图像似的。

[0155] 之后，当指示了处理的结束时，CPU 23在步骤S49确定指示了处理的结束(步骤S49中“是”)，处理进入步骤S50。

[0156] 在步骤S50，作为步骤S41-S49中的处理的结果，CPU 23把显 示在触摸屏18上的基础图像和各个关联图像的历史信息(下面称为显示图像历史信息)保存在记录装置19中。

[0157] 从而，结束第1B关联图像检索处理。

[0158] 下面参考图7A-7E说明关联图像检索操作的第二例子。参考图8的流程图说明与第二例子对应的第二关联图像检索处理的例子。

[0159] 首先，用户选择任意图像作为基础图像P1。选择操作本身并不特别受限。当选择了基础图像P1时，触摸屏18的显示状态变成图7A中所示的状态。图7A是其中基础图像P1被显示在触摸屏18的中心的状态的示图。

[0160] 当在图7A中所示的状态下，基础图像P1被用户的手指f1触摸时，触摸屏18上的显示转变成图7C中所示的状态。如图7C中所示，其中显示分类项目(限制条件)的图像PA-PD被显示在基础图像P1的四个角。下面把其中显示分类项目的图像PA-PD称为分类标签PA-PD。

[0161] 当用户用手指f1在分类标签PA-PD之中，触摸其中显示希望用于检索关联图像的分类项目的分类标签时，用户能够选择该分类项目。随后，在基础图像P1的关联图像之中，在选择的分类项目方面具有最高的关联强度的图像作为关联图像被显示在触摸屏18上。不仅通过用手指f1触摸分类标签，而且通过手指f1沿分类标签PA-PD的一定方向的划线操作，都能够实现分类项目的选择。在本实施例中，通过用手指f1触摸分类标签来选择分类项目。

[0162] 具体地说，例如，在图7A-7E中所示的例子中，如图7D中所示，由于其中显示“人物”的分类标签PA被手指f1触摸，因此“人物”被选为分类项目。随后，如图7E中所示，关于“人物”与基础图像P1具有强关联性的图像P2，例如和基础图像P1包括相同人物的图像P2被显示成关联图像。

[0163] 当比较关联图像检索操作的第一例子(图3A-3E)和第二例子(图7A-7E)时，即使在第一例子中，用户也能够无特定目的地搜索关联图像。不过，在第一例子中，由于未清楚表示与基础图像P1的关系， 因此当用户仅仅搜索具有一定关系的图像时，第一例子并不适宜。

[0164] 另一方面，在第二例子中，当基础图像被触摸时，例如，围绕基础图像显示相应的分类项目。在图7A-7E中所示的例子中，显示分类标签PA-PD。于是，当用户在分类项目中选择所需的分类项目时，用户能够把在选择的分类项目方面，与基础图像具有最强关联性的图像显示成关联图像。通过这种方式采用第二例子，用户能够容易地只搜索例如其中拍摄了特定人物的图像。

[0165] 图8是说明与参考图7A-7E说明的关联图像检索操作的第二例子对应的关联图像检索处理(即，第二关联图像检索处理)的例子的流程图。

[0166] 在步骤S61，CPU 23确定是否选择了基础图像。

[0167] 当未选择基础图像时，CPU 23在步骤S61确定未选择基础图像(步骤S61中“否”)，并使处理返回步骤S61。换句话说，在选择了基础图像之前，CPU 23反复执行步骤S61中的确定处理。

[0168] 之后，当选择了基础图像时，CPU 23在步骤S61确定选择了基础图像(步骤S61中“是”)，处理进入步骤S62。

[0169] 在步骤S62，CPU 23控制数字信号处理单元15把基础图像显示在触摸屏18上。基础图像可被显示在触摸屏18的任意区域中。不过，可取的是把基础图像显示在考虑到之后的分类项目的显示而确定的区域中。例如，在图7A-7E中所示的例子中，如图7A中所示，基础图像P1被显示在触摸屏18的中心区域中。

[0170] 在步骤S63，CPU 23确定触摸屏18上的基础图像中的区域是否被触摸。 [0171] 当没有触摸基础图像中的区域时，CPU 23在步骤S63中确定基础图像中的任意区域未被触摸(步骤S63中“否”)，并使处理返回步骤S63。换句话说，在基础图像的任意区域被触摸之前，CPU 23反复执行步骤S63中的确定处理。

[0172] 之后，当基础图像中的任意区域被触摸时，CPU 23在步骤S63确定基础图像中的一个区域被触摸(步骤S63中“是”)，处理进入步骤 S64。

[0173] 在步骤S64，CPU 23控制数字信号处理单元15在触摸屏18上的基础图像的四个角显示分类标签。例如，在图7A-7E中所示的例子中，如图7C中所示，显示分类标签PA-PD。在参考图8说明的例子中，按照图7A-7E中所示的例子，分类标签的显示位置被设在四个角。不过，显示位置并不局限于参考图8说明的例子。显示分类项目的形式并不局限于分类标签，只要能够向用户呈现分类项目即可。

[0174] 在步骤S65，CPU 23确定在显示在触摸屏18上的分类标签中，特定的分类标签是否被触摸。

[0175] 当显示在触摸屏18上的分类标签都未被触摸时，CPU 23在步骤S65中确定未触摸分类标签(步骤S65中“否”)，并使处理返回步骤S65。换句话说，在显示在触摸屏18上的任意分类标签被触摸之前，CPU 23反复执行步骤S65中的确定处理。

[0176] 之后，当显示在触摸屏18上的分类标签中的特定分类标签被触摸时，CPU 23在步骤S65中确定分类标签中的特定分类标签被触摸(步骤S65中“是”)，处理进入步骤S66。 [0177] 在步骤S66，CPU 23利用与被触摸的分类标签对应的限制条件(分类项目)，从记录在记录装置19中的所有图像中检索关联图像。换句话说，在本实施例中，在与被触摸的分类标签对应的限制条件(分类项目)方面，与基础图像具有最高关联强度的图像被检索为关联图像。

[0178] 在步骤S67，CPU 23控制数字信号处理单元15把检索的关联图像显示在触摸屏18上。

[0179] 例如，在图7A-7E中所示的例子中，如图7D中所示，当手指f1触摸分类标签PA时，CPU 23在步骤S65中的处理中确定特定的分类标签被触摸(步骤S65中“是”)。在步骤S66的处理中，CPU 23检索关于“人物”与基础图像P1具有最高关联强度的图像，作为关联图像P2。在步骤S67的处理中，CPU 23把关联图像P2显示在显示“人物”分类标签PA的区域附近。关联图像P2的显示位置并不特别局限于图7A-7E中所示的例子，可以是任意位置。不过，通过采用图7A-7E 中所示例子中的位置，用户能够容易地识别关联图像P2是关于分类标签PA指示的分类项目“人物”，具有高关联性的图像。

[0180] 在步骤S68，CPU 23把显示图像历史信息保存在记录装置19中。

[0181] 从而，结束第二关联图像检索处理。

[0182] 和参考图4说明的例子中一样，在步骤S67和S68中的处理中，CPU 23可确定是否指示了处理的结束，除非指示了处理的结束，否则使处理返回适当的步骤，只有当指示了处理的结束时，才使处理进入步骤S68

[0183] 上面参考图7A-7E说明了关联图像检索操作的第二例子。上面参考图8的流程图说明了与第二例子对应的第二关联图像检索处理的例子。

[0184] 下面参考图9A-9F说明关联图像检索操作的第三例子。参考图10的流程图说明与第三例子对应的第三关联图像检索处理的例子。

[0185] 首先，为了进行关联图像检索操作，用户把CPU 23的操作状态设为其中能够执行关联图像检索处理的操作状态(下面称为检索模式)。随后，触摸屏18的显示状态变成图9A中所示的状态。换句话说，如图9A中所示，用于选择分类项目(限制条件)的图像Pa-Pd被显示在触摸屏18上。其中显示分类项目的图像Pa-Pd被称为分类项目选择图像Pa-Pd。 [0186] 当用户用手指f1触摸分类项目图像Pa-Pd中，显示希望被用于关联图像的检索的分类项目的分类项目图像时，用户能够选择分类项目。

[0187] 之后，和第二例子中一样，用户选择任意图像作为基础图像P1。选择操作本身并不特别受限。当选择了基础图像P1时，触摸屏18的显示状态变成图9B中所示的状态。图9B表示了其中基础图像P1被显示在触摸屏18的中心的状态。

[0188] 在图9B中所示的状态下，当显示在触摸屏18上的基础图像P1被用户的手指f1触摸时，触摸屏18上的显示转变成图9D1或9D2中所示的状态。当与选择的分类项目图像对应的分类项目被表示成主分 类项目(主关键字)，通过进一步细分主分类项目而获得的分类项目(限制条件)被表示成副分类项目(副关键字)时，关于副分类项目的分类标签PA1-PD1或者PA2-PD2被显示在例如基础图像P1的四个角。

[0189] 在图9A-9F中所示的例子中，由于手指f1在图9A中所示的状态下，触摸分类项目图像Pa，因此主分类项目“人物”被选择。

[0190] 例如，作为按照图像中的面部的大小划分的副分类项目，存在“极大”、“大”、“中等”和“小”。于是，在图9D1中图解说明了其中指示“极大”的分类标签PC1，指示“大”的分类标签PA1，指示“中等”的分类标签PB1，和指示“小”的分类标签PD1被显示在基础图像P1的四个角的状态。

[0191] 就“人物”来说，例如，作为按照包括在图像中的人数划分的副分类项目，存在“一人”、“两人”、“三人”和“四人或四人以上”。于是，在图9D2中例示了其中指示“一人”的分类标签PC2，指示“两人”的分类标签PA2，指示“三人”的分类标签PB2，和指示“四人或四人以上”的分类标签PD2被显示在基础图像P1的四个角的状态。

[0192] 当用户用手指f1触摸分类标签PA1-PD1或者PA2-PD2中，显示希望用于关联图像的检索的副分类项目的分类标签时，用户能够选择该副分类项目。随后，就选择的副分类项目方面，具有最高关联强度的图像作为关联图像被显示在触摸屏18上。

[0193] 具体地说，例如，在图9A-9F中所示的例子中，如图9E中所示，其中显示“人物”的“大”的分类标签PA1被手指f1触摸。于是，“大”被选为副分类项目。随后，如图9F中所示，就“人物”的“大”来说，与基础图像P1具有强关联性的图像P2，例如，就尺寸“大”来说，和基础图像P1包括相同人物的面部的图像P2被显示成关联图像。

[0194] 如上所述，例如，当通过使用主分类项目检索关联项目时，呈现按照图像中所示的“人物”的面部大小、图像中所示的“人物”的数目等设置的副分类项目。由于用户能够指定这些副分类项目，因此用户能够在一定程度限制构成的同时，搜索希望的一个图像。 [0195] 图10是说明与参考图9A-9E说明的关联图像检索操作的第三例 子对应的关联图像检索处理(即，第三关联图像检索处理)的例子的流程图。

[0196] 在步骤S81，CPU 23确定CPU 23的操作模式是否被设定在检索模式。

[0197] 当未设定检索模式时，CPU 23在步骤S81确定CPU 23的操作模式未被设成检索模式(步骤S81中“否”)，并使处理返回步骤S81。换句话说，在设定检索模式之前，CPU 23反复执行步骤S81中的确定处理。

[0198] 之后，当选择了基础图像时，CPU 23在步骤S81中确定CPU 23的操作模式被设成检索模式(步骤S81中“是”)，处理进入步骤S82。

[0199] 在步骤S82，CPU 23控制数字信号处理单元15把分类项目选择图像显示在触摸屏18上。例如，在图9A-9F中所示的例子中，如图9A中所示，显示分类项目选择图像Pa-Pd。 [0200] 在步骤S83，CPU 23确定显示在触摸面板16上的分类项目选择图像中的特定分类项目选择图像是否被触摸。

[0201] 当显示在触摸屏18上的分类项目选择图像都未被触摸时，CPU23在步骤S83确定没有分类项目选择屏幕被触摸(步骤S83中“否”)，并使处理返回步骤S83。换句话说，在显示在触摸屏18上的任意分类项目选择图像被触摸之前，CPU 23反复执行步骤S83中的确定处理。

[0202] 之后，当显示在触摸屏18上的分类项目选择图像中的特定分类项目选择图像被触摸时，CPU 23在步骤S83中确定特定的分类项目选择图像被触摸(步骤S83中“是”)，处理进入步骤S84。

[0203] 在步骤S84，CPU 23设定与触摸的分类项目选择图像对应的主分类项目。 [0204] 例如，在图9A-9F中所示的例子中，由于在图9A中所示的状态下，使手指f1与分类项目图像Pa接触，因此，CPU 23在步骤S83中的处理中，确定特定的分类项目选择图像被触摸(步骤S83中“是”)。在步骤S84中的处理中，CPU 23选择主分类项目“人物”。 [0205] 在步骤S85，CPU 23确定是否选择了基础图像。

[0206] 当未选择基础图像时，CPU 23在步骤S85中确定未选择基础图像(步骤S85中“否”)，并使处理返回步骤S85。换句话说，在选择了基础图像之前，CPU 23反复执行步骤S85中的确定处理。

[0207] 之后，当选择了基础图像时，CPU 23在步骤S85中确定选择了基础图像(步骤S85中“是”)，处理进入步骤S86。

[0208] 在步骤S86，CPU 23控制数字信号处理单元15把基础图像显示在触摸屏18上。基础图像可被显示在触摸屏18的任意区域中。不过，可取的是把基础图像显示在考虑到之后的副分类项目的显示而确定的区域中。例如，在图9A-9F中所示的例子中，如图9B中所示，基础图像P1被显示在触摸屏18的中心区域中。

[0209] 在步骤S87，CPU 23确定触摸屏18上的基础图像中的区域是否被触摸。 [0210] 当没有触摸基础图像中的任何区域时，CPU 23在步骤S87中确定基础图像中的区域未被触摸(步骤S87中“否”)，并使处理返回步骤S87。换句话说，在基础图像的任意区域被触摸之前，CPU 23反复执行步骤S87中的确定处理。

[0211] 之后，当基础图像中的任意区域被触摸时，CPU 23在步骤S87确定基础图像中的一个区域被触摸(步骤S87中“是”)，处理进入步骤S88。

[0212] 在步骤S88，CPU 23控制数字信号处理单元15把副分类项目的分类标签显示在触摸屏18上的基础图像的四个角。例如，在图9A-9F中所示的例子中，如图9D1或9D2中所示，分类标签PA1-PD1，或者分类标签PA2或PD2被显示成关于“人物”的副分类项目的分类标签。在参考图10说明的例子中，按照图9A-9F中所示的例子，分类标签的显示位置被设在四个角。不过，显示位置并不局限于参考图10说明的例子。显示分类项目的形式并不局限于分类标签，只要能够向用户呈现分类项目即可。

[0213] 在步骤S89，CPU 23确定在显示在触摸屏18上的分类标签中，特定的分类标签是否被触摸。

[0214] 当显示在触摸屏18上的分类标签都未被触摸时，CPU 23在步骤S89中确定分类标签都未被触摸(步骤S89中“否”)，并使处理返回步骤S89。换句话说，在显示在触摸屏18上的任意分类标签被触摸之前，CPU 23反复执行步骤S89中的确定处理。

[0215] 之后，当显示在触摸屏18上的分类标签中的特定分类标签被触摸时，CPU 23在步骤S89中确定分类标签中的特定分类标签被触摸(步骤S89中“是”)，处理进入步骤S90。 [0216] 在步骤S90，CPU 23利用与被触摸的分类标签对应的限制条件(副分类项目)，从记录在记录装置19中的所有图像中检索关联图像。换句话说，在本实施例中，在与被触摸的分类标签对应的限制条件(副分类项目)方面，与基础图像具有最高关联强度的图像被检索为关联图像。

[0217] 在步骤S91，CPU 23控制数字信号处理单元15把检索的关联图像显示在触摸屏18上。

[0218] 例如，在图9A-9F中所示的例子中，如图9E中所示，当手指f1触摸分类标签PA1时，CPU 23在步骤S89中的处理中确定特定的分类标签被触摸(步骤S89中“是”)。在步骤S90的处理中，CPU 23检索就“人物”的面部的尺寸“大”方面，与基础图像P1具有最高关联强度的图像，作为关联图像P2。在步骤S91的处理中，CPU 23把关联图像P2显示在显示“大”分类标签PA1的区域附近。关联图像P2的显示位置并不特别局限于图9A-9F中所示的例子，可以是任意位置。不过，通过采用图9A-9F中所示例子中的位置，用户能够容易地识别关联图像P2是在分类标签PA1指示的副分类项目“人物”面部的尺寸“大”方面，具有高关联性的图像。

[0219] 在步骤S92，CPU 23把显示图像历史信息保存在记录装置19中。

[0220] 于是，第三关联图像检索处理结束。

[0221] 上面参考图9A-9F说明了关联图像检索操作的第三例子。参考图10的流程图说明了与第三例子对应的第三关联图像检索处理的例子。

[0222] 在关联图像检索操作的第二和第三例子中，分类项目被显示在基础图像的四个角。不过，如上所述，分类项目的数目并不局限于四个。不必明确地把分类项目的显示形式限制成显示在图像的四个角。例如，如图11中所示，也可采用准备通过选择分类项目而显示的关联图像的缩略图图像PS1-PS4，并显示缩略图图像PS1-PS4的形式作为显示形式，而不利用字符显示分类项目。

[0223] 下面参考图12A-12E说明关联图像检索操作的第四例子。参考图13-15的流程图，说明与第四例子对应的第四关联图像检索处理的例子。

[0224] 第二和第三例子是其中CPU 23在触摸面板16上呈现分类项目并且用户搜索希望的图像组的例子。

[0225] 另一方面，第四例子是其中对触摸面板16上，用户触摸的地点(用户的手指f1触摸的地点)赋予含意的例子。

[0226] 如图12A中所示，当在基础图像P1被显示在触摸屏18上的状态下，手指f1触摸基础图像P1的预定区域时，CPU 23分析预定区域中的图像，根据图像分析识别分类项目。 [0227] 图像分析本身的方法并不特别受限。不过，在本实施例中，假定采用下述图像分析方法。具体地说，假定多个分类项目被预先设为分析候选者，并且预先对多个分析候选者中的每一个赋予优先级。从而，作为关于预定区域的图像分析，按照优先级的顺序分析多个分析候选者(分类候选者)。具体地说，当图像分析的分析结果是指示难以识别分析候选者的特定标识对象未被包括在预定区域中的结果时，通过利用下一优先级的另一个分析候选者，再次进行图像分析。所有图像分析都难以识别其中包括特定标识对象的预定区域被看作不包括具有强关联性的图像。换句话说，获得指示分析困难的分析结果。

[0228] 例如，当基础图像P1中的包括面部的预定区域被触摸时，CPU23分析所述预定区域的图像，把“人物”识别成分类项目。随后，CPU23检索就“人物”来说，与基础图像P1具有高关联强度的图像，作为关联图像P2B和P3B。如图12B中所示，CPU 23控制数字信号处理 单元15在触摸屏18上显示关联图像P2B和P3B。不言而喻，诸如关联图像的显示数目和显示位置之类的显示形式并不受限。

[0229] 例如，当基础图像P1中与某一地点关联的预定区域被触摸时，CPU 23分析所述预定区域的图像，把“地点”识别成分类项目。从而，CPU 23检索就“地点”来说，与基础图像P1具有高关联强度的图像，作为关联图像P2C和P3C。如图12C中所示，CPU 23控制数字信号处理单元15在触摸屏18上显示关联图像P2C和P3C。不言而喻，诸如关联图像的显示数目和显示位置之类的显示形式并不受限。

[0230] 例如，当基础图像P1中以特定颜色为主的预定区域被触摸时，CPU 23分析所述预定区域的图像，把“颜色”识别成分类项目。从而，CPU 23检索就“颜色”来说，与基础图像P1具有高关联强度的图像，作为关联图像P2D和P3D。如图12D中所示，CPU 23控制数字信号处理单元15在触摸屏18上显示关联图像P2D和P3D。不言而喻，诸如关联图像的显示数目和显示位置之类的显示形式并不受限。

[0231] 当整个基础图像P1被触摸时，CPU 23分析整个基础图像P1的图像，根据分析结果检索关联图像P2E和P3E。如图12E中所示，CPU 23控制数字信号处理单元15在触摸屏18上显示关联图像P2E和P3E。不言而喻，诸如关联图像的显示数目和显示位置之类的显示形式并不受限。作为触摸整个基础图像的一种操作方法，可采用进行划线操作以围绕基础图像P1的方法，或者使多于一个的手指与基础图像P1接触的方法。

[0232] 图13是说明与参考图12A-12E说明的关联图像检索操作的第四例子对应的关联图像检索处理(即，第四关联图像检索处理)的例子的流程图。

[0233] 在步骤S101，CPU 12确定是否选择了基础图像。

[0234] 当未选择基础图像时，CPU 23在步骤S101确定未选择基础图像(步骤S101中“否”)，并使处理返回步骤S101。换句话说，在选择了基础图像之前，CPU 23反复执行步骤S101中的确定处理。

[0235] 之后，当选择了基础图像时，CPU 23在步骤S101确定选择了基 础图像(步骤S101中“是”)，处理进入步骤S102。

[0236] 在步骤S102，CPU 23控制数字信号处理单元15把基础图像显示在触摸屏18上。基础图像可被显示在触摸屏18的任何区域中。不过，可取的是把基础图像显示在通过考虑到之后的图像分析而确定的区域中。例如，在图12A-12E中所示的例子中，如图12A所示，基础图像P1以较大的尺寸被显示触摸屏18的中心的区域中，从而允许用户用手指f1触摸基础图像P1中的各个区域。

[0237] 在步骤S103，CPU 23确定触摸屏18上的基础图像中的区域是否被触摸。 [0238] 当未触摸基础图像中的区域时，CPU 23在步骤S103中确定未触摸基础图像中的任意区域(步骤S103中“否”)，并使处理返回步骤S103。换句话说，在触摸了基础图像中的任意区域之前，CPU 23反复执行步骤S103中的确定处理。

[0239] 之后，当触摸了基础图像中的任意区域时，CPU 23在步骤S103中确定基础图像中的区域被触摸(步骤S103中“是”)，处理进入步骤S104。

[0240] 在步骤S104，CPU 23确定是否进行了触摸整个基础图像的操作。

[0241] 当进行了触摸整个基础图像的操作时，CPU 23在步骤S104中确定进行了触摸整个基础图像的操作(步骤S104中“是”)，处理进入步骤S106。在步骤S106，CPU 23分析整个基础图像，根据分析结果检索关联图像，并使触摸屏18显示关联图像。不过，当未检索到关联图像时，在触摸屏18上显示不存在关联图像的指示。下面把步骤S106中的处理称为图像分析和检索处理。后面参考图15的流程图说明图像分析和检索处理的具体例子。当图像分析和检索处理结束时，处理进入步骤S111。在步骤S111，CPU 23把显示图像历史信息保存在记录装置19中。从而，结束第四关联图像检索处理。

[0242] 另一方面，当进行了触摸基础图像的预定区域的操作时，CPU 23在步骤S104中确定未进行触摸整个基础图像的操作(步骤S104中“否”)，处理进入步骤S105。在步骤S105，CPU 23分析预定区域的 图像，并且作为分析的结果，输出多个分析候选者之中的预定分析候选者，作为分类项目。不过，当难以输出多个分析候选者中的任意一个时，CPU 23输出分析结果“无关联图像”。下面把步骤S105中的这种处理称为依据接触区的图像分析处理。后面参考图14的流程图，说明依据接触区的图像分析处理的具体例子。 [0243] 当步骤S105中的依据接触区的图像分析处理结束，并输出分析结果时，处理进入步骤S107。

[0244] 在步骤S107，CPU 23确定分析结果是否是“无关联图像”。

[0245] 当分析结果是“无关联图像”时，CPU 23在步骤S107中确定分析结果是“无关联图像”(步骤S107中“是”)，处理进入步骤S108。在步骤S108，CPU 23控制数字信号处理单元15在触摸屏18上显示无任何关联图像的指示。从而，结束第四关联图像检索处理。 [0246] 另一方面，当分析结果是预定的分类项目时，CPU 23在步骤S107中确定分析结果不是“无关联图像”(步骤S107中“否”)，处理进入步骤S109。

[0247] 在步骤S109，CPU 23利用分析结果(预定分类项目)作为限制条件来检索关联图像。本实施例中，在分析结果(限制条件)方面，与基础图像具有高关联强度的图像被检索为关联图像。

[0248] 在步骤S110，CPU 23控制数字信号处理单元15把检索到的关联图像显示在触摸屏18上。

[0249] 例如，在图12A-12E中所示的例子中，当分析结果为“人物”时，在步骤S109中的处理中，CPU 23检索就“人物”来说，与基础图像P1具有高关联强度的图像作为关联图像P2B和P3B。在步骤S110中的处理中，CPU 23显示关联图像P2B和P3B。

[0250] 例如，当分析结果为“地点”时，在步骤S109中的处理中，CPU 23检索就“地点”来说，与基础图像P1具有高关联强度的图像作为关联图像P2C和P3C。在步骤S110中的处理中，CPU 23显示关联图像P2C和P3C。

[0251] 例如，当分析结果为“颜色”时，在步骤S109中的处理中，CPU 23 把就“颜色”来说，与基础图像P1具有高关联强度的图像检索为关联图像P2D和P3D。在步骤S110中的处理中，CPU 23显示关联图像P2D和P3D。

[0252] 在步骤S111，CPU 23把显示图像历史信息保存在记录装置19中。

[0253] 从而，结束第四关联图像检索处理。

[0254] 下面参考图14中的流程图，说明第四关联图像检索处理的步骤S105中的依据接触区的图像分析处理的详细例子。

[0255] 如上所述，假定一个以上的分类项目A-Z被预先设为分析候选者，并且预先按照A-Z的顺序对多个分析候选者A-Z分别赋予优先级。分类项目A-Z并不意味如字母表所示，存在26种分类项目。分类项目Z表示两种或者更大的任意多种分类项目之中，优先级最低的一种分类项目。

[0256] 分类项目A-Z并不特别受限。不过，如果分类项目A-Z与图12A-12E中所示的例子相关，那么假定至少“人物”、“地点”和“颜色”被包括在分类项目A-Z中。此外，特定对象，特定构成等也可被包括在分类项目A-Z中。

[0257] 如上所述，当进行触摸基础图像的预定区域的操作时，CPU 23在步骤S104中确定未进行触摸整个基础图像的操作(步骤S104中“否”)，并执行下面说明的处理，作为步骤S105中的依据接触区的图像分析处理。

[0258] 在步骤S121，CPU 23分析预定区域的图像，以确定预定区域的分类项目是否可被识别成“A”。

[0259] 当CPU 23在步骤S121中确定预定区域的分类项目可被识别成“A”时，在步骤S122，CPU 23把分析结果设为“A”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0260] 另一方面，当CPU 23在步骤S121中确定难以把预定区域的分类项目识别成“A”时，CPU 23进入步骤S123。

[0261] 在步骤S123，CPU 23分析预定区域的图像，以确定预定区域的分类项目是否可被识别成“B”。

[0262] 当CPU 23在步骤S123中确定预定区域的分类项目可被识别成“B”时，在步骤S124，CPU 23把分析结果设为“B”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0263] 另一方面，当CPU 23在步骤S123中确定难以把预定区域的分类项目识别成“B”时，处理进入步骤S125。

[0264] 在步骤S125，CPU 23分析预定区域的图像，以确定预定区域的分类项目是否可被识别成“C”。

[0265] 当CPU 23在步骤S125中确定预定区域的分类项目可被识别成“C”时，在步骤S126，CPU 23把分析结果设为“C”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0266] 另一方面，当CPU 23在步骤S125中确定难以把预定区域的分类项目识别成“C”时，处理进入步骤S127。

[0267] 在步骤S127，CPU 23分析预定区域的图像，以确定预定区域的分类项目是否可被识别成“D”。

[0268] 当CPU 23在步骤S127中确定预定区域的分类项目可被识别成“D”时，在步骤S128，CPU 23把分析结果设为“D”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0269] 另一方面，当CPU 23在步骤S127中确定难以把预定区域的分类项目识别成“D”时，CPU 23对“E ”-“Y”重复相同的处理。具体地说，当CPU 23确定预定区域的分类项目能被识别成“E”-“Y”中的预定一个分析候选者时，CPU 23把该分析候选者设为分析结果。

[0270] 另一方面，当CPU 23确定难以把预定区域的分类项目识别成“E”-“Y”任意之一时，处理进入步骤S129。在步骤S129，CPU 23分析预定区域的图像，以确定预定区域的分类项目是否可被识别成“Z”。

[0271] 当CPU 23在步骤S129中确定预定区域的分类项目可被识别成 “Z”时，在步骤S130，CPU 23把分析结果设为“Z”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0272] 另一方面，当CPU 23在步骤S129中确定难以把预定区域的分类项目识别成“Z”时，在步骤S131，CPU 23把分析结果设成“无关联图像”。从而，结束图13中的步骤S105中的依据接触区的图像分析处理，处理进入步骤S107。

[0273] 上面参考图14的流程图说明了第四关联图像检索处理的步骤S105中的依据接触区的图像分析处理的详细例子。

[0274] 下面参考图15的流程图说明第四关联图像检索处理的步骤S106中的图像分析和检索处理的详细例子。

[0275] 作为参考图15说明的例子的前提，使用图像要素模式(pattern)。图像要素模式是形成图像的要素的预定模式，是用于比较两个图像是否是关联图像关系的索引。例如，各种模式，例如其中表示人的模式，其中图像中表示的人数相同的模式，其中只显示风景的模式，和其中图像的拍摄月份和日期(年份除外)相同的模式，可被用作图像要素模式。 [0276] 这种情况下，CPU 23分析基础图像和关联图像候选，确定它们的图像要素模式是否相互一致。对可以是关联图像候选的所有图像进行这种确定处理。CPU 23检索其图像要素模式与基础图像的图像要素模式一致的关联图像候选作为关联图像。下面把这样的一系列处理表示成“就图像要素模式检索关联图像”。

[0277] 在参考图15说明的例子中，预先设定多个图像要素模式“a”-“z”，并且预先按照“a”-“z”的顺序，对多个图像要素模式“a”-“z”赋予优先级。图像要素模式“a”-“z”并不意味如字母表所示那样，存在26种图像要素模式。具体地说，图像要素模式“z”表示两种或者更大的任意多种图像要素模式之中，优先级最低的一种图像要素模式。 [0278] 如上所述，当进行触摸整个基础图像的操作时，CPU 23在步骤S104中确定进行了触摸整个基础图像的操作(步骤S104中“是”)，并执行下面说明的处理，作为步骤S106中的图像分析和检索处理。

[0279] 在步骤S141，CPU 23检索关联图像作为图像元素模式“a”。

[0280] 在步骤S142，CPU 23确定是否检索到关联图像。

[0281] 当在记录装置19中存在其图像要素模式“a”与基础图像的图像要素模式一致的图像时，该图像被检索为关联图像，CPU 23在步骤S142中确定检索到关联图像(步骤S142中“是”)，处理进入步骤S143。

[0282] 在步骤S143，CPU 23控制数字信号处理单元15把检索的关联图像显示在触摸屏18上。从而，结束图13中的步骤S106中的图像分析和检索处理，处理进入步骤S111。 [0283] 另一方面，当在记录装置19中不存在其图像要素模式“a”与基础图像的图像要素模式一致的图像时，CPU 23在步骤S142中确定未检索到关联图像(步骤S142中“否”)，处理进入步骤S144。

[0284] 在步骤S144，CPU 23检索关联图像作为图像元素模式“b”。

[0285] 在步骤S145，CPU 23确定是否检索到关联图像。

[0286] 当在记录装置19中存在其图像要素模式“b”与基础图像的图像要素模式一致的图像时，该图像被检索为关联图像，CPU 23在步骤S145中确定检索到关联图像(步骤S145中“是”)，处理进入步骤S143。

[0287] 在步骤S143，CPU 23控制数字信号处理单元15把检索到的关联图像显示在触摸屏18上。从而，结束图13中的步骤S106中的图像分析和检索处理，处理进入步骤S111。 [0288] 另一方面，当在记录装置19中不存在其图像要素模式“b”与基础图像的图像要素模式一致的图像时，CPU 23在步骤S145中确定未检索到关联图像(步骤S145中“否”)。对图像要素模式“c”-“y”重复相同的处理。

[0289] 当在记录装置19中存在其图像要素模式“c”-“y”中的预定模式与基础图像的图像要素模式一致的图像时，该图像被检索为关联图像，处理进入步骤S143。

[0290] 在步骤S143，CPU 23控制数字信号处理单元15把检索的关联图像显示在触摸屏18上。从而，结束图13中的步骤S106中的图像分析和检索处理，处理进入步骤S111。 [0291] 另一方面，当在记录装置19中不存在其图像要素模式“c”-“y”任意之一与基础图像的图像要素模式一致的图像时，处理进入步骤S146。

[0292] 在步骤S146，CPU 23检索关联图像作为图像元素模式“z”。

[0293] 在步骤S147，CPU 23确定是否检索到关联图像。

[0294] 当在记录装置19中存在其图像要素模式“z”与基础图像的图像要素模式一致的图像时，该图像被检索为关联图像，CPU 23在步骤S147中确定检索到关联图像(步骤S147中“是”)，处理进入步骤S143。

[0295] 在步骤S143，CPU 23控制数字信号处理单元15把检索到的关联图像显示在触摸屏18上。从而，结束图13中的步骤S106中的图像分析和检索处理，处理进入步骤S111。 [0296] 另一方面，当在记录装置19中不存在其图像要素模式“z”与基础图像的图像要素模式一致的图像时，CPU 23在步骤S147中确定未检索到关联图像(步骤S147中“否”)，处理进入步骤S148。

[0297] 在步骤S148，CPU 23控制数字信号处理单元15在触摸屏18上显示不存在关联图像的指示。从而，结束图13中的步骤S106中的图像分析和检索处理，处理进入步骤S111。 [0298] 上面参考图12A-12E说明了按照本实施例的关联图像检索操作的第四实施例。上面参考图13-15的流程图，说明了与第四实施例对应的第四关联图像检索处理的例子。 [0299] 在上面说明的例子中，基础图像(静止图像或者运动图像)被用作充当基础的图像。在与基础图像关联的图像被设为关联图像的情况下，基于搜索关联图像的规则的操作被用作关联图像检索操作。

[0300] 除了关联图像检索操作之外，遵守在某一图像被设为基础图像的情况下，搜索与基础图像关联的图像的规则的操作(下面称为关联检索操作)也可被应用于例如安装在音乐播放器或者盘服务器设备中的GUI语境菜单等的显示操作。

[0301] 例如，图16是说明应用于安装在音乐播放器中的GUI语境菜单的显示操作的关联检索操作的操作例子的示图。具体地说，图16是 说明在显示成“音乐集”的GUI语境菜单被设为基础(下面称为基础菜单)的情况下，搜索与基础菜单关联的GUI语境菜单(下面称为关联菜单)的操作(下面称为关联菜单检索操作)的例子的示图。显示成“曲调”的GUI语境菜单被用于12音阶曲调分析等等。显示成“流派”的GUI语境菜单被用于诸如ID3标签之类的信息。

[0302] 例如，图17是说明应用于安装在光盘服务器设备中的GUI语境菜单的显示操作的关联检索操作的操作例子的示图。具体地说，图17是说明关于显示的基础菜单“盘服务器”，搜索基础菜单的关联菜单的关联菜单检索操作的例子的示图。

[0303] 上面说明了各种关联图像检索操作，和与之对应的相应各种关联图像检索处理。 [0304] 如上所述，关联图像检索操作是在不提供特殊的检索手段的情况下，允许用户用直观的操作，一个接一个地搜索关联图像的操作。关联图像检索操作可被应用于无具体目的地搜索关联图像的操作，如第一例子中那样，并且可被应用于检索所需的一个图像的目的，如第二到第四例子中那样。特别地，在第三例子中，即使就如此抽象、以致用户不能容易地想象搜索词的分类来说，也能够容易地搜索和检索关联图像。还能够实现对搜索的关联图像的终点(最后搜索的关联图像)应用任意操作，以检查搜索历史和检索历史的方法。借助这样的方法，能够容易地实现关联图像的重新搜索和重新检索。

[0305] 下面参考图18A-18C说明关联图像检索操作的第五例子。并参考图19的流程图，说明与第五例子对应的第五关联图像检索处理的例子。

[0306] 如图18A中所示，作为前提，假定所有图像组是分散在具有无限空间大小的桌面上的图像，并且所述桌面的一部分通常被显示在触摸屏18上。

[0307] 假定基本上与第一例子相同的操作被用作关联图像检索操作本身。用多种划线操作搜索多个关联图像。具体地说，如图18B中所示，当从基础图像P1开始首次进行划线操作时，关联图像P2和P4在首 次执行的划线操作结束的位置，即，松开手指f1的位置，被重新显示在触摸屏18上。当用户进一步从重新显示的关联图像，例如关联图像P2开始，第二次进行划线操作时，关联图像P3在第二次进行的划线操作结束的位置，即，松开手指f1的位置，被重新显示在触摸屏18上。

[0308] 这种情况下，重新显示的关联图像P3被显示在触摸屏18的右端。如果用户试图进一步沿向右的方式，从关联图像P2开始第二次进行划线操作，那么划线操作的终点位置在显示区之外。于是，难以在第二次进行的划线操作结束的位置，即松开手指f1的位置显示关联图像P3。

[0309] 不过，在第五例子中，如图18A中所示，作为前提，所有图像组分散在具有无限空间大小的桌面上。于是，原本能够在任意地点进行划线操作。不过，只是因为触摸屏18的显示大小有限，划线操作才变得困难。

[0310] 于是，在第五实施例中，显示在具有无限空间大小的桌面的触摸屏18上的区域被定义为显示区。按照这种定义，CPU 23把由搜索关联图像的操作(多次地执行的划线操作)检索到的新的关联图像显示在触摸屏18上，CPU 23执行下面说明的处理。当CPU 23确定新的关联图像与目前显示的显示区不相适应时，CPU 23执行自动移动显示区的移动处理，使得新的关联图像被显示在触摸屏18的中心。当CPU23确定新的关联图像与目前显示的显示区相适应时，CPU 23禁止移动处理。

[0311] 按照这样的移动处理，当用户试图从关联图像P2开始，超出显示区执行第二次划线操作时，如图18C中所示，新的关联图像P3被显示在触摸屏18的中心的位置(实线所示的位置)，而不是松开手指f1的位置(虚线所示的位置)。

[0312] 图19是说明与参考图18A-18C说明的关联图像检索操作的第五例子对应的关联图像检索处理(即，第五关联图像检索处理)的例子的流程图。

[0313] 在步骤S161，CPU 23确定是否选择了基础图像。

[0314] 当未选择基础图像时，CPU 23在步骤S161中确定未选择基础图像(步骤S161中“否”)，并使处理返回步骤S161。换句话说，在选择了基础图像之前，CPU 23反复执行步骤S161中的确定处理。

[0315] 之后，当选择了基础图像时，CPU 23在步骤S161中确定选择了基础图像(步骤S161中“是”)，处理进入步骤S162。

[0316] 在步骤S162，CPU 23控制数字图像处理单元15移动显示区，使得基础图像被显示在触摸屏18的中心。换句话说，基础图像被显示在触摸屏18的中心。

[0317] 在步骤S163，CPU 23确定触摸屏18上的基础图像的区域是否被触摸。 [0318] 当基础图像中的区域未被触摸时，CPU 23在步骤S163中确定未触摸基础图像中的区域(步骤S163中“否”)，使处理返回步骤S163。换句话说，在触摸了基础图像中的任意区域之前，CPU 23反复执行步骤S163中的确定处理。

[0319] 之后，当触摸了基础图像中的任意区域时，CPU 23在步骤S163中确定触摸了基础图像中的区域(步骤S163中“是”)，处理进入步骤S164。

[0320] 在步骤S164，CPU 23确定是否从基础图像进行划线操作。

[0321] 当未进行划线操作时，CPU 23在步骤S164中确定未进行划线操作(步骤S164中“否”)，使处理返回步骤S164，反复执行步骤S164和后续步骤中的处理。换句话说，在执行划线操作之前，CPU 23反复执行步骤S164中的确定处理。

[0322] 之后，当执行划线操作时，CPU 23在步骤S164中确定执行了划线操作(步骤S164中“是”)，处理进入步骤S165。

[0323] 在步骤S165，CPU 23从记录在记录装置19中的所有图像中检索关联图像。 [0324] 在步骤S166，CPU 23确定是否从触摸屏18松开手指f1，即，是否结束划线操作。 [0325] 当划线操作未结束时，CPU 23在步骤S166中确定未从触摸屏18松开手指f1(步骤S166中“否”)，使处理返回步骤S166，反复执行步骤S166和后续步骤中的处理。只要划线操作在继续，CPU 23就反复执行步骤S166中的确定处理。

[0326] 之后，当划线操作结束时，CPU 23在步骤S166中确定从触摸屏18松开了手指f1(步骤S166中“是”)，处理进入步骤S167。

[0327] 在步骤S167，CPU 23把关联图像显示在虚拟桌面上松开手指f1的位置。 [0328] 应注意的是关联图像被显示在虚拟桌面上，而不是触摸屏18上。换句话说，当在虚拟桌面上松开手指f1的位置是在显示区之外的位置时，在步骤S167中的处理的时候，关联图像不被显示在触摸屏18上。

[0329] 在步骤S168，CPU 23把显示图像历史信息保存在记录装置19中。

[0330] 在步骤S169，CPU 23确定关联图像是否能够被显示在触摸屏18上。

[0331] 如上所述，当在虚拟桌面上释放手指f1的位置是在显示区之外的位置时，如果这种状态不被改变，那么难以把关联图像显示在触摸屏18上。于是，在这种情况下，CPU 23在步骤S169中确定关联图像不能被显示在触摸屏18上(步骤S169中“否”)，处理进入步骤S170。

[0332] 在步骤S170，CPU 23控制数字信号处理单元15移动显示区，使得关联图像被显示在触摸屏18的中心。换句话说，关联图像被显示在触摸屏18的中心。例如，在图18A-18C中所示的例子中，如图18C中所示，关联图像P3被显示在触摸屏18的中心。之后，处理进入步骤S171。不过，后面说明步骤S171和后续步骤中的处理。

[0333] 另一方面，当在虚拟桌面上松开手指f1的位置是在显示区内的位置时，能够在不改变状态的情况下把关联图像显示在触摸屏18上。于是，在这种情况下，CPU 23在步骤S169中确定关联图像能够被显示在触摸屏18上，不执行步骤S170中的处理。处理进入步骤S171。

[0334] 在步骤S171，CPU 23确定是否指示了处理的结束。

[0335] 除非指示了处理的结束，否则CPU 23在步骤S171中确定未指示处理的结束(步骤S171中“否”)，使处理返回步骤S163，重复步骤S163和后续步骤中的处理。具体地说，每次执行划线操作时，反复执行步骤S163中的“是”，步骤S164中的“是”，S165，步骤S166中的“是”，S167，S168，步骤S169中的“是”/步骤S169中的“否”，S170，和步骤S171中的“否”构成的循环处理，新的关联图像被显示在触摸屏18的中心。通过重复划线操作，用户能够反复执行该循环处理，好像用户搜索关联图像似的。这样的关联图像一般被移动到触摸屏18的中心。

[0336] 之后，当指示了处理的结束时，CPU 23在步骤S171中确定指示了处理的结束(步骤S171中“是”)，结束第五关联图像检索处理。

[0337] 这样，在第五关联图像检索处理中，CPU 23自动移动物理尺寸有限的触摸屏18中的显示区，使得具有最高的用户再现优先级的图像(新的关联图像)总是被显示在触摸屏18的中心。从而，不管触摸屏18的显示尺寸，总是能够再现大量的图像，而不损坏图像的大小。还能够使用户经历在具有无限大小的桌面上搜索关联图像的体验。从而，不仅能够采用过去的把图像排列成矩阵形式的图像表现方法，而且能够采用允许用户如其所愿地排列图像，随后查看图像的图像表现方法。

[0338] 上面参考图18A-18C说明了关联图像检索操作的第五例子。上面参考图19的流程图说明了与第五实施例对应的第五关联图像检索处理的例子。

[0339] 在第五实施例中，当由搜索关联图像的操作(多次地执行的划线操作)检索的新的关联图像被显示在触摸屏18上时，当确定关联图像与目前显示的显示区相适应时，禁止显示区中的移动处理。例如，在图20A-20C中所示的例子中，假定关联图像P4是新的关联图像。这种情况下，如图20A中所示，新的关联图像P4不被显示在触摸屏18的中心，而是被显示在松开手指f1的位置。

[0340] 在图20A中所示的状态下，例如，当借助诸如GUI滑动条或收 缩/扩张(Pinch In/Out)之类的操作，放大或缩小当前显示区时，如图20B中所示，CPU 23执行自动移动显示区，使得新的关联图像P4被显示在触摸屏18的中心的移动处理。CPU 23放大或缩小如图20A中所示的显示区。下面把这样的一系列处理称为放大/缩小图像显示处理。 [0341] 图21是说明参考图20A-20C说明的放大/缩小图像显示处理的例子的流程图。 [0342] 在步骤S181，CPU 23确定是否执行了放大/缩小操作。

[0343] 当既没有执行放大操作，又没有执行缩小操作时，CPU 23在步骤S181中确定未执行放大/缩小操作(步骤S181中“否”)，并使处理返回步骤S181。换句话说，在执行放大操作或者缩小操作之前，CPU 23反复执行步骤S181中的确定处理。

[0344] 之后，当执行了放大操作或缩小操作时，CPU 23在步骤S181中确定执行了放大/缩小操作(步骤S181中“是”)，处理进入步骤S182。

[0345] 在步骤S182，CPU 23控制数字信号处理单元15移动显示区，使得新的关联图像被显示在触摸屏18的中心。换句话说，新的关联图像被显示在触摸屏18的中心。例如，在图20A-20C中所示的例子中，如图20B中所示，关联图像P4被显示在触摸屏18的中心。 [0346] 在步骤S183，CPU 23控制数字信号处理单元15放大或缩小用于显示的显示区。
例如，在图20A-20C中所示的例子中，如图20C中所示，显示区被放大显示。

[0347] 从而，结束放大/缩小图像显示处理。

[0348] 通过采用这样的放大/缩小图像显示处理，能够避免当用户进行放大操作时，用户最有意查看的图像(关联图像)的一部分被切除，或者图像被隐藏在显示区之外的缺陷。 [0349] 例如，CPU 23可控制数字信号处理单元15在触摸屏18上显示滚动条，并且当用户操作滚动条时，按照所述操作调整显示区。

[0350] 例如，CPU 23可检测用两根手指的划线操作，并按照划线操作的方向和移动距离调整显示区。

[0351] 例如，当CPU 23检测到在触摸屏18上的任意点的触摸操作时，CPU 23可使触摸屏18在围绕当前显示区的区域中，以地图的形式显示图像的散布状态。此外，例如，当CPU23检测到在地图上的触摸操作时，CPU 23可移动显示区，以把地图的范围设为显示区。 [0352] 上面说明的一系列处理可由硬件执行，或者可由软件执行。

[0353] 这种情况下，不言而喻，所述一系列处理可由图1中所示的成像设备执行。此外，例如，图22中所示的个人计算机可执行所述一系列处理。

[0354] 在图22中，CPU 101按照记录在ROM(只读存储器)102中的程序，或者从存储单元108装入RAM(随机存取存储器)103的程序，执行各种处理。当CPU 101执行各种处理时必需的数据等也酌情保存在RAM 103中。

[0355] CPU 101、ROM 102和RAM 103经总线104相互连接。输入和输出接口105也与总线104连接。

[0356] 包括键盘和鼠标的输入单元106、输出单元107、包括硬盘的存储单元108和包括调制解调器和终端适配器的通信单元109与输入和输出接口105连接。通信单元109控制经包括因特网在内的网络在个人计算机和另一设备(未示出)之间进行的通信。 [0357] 驱动器110也酌情与输入和输出接口105连接。可移除介质111，例如磁盘、光盘、磁光盘或半导体存储器被酌情插入驱动器110中。当需要时，从可移除介质111读取的计算机程序被安装到存储单元108中。

[0358] 当用软件执行所述一系列处理时，从网络或者记录介质，把构成软件的程序安装到包含在专用硬件中的计算机，或者通过安装各种程序能够实现各种功能的通用个人计算机等中。

[0359] 包括这种程序的记录介质并不局限于独立于如图1或22中所示的设备主体分发的，从而向用户提供程序的可移除介质(封装介质)111，例如磁盘(包括软盘)、光盘(CD-ROM(压缩盘只读存储器)和DVD(数字多功能光盘))、磁光盘(包括MD(迷你盘))或者半导体存储 器。记录介质可以是包括在通过预先并入设备主体中而提供给用户的、并且其中记录程序的图1中所示的程序ROM 26，或者图22中所示的ROM 102或存储单元108中的硬盘等。

[0360] 在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照步骤的顺序按时序执行的处理，而且包括并不总是按时序处理的并行或者单独执行的处理。 [0361] 上面，诸如液晶显示面板17之类的液晶显示装置被描述成由按照实施例的信息处理设备控制以显示图像的显示装置。不过，本发明不但可应用于液晶显示面板，而且可应用于下述显示装置。本发明可应用于指令每个单元(下面把这样的单元称为区段)，例如形成运动图像的帧或场的显示，并且其中持续预定时间形成一个区段的多个像素由显示元件构成，并且至少一部分的显示元件的显示可被保持的显示装置。下面把这样的显示元件称为保持型显示元件。其中屏幕由所述显示元件构成的显示装置被称为保持型显示装置。换句话说，液晶显示装置只是保持型显示装置的一个例子，本发明可应用于全部保持型显示装置。

[0362] 此外，本发明不仅可应用于保持型显示装置，而且可应用于利用有机EL(电致发光)器件作为发光元件的平面自发光显示装置。本发明适用于其中图像由多于一个的像素构成，并且包括显示所述像素的显示元件的所有显示装置。这样的显示装置被称为像素型显示装置。在像素型显示装置中，一个显示元件不必与一个像素关联。

[0363] 换句话说，由按照实施例的信息处理设备控制，以显示图像的显示装置只需要是能够执行上述一系列处理的显示装置。

[0364] 本申请包含和于2008年8月28日在日本专利局提交的日本优先权专利申请JP2008-219120中公开的主题相关的主题，该专利申请的整个内容在此引为参考。 [0365] 本领域的技术人员应明白，根据设计要求和其它因素，可产生各种修改、组合、子组合和变更，只要它们在附加的权利要求或其等同物的范围之内。