图像处理设备和图像处理方法转让专利
申请号 : CN200580035982.7
文献号 : CN101049008B
文献日 : 2010-05-05
发明人 : 德永幸史
申请人 : 佳能株式会社
摘要 :
传统上，用于改变数字图像颜色的用户界面具有色调、色度和亮度三要素彼此独立的结构，且这三要素之间的关系难以识别，结果使可用性很差。本发明提供一种用户界面，该用户界面在表示任意颜色系统的色度图上可移动地显示代表原始颜色的颜色对象。用户可通过在色度图上移动颜色对象来指定目标颜色。因而，用户可容易地选择和指定实际使用的颜色。
权利要求 :
1.一种图像处理设备，其特征在于，包括：
图像显示单元，用于显示数字图像；
色度图显示单元，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；
选择单元，用于允许用户从数字图像或色调/色饱和度图选择颜色；
颜色对象显示单元，用于在所述色度图显示单元显示的色度图上显示所述选择单元选择的颜色作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动单元，用于响应用户操作在所述色度图上移动所述颜色对象，以及其中，所述颜色对象移动单元响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中，由所述颜色对象显示单元最初显示的颜色对象和由所述颜色对象移动单元移动后的颜色对象二者显示在由所述色度图显示单元显示的所述色度图上，其中，除了所述数字图像以外，所述图像显示单元还显示通过对所述数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于被所述颜色对象移动单元移动后的颜色对象的颜色的处理而生成的目标图像。
2.根据权利要求1所述的图像处理设备，其特征在于，与由所述颜色对象移动单元移动后的颜色对象相关联地显示由所述颜色对象显示单元显示的所述颜色对象。
3.根据权利要求1所述的图像处理设备，其特征在于，由所述色度图显示单元显示的色度图表示L*a*b*颜色系统、XYZ颜色系统、蒙塞尔颜色系统、RGB颜色系统、USC颜色系统和L*c*h颜色系统中至少一种颜色系统的内容。
4.根据权利要求1所述的图像处理设备，其特征在于，所述选择单元允许用户选择所述数字图像上的颜色。
5.根据权利要求1所述的图像处理设备，其特征在于，所述选择单元允许用户在所述色度图显示单元显示的色度图上选择颜色。
6.根据权利要求1所述的图像处理设备，其特征在于，所述颜色对象显示单元显示至少一个颜色对象。
7.根据权利要求1所述的图像处理设备，其特征在于，在所述色度图上显示至少一对由所述颜色对象显示单元显示的颜色对象和由所述颜色对象移动单元移动后的颜色对象。
8.根据权利要求2所述的图像处理设备，其特征在于，通过显示用线连接由所述颜色对象显示单元显示的颜色对象和由所述颜色对象移动单元移动后的颜色对象来表示所述两颜色对象之间的关联，并且该线被显示为线段、线段箭头、虚线段和虚线段箭头中的至少一个。
9.根据权利要求1所述的图像处理设备，其特征在于，所述颜色对象移动单元响应于在亮度图上移动颜色对象的用户操作，在亮度图上移动所述颜色对象，但不在色调/色饱和度图上移动所述颜色对象。
10.根据权利要求1所述的图像处理设备，其特征在于，所述颜色对象移动单元响应于在色调/色饱和度图上移动颜色对象的用户操作，在亮度图上移动所述颜色对象，并使得所述颜色对象表现出恒定的亮度.
11.根据权利要求1所述的图像处理设备，其特征在于，以圆环的形式显示色调/色饱和度图和亮度图，并且其中，在色调/色饱和度图中色调/色饱和度在径向上逐渐变化，在亮度图中亮度在径向上逐渐变化。
12.根据权利要求11所述的图像处理设备，其特征在于，将颜色对象在亮度图上的移动限制为从亮度图的中心到所述颜色对象的半径。
13.根据权利要求11所述的图像处理设备，其特征在于，所述颜色对象显示单元将颜色对象显示在亮度图上与所述颜色对象在色调/色饱和度图上的位置相对应的位置处。
14.根据权利要求13所述的图像处理设备，其特征在于，所述颜色对象显示单元将颜色对象显示在亮度图上如下角度总是彼此相等的位置处：在垂直方向上经过色调/色饱和度图的圆心所划的直线与经过色调/色饱和度图的圆心和色调/色饱和度图上的颜色对象的直线所成的角度；以及在垂直方向上经过亮度图的中心所划的直线与经过亮度图的中心和亮度图上的颜色对象的直线所成的角度。
15.一种图像处理方法，其特征在于，包括：
图像显示步骤，用于显示数字图像；
色度图显示步骤，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；
选择步骤，用于允许用户从数字图像或色调/色饱和度图选择颜色；
颜色对象显示步骤，用于将所述选择步骤选择的颜色显示在所述色度图显示步骤显示的所述色度图上作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动步骤，用于响应用户操作在所述色度图上移动所述颜色对象，以及其中，在所述颜色对象移动步骤中响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中，由所述色度图显示步骤最初显示的颜色对象和由所述颜色对象移动步骤移动后的颜色对象二者显示在由所述色度图显示步骤显示的所述色度图上，其中，除了所述数字图像以外，所述图像显示步骤还显示通过对所述数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于由所述颜色对象移动步骤移动后的颜色对象的颜色的处理而生成的目标图像。
16.根据权利要求15所述的图像处理方法，其特征在于，在所述颜色对象移动步骤中响应于在亮度图上移动颜色对象的用户操作，在亮度图上移动所述颜色对象，但不在色调/色饱和度图上移动所述颜色对象。
17.根据权利要求15所述的图像处理方法，其特征在于，在所述颜色对象移动步骤中响应于在色调/色饱和度图上移动颜色对象的用户操作，在亮度图上移动所述颜色对象，并使得所述颜色对象表现出恒定的亮度。
18.根据权利要求15所述的图像处理方法，其特征在于，以圆环的形式显示色调/色饱和度图和亮度图，并且其中，在色调/色饱和度图中色调/色饱和度在径向上逐渐变化，在亮度图中亮度在径向上逐渐变化.
19.根据权利要求18所述的图像处理方法，其特征在于，将颜色对象在亮度图上的移动限制为从亮度图的中心到所述颜色对象的半径。
20.根据权利要求18所述的图像处理方法，其特征在于，在所述颜色对象显示步骤中将颜色对象显示在亮度图上与所述颜色对象在色调/色饱和度图上的位置相对应的位置处。
21.根据权利要求20所述的图像处理方法，其特征在于，在所述颜色对象显示步骤中将颜色对象显示在亮度图上如下角度总是彼此相等的位置处：在垂直方向上经过色调/色饱和度图的圆心所划的直线与经过色调/色饱和度图的圆心和色调/色饱和度图上的颜色对象的直线所成的角度；以及在垂直方向上经过亮度图的中心所划的直线与经过亮度图的中心和亮度图上的颜色对象的直线所成的角度。
说明书 :
技术领域
本发明涉及一种图像处理设备和图像处理方法，其用于进行显示使得允许用户在通过计算机、数字照相机等修饰数字图像时容易和直观地识别由其自己选择和改变的颜色信息。
背景技术
现今，随着数字照相机的快速普及，在家庭和商业中处理数字图像的机会也不断增加。因此，需要改进用于修饰图像(例如将数字图像改变为偏爱的色彩)的应用软件的功能。为了满足这种用户需要，目前开发者正在开发具有各种功能的各种类型的软件。
在这些软件中，作为用于改变数字图像颜色的一般用户界面，已知的有GUI(Graphical User Interface，图形用户界面)，它将改变项分为三种要素，即色调(hue)、色饱和度(chroma)和亮度(brightness)，并允许用户改变各项(例如，参见日本特开平08-186727)。
用户通过例如移动可左右移动的滑块条或通过输入色调、色饱和度和亮度的数值来改变各要素的值。为了确认颜色改变的程度，使用以下方法。即，显示刚施加了改变的数字图像，使得具有原始颜色和目标颜色的数字图像并排显示在屏幕上，并且将用户选择的颜色改变为专用调色板上的偏爱颜色。
然而，传统的用户界面具有单独改变三要素即色调、色饱和度和亮度的结构。例如，当要改变颜色时，必须移动为这三要素配备的滑块条。因此，用户难以识别三要素的相关性和可改变的颜色范围的信息，并且需要长时间来找出所需要的颜色。也难以直观地识别颜色空间上原始颜色和目标颜色之间的关系。传统上，一些界面在色度(chromaticity)图上显示原始颜色和目标颜色中的一个，但还没有同时显示原始颜色和目标颜色的界面可用。
在这些软件中，作为用于改变数字图像颜色的一般用户界面，已知的有GUI(Graphical User Interface，图形用户界面)，它将改变项分为三种要素，即色调(hue)、色饱和度(chroma)和亮度(brightness)，并允许用户改变各项(例如，参见日本特开平08-186727)。
用户通过例如移动可左右移动的滑块条或通过输入色调、色饱和度和亮度的数值来改变各要素的值。为了确认颜色改变的程度，使用以下方法。即，显示刚施加了改变的数字图像，使得具有原始颜色和目标颜色的数字图像并排显示在屏幕上，并且将用户选择的颜色改变为专用调色板上的偏爱颜色。
然而，传统的用户界面具有单独改变三要素即色调、色饱和度和亮度的结构。例如，当要改变颜色时，必须移动为这三要素配备的滑块条。因此，用户难以识别三要素的相关性和可改变的颜色范围的信息，并且需要长时间来找出所需要的颜色。也难以直观地识别颜色空间上原始颜色和目标颜色之间的关系。传统上，一些界面在色度(chromaticity)图上显示原始颜色和目标颜色中的一个，但还没有同时显示原始颜色和目标颜色的界面可用。
发明内容
本发明是鉴于该传统问题而进行的，目的是提供一种图像处理设备和图像处理方法，其进行允许用户容易和直观地识别自己所选择和改变的颜色信息的显示。
根据本发明的一方面，提供了一种图像处理设备，其特征在于，包括：图像显示单元，用于显示数字图像；色度图显示单元，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；选择单元，用于允许用户从数字图像或色调/色饱和度图选择颜色；颜色对象显示单元，用于将由选择单元选择的颜色显示在由色度图显示单元显示的色度图上作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动单元，用于响应用户操作在色度图上移动颜色对象，以及其中，所述颜色对象移动单元响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中由颜色对象显示单元最初显示的颜色对象和由颜色对象移动单元移动后的颜色对象二者显示在由色度图显示单元显示的色度图上，并且除了数字图像以外，图像显示单元还显示通过对数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于被颜色对象移动单元移动后的颜色对象的颜色的处理而生成的目标图像.
根据本发明的另一方面，提供了一种图像处理方法，其特征在于，包括以下步骤：图像显示步骤，用于显示数字图像；色度图显示步骤，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；选择步骤，用于允许用户从数字图像或色调/色饱和度图选择颜色；颜色对象显示步骤，用于将由选择步骤选择的颜色显示在由色度图显示步骤显示的色度图上作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动步骤，用于响应用户操作在色度图上移动颜色对象，以及其中，在所述颜色对象移动步骤中响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中由色度图显示步骤显示的颜色对象和由颜色对象移动步骤移动后的颜色对象二者显示在由色度图显示步骤显示的色度图上，并且除了数字图像以外，图像显示步骤还显示通过对数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于由颜色对象移动单元移动后的颜色对象的颜色的处理而生成的目标图像。
根据本申请的发明，当用户想要在包括色调、色饱和度和亮度要素的色度图上改变所选择的颜色时，用户可以容易地理解色调、色饱和度和亮度之间的关系。由于用户看一眼就可以从色度图上确认可改变颜色范围的信息，所以用户可以容易地找出目标颜色。由于显示在色度图上的移动前后的颜色对象被同时显示，所以用户可容易地识别原始颜色和目标颜色之间的关系。此外，根据本申请的另一发明，由于通过箭头连接这两个颜色对象，所以用户看一眼就可以识别历史记录，即颜色是如何改变的。
通过下面对本发明优选实施例的描述，对于本领域技术人员来说，以上所讨论的以及其他的目的和优点将是显而易见的。在本说明书中引用了附图，该附图构成说明书的一部分，并示出本发明的各种实施方式的例子。然而，该例子并非本发明各种实施方式的全部，因此给出所附的用于确定本发明范围的权利要求。
根据本发明的一方面，提供了一种图像处理设备，其特征在于，包括：图像显示单元，用于显示数字图像；色度图显示单元，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；选择单元，用于允许用户从数字图像或色调/色饱和度图选择颜色；颜色对象显示单元，用于将由选择单元选择的颜色显示在由色度图显示单元显示的色度图上作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动单元，用于响应用户操作在色度图上移动颜色对象，以及其中，所述颜色对象移动单元响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中由颜色对象显示单元最初显示的颜色对象和由颜色对象移动单元移动后的颜色对象二者显示在由色度图显示单元显示的色度图上，并且除了数字图像以外，图像显示单元还显示通过对数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于被颜色对象移动单元移动后的颜色对象的颜色的处理而生成的目标图像.
根据本发明的另一方面，提供了一种图像处理方法，其特征在于，包括以下步骤：图像显示步骤，用于显示数字图像；色度图显示步骤，用于显示表示颜色系统的色度图，所述色度图包括色调/色饱和度图和亮度图；选择步骤，用于允许用户从数字图像或色调/色饱和度图选择颜色；颜色对象显示步骤，用于将由选择步骤选择的颜色显示在由色度图显示步骤显示的色度图上作为颜色对象，其中将所述颜色对象既显示在色调/色饱和度图上，又显示在亮度图上；以及颜色对象移动步骤，用于响应用户操作在色度图上移动颜色对象，以及其中，在所述颜色对象移动步骤中响应于在色调/色饱和度图上移动颜色对象的用户操作，在色调/色饱和度图上移动所述颜色对象，并与所述颜色对象在色调/色饱和度图上的移动相一致地在亮度图上自动移动所述颜色对象，其中由色度图显示步骤显示的颜色对象和由颜色对象移动步骤移动后的颜色对象二者显示在由色度图显示步骤显示的色度图上，并且除了数字图像以外，图像显示步骤还显示通过对数字图像施加用于将对应于移动前的颜色对象的颜色改变为对应于由颜色对象移动单元移动后的颜色对象的颜色的处理而生成的目标图像。
根据本申请的发明，当用户想要在包括色调、色饱和度和亮度要素的色度图上改变所选择的颜色时，用户可以容易地理解色调、色饱和度和亮度之间的关系。由于用户看一眼就可以从色度图上确认可改变颜色范围的信息，所以用户可以容易地找出目标颜色。由于显示在色度图上的移动前后的颜色对象被同时显示，所以用户可容易地识别原始颜色和目标颜色之间的关系。此外，根据本申请的另一发明，由于通过箭头连接这两个颜色对象，所以用户看一眼就可以识别历史记录，即颜色是如何改变的。
通过下面对本发明优选实施例的描述，对于本领域技术人员来说，以上所讨论的以及其他的目的和优点将是显而易见的。在本说明书中引用了附图，该附图构成说明书的一部分，并示出本发明的各种实施方式的例子。然而，该例子并非本发明各种实施方式的全部，因此给出所附的用于确定本发明范围的权利要求。
附图说明
包含在说明书中并构成说明书的一部分的附图示出了本发明的实施方式，并与本说明书一起用于解释本发明的原理。
图1示出根据本发明第一实施例的图像处理设备提供的用户界面的例子；
图2是示出根据第一实施例的图像处理设备的配置例子的框图；
图3是说明根据第一实施例的图像处理设备提供的色度图的视图；
图4是说明根据第一实施例的图像处理设备的颜色转换处理序列的流程图；
图5A至5D是示出根据第一实施例的图像处理设备在颜色转换处理时提供的色度图的状态改变例子的视图；
图6是示出根据第一实施例的图像处理设备在颜色转换处理时提供的色度图的状态改变的另一例子的视图；
图7是示出根据本发明第二实施例的图像处理设备的配置例子的框图；
图8是示出颜色转换处理的流程图；
图9是示出鼠标输入等待处理的流程图；
图10示出颜色转换列表的结构；以及
图11示出X-Y色度图的例子。
图1示出根据本发明第一实施例的图像处理设备提供的用户界面的例子；
图2是示出根据第一实施例的图像处理设备的配置例子的框图；
图3是说明根据第一实施例的图像处理设备提供的色度图的视图；
图4是说明根据第一实施例的图像处理设备的颜色转换处理序列的流程图；
图5A至5D是示出根据第一实施例的图像处理设备在颜色转换处理时提供的色度图的状态改变例子的视图；
图6是示出根据第一实施例的图像处理设备在颜色转换处理时提供的色度图的状态改变的另一例子的视图；
图7是示出根据本发明第二实施例的图像处理设备的配置例子的框图；
图8是示出颜色转换处理的流程图；
图9是示出鼠标输入等待处理的流程图；
图10示出颜色转换列表的结构；以及
图11示出X-Y色度图的例子。
具体实施方式
下面将参照附图详细说明本发明的优选实施方式。
第一实施例
图2是示出根据本发明第一实施例的图像处理设备的配置例子的框图。
如图2所示，本实施例的图像处理设备可以通过可在市场上获得的作为个人计算机的一般用途的计算机设备来实现。参照图2，附图标记201表示用于控制图像处理设备的操作的运算处理装置(CPU)。
附图标记202表示存储模块，其上映射有程序和图像数据。所述程序包括用于执行图像显示和图像处理控制的程序代码，并通过CPU来执行。
附图标记203表示硬盘，其记录包括图像处理程序(将在后面描述的修饰应用程序)在内的程序及图像数据等数字数据。
附图标记204表示外部存储介质读/写器。当程序和图像数据记录在外部存储介质205上时，通过外部存储介质读/写器将它们加载到存储模块上。图2以DVD-RW驱动器为例进行了说明。外部存储介质读/写器还包括例如CD-ROM、CD-R、DVD-RAM等的光盘、例如软盘、MO等的磁盘、以及例如闪速存储器等的非易失性存储器。
附图标记206表示网卡。通过经由该装置连接到LAN 207、WWW等来加载记录在可访问的记录装置上的程序和图像数据。
本实施例采用以下模式，该模式通过将记录在硬盘驱动器上的程序和图像数据加载到存储模块上并由CPU执行它们从而使计算机设备作为本实施例的图像处理设备。然而，后面要描述的颜色转换处理中的至少一部分步骤可由数字照相机主体或专用硬件来执行。
附图标记208表示用于输出图像数据等视频信号的视频卡。输出信号被输入到用于显示图像数据等的显示单元(显示器)209，例如CRT显示器、液晶显示面板等。
附图标记210和211表示对应于用户操作单元的键盘和鼠标。
附图标记212表示系统总线，例如PCI总线等，用于相互连接图像处理设备中的各个处理单元。
图1示出在本实施例的图像处理设备中执行具有包括颜色转换处理的图像修饰功能的图像处理程序时呈现在显示器209上的用户界面的例子。用户可以通过使用键盘210和鼠标211对图1中所示的GUI进行操作，从而将指令输入到图像处理设备。用户操作单元使用通常使用的装置，例如鼠标和键盘、操纵垫(joy pad)、操作按钮和安装在设备上的触摸面板等。本实施例采用使用鼠标211作为操作单元的模式。
参照图1，附图标记101表示原始图像数据.当用户通过例如已知的方法从存储在硬盘驱动器等存储装置中或数字照相机等外部装置中的数字图像数据中选择了原始图像数据时，该原始图像数据被用户加载.用户可以通过操作用户操作单元来选择原始图像数据的像素或小区域从而选择包括在原始图像数据中的任意颜色.
附图标记102表示色度图。本实施例采用L*a*b*颜色系统的色度图。本实施例的图像处理设备所呈现的色度图102包括表示色调和色饱和度的色调/色饱和度图103和表示亮度的亮度图104。用户可以通过操作用户操作单元选择色调/色饱和度图103上的任意颜色。此外，用户可以将颜色对象显示在色度图上。色度图的细节将在后文中描述。
附图标记105表示按照用户操作单元的操作移动的鼠标指针。
附图标记106表示当用户选择原始图像数据101上或色度图上的任意颜色时显示在色调/色饱和度图103上的颜色对象。使用圆形图案、矩形图案等显示颜色对象。本实施例采用矩形显示。
附图标记107表示当选择了原始图像数据101上的任意颜色时显示在亮度图104上的颜色对象。使用圆形图案、矩形图案等显示颜色对象。本实施例采用如颜色对象106中的矩形显示。
颜色对象107被显示在以下角度总是彼此相等的位置上：
●在垂直方向上穿过色调/色饱和度图103的圆心划出的直线与穿过色调/色饱和度图103的圆心和颜色对象106的直线构成的角；以及
●在垂直方向上穿过亮度图104的圆心划出的直线与穿过亮度图104的圆心和颜色对象107的直线构成的角。
附图标记108表示通过使用鼠标指针105在色调/色饱和度图103上移动(例如，拖放)颜色对象106所显示的颜色对象。至少一部分颜色对象的显示颜色被改变为在色调/色饱和度图上移动终点的位置处的颜色。
附图标记109表示与所移动的颜色对象108相对应的在亮度图104上移动的颜色对象。
附图标记110表示通过使用鼠标指针105在亮度图104上移动颜色对象109所显示的颜色对象。至少一部分颜色对象的颜色被改变为对应于移动终点的位置处的亮度的颜色。
附图标记111、112和113表示连接颜色对象106和108、107和109及109和110的线。本实施例采用显示带箭头的线段的模式。
附图标记114表示当将通过用户操作在色度图上改变的颜色应用于原始图像时的图像。该图像在下文中被称为目标图像。
用户使用例如鼠标指针105从图1中所示的屏幕上选择在原始图像上或在色度图上要被改变的颜色。响应于该选择，图像处理设备在色度图102上显示颜色对象。然后用户使用鼠标移动在色度图上所显示的颜色对象以改变颜色，从而对图像进行修饰。
下面使用图3更详细地描述本实施例的图像处理设备所呈现的色度图。
本实施例中所用的色度图采用L*a*b*颜色系统。L*a*b*颜色系统是由Commission Internationale de l′Eclairage(CIE，国际照明委员会)于1976标准化的，并且由JIS(JISZ8729)在日本采用。在L*a*b*颜色系统中，亮度由L*表示，色调和色饱和度由a*和b*表示。
在图3中的色度图上，附图标记103表示色调/色饱和度图.色调是表示色彩(tint)的指标，色饱和度是表示颜色鲜艳度(vividness)的指标.颜色随着色饱和度值的增加而变得更鲜艳，随着色饱和度值的减少而变得更接近灰色.在图3的圆中，右方向表示+a*，左方向表示-a*，上方向表示+b*，而下方向表示-b*。于是，采用符合L*a*b*颜色系统的色调圆的颜色布局。更具体来说，红色、粉红色、蓝色、浅绿色、绿色、黄色和灰色被连续布局在A、B、C、D、E、F和G上。色度值越靠近圆心变得越低，越远离圆心变得越高。
在图3的色度图中，附图标记104表示亮度图。亮度是表示颜色明亮度的指标。随着亮度值的增加颜色变得更接近白色，而随着亮度值的减少颜色变得更接近黑色。在亮度图104上，越靠近圆心亮度值变得越低，而越远离圆心亮度值变得越高。
注意，类似的色度图也可由L*a*b*颜色系统以外的颜色系统，例如XYZ颜色系统、蒙塞尔(Munsell)颜色系统、RGB颜色系统、US C颜色系统、L*c*h颜色系统等来实现，并且可以使用基于任意颜色系统的色度图。
注意，类似的色度图(色调/色饱和度图)也可在L*a*b*颜色系统以外的颜色系统，例如蒙塞尔颜色系统、奥斯特华德(Ostwald)颜色系统和CIE-compliant颜色系统上实现，并且可以使用基于任意颜色系统的色度图。使用色度图的理由是用户可以直观理解颜色系统的概念。亦即，本实施例使用可由圆表示的色度图。然而，本发明不局限于圆形色度图，只要可以从色度图获得如图11所示出的X-Y色度图那样的坐标即可。至于亮度图，可以使用具有与图1同样格式的图。
下面将使用图4和图5A至5D描述本实施例的图像处理设备的颜色转换处理操作和色度图显示状态的改变。
图4是用于说明本实施例的图像处理设备的颜色转换处理操作的流程图。图5A至5D示出在颜色转换处理时图像处理设备所呈现的色度图状态改变的例子，并且示出针对颜色对象的用户操作及对应于该操作的显示改变。
如果用户在图4的S401中在所显示的原始图像101上或色度图102上选择任意颜色，则流程进行至S403。颜色对象501和502分别显示在色度图的色调/色饱和度图103和亮度图104上。
如果选择了所显示的原始图像101上的任意颜色，则颜色对象501显示在所选择的颜色与色调/色饱和度图103上的颜色位置相符的位置处(图5A)。如果选择了色度图102上的任意颜色，则在该位置处显示颜色对象501(图5A)。
在亮度图104上，颜色对象502显示在与色调/色饱和度图103上所显示的颜色对象501的位置相对应的位置处(图5A)。该对应位置与关于图1中的颜色对象107的位置所描述的相同。如下文所述，颜色对象502的显示颜色对应于颜色对象501所显示的色调/色饱和度图103上的颜色。因此，在图5A的例子中，颜色对象502显示为黄绿色。在颜色对象502被显示之后，同时显示连接亮度图104的圆心和颜色对象502的直线503和以亮度图104的圆心为圆心、以颜色对象502为半径的圆(图5A)。
如果没有从原始图像101或色度图102中选择颜色，则在S402中确认是否选择已显示的颜色对象。如果选择已显示的颜色对象，则流程进行至S404。
在S404中确认是否使用鼠标指针作为用户操作单元拖动在色调/色饱和度图103上显示的颜色对象。如果拖动显示在色调/色饱和度图103上的颜色对象，则流程进行至S405；如果拖动显示在亮度图104上的颜色对象，则流程通过S408进行至S409。
下面描述当移动显示在色调/色饱和度图103上的颜色对象时执行的S405。用户可以通过拖动图5B中的鼠标指针505来移动颜色对象501。颜色对象501可被移动到色调/色饱和度图103圆内的任意位置。在S405中，改变颜色对象501在色调/色饱和度图103上的显示位置(图5B)。
在S406中，根据颜色对象501的移动自动改变颜色对象502在图5A中的亮度图104上的显示位置(图5B)。注意，颜色对象502的可移动范围限于图5A中的圆504的圆周。这是因为即使当色调/色饱和度值被改变时亮度还保持相同。
重复S405和S406中的处理直到在S407中判断出颜色对象的移动结束。
举例来说，如图5B所示，当用户将颜色对象501移动至颜色对象506时，颜色对象502沿着如图5B中虚线所示的圆504的弧移动至颜色对象507。当完成拖动处理并且颜色对象的移动位置定下时，显示穿过亮度图104的圆心和颜色对象507的直线508(图5B)。注意，移动之后颜色对象507的显示颜色对应于色调/色饱和度图103上对应的颜色对象506所显示的颜色，在图5B中它是淡黄色，如下文所述。
下面说明在S408中拖动显示在亮度图104上的颜色对象的情况。显示在亮度图104上的颜色对象可沿着连接亮度图104的圆心和颜色对象的直线移动。例如，颜色对象507可沿图5B中的直线508移动。在S409中，响应于如图5C中的虚线所示的用户的拖动操作，颜色对象沿着亮度图104上的直线508移动。重复S 409中的处理直到在S410中判断出颜色对象的移动结束。
在移动完成后，显示以移动后的颜色对象和亮度图104的圆心为半径的圆(图5C)。例如，在图5C中，当颜色对象507移至颜色对象511时，显示圆512。在该步骤中，由于只改变亮度，所以色调/色饱和度图103上的颜色对象506不移动。
如果在S407或S410中确认颜色对象的移动结束，则流程进行至S411。在S411中，执行将移动后的颜色对象的显示颜色改变为颜色对象在移动终点处的位置所表示的颜色的处理。即，当在色调/色饱和度图103上移动颜色对象时，亮度图104上的相应颜色对象显示为对应于移动后的位置的颜色。另一方面，当在亮度图104上移动颜色对象时，移动后的颜色对象的显示颜色的亮度被改变为对应位置处的亮度。
在S412中，执行用于显示连接在S402或S403中选择和显示的颜色对象与移动后的颜色对象的带箭头的线段509(图5C)、510(图5C)或513(图5D)的处理。本实施例采用显示带箭头的线段的模式。作为选择，也可使用线段、虚线段或带箭头的虚线段等。
在S413中，显示通过对原始图像应用将对应于最初选择的颜色对象的颜色(原始颜色)改变为对应于移动完成后的颜色对象的颜色(目标颜色)的处理而生成的目标图像。
颜色转换结果对应于图1中所示的窗口上的目标图像114。如果在S414中输入程序结束指令，则程序结束；否则，流程返回至S401以重复上述处理。
下面使用图1和图8的流程图详细描述S413中对原始图像应用用于将颜色改变为对应于移动完成后的颜色对象的颜色(目标颜色)的处理。在本实施例中，产生用于颜色转换的三维查找表(three-dimensional lookup table，以下简称3DLUT)，并将其应用于原始图像以完成颜色转换处理。
在S801中，当用户用鼠标操作鼠标指针105来点击原始图像101上的任意点时，移动前的颜色对象106显示在色度图上.当用户通过用鼠标拖动颜色对象106而将其移动至色调/色饱和度图103上用户偏爱颜色所在的位置时，显示移动后的颜色对象108.在这种情况下，获得了移动前的颜色对象106和移动后的颜色对象108在色度图上的位置处的两个颜色信息.
预先用颜色信息设定色度图。更具体地说，在色度图上颜色对象可以移动的所有坐标位置处设定相应的RGB值。在图1所示的例子中，给出了包括符合Lab颜色系统的色度图的GUI。在此情况下，与色度图的各坐标位置对应设置的颜色信息也由RGB值来表示。
将L*a*b*颜色空间坐标值转换为RGB颜色空间坐标值的方法对于本领域技术人员是公知的。此方法将在以下简要说明。更具体地说，转换可以以L*a*b*→XYZ→RGB的顺序完成。
如果L*a*b*颜色系统的L、a和b值分别为亮度指标L(0≤L≤100)、可察觉色度(perceivable chromaticity)a(-134≤a≤220)和可察觉色度b(-140≤b≤122)，RGB颜色系统的R、G和B值分别为R(0≤R≤255)、G(0≤G≤255)和B(0≤B≤255)，而XYZ颜色系统的X、Y和Z值分别为X(0≤X≤1)、Y(0≤Y≤1)和Z(0≤Z≤1)，那么我们有：
X＝xγ×Xγ
Y＝yγ×Yγ
(1)
Z＝zγ×Zγ
R＝3.240479×X-1.53715×Y-0.498535×Z
G＝-0.969256×X+1.875991×Y+0.041556×Z
B＝0.055648×X-0.204043×Y+1.057311×Z (2)
通过公式(1)和(2)的算术运算来计算和设定L*a*b*色度图上各点的RGB值。因此，可根据颜色对象在色度图上当前所处的位置来获得相应的RGB值。
在S802中，将所获得的移动前颜色对象的RGB值(Rs(i)、Gs(i)、Bs(i))与移动后颜色对象的RGB值(Rd(i)、Gd(i)、Bd(i))相关联.如果移动前后颜色对象有多个，如图6所示(将在下文描述)，则生成将各个颜色转换处理中的移动前后的颜色对象相关联的颜色转换列表.图10示出颜色转换列表的例子.图10中所示例子示出由用户设定的要转换的颜色数量为C的情形.于是，i＝0至C-1.
在S803中，根据所生成的颜色转换列表产生3DLUT(三维查找表)。在本实施例中，为了减小3DLUT的大小，通过准备将R、G和B值范围(从最小值(0)至最大值(255))分成8份而获得的729(＝9×9×9)个三维代表格点来产生3DLUT。当3DLUT作为颜色转换表应用于原始图像时，通过插值从对应于代表格点的RGB值计算出对应于除了代表格点外的转换后的RGB值。插值处理将在下文描述。
最初，生成作为3DLUT基础的基准值。对于这些值，如上所述，以32步长的递增产生R、G和B值(R(n)、G(n)、B(n))(n＝0至728)。从颜色转换列表检索到接近于所产生的基准值(R(n)、G(n)、B(n))的RGB值。该检索处理使用以下公式和值差E来完成：
E＝((Rs(i)-R(n))^2+(Gs(i)-G(n))^2+(Bs(i)-B(n))^2)^0.5 (3)
如果值E小于阈值Th，那么从移动前颜色对象的颜色值和相关联的移动后颜色对象的颜色值计算出差值dR、dG和dB。
dR(y)＝Rs(i)-Rd(i)
dB(y)＝Bs(i)-Bd(i)
dG(y)＝Gs(i)-Gd(i) (4)
对所有值(i＝0至C-1)执行该检索处理，计算与基准值的值差E小于或等于Th的所有值的dR、dG和dB的平均值dRave、dGave和dBave，并且通过利用基准值进行算术运算来计算基准值R(n)、G(n)、B(n)的颜色转换参数Rt(n)、Gt(n)和Bt(n)。
Rt(n)＝R(n)-dRave
Gt(n)＝G(n)-dGave
Bt(n)＝B(n)-dBave (5)
如果没有发现E值小于Th的值，那么Rt(n)、Gt(n)和Bt(n)通过以下计算得到：
Rt(n)＝R(n)
Gt(n)＝G(n)
Bt(n)＝B(n) (6)
重复进行上述处理直到n＝728。
如上所述，确定出作为用于反映颜色转换列表的转换参数的3DLUT。
在S804中，3DLUT应用于原始图像101。应用方法如下。
首先阐述对3DLUT的代表格点以外的值的插值处理。令R、G和B为原始图像101的给定像素的RGB值。此外，令Rout(R，G，B)、Gout(R，G，B)和Bout(R，G，B)为通过应用3DLUT进行转换后的目标图像114的RGB值。此外，令Ri、Gi和Bi为比原始图像101的RGB值R、G和B小且最接近它们的代表格点的值，Rout(Ri，Gi，Bi)、Gout(Ri，Gi，Bi)和Bout(Ri，Gi，Bi)为对应于该代表格点的输出值(转换后的值)，且步长(本实施例为步长＝32)为代表格点的步长宽度。
R＝Ri+Rf
G＝Gi+Gf
B＝Bi+Bf
Rout(R，G，B)＝Rout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Rout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Rout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Rout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Rout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Rout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Rout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (7)
Gout(R，G，B)＝Gout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Gout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Gout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Gout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Gout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Gout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Gout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (8)
Bout(R，G，B)＝Bout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Bout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Bout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Bout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Bout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Bout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Bout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (9)
运用公式(7)、(8)和(9)的3DLUT应用处理和插值运算公式简单表示为：
(Rout，Gout，Bout)＝LUT[(R，G，B)] (10)
其中，R、G和B为输入值，LUT为9×9×9查找表，且Rout、Gout、Bout为3DLUT转换和插值运算操作的结果。
通过上述运算操作，作为原始图像101的输入值Rh、Gh和Bh被转换成作为目标图像114的输出值RL、GL和BL。
(RL，GL，BL)＝LUT[(Rh，Gh，Bh)] (11)
运用上述公式，3DLUT被应用于原始图像的所有输入值，并且保持形成目标图像的输出值.
在S805中，S804中输出的输出值被显示在目标图像114上。在本实施例中，目标图像根据颜色对象的移动实时更新。因此，考虑到加速目标图像的绘制时间，在S801至S805的执行期间并行地执行图9中的流程图所示的鼠标输入等待处理和图8中所示的处理。所以，如果在S901中没有检测到鼠标操作，则执行S901的循环；如果有鼠标操作，则控制进行至S902中的S801。
作为本实施例的另一模式，可以在图1中的GUI上安排“颜色转换”按钮。在颜色对象的移动时可以不对原始图像应用颜色转换，在按下“颜色转换”按钮时可执行S801至S805的处理以显示颜色转换的结果。
下面使用图6描述可应用于本实施例的色度图102的另一显示例子。
在图6的601中，显示了对应于通过在原始图像101或色度图102上选择任意颜色而显示的颜色对象的2个移动后的颜色对象。在本发明中，当进行多次移动时，可显示至少一个其颜色从所选择的颜色对象改变了的颜色对象。即，当其位置已经移动过一次的颜色对象被再次移动时，表示先前位置的表示物仍保持显示，因而所显示的颜色对象得以链接在一起。以这种方法，看一眼就可以确认颜色变化历史。即使当取消转换时，如果例如使用鼠标点击色度图上旧的颜色对象，那么可以实现从与起始点相同的颜色至不同颜色的转换。当多次移动颜色对象时，在流程返回至S801的定时更新颜色转换列表并产生3DLUT，从而使最后移动的颜色对象作为转换目标。在色度图上，所移动的颜色对象的轨迹被作为变化历史显示出来，并且实时更新目标图像。
图6的602示出在从亮度改变颜色时颜色对象的显示例子。图5A至5D已举例说明了首先移动显示在色调/色饱和度图103上的颜色对象的情况。作为选择，可以首先移动显示在亮度图104上的颜色对象。
如从601和602可看到的那样，在色度图上可以显示多对移动前和移动后所显示的颜色对象。
第二实施例
第一实施例已经举例说明了由通用计算机设备实现本发明的图像处理设备的情况。作为选择，本发明的图像处理设备可由其它设备实现。
图7是示出根据本发明第二实施例作为图像处理设备的摄像设备的结构例子的框图。
附图标记701表示将所拍摄的图像转换为模拟电信号的摄像元件。在图7中，以CCD为例进行说明。作为选择，也可使用CMOS。
附图标记702表示将模拟信号转换成数字信号的A/D转换器。
附图标记703表示单向或双向连接照相机内各处理单元的系统总线。
附图标记704表示用于将所拍摄的图像的数字信号转换和压缩为通用的JPEG等图像数据的图像压缩电路。
附图标记705表示用于控制图像显示/图像处理控制装置的操作的系统控制器。
附图标记706表示用于保存所产生的图像数据的记录介质。记录介质706包括SmartMedia、记忆棒、Microdrive、SD卡等。
附图标记707表示用于保存控制摄像设备用的固件和图像处理程序的ROM.图像处理程序包括执行图像显示/图像处理控制用的程序代码，并通过系统控制器705来执行.
附图标记708表示映射有所生成的图像数据和记录在记录介质上的图像数据或程序的RAM。
附图标记709表示显示单元(显示器)，例如液晶显示面板。
附图标记710表示操作单元，其中包括所安装的操作按钮和触摸面板。
系统控制器705执行图像处理程序以在显示器709上显示图1所示的用户界面。用户可使用操作单元710通过用户界面输入对图像处理程序的各种指令。用户操作单元包括安装在设备上的操作按钮、触摸面板等。
根据本实施例的摄像设备中的颜色转换处理的操作与第一实施例中的相同。本实施例已说明了摄像设备作为可用作根据本发明的图像处理设备的并且是不同于通用计算机的设备。然而，本发明可应用于任意设备，例如可提供使用GUI的颜色转换处理的便携式通信终端等。
其他实施例
本发明的目的还可以这样来实现：将记录有可实现上述实施例的功能的软件程序的程序代码的存储介质提供给系统或设备(例如，摄像设备)，通过例如对系统或设备的远程操作、由系统或设备的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在此情况下，由从存储介质读出的程序代码本身实现所述实施例的功能，存储程序代码的存储介质构成本发明。
至于提供程序代码的存储介质，可以使用例如软盘硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储器卡、ROM等。
上述实施例的功能不仅可通过计算机执行所读出的程序代码来实现，而且还可以通过运行在计算机上的OS(操作系统)等根据程序代码的指令执行一些或全部实际处理操作来实现。
此外，上述实施例的功能可通过在将从存储介质读出的程序代码写入插入或连接到计算机的功能扩展板或功能扩展单元的存储器中之后，由设置在该扩展板或扩展单元中的CPU等执行一些或全部实际处理操作来实现。
当本发明被应用于上述存储介质时，该存储介质存储对应于前述流程图的程序代码。
由于在不脱离本发明的精神和范围的情况下，可以有许多种迥然不同的实施方式，因此应该理解，除了在所附权利要求中的限定以外，本发明不局限于其特定的实施方式。
本申请要求在2004年11月1日提交的日本专利申请2004-317915和2005年10月27日提交的2005-313164的优先权，其通过引用包含于此。
第一实施例
图2是示出根据本发明第一实施例的图像处理设备的配置例子的框图。
如图2所示，本实施例的图像处理设备可以通过可在市场上获得的作为个人计算机的一般用途的计算机设备来实现。参照图2，附图标记201表示用于控制图像处理设备的操作的运算处理装置(CPU)。
附图标记202表示存储模块，其上映射有程序和图像数据。所述程序包括用于执行图像显示和图像处理控制的程序代码，并通过CPU来执行。
附图标记203表示硬盘，其记录包括图像处理程序(将在后面描述的修饰应用程序)在内的程序及图像数据等数字数据。
附图标记204表示外部存储介质读/写器。当程序和图像数据记录在外部存储介质205上时，通过外部存储介质读/写器将它们加载到存储模块上。图2以DVD-RW驱动器为例进行了说明。外部存储介质读/写器还包括例如CD-ROM、CD-R、DVD-RAM等的光盘、例如软盘、MO等的磁盘、以及例如闪速存储器等的非易失性存储器。
附图标记206表示网卡。通过经由该装置连接到LAN 207、WWW等来加载记录在可访问的记录装置上的程序和图像数据。
本实施例采用以下模式，该模式通过将记录在硬盘驱动器上的程序和图像数据加载到存储模块上并由CPU执行它们从而使计算机设备作为本实施例的图像处理设备。然而，后面要描述的颜色转换处理中的至少一部分步骤可由数字照相机主体或专用硬件来执行。
附图标记208表示用于输出图像数据等视频信号的视频卡。输出信号被输入到用于显示图像数据等的显示单元(显示器)209，例如CRT显示器、液晶显示面板等。
附图标记210和211表示对应于用户操作单元的键盘和鼠标。
附图标记212表示系统总线，例如PCI总线等，用于相互连接图像处理设备中的各个处理单元。
图1示出在本实施例的图像处理设备中执行具有包括颜色转换处理的图像修饰功能的图像处理程序时呈现在显示器209上的用户界面的例子。用户可以通过使用键盘210和鼠标211对图1中所示的GUI进行操作，从而将指令输入到图像处理设备。用户操作单元使用通常使用的装置，例如鼠标和键盘、操纵垫(joy pad)、操作按钮和安装在设备上的触摸面板等。本实施例采用使用鼠标211作为操作单元的模式。
参照图1，附图标记101表示原始图像数据.当用户通过例如已知的方法从存储在硬盘驱动器等存储装置中或数字照相机等外部装置中的数字图像数据中选择了原始图像数据时，该原始图像数据被用户加载.用户可以通过操作用户操作单元来选择原始图像数据的像素或小区域从而选择包括在原始图像数据中的任意颜色.
附图标记102表示色度图。本实施例采用L*a*b*颜色系统的色度图。本实施例的图像处理设备所呈现的色度图102包括表示色调和色饱和度的色调/色饱和度图103和表示亮度的亮度图104。用户可以通过操作用户操作单元选择色调/色饱和度图103上的任意颜色。此外，用户可以将颜色对象显示在色度图上。色度图的细节将在后文中描述。
附图标记105表示按照用户操作单元的操作移动的鼠标指针。
附图标记106表示当用户选择原始图像数据101上或色度图上的任意颜色时显示在色调/色饱和度图103上的颜色对象。使用圆形图案、矩形图案等显示颜色对象。本实施例采用矩形显示。
附图标记107表示当选择了原始图像数据101上的任意颜色时显示在亮度图104上的颜色对象。使用圆形图案、矩形图案等显示颜色对象。本实施例采用如颜色对象106中的矩形显示。
颜色对象107被显示在以下角度总是彼此相等的位置上：
●在垂直方向上穿过色调/色饱和度图103的圆心划出的直线与穿过色调/色饱和度图103的圆心和颜色对象106的直线构成的角；以及
●在垂直方向上穿过亮度图104的圆心划出的直线与穿过亮度图104的圆心和颜色对象107的直线构成的角。
附图标记108表示通过使用鼠标指针105在色调/色饱和度图103上移动(例如，拖放)颜色对象106所显示的颜色对象。至少一部分颜色对象的显示颜色被改变为在色调/色饱和度图上移动终点的位置处的颜色。
附图标记109表示与所移动的颜色对象108相对应的在亮度图104上移动的颜色对象。
附图标记110表示通过使用鼠标指针105在亮度图104上移动颜色对象109所显示的颜色对象。至少一部分颜色对象的颜色被改变为对应于移动终点的位置处的亮度的颜色。
附图标记111、112和113表示连接颜色对象106和108、107和109及109和110的线。本实施例采用显示带箭头的线段的模式。
附图标记114表示当将通过用户操作在色度图上改变的颜色应用于原始图像时的图像。该图像在下文中被称为目标图像。
用户使用例如鼠标指针105从图1中所示的屏幕上选择在原始图像上或在色度图上要被改变的颜色。响应于该选择，图像处理设备在色度图102上显示颜色对象。然后用户使用鼠标移动在色度图上所显示的颜色对象以改变颜色，从而对图像进行修饰。
下面使用图3更详细地描述本实施例的图像处理设备所呈现的色度图。
本实施例中所用的色度图采用L*a*b*颜色系统。L*a*b*颜色系统是由Commission Internationale de l′Eclairage(CIE，国际照明委员会)于1976标准化的，并且由JIS(JISZ8729)在日本采用。在L*a*b*颜色系统中，亮度由L*表示，色调和色饱和度由a*和b*表示。
在图3中的色度图上，附图标记103表示色调/色饱和度图.色调是表示色彩(tint)的指标，色饱和度是表示颜色鲜艳度(vividness)的指标.颜色随着色饱和度值的增加而变得更鲜艳，随着色饱和度值的减少而变得更接近灰色.在图3的圆中，右方向表示+a*，左方向表示-a*，上方向表示+b*，而下方向表示-b*。于是，采用符合L*a*b*颜色系统的色调圆的颜色布局。更具体来说，红色、粉红色、蓝色、浅绿色、绿色、黄色和灰色被连续布局在A、B、C、D、E、F和G上。色度值越靠近圆心变得越低，越远离圆心变得越高。
在图3的色度图中，附图标记104表示亮度图。亮度是表示颜色明亮度的指标。随着亮度值的增加颜色变得更接近白色，而随着亮度值的减少颜色变得更接近黑色。在亮度图104上，越靠近圆心亮度值变得越低，而越远离圆心亮度值变得越高。
注意，类似的色度图也可由L*a*b*颜色系统以外的颜色系统，例如XYZ颜色系统、蒙塞尔(Munsell)颜色系统、RGB颜色系统、US C颜色系统、L*c*h颜色系统等来实现，并且可以使用基于任意颜色系统的色度图。
注意，类似的色度图(色调/色饱和度图)也可在L*a*b*颜色系统以外的颜色系统，例如蒙塞尔颜色系统、奥斯特华德(Ostwald)颜色系统和CIE-compliant颜色系统上实现，并且可以使用基于任意颜色系统的色度图。使用色度图的理由是用户可以直观理解颜色系统的概念。亦即，本实施例使用可由圆表示的色度图。然而，本发明不局限于圆形色度图，只要可以从色度图获得如图11所示出的X-Y色度图那样的坐标即可。至于亮度图，可以使用具有与图1同样格式的图。
下面将使用图4和图5A至5D描述本实施例的图像处理设备的颜色转换处理操作和色度图显示状态的改变。
图4是用于说明本实施例的图像处理设备的颜色转换处理操作的流程图。图5A至5D示出在颜色转换处理时图像处理设备所呈现的色度图状态改变的例子，并且示出针对颜色对象的用户操作及对应于该操作的显示改变。
如果用户在图4的S401中在所显示的原始图像101上或色度图102上选择任意颜色，则流程进行至S403。颜色对象501和502分别显示在色度图的色调/色饱和度图103和亮度图104上。
如果选择了所显示的原始图像101上的任意颜色，则颜色对象501显示在所选择的颜色与色调/色饱和度图103上的颜色位置相符的位置处(图5A)。如果选择了色度图102上的任意颜色，则在该位置处显示颜色对象501(图5A)。
在亮度图104上，颜色对象502显示在与色调/色饱和度图103上所显示的颜色对象501的位置相对应的位置处(图5A)。该对应位置与关于图1中的颜色对象107的位置所描述的相同。如下文所述，颜色对象502的显示颜色对应于颜色对象501所显示的色调/色饱和度图103上的颜色。因此，在图5A的例子中，颜色对象502显示为黄绿色。在颜色对象502被显示之后，同时显示连接亮度图104的圆心和颜色对象502的直线503和以亮度图104的圆心为圆心、以颜色对象502为半径的圆(图5A)。
如果没有从原始图像101或色度图102中选择颜色，则在S402中确认是否选择已显示的颜色对象。如果选择已显示的颜色对象，则流程进行至S404。
在S404中确认是否使用鼠标指针作为用户操作单元拖动在色调/色饱和度图103上显示的颜色对象。如果拖动显示在色调/色饱和度图103上的颜色对象，则流程进行至S405；如果拖动显示在亮度图104上的颜色对象，则流程通过S408进行至S409。
下面描述当移动显示在色调/色饱和度图103上的颜色对象时执行的S405。用户可以通过拖动图5B中的鼠标指针505来移动颜色对象501。颜色对象501可被移动到色调/色饱和度图103圆内的任意位置。在S405中，改变颜色对象501在色调/色饱和度图103上的显示位置(图5B)。
在S406中，根据颜色对象501的移动自动改变颜色对象502在图5A中的亮度图104上的显示位置(图5B)。注意，颜色对象502的可移动范围限于图5A中的圆504的圆周。这是因为即使当色调/色饱和度值被改变时亮度还保持相同。
重复S405和S406中的处理直到在S407中判断出颜色对象的移动结束。
举例来说，如图5B所示，当用户将颜色对象501移动至颜色对象506时，颜色对象502沿着如图5B中虚线所示的圆504的弧移动至颜色对象507。当完成拖动处理并且颜色对象的移动位置定下时，显示穿过亮度图104的圆心和颜色对象507的直线508(图5B)。注意，移动之后颜色对象507的显示颜色对应于色调/色饱和度图103上对应的颜色对象506所显示的颜色，在图5B中它是淡黄色，如下文所述。
下面说明在S408中拖动显示在亮度图104上的颜色对象的情况。显示在亮度图104上的颜色对象可沿着连接亮度图104的圆心和颜色对象的直线移动。例如，颜色对象507可沿图5B中的直线508移动。在S409中，响应于如图5C中的虚线所示的用户的拖动操作，颜色对象沿着亮度图104上的直线508移动。重复S 409中的处理直到在S410中判断出颜色对象的移动结束。
在移动完成后，显示以移动后的颜色对象和亮度图104的圆心为半径的圆(图5C)。例如，在图5C中，当颜色对象507移至颜色对象511时，显示圆512。在该步骤中，由于只改变亮度，所以色调/色饱和度图103上的颜色对象506不移动。
如果在S407或S410中确认颜色对象的移动结束，则流程进行至S411。在S411中，执行将移动后的颜色对象的显示颜色改变为颜色对象在移动终点处的位置所表示的颜色的处理。即，当在色调/色饱和度图103上移动颜色对象时，亮度图104上的相应颜色对象显示为对应于移动后的位置的颜色。另一方面，当在亮度图104上移动颜色对象时，移动后的颜色对象的显示颜色的亮度被改变为对应位置处的亮度。
在S412中，执行用于显示连接在S402或S403中选择和显示的颜色对象与移动后的颜色对象的带箭头的线段509(图5C)、510(图5C)或513(图5D)的处理。本实施例采用显示带箭头的线段的模式。作为选择，也可使用线段、虚线段或带箭头的虚线段等。
在S413中，显示通过对原始图像应用将对应于最初选择的颜色对象的颜色(原始颜色)改变为对应于移动完成后的颜色对象的颜色(目标颜色)的处理而生成的目标图像。
颜色转换结果对应于图1中所示的窗口上的目标图像114。如果在S414中输入程序结束指令，则程序结束；否则，流程返回至S401以重复上述处理。
下面使用图1和图8的流程图详细描述S413中对原始图像应用用于将颜色改变为对应于移动完成后的颜色对象的颜色(目标颜色)的处理。在本实施例中，产生用于颜色转换的三维查找表(three-dimensional lookup table，以下简称3DLUT)，并将其应用于原始图像以完成颜色转换处理。
在S801中，当用户用鼠标操作鼠标指针105来点击原始图像101上的任意点时，移动前的颜色对象106显示在色度图上.当用户通过用鼠标拖动颜色对象106而将其移动至色调/色饱和度图103上用户偏爱颜色所在的位置时，显示移动后的颜色对象108.在这种情况下，获得了移动前的颜色对象106和移动后的颜色对象108在色度图上的位置处的两个颜色信息.
预先用颜色信息设定色度图。更具体地说，在色度图上颜色对象可以移动的所有坐标位置处设定相应的RGB值。在图1所示的例子中，给出了包括符合Lab颜色系统的色度图的GUI。在此情况下，与色度图的各坐标位置对应设置的颜色信息也由RGB值来表示。
将L*a*b*颜色空间坐标值转换为RGB颜色空间坐标值的方法对于本领域技术人员是公知的。此方法将在以下简要说明。更具体地说，转换可以以L*a*b*→XYZ→RGB的顺序完成。
如果L*a*b*颜色系统的L、a和b值分别为亮度指标L(0≤L≤100)、可察觉色度(perceivable chromaticity)a(-134≤a≤220)和可察觉色度b(-140≤b≤122)，RGB颜色系统的R、G和B值分别为R(0≤R≤255)、G(0≤G≤255)和B(0≤B≤255)，而XYZ颜色系统的X、Y和Z值分别为X(0≤X≤1)、Y(0≤Y≤1)和Z(0≤Z≤1)，那么我们有：
X＝xγ×Xγ
Y＝yγ×Yγ
(1)
Z＝zγ×Zγ
R＝3.240479×X-1.53715×Y-0.498535×Z
G＝-0.969256×X+1.875991×Y+0.041556×Z
B＝0.055648×X-0.204043×Y+1.057311×Z (2)
通过公式(1)和(2)的算术运算来计算和设定L*a*b*色度图上各点的RGB值。因此，可根据颜色对象在色度图上当前所处的位置来获得相应的RGB值。
在S802中，将所获得的移动前颜色对象的RGB值(Rs(i)、Gs(i)、Bs(i))与移动后颜色对象的RGB值(Rd(i)、Gd(i)、Bd(i))相关联.如果移动前后颜色对象有多个，如图6所示(将在下文描述)，则生成将各个颜色转换处理中的移动前后的颜色对象相关联的颜色转换列表.图10示出颜色转换列表的例子.图10中所示例子示出由用户设定的要转换的颜色数量为C的情形.于是，i＝0至C-1.
在S803中，根据所生成的颜色转换列表产生3DLUT(三维查找表)。在本实施例中，为了减小3DLUT的大小，通过准备将R、G和B值范围(从最小值(0)至最大值(255))分成8份而获得的729(＝9×9×9)个三维代表格点来产生3DLUT。当3DLUT作为颜色转换表应用于原始图像时，通过插值从对应于代表格点的RGB值计算出对应于除了代表格点外的转换后的RGB值。插值处理将在下文描述。
最初，生成作为3DLUT基础的基准值。对于这些值，如上所述，以32步长的递增产生R、G和B值(R(n)、G(n)、B(n))(n＝0至728)。从颜色转换列表检索到接近于所产生的基准值(R(n)、G(n)、B(n))的RGB值。该检索处理使用以下公式和值差E来完成：
E＝((Rs(i)-R(n))^2+(Gs(i)-G(n))^2+(Bs(i)-B(n))^2)^0.5 (3)
如果值E小于阈值Th，那么从移动前颜色对象的颜色值和相关联的移动后颜色对象的颜色值计算出差值dR、dG和dB。
dR(y)＝Rs(i)-Rd(i)
dB(y)＝Bs(i)-Bd(i)
dG(y)＝Gs(i)-Gd(i) (4)
对所有值(i＝0至C-1)执行该检索处理，计算与基准值的值差E小于或等于Th的所有值的dR、dG和dB的平均值dRave、dGave和dBave，并且通过利用基准值进行算术运算来计算基准值R(n)、G(n)、B(n)的颜色转换参数Rt(n)、Gt(n)和Bt(n)。
Rt(n)＝R(n)-dRave
Gt(n)＝G(n)-dGave
Bt(n)＝B(n)-dBave (5)
如果没有发现E值小于Th的值，那么Rt(n)、Gt(n)和Bt(n)通过以下计算得到：
Rt(n)＝R(n)
Gt(n)＝G(n)
Bt(n)＝B(n) (6)
重复进行上述处理直到n＝728。
如上所述，确定出作为用于反映颜色转换列表的转换参数的3DLUT。
在S804中，3DLUT应用于原始图像101。应用方法如下。
首先阐述对3DLUT的代表格点以外的值的插值处理。令R、G和B为原始图像101的给定像素的RGB值。此外，令Rout(R，G，B)、Gout(R，G，B)和Bout(R，G，B)为通过应用3DLUT进行转换后的目标图像114的RGB值。此外，令Ri、Gi和Bi为比原始图像101的RGB值R、G和B小且最接近它们的代表格点的值，Rout(Ri，Gi，Bi)、Gout(Ri，Gi，Bi)和Bout(Ri，Gi，Bi)为对应于该代表格点的输出值(转换后的值)，且步长(本实施例为步长＝32)为代表格点的步长宽度。
R＝Ri+Rf
G＝Gi+Gf
B＝Bi+Bf
Rout(R，G，B)＝Rout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Rout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Rout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Rout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Rout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Rout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Rout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Rout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (7)
Gout(R，G，B)＝Gout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Gout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Gout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Gout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Gout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Gout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Gout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Gout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (8)
Bout(R，G，B)＝Bout(Ri+Rf，Gi+Gf，Bi+Bf)＝
(Bout(Ri，Gi，Bi)×(Step-Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri+Step，Gi，Bi)×(Rf)×(Step-Gf)×(Step-Bf)
+Bout(Ri，Gi+Step，Bi)×(Step-Rf)×(Gf)×(Step-Bf)
+Bout(Ri，Gi，Bi+Step)×(Step-Rf)×(Step-Gf)×(Bf)
+Bout(Ri+Step，Gi+Step，Bi)×(Rf)×(Gf)×(Step-Bf)
+Bout(Ri+Step，Gi，Bi+Step)×(Rf)×(Step-Gf)×(Bf)
+Bout(Ri，Gi+Step，Bi+Step)×(Step-Rf)×(Gf)×(Bf)
+Bout(Ri+Step，Gi+Step，Bi+Step)×(Rf)×(Gf)
×(Bf))/(Step×Step×Step) (9)
运用公式(7)、(8)和(9)的3DLUT应用处理和插值运算公式简单表示为：
(Rout，Gout，Bout)＝LUT[(R，G，B)] (10)
其中，R、G和B为输入值，LUT为9×9×9查找表，且Rout、Gout、Bout为3DLUT转换和插值运算操作的结果。
通过上述运算操作，作为原始图像101的输入值Rh、Gh和Bh被转换成作为目标图像114的输出值RL、GL和BL。
(RL，GL，BL)＝LUT[(Rh，Gh，Bh)] (11)
运用上述公式，3DLUT被应用于原始图像的所有输入值，并且保持形成目标图像的输出值.
在S805中，S804中输出的输出值被显示在目标图像114上。在本实施例中，目标图像根据颜色对象的移动实时更新。因此，考虑到加速目标图像的绘制时间，在S801至S805的执行期间并行地执行图9中的流程图所示的鼠标输入等待处理和图8中所示的处理。所以，如果在S901中没有检测到鼠标操作，则执行S901的循环；如果有鼠标操作，则控制进行至S902中的S801。
作为本实施例的另一模式，可以在图1中的GUI上安排“颜色转换”按钮。在颜色对象的移动时可以不对原始图像应用颜色转换，在按下“颜色转换”按钮时可执行S801至S805的处理以显示颜色转换的结果。
下面使用图6描述可应用于本实施例的色度图102的另一显示例子。
在图6的601中，显示了对应于通过在原始图像101或色度图102上选择任意颜色而显示的颜色对象的2个移动后的颜色对象。在本发明中，当进行多次移动时，可显示至少一个其颜色从所选择的颜色对象改变了的颜色对象。即，当其位置已经移动过一次的颜色对象被再次移动时，表示先前位置的表示物仍保持显示，因而所显示的颜色对象得以链接在一起。以这种方法，看一眼就可以确认颜色变化历史。即使当取消转换时，如果例如使用鼠标点击色度图上旧的颜色对象，那么可以实现从与起始点相同的颜色至不同颜色的转换。当多次移动颜色对象时，在流程返回至S801的定时更新颜色转换列表并产生3DLUT，从而使最后移动的颜色对象作为转换目标。在色度图上，所移动的颜色对象的轨迹被作为变化历史显示出来，并且实时更新目标图像。
图6的602示出在从亮度改变颜色时颜色对象的显示例子。图5A至5D已举例说明了首先移动显示在色调/色饱和度图103上的颜色对象的情况。作为选择，可以首先移动显示在亮度图104上的颜色对象。
如从601和602可看到的那样，在色度图上可以显示多对移动前和移动后所显示的颜色对象。
第二实施例
第一实施例已经举例说明了由通用计算机设备实现本发明的图像处理设备的情况。作为选择，本发明的图像处理设备可由其它设备实现。
图7是示出根据本发明第二实施例作为图像处理设备的摄像设备的结构例子的框图。
附图标记701表示将所拍摄的图像转换为模拟电信号的摄像元件。在图7中，以CCD为例进行说明。作为选择，也可使用CMOS。
附图标记702表示将模拟信号转换成数字信号的A/D转换器。
附图标记703表示单向或双向连接照相机内各处理单元的系统总线。
附图标记704表示用于将所拍摄的图像的数字信号转换和压缩为通用的JPEG等图像数据的图像压缩电路。
附图标记705表示用于控制图像显示/图像处理控制装置的操作的系统控制器。
附图标记706表示用于保存所产生的图像数据的记录介质。记录介质706包括SmartMedia、记忆棒、Microdrive、SD卡等。
附图标记707表示用于保存控制摄像设备用的固件和图像处理程序的ROM.图像处理程序包括执行图像显示/图像处理控制用的程序代码，并通过系统控制器705来执行.
附图标记708表示映射有所生成的图像数据和记录在记录介质上的图像数据或程序的RAM。
附图标记709表示显示单元(显示器)，例如液晶显示面板。
附图标记710表示操作单元，其中包括所安装的操作按钮和触摸面板。
系统控制器705执行图像处理程序以在显示器709上显示图1所示的用户界面。用户可使用操作单元710通过用户界面输入对图像处理程序的各种指令。用户操作单元包括安装在设备上的操作按钮、触摸面板等。
根据本实施例的摄像设备中的颜色转换处理的操作与第一实施例中的相同。本实施例已说明了摄像设备作为可用作根据本发明的图像处理设备的并且是不同于通用计算机的设备。然而，本发明可应用于任意设备，例如可提供使用GUI的颜色转换处理的便携式通信终端等。
其他实施例
本发明的目的还可以这样来实现：将记录有可实现上述实施例的功能的软件程序的程序代码的存储介质提供给系统或设备(例如，摄像设备)，通过例如对系统或设备的远程操作、由系统或设备的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在此情况下，由从存储介质读出的程序代码本身实现所述实施例的功能，存储程序代码的存储介质构成本发明。
至于提供程序代码的存储介质，可以使用例如软盘硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储器卡、ROM等。
上述实施例的功能不仅可通过计算机执行所读出的程序代码来实现，而且还可以通过运行在计算机上的OS(操作系统)等根据程序代码的指令执行一些或全部实际处理操作来实现。
此外，上述实施例的功能可通过在将从存储介质读出的程序代码写入插入或连接到计算机的功能扩展板或功能扩展单元的存储器中之后，由设置在该扩展板或扩展单元中的CPU等执行一些或全部实际处理操作来实现。
当本发明被应用于上述存储介质时，该存储介质存储对应于前述流程图的程序代码。
由于在不脱离本发明的精神和范围的情况下，可以有许多种迥然不同的实施方式，因此应该理解，除了在所附权利要求中的限定以外，本发明不局限于其特定的实施方式。
本申请要求在2004年11月1日提交的日本专利申请2004-317915和2005年10月27日提交的2005-313164的优先权，其通过引用包含于此。