图像处理装置和方法

摘要

可以提供能够利用简单配置抑制图像质量恶化的像素处理装置、方法、程序和记录介质。在由亮度信号生成单元(61)和感觉均衡单元(62)处理信号Y’之后，检测单元(63)对信号Y’执行检测处理，以便获得亮区的平均照明强度和暗区的平均照明强度。控制MPU(64)根据平均强度获取自适应增益kAr和自适应增益kBr。由边缘存储LPF(65)处理信号Y’以获得照明分量的信号Y’lp。细节提取单元(66)计算信号Y’和照明分量的信号Y’lp之间的差，以便提取信号Y’de作为信号Y’的图像的细节分量。此后，由色调曲线处理单元(68)对信号Y’的照明分量进行等级压缩，而由细节调整单元(67)对信号Y’的细节分量进行等级压缩。

权利要求

1.一种成像处理装置，包括：

边缘保留低通滤波器，适用于基于对要处理的目标像素确定的参考像素值和阈值ε，确定输入图像中与所述要处理的目标像素临近的每个像素是否有效，其中确定临近要处理的目标像素的每个像素的值与参考级之间的差是否落入+ε和-ε之间的范围内，仅仅其值和参考级之间的差落入+ε和-ε之间的范围内的那些像素才被确定为有效；所述边缘保留低通滤波器还适用于使用已经被确定为有效的临近像素的值进行平滑；

平均亮度计算部件，用于基于输入图像的亮度分布将所述输入图像划分为多个区域，以计算每个区域的平均亮度值；以及阈值计算部件，用于基于由所述平均亮度计算部件计算的每个区域的平均亮度值，计算要在所述边缘保留低通滤波器中设置的所述阈值，其中所述阈值计算部件通过将针对每个区域一个的平均亮度值之间的绝对差乘以预定固定值而计算所述阈值。

2.如权利要求1所述的成像处理装置，还包括：

提取部件，用于使用所述边缘保留低通滤波器从所述输入图像中提取具有发光信号的大幅值周期的发光分量，以提取细节分量作为所述输入图像的亮度信号和所述发光分量之间的差；

标识部件，用于标识被确定为与所述发光分量相称的增益；以及

细节分量校正部件，用于将所述细节分量乘以由所述标识部件标识的增益，以校正所述细节分量。

3.如权利要求2所述的成像处理装置，其中

所述标识部件基于增益特性标识与图像的亮度值相关联的多个区域中的每一个的增益，所述增益特性基于完全自适应增益获得，所述完全自适应增益通过基于每个区域的平均亮度值的算术运算而找到，所述完全自适应增益是用于完全自适应的乘数。

4.如权利要求2所述的成像处理装置，其中

所述标识部件基于增益特性标识与图像的亮度值相关联的多个区域中的每一个的增益，所述增益特性基于校正增益获得，所述校正增益通过对完全自适应增益进行预定算术运算而找到，所述完全自适应增益通过基于每个区域的平均亮度值的算术运算而找到，所述完全自适应增益是用于完全自适应的乘数。

5.如权利要求4所述的成像处理装置，其中

在适用于找到所述校正增益的算术运算中，使用自适应级，所述自适应级基于根据动态范围值确定的预设自适应级特性标识，所述动态范围值基于与图像的亮度值相关联的多个区域中的每一个的平均亮度值计算。

6.如权利要求5所述的成像处理装置，其中

所述标识部件通过设置第一值为所述校正增益的上限并设置第二值为所述校正增益的下限而确定所述增益特性，所述第一值通过基于所述自适应级校正与所有所述多个区域中最暗的区域相关联的完全自适应增益而获得，所述第二值通过基于所述自适应级校正与所有所述多个区域中最亮的区域相关联的完全自适应增益而获得。

7.如权利要求1所述的成像处理装置，还包括：

稀疏部件，用于稀疏化所述输入图像中的像素数目；以及

增加部件，用于将其像素已经被所述稀疏部件稀疏了的图像的像素数目增加为原始数目，其中其像素已经被所述稀疏部件稀疏了的所述图像被馈送到所述边缘保留低通滤波器，以及其中与从所述边缘保留低通滤波器输出的信号相关联的图像被馈送到所述增加部件。

8.一种图像处理方法，包括步骤：

基于对要处理的目标像素确定的参考像素值和阈值ε，确定输入图像中与所述要处理的目标像素临近的每个像素是否有效，其中确定临近要处理的目标像素的每个像素的值与参考级之间的差是否落入+ε和-ε之间的范围内，仅仅其值和参考级之间的差落入+ε和-ε之间的范围内的那些像素才被确定为有效；

使用已经被确定为有效的临近像素的值进行平滑；

基于输入图像的亮度分布将所述输入图像划分为多个区域，以计算每个区域的平均亮度值；以及基于每个区域的平均亮度值，计算所述阈值，其中通过将针对每个区域一个的平均亮度值之间的绝对差乘以预定固定值而计算所述阈值。

说明书

图像处理装置和方法

技术领域

[0001] 本发明涉及图像处理装置和方法、程序和记录介质，并且更具体地，涉及用于实现能够使用简单配置抑制图像质量恶化的灰度(grayscale)压缩的图像处理装置和方法、程序和记录介质。

[0002] 背景技术

[0003] 例如，使用诸如CCD的成像元件的传统相机在背光条件下成像期间，由于它们与使用光学胶卷的相机相比较窄的动态范围，容易过曝光或曝光不足。过曝光导致亮区的灰度损失，而曝光不足导致暗区的灰度损失。然而，固态成像元件(更低噪声)和包围(bracket)曝光合成技术的新近进展使得可以获得能与光学胶卷照片相比的具有宽动态范围的亮度灰度的RAW图像信号。

[0004] 另一方面，用来存储所捕捉的运动和静止图像的文件格式(例如，JPEG和MPEG)以及诸如CRT、LCD和打印机的一般显示装置即使在今天在能被表达的亮度灰度级方面也具有局限。即，能由显示装置表达的图像的动态范围较窄。因而，即使获得了能与光学胶卷照片相比的具有宽动态范围的亮度灰度级的RAW图像信号(下文中，称为宽动态范围图像)，也不能存储或表达(例如，显示或打印)图像。应注意，RAW图像信号是所谓成像器输出信号。

[0005] 因此，需要一种动态范围压缩技术，该技术将宽动态范围图像的亮度灰度级压缩为较窄的动态范围以便将宽动态范围图像转换为能由显示装置和其他传统设备表达的图像(下文中，称为窄动态范围图像)。

[0006] 例如，可采用基于宽动态范围图像的亮度直方图以可适应的方式确定灰度级的重新分布的技术(参照专利文档1)。例如，该技术将宽动态范围图像的灰度级变换为直方图，由此根据具有较窄动态范围并生成窄动态范围图像的显示装置或其他设备来重新分布灰度级。另外，该技术确定灰度转换曲线，通过该曲线，靠近直方图峰值的亮度值被分配给尽可能多的灰度级，由此抑制基本主体(subject)对比度的下降。被设计为响应于输入图像亮度以全域(across-the-board)方式确定输出亮度的方法如同该技术一样被称为全局灰度压缩技术。

[0007] 然而，全局灰度压缩技术导致灰度转换曲线的导数较小的亮度级(灰度范围减少的亮度级)上的小的亮度变化，产生乏味的图像，缺乏小幅对比度和主体的三维表现(下文中，将统称为纹理或细节感觉)。

[0008] 结果，局部灰度压缩技术可用作解决伴随着全局灰度压缩技术的弱表现问题的灰度压缩技术。该技术基于具有大动态范围的图像通常由于高对比度发光而非主体自己的对比度而产生这一知识，通过仅仅压缩发光分量的灰度级，缩窄动态范围。该技术不响应于输入图像亮度以全域方式确定输出亮度，而相反，输入亮度和输出亮度之间的关系随着像素变化。这是该技术与全局灰度压缩技术相比被称为局部压缩技术的原因。

[0009] 在使用局部灰度压缩技术的技术中，有适合于在借助于全局灰度压缩技术暂时进行图像的灰度压缩之后补偿除了发光分量之外的分量的技术(例如，参照专利文档2)。除了上述以外，公开了另一技术，例如，在文档：Z.Rahman、D.J.Jobson和 G.A.Woodell“Multi-Scale Retinex for Color Image Enhancement”Proc.of International Conference on Image Processing 1996，1996，pp.19P9中。该技术将宽动态范围图像分为多个频率分量图像，使得这些图像进行彼此不同的幅值调制，并将这些图像叠加和组合为单个图像。

[0010] 这些技术使用低通滤波器将图像分为频带，并基于公共发光分布在除了边缘以外的区域中轻缓地倾斜的特性，将低频图像分量处理为发光分量。

[0011] 专利文档1：日本专利特开平9-331469

[0012] 专利文档2：日本专利特开No.2004-221644

发明内容

[0013] 技术问题

[0014] 然而，仅仅使用低通滤波器将图像简单地分为频带，可能导致发光分量边缘处的低分离准确度，导致沿着主体轮廓的灰度倒置，并导致图像质量恶化。因为该倒置类似光环(halo)，所以这种恶化被称为光环假象(或简称为光环)。

[0015] 为了解决这种光环假象，公开了局部灰度压缩技术，例如，在文档： F.Durand和 J.Dorsey，“Fast bilateral filtering for the display of High-dynamic-range images”Proc.SIGGRAPH 02，pp.257-266，2002和文档：R.Sobol，“Improving the Retinex algorithm for rendering wide dynamic range photographs”，Journal of Electronic Imaging，Vol.13(1)，pp.65-74，2004。该技术使用边缘保留非线性低通滤波器(双边滤波器)分离发光分量。然而，对于非线性过滤的计算代价过高以及由于缺少确定在过滤器的边缘确定时使用的阈值的方针而不能自动调整阈值参数的实现方式，即使这些技术也仍然有问题。

[0016] 另外，当对彩色图像进行灰度压缩时，产生彩色图像所特有的问题。这些问题包括在灰度压缩之后部分彩色灰度的损失，其结果是图像看起来单调，色彩偏离以及某些不自然的色彩。

[0017] 当亮度的灰度压缩结果反映到输入彩色图像上时，由RGB信号的饱和引起由于彩色灰度的部分损失带来的单调图像。色彩偏离也是由信号饱和引起的。三个RGB频道信号之一的饱和引起不平衡的RGB，导致色彩偏离。

[0018] 为此，由以下文档提出的技术非线性地调制RGB信号，以便调整灰度压缩算法中的饱和度：L.Wang、T.Horiuchi和H.Kotera，“HDR Image Compression based on Local thAdaptation for Scene and Display Using Retinal Model”，Proc.14 Color Imaging Conference，pp.327-332，2006。该技术有利之处在于它能使用简单的数学表达式调整饱和度，但是不利之处在于作为色域压缩它提供差的性能，并且具有低的调整自由度。非线性调制可能导致不平衡的RGB，由此导致不自然的色彩或者输出装置的色域的不合适的校正。 [0019] 另外，彩色图像的压缩导致高色度区域的不自然的辉度(brightness)。该问题由于以下事实引起：当使用亮度信号估计发光的辉度时，该估计在高色度区域有大误差，结果，该区域的辉度被估计为比它真实情况更暗。

[0020] 再者，上述灰度压缩技术隐含假设一种理想系统，其中动态范围足够大。因而，如果任何上述技术被合并到相机信号处理中进行操作，则由于输入信号或信号处理局限而产生问题。

[0021] 问题之一是由于成像元件的饱和引起的图像质量故障。无论成像元件中饱和的区域在灰度上压缩(在亮度上抑制)得有多好，该区域的灰度不会变明显。如果有的话，则图像的白点变得更暗，导致图像质量恶化。另外，在 颜色传感器的某些颜色饱和的区域中，作为灰度压缩的结果，除了主体的颜色之外的颜色可能突出自己，导致图像质量恶化。 [0022] 另一问题是由于缺少与相机信号处理参数的协调而引起的图像质量恶化。在相机信号处理中，当开发RAW信号时，通过调整高亮度区域中的灰度曲线，初始地执行更多或更少的全局灰度压缩。根据全局灰度压缩确定成像曝光。如果这里增加了不同的灰度压缩，则成像曝光设置和灰度曲线之间的关系被打乱，阻碍了如所期望那样的进行开发。除了上述以外，由于灰度压缩引起的噪声增加，噪声减少不如预期的那样有效，导致噪声的更差的感觉。

[0023] 另外，尽管已经提出了许多局部灰度压缩技术，但所有这些技术中发光分量的压缩技术由给定算法定义。这导致在应用于相机信号处理时图像质量设置的自由度较低。 [0024] 鉴于上文，本发明的一个目的是实现能够使用简单的配置抑制图像质量恶化的灰度压缩。

[0025] 技术方案

[0026] 本发明的一个方面是图像处理装置。该成像处理装置包括边缘保留低通滤波器、平均亮度计算部件和阈值计算部件。边缘保留低通滤波器基于对要处理的目标像素确定的参考像素值和阈值，确定输入图像中与要处理的目标像素临近的每个像素是否有效。然后，边缘保留低通滤波器使用已经被确定为有效的临近像素的值进行平滑。平均亮度计算部件基于输入图像的亮度分布将输入图像划分为多个区域，以计算每个区域的平均亮度值。阈值计算部件基于由平均亮度计算部件计算的每个区域的平均亮度值，计算要在边缘保留低通滤波器中设置的阈值。

[0027] 阈值计算部件可通过将平均亮度值(每个区域一个)之间的绝对差乘以预定固定值而计算阈值。

[0028] 成像处理装置还可包括提取部件、标识部件和细节分量校正部件。提取部件使用边缘保留低通滤波器从输入图像中提取具有发光信号的大幅值周期的发光分量，以提取细节分量作为输入图像的亮度信号和发光分量之间的差。标识部件标识被确定为与发光分量相称的增益。细节分量校正部件将细节分量乘以由标识部件标识的增益，以校正细节分量。 [0029] 标识部件可基于增益特性标识与图像的亮度值相关联的多个区域中的 每一个。基于完全自适应增益获得增益特性。通过基于每个区域的平均亮度值的算术运算找到的完全自适应增益是用于完全自适应的乘数(multiplier)。

[0030] 标识部件可基于增益特性标识与图像的亮度值相关联的多个区域中的每一个。基于校正增益获得增益特性。通过对完全自适应增益进行预定算术运算而找到校正增益。基于每个区域的平均亮度值的算术运算而找到的完全自适应增益是用于完全自适应的乘数。 [0031] 在适用于找到校正增益的算术运算中，可使用自适应级。基于根据动态范围值确定的预设自适应级特性标识自适应级。基于与图像的亮度值相关联的多个区域中的每一个的平均亮度值计算动态范围值。

[0032] 标识部件可通过设置第一值为校正增益的上限并设置第二值为校正增益的下限而确定增益特性。第一值通过基于自适应级校正与所有多个区域中最暗的区域相关联的完全自适应增益而获得。第二值通过基于自适应级校正与所有多个区域中最亮的区域相关联的完全自适应增益而获得。

[0033] 成像处理装置还可包括稀疏部件和增加部件。稀疏部件稀疏化输入图像中的像素数目。增加部件将已经被稀疏部件稀疏了像素的图像的像素数目增加为原始数目。已经被稀疏部件稀疏了像素的图像被馈送到边缘保留低通滤波器。与从边缘保留低通滤波器输出的信号相关联的图像被馈送到增加部件。

[0034] 本发明的另一方面是图像处理方法。该图像处理方法包括基于对要处理的目标像素确定的参考像素值和阈值确定输入图像中与要处理的目标像素临近的每个像素是否有效的步骤。该图像处理方法还包括使用已经被确定为有效的临近像素的值进行平滑的步骤。该图像处理方法还包括基于输入图像的亮度分布将输入图像划分为多个区域以计算每个区域的平均亮度值的步骤。该图像处理方法还包括基于每个区域的平均亮度值算阈值的步骤。

[0035] 本发明的再一方面是用于使得计算机执行图像处理的程序。该图像处理包括基于对要处理的目标像素确定的参考像素值和阈值确定输入图像中与要处理的目标像素临近的每个像素是否有效的步骤。该图像处理还包括使用已经被确定为有效的临近像素的值进行平滑的步骤。该图像处理还包括基于输入图像的亮度分布将输入图像划分为多个区域以计算每个区域的平均亮度值的步骤。该图像处理还包括基于每个区域的平均亮度值算阈值的步骤。

[0036] 本发明的再一方面是记录介质，该记录介质上记录程序。该程序使得计 算机执行图像处理。该图像处理方法包括基于对要处理的目标像素确定的参考像素值和阈值确定输入图像中与要处理的目标像素临近的每个像素是否有效的步骤。该图像处理方法还包括使用已经被确定为有效的临近像素的值进行平滑的步骤。该图像处理方法还包括基于输入图像的亮度分布将输入图像划分为多个区域以计算每个区域的平均亮度值的步骤。该图像处理方法还包括基于每个区域的平均亮度值算阈值的步骤。

[0037] 在本发明的一个方面中，基于对要处理的目标像素确定的参考像素值和阈值确定输入图像中与要处理的目标像素临近的每个像素是否有效。另外，使用已经被确定为有效的临近像素的值进行平滑。另外，基于输入图像的亮度分布将输入图像划分为多个区域以计算每个区域的平均亮度值。另外，基于每个区域的平均亮度值算阈值。

[0038] 有益效果

[0039] 本发明实现了能够使用简单的配置抑制图像质量恶化的灰度压缩。 附图说明

[0040] 图1是例示了根据本发明实施例的成像装置的配置例子的图。

[0041] 图2是例示了图1中所示的灰度压缩部分的详细配置例子的图。

[0042] 图3是例示了检测期间执行的处理的图。

[0043] 图4a和4b是描述图像直方图的图。

[0044] 图5a和5b是描述图4中所示的图像的亮和暗区域以及动态范围的图。 [0045] 图6是例示了自适应增益LUT的例子的图。

[0046] 图7是描述自适应增益设置的图。

[0047] 图8是描述伊普西龙(epsilon)滤波器阈值设置的图。

[0048] 图9a和图9b是描述伊普西龙滤波器的操作的图。

[0049] 图10a和10b是描述由伊普西龙滤波器执行的处理的图。

[0050] 图11是例示了图2中所示的边缘保留LPF的详细配置例子的图。

[0051] 图12是例示了由图11中所示的边缘保留LPF的处理生成的图像的例子的图。 [0052] 图13是例示了由图11中所示的边缘保留LPF的处理生成的图像的另一例子的图。

[0053] 图14是例示了由图11中所示的边缘保留LPF的处理生成的图像的再一 例子的图。

[0054] 图15是例示了由图11中所示的边缘保留LPF的处理生成的图像的再一例子的图。

[0055] 图16是描述由图12中所示的边缘保留上采样器执行的处理的图。

[0056] 图17是例示了图2中所示的校正增益LUT的例子的图。

[0057] 图18是描述NR处理中自适应增益的效果的图。

[0058] 图19是例示了用来找到噪声信号的标准偏差σ的函数的例子的图。 [0059] 图20是例示了用来找到图像质量因子的函数的例子的图。

[0060] 图21是描述成像处理的例子的流程图。

[0061] 图22是描述检测处理的例子的流程图。

[0062] 图23是描述灰度压缩处理的例子的流程图。

[0063] 图24是描述边缘保留低通滤波处理的例子的流程图。

[0064] 图25是例示了传统灰度压缩处理中RGB伽玛校正的例子的图。

[0065] 图26是例示了传统灰度压缩处理中Y伽玛校正的例子的图。

[0066] 图27是例示了本发明中使用的RGB伽玛表的例子的图。

[0067] 图28是例示了本发明中使用的Y伽玛表的例子的图。

[0068] 图29是描述发光分量的灰度压缩和细节分量的灰度压缩的图。

[0069] 图30是例示了图1中所示的灰度压缩部分的另一详细配置例子的图。 [0070] 图31是描述由图30中所示的灰度压缩部分执行的灰度压缩处理的例子的流程图。

[0071] 图32是例示了根据本发明的成像装置的另一配置例子的图。

[0072] 图33是例示了根据本发明的成像装置的再一配置例子的图。

[0073] 图34是例示了根据本发明的成像装置的再一配置例子的图。

[0074] 图35是例示了边缘保留低通滤波器的配置例子的框图。

[0075] 图36是描述加法系数的图。

[0076] 图37是描述滤波器系数的图。

[0077] 图38是描述由边缘保留低通滤波器执行的滤波处理的流程图。

[0078] 图39是例示了边缘保留低通滤波器的另一配置例子的框图。

[0079] 图40是例示了边缘保留低通滤波器的再一配置例子的框图。

[0080] 图41是描述加法系数的另一例子的图。

[0081] 图42是描述滤波器系数的另一例子的图。

[0082] 图43是例示了馈送到边缘保留低通滤波器的图像的例子的图。

[0083] 图44是例示了当阈值小于合适值时从边缘保留低通滤波器输出的图像的图。 [0084] 图45是例示了当阈值合适时从边缘保留低通滤波器输出的图像的图。 [0085] 图46是例示了当阈值大于合适值时从边缘保留低通滤波器输出的图像的图。 [0086] 图47与图44相关联，是例示了从细节提取部分66输出的图像的例子的图。 [0087] 图48与图45相关联，是例示了从细节提取部分66输出的图像的例子的图。 [0088] 图49与图46相关联，是例示了从细节提取部分66输出的图像的例子的图。 [0089] 图50是描述合适阈值的例子的图。

[0090] 图51是描述合适阈值的另一例子的图。

[0091] 图52是描述合适阈值的再一例子的图。

[0092] 图53是描述合适阈值的再一例子的图。

[0093] 图54是例示了校正图像的细节分量的效果的图。

[0094] 图55是例示了校正图像的细节分量的效果的图。

[0095] 图56是例示了校正图像的细节分量的效果的图。

[0096] 图57是例示了图2中所示的校正增益LUT的另一例子的图。

[0097] 图58是例示了图2中所示的校正增益LUT的再一例子的图。

[0098] 图59是例示了图2中所示的校正增益LUT的再一例子的图。

[0099] 图60是例示了图2中所示的校正增益LUT的再一例子的图。

[0100] 图61是描述校正增益LUT设置处理的流程图。

[0101] 图62是例示了当使用自适应级(adaptation level)设置乘以细节分量的增益时从细节调整部分输出的图像的例子的图。

[0102] 图63是描述校正增益LUT设置处理的另一例子的流程图。

[0103] 图64是例示了个人计算机的配置例子的框图。

[0104] 附图标记说明

[0105] 10：成像装置，31：CCD，32：白平衡部分，33：解拼部分，34：灰度压缩部分，35：线性矩阵部分，36：RGB伽玛校正部分，37：BT.601矩阵部分，38：Y伽玛校正部分，39：色差矩阵部分，40：装置色阶压缩部分，42：sRGB伽玛校正部分，43：RGB德尔塔/伽玛校正部分，61：亮度信号生产部分，62：感觉均衡部分，63：检测部分，64：控制MPU，65：边缘保留LPF，
66：细节提取部分，67：细节调整部分，68：色调曲线处理部分，69：加法器，70：NR处理部分，71：RGB调制部分，351：下采样器，352：缓冲器，353：多尺度滤波器，354：缓冲器，356：
边缘保留上采样器，361：超宽带边缘保留LPF，362：宽带边缘保留LPF，601：加法系数确定处理部分，602：系数归一化处理部分，605：积分部分，606：积分结束确定部分，611：参考级计算部分，613：加法系数计算部分，622：积分部分，623：积分结束确定部分 具体实施方式

[0106] 下面参照附图，将描述本发明的优选实施例。

[0107] 图1是根据本发明实施例例示了根据实施例的成像装置10的配置例子的框图。 [0108] 图1中所示的CCD 31将从CCD成像元件获得的图像输出到白平衡部分32。 [0109] 白平衡部分32通过将从CCD 31输出的图像的每个像素值乘以合适的系数，调整图像的白平衡，使得主体的消色(achromatic)区域的白平衡实际变为消色。白平衡部分32将调整了白平衡的图像提供给解拼(demosaicing)部分33。

[0110] 解拼部分33获得拼嵌(mosaiced)图像。拼嵌图像是通过由例如A/D转换器对从白平衡部分32提供的图像的A/D转换而获得的图像数据。拼嵌图像是如下图像，其中与R、G和B颜色分量相关联的图像被存储在像素中从而使得像素被排列为称为Bayer模式的颜色模式。这样，解拼部分33将拼嵌图像转换(解拼)为RGB信号，并将RGB信号输出到灰度压缩部分34。

[0111] 灰度压缩部分34使得从解拼部分33提供的RGB信号进行后面所述的灰度压缩，并将进行了灰度压缩处理的RGB信号提供给线性矩阵部分35。

[0112] 线性矩阵部分35通过根据预设等式并基于预定矩阵系数计算RGB信号，生成着色的RGB信号，其特性类似于人眼所看到的。

[0113] RGB伽玛校正部分36使得从线性矩阵部分35输出的RGB信号进行伽玛校正，并将所得信号输出到BT.601矩阵部分37。BT.601矩阵部分37将从RGB伽玛校正部分36输出的RGB信号转换为兼容ITU-R BT.601标准的形式。

[0114] BT.601矩阵部分37将图像数据信号分为亮度信号和色差信号，并将亮度信号输出到Y伽玛校正部分38。Y伽玛校正部分38使得亮度信号进行伽玛校正。色差信号被输出到色差矩阵部分39，其中色差信号的图像数据进行矩阵运算处理，以校正着色。 [0115] 从Y伽玛校正部分38和色差矩阵部分39输出的信号的图像数据被组合并由装置色阶压缩部分40根据输出装置的色阶进行色阶压缩处理。这里，可使用任一方法作为色阶压缩处理。例如，在日本专利特开No.2000-278546(相关联的美国专利No.6347792)中公开的方法用来按照防止色彩偏离或灰度损失的方式压缩色阶。应注意，如果输出装置的色阶仍有待确定，则装置色阶压缩部分40进行符合诸如sRGB、AdobeRGB或scRGB的输出图像格式的色阶的色阶压缩处理。

[0116] 在本实施例中，在装置色阶压缩部分40按照输出装置的色阶对图像进行色阶压缩处理之后，由灰度压缩部分34生成具有压缩的动态范围(压缩的灰度)的图像。如下面所述，灰度压缩部分34从RGB提取代表辉度的信号，并将代表辉度的信号乘以增益，以进行灰度压缩处理。因而，当从已经进行灰度压缩处理的信号生成RGB信号时，该信号将超出装置的颜色再现范围，可能产生不同于原始图像的色彩。如在本实施例中所做的那样在在生成具有压缩灰度的图像之后进行色阶压缩处理，防止诸如由于部分颜色灰度的损失或色彩偏离而引起的单调图像的问题。

[0117] 然后，从装置色阶压缩部分40输出的图像数据被存储在存储文件41中。 [0118] 图2是例示了灰度压缩部分34的详细配置例子的框图。

[0119] 图2中所示的亮度信号生成部分61从馈送到灰度压缩部分34的RGB信号中提取代表考虑了物体反射率的辉度的信号Y。应注意，通过计算RGB信号的线性和而获得的亮度信号可“原样”用作信号Y。可替换地，通过对亮度信号进行以下计算而获得的信号可用作信号Y。

[0120] 例如，可通过使用具有R、G和B信道的最大值的信道对亮度信号进行预定计算以及亮度信号的加权和，获得信号Y。

[0121] 可替换地，可通过使用主体的色度信息(其使用曝光计获得)进行适合于校正亮度信号的计算，获得信号Y。应注意，例如在专利公开No.2634897中公开了关于曝光计的详细信息。

[0122] 另外，可通过基于所捕捉的图像识别主体和基于与所识别的主体相关联的预设反射率进行适合于校正亮度信号的计算，获得信号Y。

[0123] 感觉均衡部分62非线性地转换信号Y以生成感觉均衡辉度信号Y’，以便于在后续检测处理和低通滤波处理中确保匹配人类感觉的信号处理。例如，如果输入的RGB信号是线性信号，则使用sRGB伽玛曲线进行非线性转换。

[0124] 可通过使用适合于将线性RGB转换为非线性RGB的等式，获得伽玛曲线。例如，在* * *sRGB(IEC61966-2-1)中使用该等式。除了上述以外，例如，还可借助于在1976 CIE Lab颜色空间中使用的非线性转换、对数转换(Y’＝log(Y))和幂(Y’＝Y^(1/2.2))进行非线性转换。

[0125] 应注意，在下面给出的描述中，除非另外指明，具有单撇号(prime)的变量表示非线性值，而不具有单撇号的变量表示线性值。

[0126] 检测部分63执行信号Y’的检测处理。

[0127] 首先，检测部分63进行输入信号(信号Y’)的低通滤波。这去除了频率比预定水平高的输入信号的分量。该处理被设计为检测信号Y’的宽空间图案(pattern)，而忽略其细空间图案。这防止检测结果作为基于图像的细空间图案的检测的结果而向极端值倾斜。 [0128] 作为检测部分63进行的处理的结果，如后面将描述的，估计出输入图像的亮区中的平均发光强度及其暗区的平均发光强度。另外，作为检测部分63进行的处理的结果，如后面将描述的，对具有等于或大于饱和水平的值的像素的数目进行计数。基于像素数目确定成像曝光是否合适。如果确定为成像曝光不合适，则由控制MPU 64控制成像装置10以便减少曝光。再者，如后面将描述的，控制MPU 64基于由检测部分63估计的亮区和暗区中的平均发光强度找到要在边缘保留LPF 65中设置的阈值。

[0129] 下面将参照图3给出由检测部分63进行的处理的详细描述。

[0130] 馈送到检测部分63的原始图像91的信号被下采样器92转换为稀疏(thinned-out)图像93。在此例子中，由3888乘2608个像素构成的10M像素原始图像91被稀疏化并转换为由X乘Y个像素构成的稀疏图像93。

[0131] 稀疏图像93的信号被提供到图3中所示的算术运算器94，其中生成如算术运算器94上方所示的直方图。该直方图示出了横轴上的像素亮度值和纵轴上的频率(像素计数)。算术运算器94计算稀疏图像93的所有像素的平均亮度值(图3中的条111)。这里获得的平均亮度值充当后面将描述的值Ym的初值。

[0132] 算术运算器95利用条111划分由算术运算器94生成的直方图(即，平均亮度值)。这将稀疏图像93的所有像素划分为具有比平均值更大的亮度值的那些像素和具有比平均值更小的亮度值的其他像素。

[0133] 在算术运算器95的处理所划分的像素中，具有比平均值(条111)更大的亮度值的那些像素被提供给算术运算器96，其中计算像素的平均值。另一方面，在算术运算器95的处理所划分的像素中，具有比平均值(条111)更小的亮度值的那些像素被提供给算术运算器97，其中计算像素的平均值。结果，如图3中的算术运算器96上方的直方图所示，找到条112(具有比条111更大的亮度值的像素的平均值)和条113(具有比条111更小的亮度值的像素的平均值)。这里获得的具有大亮度值的像素的平均值和具有小亮度值的像素的平均值分别充当后面将描述的值Yh和Yl的初值。

[0134] 另外，作为算术运算器96和97的计算结果而获得的值被提供给算术运算器98，其中计算两个值的平均值。这里获得的平均值与图3中算术运算器98上方所示的直方图的条121相关联。

[0135] 然后，算术运算器99再次利用条121划分该直方图。算术运算器100和101分别计算具有比条121更大的亮度值的像素的平均值和具有比条121更小的亮度值的像素的平均值。结果，如图3中算术运算器100上方的直方图中所示，找到条132(具有比条121更大的亮度值的像素的平均值)和条133(具有比条121更小的亮度值的像素的平均值). [0136] 另外，作为算术运算100和101的计算结果而获得的值被提供给算术运算器102，其中计算两个值的平均值。重复上述处理，直到这里获得的平均值收敛。应注意，这里使用的术语“收敛”是指如下事实：算术运算器98计算的平均值和算术运算器102计算的平均值之间的绝对差值等于或小于预定阈值。

[0137] 作为上述处理的结果而收敛的平均值被设置为值Ym。具有比值Ym更大的亮度值的像素的平均值，即图像的亮区中的像素的平均值被设置为值 Yh。具有比值Ym更小的亮度值的像素的平均值，即图像的暗区中的像素的平均值被设置为值Yl。例如，这些值被存储在内部存储器中。

[0138] 应注意，尽管在上面的描述中，为了描述的方便，这里为了算术运算器94至102的计算而生成直方图，但是这些计算是想要使用阈值计算平均值。因而，事实上，算术运算器94至102不生成任何直方图，相反，进行平均值计算或划分。

[0139] 从现在起，假设如上所述获得的值Yh和Yl分别等于图像的亮区的平均发光强度LA和图像的暗区的平均发光强度LB。

[0140] 检测部分63进行的处理找到图像的亮区的平均发光强度LA和图像的暗区的平均发光强度LB，并且控制MPU 64按以下方式找到图像的动态范围大小DR。

[0141] 例如，假设馈送到检测部分63的信号的图像如图4a所示，并且图像的直方图如图4b所示。应注意，在横轴上示出像素亮度值并在纵轴上示出频率(像素计数)的图4b是图
4a中所示的图像的像素值。

[0142] 在检测部分63进行的处理之后，图4a所示的图像被分为两个区域，如图5a所示的图像的亮区A及其暗区B，以找到检测值。然后，如图5b的直方图中所示，由下面所示的等式分别基于图像的区域A和B的平均发光强度LA和LB获得图像的动态范围DR。 [0143] DR＝log2(Yh/Yl)

[0144] 另外，检测部分63进行的处理找到图像的亮区的平均发光强度LA和图像的暗区的平均发光强度LB，并且控制MPU 64找到图像的亮区和暗区的自适应级。这里，例如，术语“自适应级”是指用来控制适合于正确获得与亮区或暗区中的发光强度相称的主体图像的曝光值的系数。

[0145] 首先，控制MPU 64例如通过使用以下所示的等式的计算，获得默认曝光值EV0. [0146] EV0＝-log2(2Ym)

[0147] 可替换地，无需计算默认曝光值EV0。相反，可获得在成像装置10中预先设置的曝光值，作为默认曝光值EV0。应注意，默认曝光值EV0代表成像装置10(相机)的标准曝光值。

[0148] 在获得默认曝光值EV0之后，控制MPU 64使用以下所示的等式计算增益K0。增益K0用于将所捕捉的图像转换为具有默认曝光值的图像。

[0149] K0＝2EV0

[0150] 另外，控制MPU 64使用以下所示的等式，找到完全适合于图像亮区的曝光值EVh和完全适合于其暗区的曝光值EVl。

[0151] EVh＝-log2(2Yh)

[0152] EVl＝-log2(2Yl)

[0153] 使用完全适合的曝光捕捉图像，这提供了显示出与各个区域的发光强度正确相称的主体的图像。例如，如果利用被设置为EVh的曝光值对位于亮区中的主体成像，并且利用被设置为EVl的曝光值对位于暗区中的另一主体成像，则在主体具有相同的反射率的条件下，两个图像显示出具有相同辉度的主体。

[0154] 另外，控制MPU 64使用以下示出的等式，找到图像的亮区的完全自适应增益kA和其暗区的完全自适应增益kB。

[0155] kA＝2EVh

[0156] kB＝2EVl

[0157] 使用增益kA和kB使得可以将所捕捉的图像转换为具有完全适合于亮区的曝光值的图像和具有完全适合于暗区的曝光值的另一图像。

[0158] 然而，当显示图像(一个完全适合于亮区，另一个完全适合于暗区)时，在这些图像中的亮区和暗区之间没有对比度差异，使得它们看起来不自然。为此，使用本实施例中的自适应级校正增益kA和kB。

[0159] 自适应级是等于或小于1的值，其被确定为与图像动态范围相称。例如，自适应级预先以查找表(LUT)的形式存储在控制MPU 64中。

[0160] 图6是例示了适合于标识自适应级的LUT的内容的例子的图。该图示出了横轴上的动态范围值和数轴上的自适应级，其中线201代表每个动态范围值的自适应级。 [0161] 如图6所示，图像动态范围越大，即，图像亮区和暗区的平均强度之间的差越大，则自适应级越接近1，从而采用强自适应。

[0162] 这里，术语“强自适应”是指更加接近于完全自适应的自适应。

[0163] 另外，如图6所示，线201在动态范围值是4或更大时变为水平。即，当动态范围增长到某一程度或更多时，自适应级将不再增加。

[0164] 控制MPU 64借助于以下所示的等式，使用图6所示的LUT所标识的自适应级Adl，校正图像亮区的完全自适应增益kA及其暗区的完全自适应 增益kB，以分别找到图像亮区的校正自适应增益kAr及其暗区的校正自适应增益kBr。

[0165] kAr＝2(EV0-Adl×(EVh-EV0))

[0166] kBr＝2(EV0-Adl×(EVl-EV0))

[0167] 下面将参照图7给出更详细的描述。

[0168] 假设使用默认曝光值EV0捕捉图像220。在使用默认曝光值EV0捕捉的图像中，通过在图像220下方所示的图的线241，输出信号的亮度值(Y-out)被确定为与输入信号的亮度值(Y-in)相称。

[0169] 使用完全适合于图像220的亮区A的曝光值EVh捕捉图像221。在使用曝光值EVh捕捉的图像中，通过在图像221上方所示的图的线242，输出信号的亮度值(Y-out)被确定为与输入信号的亮度值(Y-in)相称。即，通过将由线241确定的值乘以完全自适应增益kA，确定亮度值(Y-out)。

[0170] 换言之，以与图像220的区域A相称的全域方式减少图像221的曝光。因而，通过与亮区相称地全局压缩图像220的灰度而获得图像221。另一方面，只要关心亮区中的主体(部分主体)，则可以说，由于赋予之前过曝光的图像220的像素的合适的辉度，图像221提供了物体的改善的视图。

[0171] 当由线241确定的值乘以图像亮区的校正自适应增益kAr时，通过在图像222上方所示的图的线243，输出信号的亮度值(Y-out)被确定为与输入信号的亮度值(Y-in)相称。结果，获得适合于亮区的与图像220的动态范围相称的图像222。

[0172] 使用完全适合于图像220的暗区B的曝光值EVl捕捉图像223。在使用曝光值EVl捕捉的图像中，通过在图像223下方所示的图的线244，输出信号的亮度值(Y-out)被确定为与输入信号的亮度值(Y-in)相称。即，通过将由线241确定的值乘以完全自适应增益kB，确定亮度值(Y-out)。

[0173] 换言之，以与图像220的区域B相称的全域方式增加图像223的曝光。因而，通过与暗区相称地全局压缩图像220的灰度而获得图像223。另一方面，只要关心暗区中的主体(部分主体)，则可以说，由于赋予之前曝光不足的图像220的像素的合适的辉度，图像223提供了物体的改善的视图。

[0174] 当由线241确定的值乘以图像亮区的校正自适应增益kBr时，通过在图像224下方所示的图的线245，输出信号的亮度值(Y-out)被确定为与输入信号的亮度值(Y-in)相称。结果，获得适合于暗区的与图像220的动态范 围相称的图像224。

[0175] 如上所述，通过使用由图6中所示的LUT标识的自适应级Adl找到自适应增益和乘以与图像区域中的发光强度相称的自适应增益，可以获得具有图像亮区和暗区的合适的曝光值的图像。如此获得的图像已经作为整体在动态范围上压缩，并且在图像的各个区域中提供了物体的改善视图。另外，不像完全适合于图像亮区或暗区的图像，这些图像看起来是自然的。这种动态范围的压缩将被适当称为灰度压缩。

[0176] 在成像装置10中，控制MPU 64基于检测部分63进行的处理的结果预先找到自适应增益kAr和kBr。然后，在细节调整部分67和色调曲线处理部分68进行的后续处理中，使用自适应增益kAr和kBr对图像进行灰度压缩。

[0177] 即，在成像装置10中，使用基于图像动态范围而标识的自适应级Adl，校正图像亮区的完全自适应增益kA及其暗区的完全自适应增益kB，以找到如参照图6所述的自适应增益kAr和kBr。然后，基于自适应增益kAr和kBr生成图2中所示的校正增益LUT 72。应注意，后面将参照图17给出校正增益LUT 72的描述。

[0178] 另外，检测部分63进行的处理找到图像亮区的平均发光强度LA及其暗区的平均发光强度LB，并且控制MPU 64找到要提供给边缘保留LPF 65的阈值ε。

[0179] 使用以下所示的等式，基于平均强度LA和LB找到阈值ε。

[0180] ε＝R×|LA-LB|

[0181] 这里，适合于调整滤波器的边缘保留强度的系数R是固定值。即，如图8所示标识ε。图8是所捕捉的图像的直方图，其在纵轴上显示频率(像素计数)，并在横轴上显示辉度(例如，亮度值)。

[0182] 边缘保留LPF 65是适合于用参考级代替落到参考级之上或之下的范围ε外的像素值以进行平滑的非线性平滑滤波器。该滤波器是通过改善所谓伊普西龙滤波器而获得的低通滤波器。下面将参照图9a和图9b给出该低通滤波器的操作的描述。应注意，图9a和图9b两者均在横轴上示出像素位置而在纵轴上示出辉度值。每个像素位置处的像素的辉度值由线301或302所示。

[0183] 例如，如果每个像素位置处的像素的辉度值由图9a中的线301所示，则例如作为用于找到滤波器在点311处的输出值的处理，边缘保留LPF 65 设置滤波器中值(滤波器窗口的中间值)作为参考级。例如，边缘保留LPF65暂时用点313的辉度代替点312所示的位置处的像素值(其落到参考级之上和之下的范围ε外)，并计算落入滤波器窗口范围内的像素的平均值以进行平滑。结果，按照全域方式，位于像素位置的宽度W内的像素的辉度被设置为图9b中的点314所示的值。

[0184] 然后，重复上述处理，直到逐个像素地平移宽度W的位置，从而以使得将图像分为亮区和暗区的方式平滑图像。

[0185] 例如，如上所述操作的边缘保留LPF 65的处理从如图10a所示的输入图像产生如图10b所示的输出图像。图10a和图10b均例示了具有背景和黑色人影的图像。图10a的区域A(背景)是亮区，而图10b的区域B(人影)是暗区。这样，假设边缘保留LPF 65的滤波器窗口被设置为如图10a中的圆321所示。由同一图中的星形所示的像素322代表滤波器中值，其是参考辉度级。

[0186] 如上所述，图10b中所示的已经经过边缘保留LPF 65的处理的输出图像不再具有负载的背景图案，但保留充当背景和人影之间的边界的边缘。即，边缘保留LPF 65的处理从信号Y’中去除了高频分量，允许高准确度地提取每个区域的发光分量。

[0187] 尽管使用位于滤波器窗口中心处的像素值作为伊普西龙滤波器中的参考级是常见的，但是在该情况下像素中的特定点不平滑。为此，边缘保留LPF 65包括低通滤波器，其利用被设置为位于滤波器窗口中心的像素和在邻近该像素的预定位置处排列的多个像素的加权平均值的参考值进行操作。应注意，可替换地，可使用位于滤波器窗口中心的像素和在邻近该像素的预定位置处排列的多个像素的简单平均值作为参考级。

[0188] 另一方面，在单个伊普西龙滤波器进行的处理中，可平滑的频带被偏置。因而，组合通过具有彼此不同的阈值的多个低通滤波器的处理获得的信号，以在本实施例中使用。 [0189] 图11是例示了边缘保留LPF 65的详细配置例子的图。如上所述，边缘保留LPF65是低通滤波器，被设计为从输入信号Y’的原始图像中去除细节分量，以正确地仅仅提取原始图像的发光分量。

[0190] 馈送到边缘保留LPF 65的信号Y’的图像被下采样器351稀疏化为具有较少数目的像素的图像，并被存储在缓冲器352中。由此，在稀疏像素数目 之后对图像滤波，提供更快的滤波。

[0191] 此时，例如，生成如图12所示的图像，其像素数目被稀疏为原始图像的十六分之一。结果，如图13所示的图像被存储在缓冲器352中。在该例子中，原始图像显示出钟塔作为主体，相对于作为背景的天空。应注意，尽管这里将像素已经被稀疏为原始图像的十六分之一的图像被示出为在尺寸上小于原始图像以有助于描述，但是作为下采样器351的稀疏处理的结果，图像尺寸不必减小。

[0192] 缓冲器352中存储的图像被提供给多尺度滤波器353。多尺度滤波器353包括超宽带边缘保留LPF 361和宽带边缘保留LPF 362。宽带边缘保留LPF362具有例如在尺寸上等于输入图像短边上的像素的2至20％的滤波器窗口。这里，术语“输入图像的短边”是指当成像元件的格式垂直和水平不对称时具有较少数目的像素的那条边。超宽带边缘保留LPF 361是一个滤波器窗口为宽带边缘保留LPF 362的滤波器窗口例如两至十倍的边缘保留LPF。

[0193] 从缓冲器352输出的信号被提供超宽带边缘保留LPF 361和宽带边缘保留LPF362。由加法器363组合由两个LPF进行低通滤波的信号。

[0194] 例如，多尺度滤波器353处理过的图像表现为例如图14所示并被存储在缓冲器354中。

[0195] 与图13所示的图像相比，作为多尺度滤波器353滤波的结果，图14中所示的图像不再具有例如钟塔的时钟、墙上的图案和背景中的云。

[0196] 缓冲器354中存储的图像被提供给边缘保留上采样器356。边缘保留上采样器356基于从信号Y’获得的原始图像的边缘信息，增加在缓冲器354中存储的图像中的像素数目。即，边缘保留上采样器356将其像素已经被下采样器351稀疏化的图像恢复为具有原始像素数目的图像。

[0197] 此时，生成例如图15所示的图像，其像素数目已经增加到缓冲器354中存储的图像的十六倍。图15中的图像显示出作为暗物体的钟塔或主题，相对于作为亮物体的天空或背景。即，图像不在具有钟塔或天空中的精细图案，并且由暗区和亮区构成。在本实施例中，这样的图像被称为原始图像的发光分量。

[0198] 另外，在本实施例中，当增加图像的像素数目时，边缘保留上采样器356去除边缘钝感(bluntness)。

[0199] 下面将参照图16给出边缘保留上采样器的详细描述。

[0200] 简单地将像素数目已经稀疏化为其原始图像的十六分之一的图像的像素数增加16倍(像素计数的简单增加)产生如图像381所示的图像，在图像的暗区和亮区之间具有模糊的边缘或界限。在图像381右侧显示图表。该图表在横轴上显示像素位置，在纵轴上显示像素辉度，线383代表图像381的每个像素的辉度。

[0201] 作为像素计数的简单增加的结果，线383具有接近梯形的形状，而它应该是接近矩形的形状。即，像素计数的简单增加使得像素辉度缓慢改变，而它应该急剧改变。因此，图像中不再清晰显示的边缘变得迟钝。

[0202] 为此，本实施例提取作为像素计数的简单增加的结果而具有迟钝边缘的图像和原始图像之间的差，从所提取的差信号中去除边缘钝感，以恢复到原始图像。 [0203] 在原始图像382的右侧示出图表。该图表在横轴上显示像素位置，在纵轴上显示像素辉度，线384代表原始图像382的每个像素的辉度。线384所示的原始图像没有边缘钝感，但包含细节分量，因为它还必须由多尺度滤波器353进行滤波处理。在该例子中，线384的区域384a中包含的精细幅值是细节分量。

[0204] 通过提取由线383所示的信号和由线384所示的信号之间的差而获得的信号的图像看起来例如如同图像385。在图像385下方示出图表。该图表在横轴上显示像素位置，在纵轴上显示像素辉度，线386代表图像385的每个像素的辉度。由线386所示的信号包含图像381的边缘钝感分量和原始图像382的细节分量。

[0205] 为此，边缘保留上采样器将线386所示的信号乘以具有线387所示的特性的增益，以去除钝感分量。线387代表具有横轴上的输入和纵轴上的输出的增益的哦特性。该特性使得输出信号值随着输入信号值的改变而改变。线387具有所谓S形函数的特性。 [0206] 与信号中包含的原始图像382的细节分量相比，信号中包含的图像381的边缘钝感分量的幅值更大。结果，线386所示的信号通过S形函数处理，提供如图像388所示的具有减少的钝感分量的图像。应注意，这里可使用固定值作为S形函数。然而，如果信号被调制为例如使得在非常有可能存在边缘的区域中强化S形特性，则可更有效地恢复边缘。 [0207] 在图像388下方示出图表。该图表在横轴上显示像素位置，在纵轴上显 示像素辉度，线389代表图像388的每个像素的辉度。与线386所示的信号相比，由于边缘钝感分量，由线389所示的信号的幅值更小。

[0208] 如上所述，在减少边缘钝感分量之后组合信号(由线382所示的信号)和原始图像382的信号(由线384所示的信号)，这提供了像素计数增加的图像或图像391。在图像391下方示出图表。该图表在横轴上显示像素位置，在纵轴上显示像素辉度，线392代表图像391的每个像素的辉度。不同于由线383所示的信号，由线392所示的信号没有边缘钝感。此外，不同于由线384所示的信号，由线392所示的信号没有由于细节分量导致的精细幅值。

[0209] 即，不同于像素计数简单增加的图像381，图像391清晰地显示出仅仅提取了图像的发光分量的图像中的边缘。

[0210] 应注意，上采样处理不仅可以如本实施例所述那样实现，还可使用在J.Kopf和M.Cohen 和 D.Lischinski 和 M.Uyttendaele，“Joint Bilateral Upsampling”，Proc.SIGGRAPH 07，2007中公开的方法。然而，本实施例的上述方法确保采样处理的改善的效率和更高的准确度。

[0211] 如上所述，本实施例允许从图像中提取发光和细节分量，同时去除边缘钝感。另外，边缘保留LPF 65的滤波参数(例如，阈值)根据图像的动态范围自动设置，由此无需用户操作。

[0212] 另外，本发明使得其像素已经被下采样器351稀疏化的图像被多尺度滤波器353进行滤波处理，之后由边缘保留上采样器356进行上采样操作以恢复具有原始像素数目的图像。这有助于显著减小滤波处理所需的时间和成本。

[0213] 如上所述，利用边缘保留LPF 65处理信号Y’提供了信号Y’的图像的发光分量信号Y’lp。发光分量信号Y’lp被提供给细节提取部分66、细节调整部分67和色调曲线处理部分68。

[0214] 细节提取部分66计算信号Y’和发光分量信号Y’lp之间的差，由此提取信号Y’的细节分量信号Y’de。细节分量信号Y’de被提供给细节调整部分67。此后，信号Y’的发光分量由色调曲线处理部分68进行灰度压缩，而信号Y’的细节分量由细节调整部分67进行灰度压缩。然而，应注意，细节调整部分67的灰度压缩实际上被设计为提供图像的细节的改善视图，而非压缩图像的动态范围。

[0215] 细节调整部分67将细节分量信号Y’de乘以基于校正增益LUT 72获得 的增益，由此校正图像的细节分量。

[0216] 图17例示了校正增益LUT的例子。校正增益LUT 72是将发光强度与增益相关联的表。在该例子中，由线411与发光强度相关联地定义增益。使用发光分量信号Y’lp的值作为发光强度，线411具有通过利用满足单调递增条件的平滑曲线对增益边界条件插值而获得的特性，从而当发光强度为0时，DetailGain(0)＝kBr，并且当发光强度为上限Y’sup时，DetailGain(Y’sup)＝kAr。然而，应注意，如果增益小于1，则图像在信号饱和区域变差。因而，增益被限制为始终是1或更大。

[0217] 由控制MPU 64基于预先结合检测部分63进行的处理而找到的自适应增益kAr和kBr，设置图17中所示的校正增益LUT 72。

[0218] 基于如此获得的信号而获得的图像在亮区和暗区中的每个物体中具有更少的过曝光或曝光不足，由此按照可正确感知像素之间的辉度差的方式提供了具有细节分量(物体)的改善视图的图像。

[0219] 另外，预先在校正增益LUT 72中存储增益使得可以例如通过简单地覆写部分LUT数据，容易地调整执行灰度压缩的程度。

[0220] 色调曲线处理部分68将发光分量信号Y’lp乘以被确定为与发光分量信号Y’lp的值相称的色调曲线的增益，以便使得发光分量信号Y’lp进行灰度压缩。该色调曲线根据校正增益LUT 72确定，并且由以下所示的等式获得的值充当增益：

[0221] ToneCurve(Y’lp)＝Y’lp×DetailGain(Y’lp)

[0222] 这里，DetailGain(Y’lp)表示基于校正增益LUT 72获得的增益，并且ToneCurve(Y’lp)表示由色调曲线处理部分68使用的增益。

[0223] 以上过程允许考虑到人眼的适应强度而压缩动态范围(灰度压缩)。 [0224] 另一方面，例如，如果使用色调曲线处理部分68的处理作为成像装置10的图像质量参数，则装置设计者可例如设置期望的典型值，而非根据校正增益LUT 72设置色调曲线。在此情况下，仅仅需要基于检测部分63的处理结果来选择典型值。然而应注意，即使在此情况下，ToneCurve(Y’lp)/Y’lP必须限于始终为1或更大，以防止图像在信号饱和区域变差。

[0225] 如上所述，例如，使用色调曲线处理部分68的处理作为图像质量参数使得可以独立于每个区域的自适应级来设置发光分量的灰度压缩色调曲线，由此允许没有约束的图像质量设计。

[0226] 由加法器69组合信号(一个经过细节调整部分67的处理，另一个经过色调曲线处理部分68的处理)，并且所得的信号被提供给RGB调制部分71作为信号Y’out。RGB调制部分71还接收通过对RGB信号进行减噪(NR)处理而获得的GRBNR信号。

[0227] 在常用减噪处理中，通过基于ISO速度设置噪声强度而去除噪声。然而，当图像进行灰度压缩时，输出图像中噪声的视图受到增益的影响。

[0228] 例如，如果图18中所示的利用ISO速度s捕捉的图像431进行减噪处理432并进一步进行灰度压缩处理433，则作为灰度压缩处理的结果，图像431的亮区A中的像素值乘以增益kAr，而其暗区B中的像素值乘以增益kBr。

[0229] 结果，当由于减噪处理432而没有噪声的图像进行灰度压缩处理433时，可通过区域A和B的增益再次增强噪声。在本实施例中，为此，减噪处理432将ISO速度设置为(kAr×s)以用作图像431的区域A中的像素的噪声密度，并将ISO速度设置为(kBr×s)以用作其区域B中的像素的噪声密度。更具体地，通过设置与基于校正增益LUT 72确定的增益相称的阈值，正确地去除噪声。

[0230] 在NR处理中，逐像素地调整伊普西龙滤波器的阈值εNR，以从输入信号中去除噪声分量。基于噪声标准偏差σ确定阈值εNR。当确定像素电荷x和ISO速度时，通过函数σ＝fs(x)找到噪声标准偏差σ。应注意，确定与像素电荷x相称的该像素的亮度值。 [0231] 图19是例示了具有横轴上的噪声标准偏差σ和纵轴上的电子数x的上述函数的例子。在图19中，作为例子示出了两个函数，一个用于高灵敏度增益，另一个用于标准增益。

[0232] 另一方面，在NR处理中，在计算阈值εNR时考虑例如由装置设计者设置的图像质量因子。假设用于ISO速度s的图像质量因子是g(x，s)，通过函数εNR＝g(x，s)×fs(x)。 [0233] 图20是例示了上述函数g(x，s)的例子的图，具有横轴上的图像质量因子g和纵轴上的电子数x。在该例子中，作为例子示出了两个函数，一个用于高灵敏度增益，另一个用于标准增益。

[0234] 在本实施例中，通过下面给出的等式找到反应增益效果的阈值εNRmod，以允许NR处理部分70使用阈值εNRmod进行NR处理。

[0235] εNRmod＝g(Gain×x，Gain×s)/Gain×fs(x)

[0236] 这里，变量Gain是基于校正增益LUT 72确定的增益。

[0237] 以上过程确保在图像的任何区域中考虑了与增益的乘法的最优NR处理。 [0238] NR处理部分70使用如上所述确定的阈值εNRmod对RGB信号进行NR处理，生成信号RGBNR作为输出信号并将信号RGBNR提供到RGB调制部分71。

[0239] RGB调制部分71基于来自加法器69的信号调制来自NR处理部分70的信号RGBNR，输出通过以下所示的等式获得的信号RGBNRout作为代表由灰度压缩部分34进行的处理的结果的信号。

[0240] RGBNRout＝(Yout/Y)×RGBNR

[0241] 这里，信号Yout和Y是分别由感觉均衡部分62进行的信号Y’out和Y’的非线性转换处理的逆转换处理所生成的线性信号。即，馈送到灰度压缩部分34的图像的RGB信号被亮度信号生成部分61转换为代表辉度的信号Y，并且图像基于信号Y进行灰度压缩。然后，进行灰度压缩的图像从灰度压缩部分34输出，再次充当RGB信号(信号RGBNRout)。 [0242] 接着将参照图21所示的流程图给出成像装置10的成像处理的描述。 [0243] 在步骤S11中，成像装置10捕捉预备图像。该预备图像的捕捉是为了在捕捉要记录正式(definitive)图像之前设置成像装置10的多种参数。

[0244] 在步骤S12中，成像装置10使得在步骤S11中的处理之后从图1的CCD31输出的信号首先进行白平衡部分32的处理。然后，解拼部分33将所得信号转换为RGB信号，并将RGB信号输出到灰度压缩部分34。

[0245] 在步骤S13中，图2所示的亮度信号生成部分61从亏送到灰度压缩部分34的RGB信号中提取代表考虑了物体反射率的辉度的信号Y。应注意，此时，感觉均衡部分62非线性地转换信号Y以生成感觉均衡的辉度信号Y’，以便在后续检测处理和低通滤波处理中确保匹配人类感觉的信号处理。

[0246] 在步骤S14中，检测部分63进行后面将参照图22描述的检测处理。这允许检测部分63对信号Y’进行检测处理。

[0247] 这里将参照图22中所示的流程图给出图21的步骤S14中的检测处理的详细描述。

[0248] 在步骤S41中，检测部分63对输入信号(信号Y’)进行低通滤波处理。 这从图像中去除了频率比预设水平更高的分量。

[0249] 在步骤S42中，检测部分63计算平均值Ym，以将图像分为两个区域。在步骤S43中，检测部分63计算两个区域的平均值Yh和Yl，以再次计算平均值Ym。

[0250] 在步骤S44中，检测部分63确定值Ym是否收敛。检测部分63重复步骤S42至S44，直到检测部分63确定值Ym已经收敛。

[0251] 如上所述参照图3执行这些处理步骤。

[0252] 如果在步骤S44中确定值Ym已经收敛，则处理前进到步骤S45。

[0253] 检测部分63在步骤S45中暂时确定曝光参数。

[0254] 如上所述进行检测处理。

[0255] 返回参照图21，在步骤S14中的处理之后的步骤S15中，控制MPU 64对具有等于或大于饱和水平的值的像素的数目进行计数，并基于该像素数目确定成像曝光是否合适。 [0256] 如果在步骤S15中确定曝光不合适，则处理返回步骤S11，其中例如成像装置10被控制MPU 64控制为减少曝光和再次捕捉预备图像。

[0257] 如果在步骤S15中确定曝光合适，则处理前进到步骤S16。

[0258] 在步骤S16中，控制MPU 64最终确定曝光参数，如自适应增益kAr和kBr。此时，提供到边缘保留LPF 65的阈值ε也被设置为参数。此时，另一方面，基于由步骤S14中的检测处理找到的平均值Yh获得的曝光值EVh可被重新设置为默认曝光值。这样做的原因是如果使用与亮区相称的曝光水平捕捉图像，则可以防止图像中的噪声变得过强。在此情况下，重新找到自适应增益kAr和kBr以最终确定曝光参数。

[0259] 由于所获得的自适应增益kAr和kBr，另一方面，控制MPU 64在此时设置校正增益LUT 72，由此具体生成例如图17中所示的线411。线411将发光强度与增益相关联。 [0260] 成像装置10在步骤S17中捕捉正式图像。结果，从CCD 31输出的信号首先进行白平衡部分32的处理。然后，所得信号被解拼部分33转换为RGB信号，其被输出到灰度压缩部分34。

[0261] 在步骤S18中，灰度压缩部分34进行后面将参照图23中所示的流程图描述的灰度压缩处理。

[0262] 在步骤S19中，成像装置10进行多种预定信号处理任务。这些处理与 图1中所示的线性矩阵部分35、RGB伽玛校正部分36、BT.601矩阵部分37、Y伽玛校正部分38和色差矩阵部分39所处理的那些相关联。

[0263] 在步骤S20中，装置色阶压缩部分40例如根据输出装置的色阶进行色阶压缩处理。如上所述，在本实施例中，在灰度压缩(步骤S18)之后进行色阶压缩处理，由此防止诸如由于部分颜色灰度的损失或色彩偏离而引起的单调图像等的问题。

[0264] 然后，在步骤S21中，从装置色阶压缩部分40输出的图像数据被存储在存储文件41中。

[0265] 如上所述进行成像处理。

[0266] 接着将参照图23中所示的流程图给出图21中所示的步骤S18中的灰度压缩处理的详细描述。

[0267] 在步骤S61中，进行后面将参照图24所述的边缘保留LPF 65的处理。 [0268] 这里将参照图24中所示的流程图给出图23的步骤S61中的边缘保留低通滤波处理的详细描述。

[0269] 在步骤S81中，下采样器351稀疏化来自馈送到边缘保留LPF 65的信号Y’的图像的像素，由此产生具有更少像素的图像，并将图像存储在缓冲器352中。此时，例如，生成如图12所示的图像，其像素数目已经被稀疏化为原始图像的十六分之一。结果，在缓冲器352中存储如图13所示的图像。

[0270] 在步骤S82和S83中，缓冲器352中存储的图像被提供给多尺度滤波器353，其中图像进行超宽带边缘保留LPF 361和宽带边缘保留LPF 362的处理。然后，在步骤S84中，由加法器363组合两个信号(一个进行超宽带边缘保留LPF 361的处理，另一个进行宽带边缘保留LPF 362的处理)并存储在缓冲器354中。

[0271] 在步骤S85中，存储在缓冲器354中的图像被提供给边缘保留上采样器356。此时，如上面参照图16所述，例如，提取两个图像(作为像素计数的简单增加的结果而具有边缘顿感的图像和原始图像)之间的差。所提取的差信号进行适合于去除边缘顿感的处理。然后，所得信号与原始图像组合，以产生像素计数增加的图像。

[0272] 如上所述进行边缘保留低通滤波处理。

[0273] 返回参照图23，在步骤S61中的处理之后，细节提取部分66在步骤S62 中计算信号Y’和发光分量信号Y’lp之间的差，由此提取信号Y’的图像的细节分量信号Y’de，并将细节分量信号Y’de提供给细节调整部分67。

[0274] 在步骤S63中，细节调整部分67基于校正增益LUT 72设置增益。此时，如上参考图17所述，基于发光分量信号Y’lp设置增益。

[0275] 在步骤S64中，细节调整部67通过将细节分量信号Y’de乘以在步骤63的处理中设置的增益，校正图像的细节分量。

[0276] 在步骤S65中，NR处理部分70找到如上所述反应增益的效果的阈值εNRmod，并基于阈值εNRmod设置噪声参数。

[0277] 在步骤S66中，基于在步骤S65的处理中设置的噪声参数进行NR处理。此时，信号RGBNR被提供给RGB调制部分71作为输出信号。

[0278] 在步骤S67中，色调曲线处理部分68通过将发光分量信号Y’lp的值乘以被确定为与发光分量信号Y’lp相称的色调曲线的增益，对发光分量信号Y’lp进行灰度压缩。 [0279] 在步骤S68中，加法器69组合两个信号，一个来自步骤S64中的处理之后的细节调整部分67，另一个来自步骤S67中的处理之后的色调曲线处理部分68，并将所得信号提供给RGB调制部分71作为信号Y’out。

[0280] 在步骤S69中，RGB调制部分71基于从基于在步骤S68中的处理之后从加法器69提供的信号，调制从NR处理部分70提供的信号RGBNR。

[0281] 在步骤S70中，输出信号RGBNRout作为代表步骤S69中的处理的结果的信号，还作为代表由灰度压缩部分34进行的处理的结果的信号。

[0282] 如上所述进行灰度压缩。这确保输入信号对比度的正确压缩，由此提供在亮区和暗区中细节感觉均丰富的图像。

[0283] 另外，如果仅仅通过细节调整部分67的处理增强细节分量而不金子那个色调曲线处理部分68的处理，则有可能逐个区域地提供图像的改善视图，同时维持输入图像对比度不变。

[0284] 顺带地，在传统数字静态相机的信号处理中，例如，通过调整RAW信号(成像器输出信号)的高亮度区域中的灰度曲线来进行更多或更少的全局灰度压缩。根据全局灰度压缩确定成像曝光。如果另外添加不同的灰度压缩处理，则成像曝光设置和灰度曲线之间的关系混乱，使得不能生成所期望的图像。此外，减噪不如预期那样有效，导致噪声的更差的感觉。如果本发明应用于诸如数字静态相机的能够通过调整RAW信号的高亮度区域中的灰度 曲线来进行更多或更少的全局灰度压缩的成像装置，则按照以下所述的方式相对于彼此高效地进行一般相机信号处理和本实施例的处理。

[0285] 在传统的相机信号处理中，RGB信号和信号Y(亮度信号)进行与代表输入信号的动态范围的值DRIN相称的伽玛校正，由此通过图像的高亮度区域的膝状压缩(knee compression)而压缩动态范围。

[0286] 图25是例示了传统灰度压缩处理中的RGB伽玛校正的例子的图。如该图中所述，线501至503分别例示了当代表输入信号的动态范围的值DRIN是150％(D范围：150％)、300％(D范围：300％)和600％(D范围600％)时在与主体亮度相称的校正之后RGB信号的输出值(RGBout)的特性。

[0287] 图26是例示了传统灰度压缩处理中Y伽玛校正的例子的图。如图所示，线511至513分别例示了当代表输入信号的动态范围的值DRIN是150％(D范围：150％)、300％(D范围：300％)和600％(D范围600％)时在与主体亮度相称的校正之后信号Y的输出值(Yout)的特性。

[0288] 例如，基于相机的内部存储器中存储的RGB伽玛表和Y伽玛表，进行这样的信号校正。

[0289] 在能够在开发RAW信号时通过调整高亮度区域中的灰度曲线而进行全局灰度压缩的数字静态相机等中，如图25和图26所示自动校正输入信号。

[0290] 如果向能够在开发RAW信号时通过调整高亮度区域中的灰度曲线而进行全局灰度压缩的数字静态相机等添加例如上面参照图1至24所述的处理，即，如果在图21的步骤S19中的处理期间将本发明应用于例如适合于如图25和图26所示校正输入信号的数字静态相机，则仅仅需要设置具有被设为(kBr/kAr)×DRIN的动态范围的RGB伽玛和Y伽玛表。 [0291] 这样做的原因是作为图21的步骤S18中的处理的结果，已经通过kBr/kAr折叠(fold)压缩输入图像的动态范围DRIN。

[0292] 图27和图28是例示了具有被设置为(kBr/kAr)×DRIN的动态范围的RGB伽玛和Y伽玛表的例子的图。

[0293] 图27示出了横轴上的RGB信号的输入值(RGBin)和纵轴上的RGB信号的输出值(RGBout)。线521至523分别例示了当代表输入信号的动态范围的值DRIN是150％(D范围：150％)、300％(D范围：300％)和600％(D范围600％)时在与RGB信号的输入值相称的校正之后RGB信号的输出值(Yout)的特性。

[0294] 图28示出了横轴上的信号Y的输入值(Yin)和纵轴上的信号Y的输出值(Yout)。线531至533分别例示了当代表输入信号的动态范围的值DRIN是150％(D范围：150％)、
300％(D范围：300％)和600％(D范围600％)时在与信号Y的输入值相称的校正之后信号Y的输出值(Yout)的特性。

[0295] 由此，如果再次基于自适应增益kBr和kAr设置RGB和Y伽玛表，则可以将本发明应用于传统的数字静态相机等，而不会显著地改变其配置。

[0296] 由此，为了校正RGB和Y伽玛表，仅仅需要将信号(一个代表自适应增益kBr，另一个代表自适应增益kAr)从灰度压缩部分34经由成像装置10的未示出的总线提供给RGB伽玛校正部分36和Y伽玛校正部分38，从而分别由RGB伽玛校正部分36和Y伽玛校正部分38校正RGB和Y伽玛表。

[0297] 另外，如上所述，色调曲线处理部分68将发光分量信号Y’lp乘以被确定为与发光分量信号Y’lp的值相称的色调取消的增益，以便对发光分量信号Y’lp进行灰度压缩。根据校正增益LUT 72确定该色调曲线。

[0298] 现在假设在色调曲线中，装置设计者不设置任何期望的典型值，并且由组合两个信号的加法器69生成的信号的值是Y’out，则保持如下所示的等式。

[0299] Y’out＝ToneCurve(Y’lp)+DetailGain(Y’lp)×Y’de

[0300] ＝Y’lp×DetailGain(Y’lp)+DetailGain(Y’lp)×Y’de

[0301] ＝DetailGain(Y’lp)×(Y’lp+Y’de)

[0302] 即，如果色调曲线处理部分68的色调曲线完全与校正增益LUT 72有关，则通过简单地将信号Y’(＝Y’lp+Y’de)即原始图像乘以由校正增益LUT 72确定的增益(DetailGain(Y’lp))而获得由组合两个信号的加法器69生成的信号。

[0303] 如果色调曲线处理部分68的色调曲线完全与校正增益LUT 72有关，则可以共用色调曲线处理部分68和细节调整部分67，由此提供装置的更加简单的配置。 [0304] 如果由被配置为如上参照图2所述的灰度压缩部分34进行灰度压缩，则两个差增益被用作图像的发光分量和细节分量的乘数。即，如果通过发光分量的灰度压缩获得的信号的特性如图29的线552所示，则通过细节分量的灰度压缩获得的信号的特性如图29中的线551所示。

[0305] 图29示出了横轴上的发光分量信号Y’lp的输入值Y’lpin和纵轴上的在 灰度压缩后输出的发光分量信号Y’lp的输出值Y’lpout。如果在图29的图表上叠加显示出横轴上的细节分量信号的输入值和纵轴上的在灰度压缩后输出的细节分量信号的输出值的图表，则获得由线551所示的特性。

[0306] 色调曲线处理部分68的色调曲线完全与校正增益LUT 72有关的事实意味着线511一开始所示的细节分量信号的输出值的特性与图29中线552所示的相似。 [0307] 图30是例示了图1中所示的灰度压缩部分34的另一详细配置例子的图。该图示出了具有比图2所示更简单的配置的灰度压缩部分34的例子。

[0308] 省略了该图中亮度信号生成部分61和边缘保留LPF 65的详细描述，因为它们与上面参照图2所述的相同。

[0309] 不同于图2中所示的灰度压缩部分34，图30所示的灰度压缩部分34没有细节调整部分67、色调曲线处理部分68和加法器69，但具有增益处理部分73。合并类似于校正增益LUT 72的LUT，增益处理部分73基于LUT标识从边缘保留LPF 65输出的与发光分量信号Y’lp相称的增益，并将增益输出到NR处理部分70和RGB调制部分71。

[0310] 在图30所示的例子中，增益处理部分73的输出信号(增益)被提供给NR处理部分70。NR处理部分70使用如上所述确定的阈值εNRmod对RGB信号进行NR处理，生成信号RGBNR作为输出信号并将信号RGBNR提供给RGB调制部分71。

[0311] RGB调制部分71将RGB信号乘以来自增益处理部分73的增益。RGB调制部分71还调制来自NR处理部分70的信号RGBNR，输出通过以下所示等式获得的信号RGBNRout，作为代表由灰度压缩部分34进行的处理的结果的信号。在图30所示的例子的情况下，由以下所示的等式表示信号RGBNRout。

[0312] RGBNRout＝{DetailGain(Y’lp)}1/γ×RGBNR

[0313] 其中{}1/γ是非线性到线性转换。

[0314] 接着将参照图31所示的流程图给出当灰度压缩部分34被配置为如图30所示时的灰度压缩处理的例子的描述。

[0315] 在步骤S101中，边缘保留LPF 65进行处理。该处理与上面参照图24所示的流程图所述的相同。因而省略其详细描述。

[0316] 在步骤S102中，增益处理部分73基于内部LUT设置增益。此时，如 上参照图17所述，基于发光分量信号Y’lp的值设置增益。

[0317] 在步骤S103中，NR处理部分70如上所述找到反映增益效果的阈值εNRmod，并基于阈值εNRmod设置噪声参数。

[0318] 在步骤S104中，基于在步骤S103的处理中设置的噪声参数，进行NR处理。此时，信号RGBNR被提供给RGB调制部分71作为输出信号。

[0319] 在步骤S105中，RGB调制部分71将RGB信号(即发光分量信号Y’lp+细节分量信号Y’de)乘以在步骤S102的处理中设置的增益，由此进行灰度压缩。

[0320] 在步骤S106中，RGB调制部分71基于来自增益处理部分73的信号调制来自NR处理部分70的信号RGBNR。

[0321] 然后，在步骤S107中，输出信号RGBNRout，作为代表由灰度压缩部分34进行的处理的结果的信号。

[0322] 如上所述进行灰度压缩处理。这确保输入信号对比度的正确压缩，由此提供在整个灰度上的细节感觉丰富的图像，并且与图23所示的情况相比简化了处理。 [0323] 另外，本实施例提供例如通过传统RGB色调曲线处理获得的图像的改善的质量。例如，传统RGB色调曲线处理可能由于全局灰度压缩而导致细节丢失或者由于RGB信号的非线性处理而导致色彩偏离，由此导致图像质量恶化。

[0324] 例如，根据本实施例使用边缘保留LPF 65和细节提取部分66从图像中提取发光和细节分量。然后，进行局部处理，其中基于传统RGB色调曲线处理中的预设色调曲线对图像的发光和细节部分进行不同的色调曲线处理(灰度校正处理)。与传统RGB色调曲线处理相比，这提供了图像的改善的质量。

[0325] 在此情况下，当在传统RGB色调曲线处理中给出的预设色调曲线的增益由UserToneCurve(Y’)表示时，要乘以细节分量的增益DetailGain(Y’lp)通过以下所示的等式找到。

[0326] DetailGain(Y’lp)＝UserToneCurve(Y’lp)/Y’lp

[0327] 然后，仅仅需要通过以下所示的等式找到要乘以发光分量的增益ToneCurve(Y’lp)。

[0328] ToneCurve(Y’lp)＝UserToneCurve(Y’lp)

[0329] 这容易地实现了通过色调曲线处理获得图像的改善的质量。

[0330] 在图1中，另一方面，给出了描述，使得解拼部分33将拼嵌图像转换(解拼)为RGB信号并将RGB信号输出到灰度压缩部分34。然而可替换地，拼嵌图像信号，即Bayer RAW信号可“原样”输出到灰度压缩部分34。

[0331] 在此情况下，灰度压缩部分34的亮度信号生成部分61使用通过插值Bayer RAW信号而获得的RGB信号生成信号Y。NR处理部分70进行BayerRAW信号的NR处理。然后，RGB调制部分71仅仅需要调制Bayer RAW信号而非RGB信号。

[0332] 如果Bayer RAW信号被“原样”输出到灰度压缩部分34，则成像装置10被配置为如图32所示。在图32中，与图1中相同的部分用相同的附图标记表示。在图32所示的例子中，在白平衡部分32和解拼部分33之间提供灰度压缩部分34。图32所示的成像装置10在所有其他方面中与图1所示的相同。

[0333] 可替换地，成像装置10可被配置为如图33所示。在图33中，与图1中相同的部分用相同的附图标记表示。在图33所示的例子中，在线性矩阵部分35和RGB伽玛校正部分36之间提供灰度压缩部分34。图33所示的成像装置10在所有其他方面中与图1所示的相同。

[0334] 另外，成像装置10可被配置为在伽玛校正之后进行灰度压缩。在此情况下，在灰度压缩之前进行理想的sRGB伽玛校正，之后，进行灰度压缩。然后，在灰度压缩之后，伽玛图像质量和膝状压缩分量由RGB德尔塔/伽玛校正部分进行校正。

[0335] 图34是例示了适合于在伽玛校正处理之后进行灰度压缩的成像装置10的配置例子的图。在图34中，与图1中相同的部分用相同的附图标记表示。不同于图1中所示的成像装置，图34的例子中所示的成像装置10没有RGB伽玛校正部分36，但有sRGB伽玛校正部分42和RGB德尔塔/伽玛校正部分43。sRGB伽玛校正部分42进行理想sRGB伽玛校正处理。RGB德尔塔/伽玛校正部分43校正伽玛图像质量和膝状压缩分量。在图34中，在sRGB伽玛校正部分42和RGB德尔塔/伽玛校正部分43之间提供灰度压缩部分34。图34中所示的成像装置10在所有其他方面中与图1所示的相同。

[0336] 图35是例示了图11中所示的超宽带边缘保留LPF 361或宽带边缘保留LPF 362的详细配置例子的框图。如上所述，缓冲器352的输出信号被提供 给超宽带边缘保留LPF361或宽带边缘保留LPF 362。在这些滤波器之一中进行了边缘保留地通滤波处理的信号被输出到加法器363。这些滤波器被设计为平滑图像的所有区域而非边缘，同时保留边缘完整。

[0337] 应注意，在图2的框图中所示的边缘保留LPF 65中，如图11所示，为了描述方便，包括例如下采样器351和边缘保留上采样器356的功能块被称为边缘保留LPF。然而，如果除了一般线性低通滤波器(LPF)的功能之外，滤波器还能够根据输入值和给定参考级(例如，滤波器窗口的中心值)之间的差调整滤波器窗口中的输入值的效果在滤波处理的输出上的比例，则该滤波器也称为边缘保留LPF。即，被配置为图11中的超宽带边缘保留LPF361或宽带边缘保留LPF 362的每个滤波器可被称为边缘保留LPF。

[0338] 如图35所示，超宽带边缘保留LPF 361或宽带边缘保留LPF 362(这里简称为边缘保留LPF)包括加法系数确定处理部分601、系数归一化处理部分602、乘法器603和604、积分部分605和积分结束确定部分606。

[0339] 缓冲器352中存储的图像中的滤波器窗口的中心处的像素被提供给加法系数确定处理部分601的参考级计算部分611。参考级计算部分611基于所提供的像素的值计算参考级。例如，如上参照图9所述，位于滤波器窗口中心处的像素值被“原样”用作参考级。 [0340] 从参考级计算部分611输出的参考级被提供给减法器612。减法器612基于馈送到该边缘保留LPF的每个像素值和参考级之间的差，并将计算结果提供给加法系数输出部分613。

[0341] 加法系数输出部分613基于减法器612的输出值和从图2中所示的控制MPU 64提供的阈值ε，输出加法系数。加法系数是在边缘保留LPF的滤波处理中使用的信号方向上的权重。另一方面，该系数是范围滤波器系数。此时，例如，如图36所示输出加法系数。 [0342] 图36是在横轴上示出减法器612的输出值并且在纵轴上示出从加法系数输出部分613输出的加法系数的图。如该图所示，当减法器612的输出值(即，每个像素值和参考级之间的差)落入+ε和-ε之间的范围内时，加法系数输出部分613输出值1作为加法系数。另一方面，当减法器612的输出值落在+ε和-ε之间的范围外时，加法系数输出部分613输出值0作为加法系数。

[0343] 乘法器603将从加法系数输出部分613输出的加法系数与馈送到边缘保留LPF的每个像素值相乘。乘法器603的加法系数的乘法防止像素值(其与参考级之间的差不落入+ε和-ε之间的范围内)被提供给乘法器604。

[0344] 乘法器604将乘法器603的输出值和滤波器系数相乘。滤波器系数是在边缘保留LPF的滤波处理中使用的空间方向上的权重。另一方面，该系数是域滤波器系数。这里，根据感兴趣的像素和位于滤波器窗口中心处的像素之间的距离确定要乘的滤波器系数。 [0345] 图37是描述滤波器系数的图。该图在横轴上例示了感兴趣的像素和位于滤波器窗口中心处的像素之间的距离，并且在纵轴上例示了滤波器系数。如该图所示，当要处理的像素(感兴趣的像素)和位于滤波器窗口中心处的像素之间的距离落入范围+W和-W内时，提供给定滤波器系数。另一方面，如果要处理的像素(感兴趣的像素)和位于滤波器窗口中心处的像素之间的距离落入范围+W和-W外，则提供滤波器系数0。另外，当感兴趣的像素和位于滤波器窗口中心处的像素之间的距离落入范围+W和-W内时，滤波器系数的积分为1。这里，参考数字W是与上面参照图9所述的像素位置宽度W相关联的值，并且预先设置在边缘保留LPF中。

[0346] 由于乘法器603的滤波器系数的乘法和后面将描述的归一化，能通过求和获得滤波器窗口中的平均像素值。

[0347] 从乘法器604输出的值均被提供到积分部分605以求和。当从乘法器604输出的用于位于滤波器窗口内的像素的所有值被提供给积分部分605并求和时，积分结束确定部分606将求和结果输出到除法器624。

[0348] 另一方面，乘法器621将从加法系数输出部分613输出的加法系数和上述滤波器系数相乘。从乘法器621输出的值均被提供到积分部分622以求和。当从乘法器621输出的用于位于滤波器窗口内的像素的所有值被提供给积分部分622并求和时，积分结束确定部分623将求和结果输出到除法器624作为归一化系数。这是的可以找到滤波器窗口的所有像素中与参考级之间的差落入范围+ε和-ε内的像素的平均亮度值。

[0349] 除法器624的输出是进行了边缘保留LPF的处理的像素值。结果，已经进行了边缘保留LPF的处理的像素值用滤波器窗口的所有像素中与参考级之间的差落入范围+ε和-ε内的像素的平均亮度值代替。

[0350] 即，边缘保留LPF基于与要处理的目标像素相关联的参考像素值(参考级)和阈值ε，确定临近要处理的目标像素的每个像素的值与参考级之间的差是否落入+ε和-ε之间的范围内。然后，仅仅其值和参考级之间的差落入+ε 和-ε之间的范围内的那些像素才被确定为有效并用于计算上述平均值以进行平滑。

[0351] 应注意，给出了描述，使得图35示出了图11中超宽带边缘保留LPF 361或宽带边缘保留LPF 362的详细配置例子，图11中的多尺度滤波器可被配置为如图35所示。即，图2中被示出为边缘保留LPF 65的功能块不必包括超宽带边缘保留LPF 361和宽带边缘保留LPF 362。

[0352] 下面将参照图38中所示的流程图给出图35所示的边缘保留LPF的滤波处理的描述。例如，该处理被执行为图24的步骤S82或S83中的处理。

[0353] 在步骤S131中，参考级计算部分611基于所提供的像素值计算参考级。例如，如上面参照图9所述，位于滤波器窗口中心处的像素值被“原样”用作参考级。 [0354] 在步骤S132中，积分器605和622重置。

[0355] 在步骤S133中，滤波器窗口中的未处理像素被选择和提供给减法器612。 [0356] 在步骤S134中，加法系数输出部分613基于减法器612的输出值和从图2中所示的控制MPU 64提供的阈值ε，输出加法系数。此时，如图36所示，当加法器612的输出值落入+ε和-ε之间的范围内时，加法系数输出部分613输出值1作为加法系数。另一方面，当加法器612的输出值落在+ε和-ε之间的范围外时，加法系数输出部分613输出值0作为加法系数。

[0357] 然后，乘法器603将从加法系数输出部分613输出的加法系数与馈送到边缘保留LPF的每个像素值相乘。

[0358] 在步骤S135中，乘法器604将乘法器603的输出值和滤波器系数相乘。另一方面，乘法器621将从加法系数输出部分613输出的加法系数和滤波器系数相乘。此时，例如，当在步骤S133的处理中选择的像素(感兴趣的像素)和位于滤波器窗口中心处的像素之间的距离落入+W和-W之间的范围内时，提供值1作为滤波器系数。另一方面，当感兴趣的像素和位于滤波器窗口中心处的像素之间的距离落入+W和-W之间的范围外时，提供值0作为滤波器系数。

[0359] 在步骤S136中，积分部分605对作为步骤S135中的处理的结果而产生的值求和(相加)。

[0360] 在步骤S137中，积分结束确定部分606和623确定滤波器窗口中的所有像素的值是否已经被求和。如果积分结束确定部分606和623确定滤波器窗口中的所有像素的值还必须要被求和，则处理返回到步骤S133。

[0361] 当积分结束确定部分606和623在步骤S137中确定滤波器窗口中的所有像素的值已经被求和，则积分结束确定部分606和623将求和结果输出到除法器624。 [0362] 在步骤S138中，除法器624进行除法并输出归一化值。

[0363] 如上所述进行边缘保留LPF的滤波处理。

[0364] 图39是例示了边缘保留LPF的另一配置例子的框图。在图39中，与图35中相同的功能块用相同的附图标记表示，并且省略其详细描述。

[0365] 在图39所示的例子中，加法系数输出部分613的输出被提供给乘法器603和减法器607。然后，减法器607计算从加法系数输出部分613输出的加法系数和值1.0之间的差。减法器607的输出被提供给乘法器608。乘法器608将从减法器607输出的差和从参考级计算部分611输出的参考级相乘并将乘积提供给加法器609。加法器609将从乘法器603提供的值和从乘法器608提供的值加在一起，并将和提供给乘法器604。

[0366] 在如图39所示配置的边缘保留LPF中，无需提供(可省略)图35中所示的系数归一化处理部分602。

[0367] 图40是例示了边缘保留LPF的再一配置例子的框图。该图例示了在配置上比图39中所示更加简单的边缘保留LPF。在图40中，与图35和图39中相同的功能块用相同的附图标记表示，并且省略其详细描述。

[0368] 在图40所示的例子中，减法器612的输出与加法系数输出部分613的输出一起提供给乘法器603。然后，加法器609将从乘法器603提供的值和从参考级计算部分611输出的参考级加在一起，并将和提供给乘法器604。

[0369] 这里，在例子中描述了边缘保留LPF包括伊普西龙滤波器(即，非线性数字滤波器)的情况。然而，可替换地，边缘保留LPF可包括双边滤波器，它是具有更高的调整自由度的非线性数字滤波器。包括双边滤波器的边缘保留LPF按照如上参照图35、39和40所述的相同方式配置。然而应注意，包括双边滤波器的边缘保留LPF不同于包括伊普西龙滤波器的边缘保留LPF之处在于，从加法系数输出部分613输出的加法系数和滤波器系数被提供给乘法器604或621。

[0370] 图41是描述当边缘保留LPF包括双边滤波器时的加法系数的图。如同 图36，图41是在横轴上示出减法器612的输出值并在纵轴上示出从加法系数输出部分613输出的加法系数的图。如该图所示，当减法器612的输出值(即，每个像素值和参考级之间的差)为0时，加法系数输出部分613输出值1作为加法系数。另一方面，当减法器612的输出值落在+ε和-ε之间的范围外时，加法系数输出部分613输出大约接近0的值作为加法系数。

[0371] 不同于图36中所示的加法系数，图41的例子中所示的加法系数随着减法器612的输出值的改变而不断改变。例如，通过在图41的右上角处所示的等式给出作为减法器612的输出值的改变的结果的加法系数的特性。应注意，等式中的变量y是加法系数，并且变量x是减法器612的输出值。

[0372] 图42是描述当边缘保留LPF包括双边滤波器时的滤波器系数的图。如同图37，图42在横轴上示出了感兴趣的像素和位于滤波器窗口中心处的像素之间的距离，并且在纵轴上示出了滤波器系数。如该图所示，当感兴趣的像素和位于滤波器窗口中心处的像素之间的距离为0时，提供最高滤波器系数。另一方面，当感兴趣的像素和位于滤波器窗口中心处的像素之间的距离落在+W和-W之间的范围外时，提供大约接近0的值作为滤波器系数。另一方面，当感兴趣的像素和位于滤波器窗口中心处的像素之间的距离落入+W和-W之间的范围内时，滤波器系数的积分为1。

[0373] 不同于图37中所示的滤波器系数，图42的例子中所示的滤波器系数随着感兴趣的像素和位于滤波器窗口中心处的像素之间的距离的改变而不断改变。例如，通过在图42的右上角处所示的等式给出作为感兴趣的像素和位于滤波器窗口中心处的像素之间的距离的改变的结果的滤波器系数的特性。应注意，等式中的变量y是滤波器系数，并且变量x是感兴趣的像素和位于滤波器窗口中心处的像素之间的距离，并且参考数字C是给定常数。

[0374] 如果图2所示的控制MPU 64正确地计算要提供给图35、39或40中的边缘保留LPF的加法系数输出部分613的阈值ε，则在边缘保留LPF 65的滤波处理之后从图像中正确地提取发光和细节分量。

[0375] 接着将给出通过将正确的阈值ε提供给边缘保留LPF的事实而产生的效果的进一步的描述。假设图43中所示的图像被馈送到图2中所示的边缘保留LPF 65。该图顶部的图像例示了木地板，左侧的区域是暗的而右侧的区域是亮的。

[0376] 图43底部的图表例示了图像的中心行中的像素的亮度值的改变，在横 轴上示出像素位置，在纵轴上示出亮度值。如图43的图表所示，左侧暗区中的像素作为整体亮度值较低，具有图表中的小幅值。即，左侧暗区中的每个像素仅仅较小程度地改变亮度值。另一方面，右侧亮区中的像素作为整体亮度值较高，具有图表中的大幅值。即，左侧暗区中的每个像素较大程度地改变亮度值。同时，在该图顶部，图像的亮区和暗区之间的边界接近图的水平中心。结果，在图底部的图表中接近水平中心的地方，像素亮度值急剧变化。 [0377] 如上参照图12至15所述，已经进行了边缘保留LPF 65的滤波处理的图像优选地应该没有图像中的精细图案，并且由暗区和亮区(原始图像的发光组件)构成。 [0378] 图44至46是例示了在边缘保留LPF 65的滤波处理之后从图43所示的边缘保留LPF 65输出的图像的例子的图。

[0379] 图44是作为例子例示了小于合适值的阈值ε被提供给(设置于)边缘保留LPF65的情况的图。应注意，如图43中那样，在图44中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。

[0380] 如图44顶部的图像所示，左侧暗区不再具有精细图案，但右侧亮区仍然具有精细图案。即，如图44底部的图表所示，图表中的幅值在左侧暗区中足够小。然而在右侧亮区中，图表中的幅值不是非常小。换言之，在图44的情况下，在亮区中没有充分平滑亮度值。 [0381] 图45是作为例子例示了合适的阈值ε被提供给边缘保留LPF 65的情况的图。应注意，如图43中那样，在图44中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。

[0382] 如图45顶部的图像所示，图像中左侧暗区和右侧亮区不再具有精细图案，它们之间的边界可清晰地标识。即，如图45顶部的图表所示，图表中的幅值在左侧暗区和右侧两组中均足够小。在接近图中水平中心的地方，像素亮度值急剧地较大程度地变化。换言之，在图45的情况下，在亮区和暗区中均已充分平滑亮度值，正确保留了发光分量的边界的边缘。

[0383] 图46是作为例子例示了大于合适值的阈值ε被提供给边缘保留LPF 65的情况的图。应注意，如图43中那样，在图46中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。

[0384] 如图46顶部的图像所示，图像中左侧暗区和右侧亮区不再具有精细图 案。然而，暗区和亮区之间的边界不清楚(模糊)。即，如图46底部的图表所示，图表中的幅值在左侧暗区和右侧亮区中均足够小。换言之，在图46的情况下，在亮区和暗区中均已充分平滑亮度值。然而，未正确保留发光分量的边界的边缘。

[0385] 如上参照图35和图36所述，已经进行边缘保留LPF的处理的像素值用滤波器窗口的所有像素中与参考级之间的差落入+ε和-ε之间的范围内的像素的平均亮度值代替。结果，如果阈值ε为0，则即使在边缘保留LPF的处理之后，像素值也保持不变。因而，如果如图44所示提供小于合适值的阈值ε，则原始图像中具有大亮度值变化的区域(图44中的亮区)未被充分平滑。

[0386] 另一方面，如果阈值ε无限大，则已经进行了边缘保留LPF的处理的像素值全部用给定值代替。结果，如果如图46所示提供大于合适值的阈值ε，则原始图像中亮区和暗区之间的边界模糊。

[0387] 图47至49是分别例示了当从图2中的边缘保留LPF 65输出图44至46所示的图像时从细节提取部分66输出的图像的例子的图。

[0388] 图47例示了当从图2的边缘保留LPF 65输入图44所示的图像时从细节提取部分66输出的图像的例子。在图47中，如图43中那样，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。如该图顶部的图像和底部的图表所示，例如，图像中未清楚地显示精细图案，并且图表中的幅值小。

[0389] 图48例示了当从图2的边缘保留LPF 65输入图45所示的图像时从细节提取部分66输出的图像的例子。在图48中，如图43中那样，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。如该图顶部的图像和底部的图表所示，例如，图像中清楚地显示精细图案，并且图表中的幅值相对大。

[0390] 图49例示了当从图2的边缘保留LPF 65输入图46所示的图像时从细节提取部分66输出的图像的例子。在图49中，如图43中那样，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。如该图顶部的图像和底部的图表所示，例如，图像中清楚地显示精细图案，并且图表中的幅值相对大。然而，在原始图像的亮区和暗区之间的边界中，产生应被去除的亮度值变化。

[0391] 由此，除非在边缘保留LPF 65中设置合适的阈值ε，否则不能从信号Y’中去除高频分量以高准确度地提取每个区域的发光分量，由此使得不能高准确度地提取细节分量。 [0392] 合适的阈值ε随着不同输入图像而不同。图50是例示了馈送到边缘保留LPF 65的图像的例子的图。应注意，如图43中那样，在图50中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。该图底部的图表中的垂直箭头的长度表示根据该图顶部的图像确定的合适的阈值ε。

[0393] 图51是例示了馈送到边缘保留LPF 65的图像的另一例子的图。应注意，如图43中那样，在图51中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。该图底部的图表中的垂直箭头的长度表示根据该图顶部的图像确定的合适的阈值ε。与图50中的图像相比，图51的图像在亮区和暗区之间亮度值差异更小。因而，在该图底部所示的图表中，接近中心的地方亮度值的变化也比图50中相对更小。结果，合适的阈值ε也更小。

[0394] 图52是例示了馈送到边缘保留LPF 65的图像的再一例子的图。应注意，如图43中那样，在图52中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。该图底部的图表中的垂直箭头的长度表示根据该图顶部的图像确定的合适的阈值ε。与图50中的图像相比，图51的图像在亮区和暗区之间亮度值差异更大。因而，在该图底部所示的图表中，接近中心的地方亮度值的变化也比图50中相对更大。结果，合适的阈值ε也更大。

[0395] 图53是例示了馈送到边缘保留LPF 65的图像的再一例子的图。应注意，如图43中那样，在图53中，底部所示的图表例示了图像的中心行中的像素的亮度值的变化。该图底部的图表中的垂直箭头的长度表示根据该图顶部的图像确定的合适的阈值ε。图53中的图像作为整体比图50中的图像更亮，但亮区和暗区之间亮度值差异与图50中的图像相同。因而，尽管作为整体比图50中的图表更靠上，但是图53底部所示的图表具有与图50中的图表相同的波形，包括接近中心的地方亮度值的变化。在此情况下，合适的阈值ε与图50中相同。

[0396] 由此，为了提供与输入图像相称的合适的阈值ε，通过检测部分63的处理找到图像亮区和暗区的平均发光强度LA和LB。然后，控制MPU 64基于这些平均强度找到阈值ε。如从图50至53底部的图表清楚的，优选地，合适的阈值ε应小于亮区和暗区之间的亮度值差，且大于每个区域中亮度值的 幅值。因而，控制MPU 64通过将平均强度LA和LB之间的绝对差乘以固定值R而计算阈值ε。

[0397] 另外，给出了描述，使得图2中的细节调整部分67通过将细节分量信号Y’de乘以基于校正增益LUT 72获得的图17中所示的增益而校正图像的细节分量。然而，能找到图像的亮区和暗区的自适应增益而不使用由图17所示的LUT所标识的增益。即，设置要乘以细节分量的增益，而不是由图6所标识的自适应级。

[0398] 下面参照图54至56将给出通过将细节分量信号乘以增益而校正图像的细节分量的效果的描述。

[0399] 图54是例示了从图2所示的感觉均衡部分62输出的图像的例子的图。该图顶部的图像例示了木地板，左侧的区域是暗的而右侧的区域是亮的。图54底部的图表例示了图像中心行中的像素的亮度值变化，在横轴上示出像素位置，在纵轴上示出亮度值。如图54的图表所示，左侧暗区中的像素作为整体亮度值较小，具有图表中的小幅值。 [0400] 图55和56分别例示了在图2所示的边缘保留LPF 65和细节提取部分66的处理从细节调整部分67输出的图54中所示的图像的例子。图55和图56底部的每个图表例示了图像中心行中的像素的亮度值变化，在横轴上示出像素位置，在纵轴上示出亮度值。 [0401] 图55作为例子例示了细节调整部分67不将细节分量乘以增益的情况。因为在该例子中细节分量不乘以增益，所以左侧区域中的像素具有如该图底部图表中所示的小幅值。结果，例如该图顶部的图像所示，在左侧区域中没有清楚地显示出精细图案。 [0402] 图56作为例子例示了细节调整部分67将细节分量乘以完全自适应增益的情况。因为在该例子中细节分量乘以完全自适应增益，所以左侧区域中的像素具有如该图底部图表中所示的大幅值。结果，例如该图顶部的图像所示，如同右侧区域中那样，在左侧区域中清楚地显示出图像中的精细图案。

[0403] 如果显示图像(一个完全适合于亮区，另一个适合于暗区)，则如前所述，这些图像中亮区和暗区之间没有绝对差异，使得它们看起来不自然。为此，使用由图6标识的自适应级校正增益。在参照图17描述的LUT中，当发光分量信号Y’lp(发光强度)为0时，增益是kBr，即，增益的上限是kBr。另一方面，当发光强度为上限Y’sup时，增益是kAr，即，增益的下限是kAr。 然而，为了提供细节分量的更清楚的视图，优选地应将细节分量乘以完全自适应增益。

[0404] 如果细节分量乘以适合于提供细节分量的更清楚的视图的增益，则图2所示的校正增益LUT 72可被设置为使得增益的上限为完全自适应增益kB，而起下限为完全自适应增益kA。

[0405] 应注意，如前所述，通过分别基于完全适合于图像亮区的曝光值EVh和完全适合于其暗区的曝光值EVl的计算，找到完全自适应增益kA和kB。另一方面，通过分别基于图像亮区中的像素的平均值Yh和其暗区中的像素的平均值Yl的计算，找到曝光值EVh和EVl。通过检测部分63的处理获得平均值Yh和Yl。即，如果标识出图像亮区中的像素的平均值Yh和其暗区中的像素的平均值Yl，则可以使用控制MPU 64通过计算得到完全自适应增益kA和kB。

[0406] 图57是例示了当细节分量乘以适合于提供细节分量的更清楚的视图时的校正增益LUT 72的例子的图。在该例子中，由线631与发光强度相关联地定义增益。即，使用发光分量信号Y’lp作为发光强度，当发光强度是Y’l时DetailGain(Y’l)＝kB，并且当发光强度是Y’h时DetailGain(Y’h)＝kA。

[0407] 由以下所示的等式标识线631。

[0408] DetailGain(Y’lp)＝kB ×(Y’lp/Y’l)

[0409] 或

[0410] DetailGain(Y’lp)＝kA×(Y’lp/Y’h)

[0411] 其中kA≤DetailGain(Y’lp)≤kB

[0412] 应注意Y’l和Y’h是分别通过上面参照图3所述的图像亮区和暗区中的像素的平均值Yh和Yl的非线性转换而获得的值。

[0413] 校正增益LUT 72随着要处理的图像不同而改变。即，线631的形状随着图像亮区和暗区中的像素的平均值Yh和Yl的变化而变化。

[0414] 图58是例示了当细节分量乘以适合于提供细节分量的更清楚的视图时的校正增益LUT 72的另一例子的图。在该图所示的例子中，要处理的图像比图58所示的例子具有更小的对比度差异。

[0415] 在图58所示的例子中，横轴上的Y’l和Y’h之间的差比图57所示的例子中更小。纵轴上的kA和kB之间的差也比图57所示的例子中更小。

[0416] 图59是例示了当细节分量乘以适合于提供细节分量的更清楚的视图时 的校正增益LUT 72的再一例子的图。在该图所示的例子中，要处理的图像比图58所示的例子具有更大的对比度差异。

[0417] 在图59所示的例子中，横轴上的Y’l和Y’h之间的差比图57所示的例子中更大。纵轴上的kA和kB之间的差也比图57所示的例子中更大。

[0418] 图60是例示了当细节分量乘以适合于提供细节分量的更清楚的视图时的校正增益LUT 72的再一例子的图。在该图所示的例子中，要处理的图像作为整体比图58所示的例子更暗。

[0419] 在图60所示的例子中，横轴上的Y’l和Y’h之间的差与图57所示的例子中相同。然而，图中横轴上的Y’l和Y’h的位置向左移。另一方面，纵轴上的kA和kB之间的差也与图57所示的例子相同。然而，图中纵轴上的kA和kB的位置向上移。

[0420] 尽管在图57至图60所示的例子中，增益的上限被设置为完全自适应增益kB，而其下限被设置为完全自适应增益kA，但是增益的上限和下限可被设置为不同于完全自适应增益的值。

[0421] 由此，实际校正增益LUT 72根据细节分量应该能看到的程度、还根据要处理的图像而改变。

[0422] 下面将参照图61所示的流程图给出校正增益LUT的设置处理的描述。例如，与图21的步骤S16中的处理一起执行该处理。

[0423] 在步骤S151中，控制MPU 64确定要乘以细节分量信号的增益的特性。此时，使用图像亮区和暗区中的像素的平均值Yh和Yl确定增益的特性。通过图21的步骤S14中的检测处理获得平均值Yh和Yl。然后，确定例如由图57至图60中的线631所示的特性。 [0424] 在步骤S152中，控制MPU 64将由步骤S151中的处理确定的增益特性转换为LUT。 [0425] 在步骤S153中，控制MPU 64在校正增益LUT 72中设置通过步骤S152中的处理获得的LUT。

[0426] 如上所述设置校正增益LUT 72。

[0427] 应注意，尽管给出了描述，使得基于校正增益LUT 72设置要乘以细节分量信号的增益，但是可替换地，可例如通过计算(根据场合要求)设置增益，而不是用校正增益LUT72。结果，可跳过图61的步骤S153中的处理。

[0428] 自然，当使用如参照图6所述的自适应级设置要乘以细节分量的增益时 图像看起来更自然。图62例示了当使用自适应级设置要乘以细节分量的增益时在图2所示的边缘保留LPF 65和细节提取部分66的处理之后从细节调整部分67输出的图54的图像的例子。图62底部的每个图表例示了图像中心行中的像素的亮度值变化，在横轴上示出像素位置，在纵轴上示出亮度值。

[0429] 尽管在该图所示的例子中，例如左侧区域中的精细图案比右侧区域中多少没那么清楚，但可以说图像作为整体具有细节感。由此，使用自适应级校正增益防止例如图55所示以不清楚的方式在左侧区域中显示精细图案。使用自适应级校正增益还防止如图56所示图像亮区和暗区之间的对比度差异的绝对缺乏。

[0430] 例如，如图6所示设置自适应级，以便防止在暗区中以不清楚的方式显示精细图案和图像亮区和暗区之间对比度差异的绝对缺乏。即，图像动态范围越大，则图6中线201所示的自适应级越接近，从而施加强的自适应。

[0431] 例如，设置图6中的线201使得当动态范围小于2时，自适应级为0。当动态范围足够小时，即，当图像亮区和暗区之间的平均发光强度之差足够小时，例如，几乎以相同的方式显示图像暗区和亮区中的精细图案，而不乘以增益。

[0432] 另一方面，例如，设置图6中的线201使得当动态范围为4或更大时，自适应级为常数。这样做的原因是与动态范围成比例的大增益的乘法导致例如当图像亮区和暗区之间的平均发光强度之差足够大时，图像亮区和暗区之间的对比度差异的绝对缺乏。 [0433] 另外，设置图6中的线201使得当动态范围在2和4之间时，自适应级与动态范围成比例地增加。

[0434] 控制MPU 64使用如上所述设置的自适应级，校正图像亮区的完全自适应增益kA及其暗区的完全自适应增益kB，由此找到图像亮区的校正自适应增益kAr及其暗区的校正自适应增益kBr。如后面将描述的，分别使用图像亮区和暗区的校正自适应增益kAr和kBr作为校正增益LUT 72中增益的上限和下限。

[0435] 应注意，图6中的线201是自适应级的例子。可根据需要确定线201的形状。 [0436] 在图17中例示了基于校正自适应增益kAr和kBr获得的校正增益LUT72。如前所述，使用发光分量信号Y’lp的值作为发光强度，图17中的线411 具有通过利用满足单调递增条件的平滑曲线对增益边界条件插值而获得的特性，从而当发光强度为0时，DetailGain(0)＝kBr，并且当发光强度为上限Y’sup时，DetailGain(Y’sup)＝kAr。 [0437] 例如，通过下面所示的等式标识线411。

[0438] DetailGain(Y’lp)＝(kBr-kAr)/(kB-kA)×(Gain(Y’lp)-kA)+kAr

[0439] 其中kAr≤DetailGain(Y’lp)≤kBr

[0440] 应注意，Gain(Y’lp)是使用自适应增益之前的增益。

[0441] 接着将参照图63所示的流程图给出校正增益LUT的设置处理的另一例子的描述。例如该处理与图21的步骤S16中的处理一起执行。图63所示的流程图描述了使用自适应级设置要乘以细节分量的增益时的校正增益LUT的设置处理。

[0442] 在步骤S171中，控制MPU 64确定与图像的动态范围相称的自适应级。此时，使用图像亮区和暗区中的像素的平均值Yh和Yl确定自适应级。通过图21的步骤S14中的检测处理获得平均值Yh和Yl。然后，例如，如上参照图6所述，确定自适应级。 [0443] 在步骤S172中，控制MPU 64通过计算找到要乘以细节分量的增益的上限和下限kBr和kAr。

[0444] 在步骤S173中，控制MPU 64标识要乘以细节分量信号的增益的特性。此时，使用通过图21的步骤S14中的检测处理获得的图像亮区和暗区中的像素的平均值Yh和Yl，确定增益的特性。然后，确定例如由图17中的线411所示的特性。

[0445] 在步骤S174中，控制MPU 64将由步骤S173中的处理确定的增益特性转换为LUT。 [0446] 在步骤S175中，控制MPU 64在校正增益LUT 72中设置通过步骤S174中的处理获得的LUT。

[0447] 如上所述设置校正增益LUT 72。

[0448] 应注意，可替换地，可例如通过计算(根据场合要求)设置增益，而不是用校正增益LUT 72。结果，可跳过图63的步骤S175中的处理。

[0449] 尽管上面描述了根据本发明的实施例被配置为成像装置的情况，但实施例可被配置为成像装置以外的装置。例如，可由图像处理装置执行以上处理。该图像处理装置被设计为处理由诸如数字静态相机的传统成像装置预先捕 捉的图像。可替换地，本发明可应用于诸如由例如通用计算机执行的RAW开发应用软件的程序。

[0450] 应注意，以上系列处理可由硬件或软件执行。如果系列处理由软件执行，则从网络或记录介质将构成软件的程序安装到专用硬件中合并的计算机或例如能够在安装了各种程序时执行各种功能的如图64所示的通用个人计算机700中。

[0451] 在图64中，CPU(中央处理单元)701根据ROM(只读存储器)702中存储的程序或从存储部分708加载到RAM(随机存取存储器)703中的程序执行各种处理。RAM 703还适当存储CPU 701执行各种处理所需的数据。

[0452] CPU 701、ROM 702和RAM 703经由总线704彼此连接。I/O接口705也连接到总线704。

[0453] 输入部分706和输出部分707连接到I/O接口705。输入部分706包括例如键盘和鼠标。输出部分707包括例如显示器和扬声器。显示器包括例如CRT(阴极射线管)或LCD(液晶显示器)。另外，存储部分708和通信部分709连接到I/O接口705。存储部分708包括例如硬盘。通信部分709包括例如调制解调器和诸如LAN卡的网络接口卡。通信部分709经由包括因特网的网络进行通信。

[0454] 必要时，驱动器710也连接到I/O接口705。诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质711也适当地插入驱动器710中。必要时，从可移除介质711读取的计算机程序被安装到存储部分708。

[0455] 如果由软件执行系列处理，则从诸如因特网的网络或从诸如可移除介质711的记录介质安装构成软件的程序。

[0456] 应注意，该记录介质包括由其中存储程序和独立于装置本身分发以向用户传递程序的诸如以下的可移除介质7111构成的那些：磁盘(包括软盘(注册商标))、光盘(包括CD-ROM(紧致盘-只读存储器)和DVD(数字多用盘))、磁光盘(包括MD(迷你盘)(注册商标))或半导体存储器。该记录介质还包括由其中存储程序的ROM 702或被包含在预先合并到装置本身中并传递给用户的存储部分708中包含的硬盘构成的其他记录介质。 [0457] 应注意，适合于上面在本说明书描述的系列处理的步骤不仅包括根据所述次序顺序执行的那些处理，还包括不必顺序执行而同时或单独执行的其他处理。