图像处理装置、方法以及图像显示装置转让专利

申请号 : CN200980155434.6

文献号 : CN102292742B

文献日 : 2013-12-11

在中间图像生成单元(1)中，取出输入图像(DIN)的特定频带的分量，生成水平方向中间图像(D1h)和垂直方向中间图像(D1v)，在中间图像处理单元(2)中，通过对中间图像(D1h、D1v)进行非线性处理(2A)和高频分量生成(2B)，生成水平方向图像(D2Bh)和垂直方向图像(D2Bv)，按照每个像素对这些水平方向和垂直方向的图像进行加权相加并统合，得到中间图像(D2)，对输入图像(DIN)进行相加(3)，得到实施了强调处理后的输出图像(DOUT)。即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。

1.一种图像处理装置，其特征在于，该图像处理装置具有：

中间图像生成单元，其生成关于输入图像的水平方向取出特定频带的分量而得到的第

1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；

中间图像处理单元，其根据所述第1水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法单元，其对所述输入图像和所述第2中间图像进行相加，所述中间图像处理单元具有：

水平方向非线性处理单元，其根据所述第1水平方向中间图像的像素改变处理的内容；

垂直方向非线性处理单元，其根据所述第1垂直方向中间图像的像素改变处理的内容；以及第2加法单元，该第2加法单元具有：权重系数生成单元，其根据所述第1水平方向中间图像和所述第1垂直方向中间图像求出权重系数；以及第1水平垂直统合单元，其使用所述权重系数，针对对所述水平方向非线性处理单元的输出进行处理而得到的第2水平方向中间图像、和对所述垂直方向非线性处理单元的输出进行处理而得到的第2垂直方向中间图像进行加权相加，所述水平方向非线性处理单元具有：

水平方向过零点判定单元，其将所述第1水平方向中间图像的像素值沿着水平方向从正变化为负或从负变化为正的部位判定为过零点；以及水平方向信号放大单元，其生成以下述放大率对所述第1水平方向中间图像的各像素值进行放大而得到的水平方向非线性处理图像，其中，针对位于在所述水平方向过零点判定单元中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1，所述垂直方向非线性处理单元具有：

垂直方向过零点判定单元，其将所述第1垂直方向中间图像的像素值沿着垂直方向从正变化为负或从负变化为正的部位判定为过零点；以及垂直方向信号放大单元，其生成以下述放大率对所述第1垂直方向中间图像的各像素值进行放大而得到的垂直方向非线性处理图像，其中，针对位于在所述垂直方向过零点判定单元中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述中间图像处理单元还具有水平方向高频分量图像生成单元，该水平方向高频分量图像生成单元生成仅取出所述水平方向非线性处理图像的高频分量而得到的水平方向高频分量图像。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述中间图像处理单元还具有垂直方向高频分量图像生成单元，该垂直方向高频分量图像生成单元生成仅取出所述垂直方向非线性处理图像的高频分量而得到的垂直方向高频分量图像。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述第2加法单元还具有第2水平垂直统合单元，该第2水平垂直统合单元使用所述权重系数，对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加。

5.一种图像处理装置，该图像处理装置被输入对作为原图像的图像进行放大后的图像作为输入图像，其特征在于，该图像处理装置具有：中间图像生成单元，其生成关于所述输入图像的水平方向取出特定频带的分量而得到的第1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；

水平方向非线性处理单元，其根据所述第1水平方向中间图像的像素改变处理的内容；

垂直方向非线性处理单元，其根据所述第1垂直方向中间图像的像素改变处理的内容；以及第2加法单元，其针对对所述水平方向非线性处理单元的输出进行处理而得到的第2水平方向中间图像和对所述垂直方向非线性处理单元的输出进行处理而得到的第2垂直方向中间图像进行加权相加，所述中间图像生成单元具有：

第1水平方向高频分量图像生成单元，其生成使用存在于所述输入图像的各像素的水平方向附近的像素取出第1规定水平方向频率以上的高频分量而得到的第1水平方向高频分量图像；以及水平方向低频分量图像生成单元，其取出所述第1水平方向高频分量图像的第2规定水平方向频率以下的低频分量，生成所述第1水平方向中间图像，或者，所述中间图像生成单元具有：第1垂直方向高频分量图像生成单元，其生成使用存在于所述输入图像的各像素的垂直方向附近的像素取出第1规定垂直方向频率以上的高频分量而得到的第1垂直方向高频分量图像；以及垂直方向低频分量图像生成单元，其取出所述第1垂直方向高频分量图像的第2规定垂直方向频率以下的低频分量，生成所述第1垂直方向中间图像，所述水平方向非线性处理单元具有：

6.根据权利要求5所述的图像处理装置，其特征在于，

所述中间图像处理单元还具有第2水平方向高频分量图像生成单元，该第2水平方向高频分量图像生成单元生成仅取出所述水平方向非线性处理图像的高频分量而得到的第2水平方向高频分量图像。

7.根据权利要求5所述的图像处理装置，其特征在于，

所述中间图像处理单元还具有第2垂直方向高频分量图像生成单元，该第2垂直方向高频分量图像生成单元生成仅取出所述垂直方向非线性处理图像的高频分量而得到的第2垂直方向高频分量图像。

8.一种图像处理方法，其特征在于，该图像处理方法具有：

中间图像生成步骤，生成关于输入图像的水平方向取出特定频带的分量而得到的第1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；

中间图像处理步骤，根据所述第1水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法步骤，对所述输入图像和所述第2中间图像进行相加，

所述中间图像处理步骤具有：

水平方向非线性处理步骤，根据所述第1水平方向中间图像的像素改变处理的内容；

垂直方向非线性处理步骤，根据所述第1垂直方向中间图像的像素改变处理的内容；

以及

第2加法步骤，该第2加法步骤具有：权重系数生成步骤，根据所述第1水平方向中间图像和所述第1垂直方向中间图像求出权重系数；以及第1水平垂直统合步骤，使用所述权重系数，针对对所述水平方向非线性处理步骤的输出进行处理而得到的第2水平方向中间图像和对所述垂直方向非线性处理步骤的输出进行处理而得到的第2垂直方向中间图像进行加权相加，所述水平方向非线性处理步骤具有：

水平方向过零点判定步骤，其将所述第1水平方向中间图像的像素值沿着水平方向从正变化为负或从负变化为正的部位判定为过零点；以及水平方向信号放大步骤，其生成以下述放大率对所述第1水平方向中间图像的各像素值进行放大而得到的水平方向非线性处理图像，其中，针对位于在所述水平方向过零点判定步骤中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1，所述垂直方向非线性处理步骤具有：

过零点判定步骤中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1，垂直方向信号放大步骤，其生成以下述放大率对所述第1垂直方向中间图像的各像素值进行放大而得到的垂直方向非线性处理图像，其中，针对位于在所述垂直方向过零点判定步骤中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1。

9.根据权利要求8所述的图像处理方法，其特征在于，

所述第2加法步骤还具有第2水平垂直统合步骤，在该第2水平垂直统合步骤中，使用所述权重系数，对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加。

10.一种图像处理方法，在该图像处理方法中输入对作为原图像的图像进行放大后的图像作为输入图像，其特征在于，该图像处理方法具有：中间图像生成步骤，生成关于所述输入图像的水平方向取出特定频带的分量而得到的第1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第

1垂直方向中间图像；

所述中间图像处理步骤具有：

水平方向非线性处理步骤，根据所述第1水平方向中间图像的像素改变处理的内容；

垂直方向非线性处理步骤，根据所述第1垂直方向中间图像的像素改变处理的内容；

以及

第2加法步骤，针对对所述水平方向非线性处理步骤的输出进行处理而得到的第2水平方向中间图像和对所述垂直方向非线性处理步骤的输出进行处理而得到的第2垂直方向中间图像进行加权相加，所述中间图像生成步骤具有：

第1水平方向高频分量图像生成步骤，生成使用存在于所述输入图像的各像素的水平方向附近的像素取出第1规定水平方向频率以上的高频分量而得到的第1水平方向高频分量图像；以及水平方向低频分量图像生成步骤，取出所述第1水平方向高频分量图像的第2规定水平方向频率以下的低频分量，生成所述第1水平方向中间图像，或者，所述中间图像生成步骤具有：第1垂直方向高频分量图像生成步骤，生成使用存在于所述输入图像的各像素的垂直方向附近的像素取出第1规定垂直方向频率以上的高频分量而得到的第1垂直方向高频分量图像；以及垂直方向低频分量图像生成步骤，取出所述第1垂直方向高频分量图像的第2规定垂直方向频率以下的低频分量，生成所述第1垂直方向中间图像，所述水平方向非线性处理步骤具有：

垂直方向过零点判定步骤，其将所述第1垂直方向中间图像的像素值沿着垂直方向从正变化为负或从负变化为正的部位判定为过零点；以及垂直方向信号放大步骤，其生成以下述放大率对所述第1垂直方向中间图像的各像素值进行放大而得到的垂直方向非线性处理图像，其中，针对位于在所述垂直方向过零点判定步骤中判定为过零点的位置的前后的像素，所述放大率设定为大于1的值，针对除此之外的像素，所述放大率设定为1。

11.一种图像显示装置，该图像显示装置具有权利要求1～7中的任意一项所述的图像处理装置。

图像处理装置、方法以及图像显示装置

技术领域

[0001] 本发明涉及对输入图像进行强调处理的图像处理装置、方法以及使用该装置和方法的图像显示装置，例如在输入了对原来图像进行放大后的放大图像作为输入图像时，通过进行高频分量的生成和相加，进行图像的强调处理以便得到清晰感高的输出图像。

背景技术

[0002] 一股地，在对表示图像的图像信号适当实施了图像处理后，对图像进行再现显示。

[0003] 例如在专利文献1所记载的图像处理装置中，针对转换成多重分辨率的细部图像，根据频带比期望频带低的细部图像的信号，设定针对该期望频带的细部图像的强调系数，由此，强调了期望频带。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开平9-44651号公报(段落编号0009)

发明内容

[0007] 发明要解决的课题

[0008] 但是，在针对转换成多重分辨率的细部图像适当设定针对期望频带的细部图像的强调系数的图像处理装置中，由于输入图像的不同，强调处理不适当或不充分，有时无法得到适当画质的输出图像。

[0009] 例如，在输入进行放大处理后的图像作为输入图像的情况下，在输入图像的频谱的高频分量侧，出现放大处理前的图像的频谱的一部分叠加而成的分量(叠加分量)。因此，当单纯地对高频分量进行强调时，对该叠加分量进行强调，成为不适当的处理。并且，当限定频带并仅对不包含叠加分量的频带进行强调时，在从频谱角度考虑的情况下，避免了高频分量侧的强调，从而成为不充分的强调处理。

[0010] 并且，在输入进行噪声处理后的图像作为输入图像的情况下，高频分量侧的频谱由于噪声处理而丢失。因此，即使想取出高频分量也无法取出，有时无法充分进行图像的强调处理。

[0011] 本发明的目的在于，提供如下的图像处理装置、方法：即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。

[0012] 用于解决课题的手段

[0013] 本发明的图像处理装置具有：中间图像生成单元，其生成关于输入图像的水平方向取出特定频带的分量而得到的第1水平方向中间图像、和关于所述输入图像的垂直方向取出特定频带的分量而得到的第1垂直方向中间图像；中间图像处理单元，其根据所述第1水平方向中间图像和所述第1垂直方向中间图像生成第2中间图像；以及第1加法单元，其对所述输入图像和所述第2中间图像进行相加，所述中间图像处理单元包含：水平方向非线性处理单元，其根据所述第1水平方向中间图像的像素改变处理的内容；以及垂直方向非线性处理单元，其根据所述第1垂直方向中间图像的像素改变处理的内容，所述中间图像处理单元具有第2加法单元，该第2加法单元对所述第1水平方向中间图像、所述第1垂直方向中间图像、对所述水平方向非线性处理单元的输出进行处理而得到的第2水平方向中间图像、以及对所述垂直方向非线性处理单元的输出进行处理而得到的第2垂直方向中间图像进行相加，输出相加结果作为所述第2中间图像，第2加法单元具有第1水平垂直统合单元和第2水平垂直统合单元中的至少一方，该第1水平垂直统合单元对所述第1水平方向中间图像和所述第1垂直方向中间图像进行加权相加并统合，该第2水平垂直统合单元对所述第2水平方向中间图像和所述第2垂直方向中间图像进行加权相加并统合。

[0014] 发明的效果

[0015] 根据本发明，即使在输入图像在其频谱中在高频分量侧包含叠加分量的情况下、或未充分包含高频分量的情况下，也能够充分进行图像的强调处理。并且，不增大电路规模，就能够防止依赖于输入图像中包含的边缘的方向而产生的强调处理的人为缺陷。

附图说明

[0016] 图1是示出本发明的实施方式1的图像处理装置的结构的框图。

[0017] 图2是示出图1的水平方向非线性处理单元2Ah的结构例的框图。

[0018] 图3是示出图1的垂直方向非线性处理单元2Av的结构例的框图。

[0019] 图4是示出图1的加法单元2C的结构例的框图。

[0020] 图5的(A)和(B)是示出图像D1h、D1v的绝对值之差(dH-dV)与权重系数D512h、D512v的关系的线图。

[0021] 图6是示出使用本发明的图像处理装置的图像显示装置的结构例的框图。

[0022] 图7是示出图6的图像放大单元U1的结构例的框图。

[0023] 图8的(A)～(E)是示出图6的图像放大单元U1的动作的像素配置图。

[0024] 图9的(A)～(D)是示出用于说明图6的图像放大单元U1的动作的频率响应和频谱的图。

[0025] 图10的(A)～(E)是示出用于说明图1的中间图像生成单元1的动作的频率响应和频谱的图。

[0026] 图11的(A)～(C)是示出用于说明图1的中间图像处理单元2的动作的频率响应和频谱的图。

[0027] 图12的(A)～(C)是示出阶跃边缘和以采样间隔S1对阶跃边缘进行采样时得到的相连续的像素信号值的图。

[0028] 图13的(A)～(C)是示出阶跃边缘和以采样间隔S2对阶跃边缘进行采样时得到的相连续的像素信号值的图。

[0029] 图14的(A)～(F)是示出用于说明图1的中间图像生成单元1和中间图像处理单元2的动作的相连续的像素信号值的图。

[0030] 图15的(A)是示出水平方向的边缘的图，(B)～(E)是示出边缘方向如(A)那样为水平方向时得到的图像信号的图。

[0031] 图16的(A)是示出倾斜方向的边缘的图，(B)～(E)是示出边缘方向如(A)那样为倾斜时得到的图像信号的图。

[0032] 图17的(A)是示出垂直方向的边缘的图，(B)～(E)是示出边缘方向如(A)那样为垂直方向时得到的图像信号的图。

[0033] 图18是示出在本发明的实施方式2的图像处理装置中使用的加法单元2C的结构例的框图。

[0034] 图19是示出本发明的实施方式3的图像处理方法中的处理的流程图。

[0035] 图20是示出图19的中间图像生成步骤ST1中的处理的流程图。

[0036] 图21是示出图19的中间图像处理步骤ST2中的处理的流程图。

[0037] 图22是示出图21的水平方向非线性处理步骤ST2Ah中的处理的流程图。

[0038] 图23是示出图21的垂直方向非线性处理步骤ST2Av中的处理的流程图。

[0039] 图24是示出图19的加法步骤ST2C中的处理的流程图。

[0040] 图25是示出本发明的实施方式4的加法步骤ST2C中的处理的流程图。

具体实施方式

[0041] 实施方式1

[0042] 图1是示出本发明的实施方式1的图像处理装置的结构的图，图示的图像处理装置例如可以用作图像显示装置的一部分。

[0043] 图示的图像处理装置具有中间图像生成单元1、中间图像处理单元2以及加法单元3。

[0044] 中间图像生成单元1生成从输入图像DIN中取出特定频带分量(即，从第1频率(第1规定频率)到第2频率(第2规定频率)的分量)而得到的中间图像(第1中间图像)D1。

[0045] 中间图像处理单元2生成对图像D1进行后述处理而得到的中间图像(第2中间图像)D2。

[0046] 加法单元3对输入图像DIN和中间图像D2进行相加。加法单元3的相加结果作为输出图像DOUT被输出。

[0047] 中间图像生成单元1具有：高频分量图像生成单元1A，其生成仅从输入图像DIN中取出第1频率以上的高频分量而得到的图像D1A；以及低频分量图像生成单元1B，其生成仅取出图像D1A的第2频率以下的低频分量而得到的图像D1B。第2频率比第1频率高，利用高频分量图像生成单元1A和低频分量图像生成单元1B构成取出特定频带分量的带通滤波单元。从中间图像生成单元1输出图像D1B作为中间图像D1。

[0048] 中间图像处理单元2具有：非线性处理单元2A，其输出对中间图像D1进行后述的非线性处理而得到的图像D2A；高频分量图像生成单元2B，其输出仅取出图像D2A的第3频率(第3规定频率)以上的高频分量而得到的图像D2B；以及加法单元2C，其输出对中间图像D1和图像D2B进行相加后的图像D2C。从中间图像处理单元2输出图像D2C作为中间图像D2。

[0049] 下面，对本发明的实施方式1的图像处理装置的详细动作进行说明。

[0050] 首先，对中间图像生成单元1的详细动作进行说明。

[0051] 首先，中间图像生成单元1在高频分量图像生成单元1A中，生成仅取出输入图像DIN的第1频率以上的高频分量而得到的图像D1A。能够通过进行高通滤波处理来取出高频分量。分别针对图像的水平方向和垂直方向进行高频分量的取出。即，高频分量图像生成单元1A具有：水平方向高频分量图像生成单元1Ah，其对输入图像DIN进行水平方向的高通滤波处理，生成仅针对水平方向取出第1水平方向频率以上的高频分量而得到的图像D1Ah；以及垂直方向高频分量图像生成单元1Av，其进行垂直方向的高通滤波处理，生成仅针对垂直方向取出第1垂直方向频率以上的高频分量而得到的图像D1Av，图像D1A由图像D1Ah和图像D1Av构成。

[0052] 另外，按照各画面内的多个水平行从上到下、各水平行内的多个像素从左到右的顺序，提供构成输入图像DIN的各像素的信号，在垂直方向高频分量图像生成单元1Av的输入侧设有重新排列单元，但是省略其图示，该重新排列单元用于蓄积这种输入图像的彼此相邻的多个行的信号，按照垂直方向从上到下的顺序，提供以处理对象像素为中心，从多个行上方到多个行下方的像素的信号。

[0053] 接着，中间图像生成单元1在低频分量图像生成单元1B中，生成仅取出图像D1A的第2频率以下的低频分量而得到的图像D1B。能够通过进行低通滤波处理来取出低频分量。分别针对水平方向和垂直方向进行低频分量的取出。即，低频分量图像生成单元1B具有：水平方向低频分量图像生成单元1B，其对图像D1Ah进行水平方向的低通滤波处理，生成仅针对水平方向取出第2水平方向频率以下的低频分量而得到的图像D1Bh；以及垂直方向低频分量图像生成单元1Bv，其对图像D1Av进行垂直方向的低通滤波处理，生成仅针对垂直方向取出第2垂直方向频率以下的低频分量而得到的图像D1Bv，图像D1B由图像D1Bh和图像D1Bv构成。从中间图像生成单元1输出图像D1B作为中间图像D1。另外，中间图像D1由相当于图像D1Bh的图像(第1水平方向中间图像)D1h和相当于图像D1Bv的图像(第1垂直方向中间图像)D1v构成。

[0054] 接着，对中间图像处理单元2的详细动作进行说明。

[0055] 首先，中间图像处理单元2在非线性处理单元2A中，生成对中间图像D1进行后述的非线性处理而得到的图像D2A。分别针对水平方向和垂直方向进行非线性处理。即，非线性处理单元2A具有：水平方向非线性处理单元2Ah，其对图像D1Bh进行后述的非线性处理来生成图像D2Ah；以及垂直方向非线性处理单元2Av，其对图像D1Bv进行后述的非线性处理来生成图像D2Av，图像D2A由图像D2Ah和图像D2Av构成。

[0056] 更详细地说明非线性处理单元2A的动作。非线性处理单元2A具有结构彼此相同的水平方向非线性处理单元2Ah和垂直方向非线性处理单元2Av。水平方向非线性处理单元2Ah进行水平方向的处理，垂直方向非线性处理单元2Av进行垂直方向的处理。

[0057] 图2是示出水平方向非线性处理单元2Ah的结构例的图。图示的水平方向非线性处理单元2Ah具有过零判定单元311h和信号放大单元312h。向非线性处理单元2Ah输入图像D1h作为输入图像DIN311h。

[0058] 过零判定单元311h沿着水平方向确认输入图像DIN311h中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311h向信号放大单元312h传达位于过零点前后的像素(前后相邻的像素)的位置。这里，“前后”是指提供信号的顺序中的前后，在水平方向从左到右提供像素信号时意味着“左右”，在垂直方向从上到下提供像素信号时意味着“上下”。在过零判定单元311h中，在水平方向非线性处理单元2Ah内的过零判定单元311h中，例如将位于过零点左右的像素识别为位于过零点前后的像素。

[0059] 信号放大单元312h根据信号D311h确定位于过零点前后的像素(前后相邻的像素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)而得到的非线性处理图像D312h。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。

[0060] 从水平方向非线性处理单元2Ah输出非线性处理图像D312h作为图像D2Ah。

[0061] 图3是示出垂直方向非线性处理单元2Av的结构例的图。图示的垂直方向非线性处理单元2Av具有过零判定单元311v和信号放大单元312v。向非线性处理单元2Av输入图像D1v作为输入图像DIN311v。

[0062] 过零判定单元311v沿着垂直方向确认输入图像DIN311v中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311v向信号放大单元312v传达位于过零点前后的像素(前后相邻的像素)的位置。在垂直方向非线性处理单元2Av内的过零判定单元311v中，例如将位于过零点上下的像素识别为位于过零点前后的像素。

[0063] 信号放大单元312v根据信号D311v确定位于过零点前后的像素(前后相邻的像素)，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)而得到的非线性处理图像D312v。即，针对位于过零点前后的像素的像素值，设放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。

[0064] 从垂直方向非线性处理单元2Av输出非线性处理图像D312v作为图像D2Av。

[0065] 以上是非线性处理单元2A的动作。

[0066] 接着，中间图像处理单元2在高频分量图像生成单元2B中，生成仅取出图像D2A的第3频率以上的高频分量而得到的图像D2B。能够通过进行高通滤波处理来取出高频分量。分别针对图像的水平方向和垂直方向进行高频分量的取出。即，高频分量图像生成单元2B具有：水平方向高频分量图像生成单元2Bh，其对图像D2Ah进行水平方向的高通滤波处理，生成仅针对水平方向取出第3水平方向频率以上的高频分量而得到的图像D2Bh；以及垂直方向高频分量图像生成单元2Bv，其针对图像D2Av进行垂直方向的高通滤波处理，生成仅针对垂直方向取出第3垂直方向频率以上的高频分量而得到的图像D2Bv，图像D2B由图像D2Bh和图像D2Bv构成。

[0067] 接着，加法单元2C对中间图像D1和图像D2B进行相加，生成图像D2C。中间图像D1由图像D1h和图像D1v构成，图像D2B由图像D2Bh和图像D2Bv构成，因此，对中间图像D1和图像D2B进行相加就意味着对全部上述图像D1h、D1v、D2Bh和D2Bv进行相加。下面，详细说明加法单元2C的动作。

[0068] 另外，被加法单元2C相加的是图像D1h、D1v、D2Bh和D2Bv的彼此相同的像素的值，在从输入图像DIN的提供到到达加法单元2C的输入侧为止的期间，图像接受的处理所需要的时间不同的情况下(在水平方向的处理和垂直方向的处理中处理所需要的时间不同的情况等)，在加法单元2C的输入侧设有用于使定时一致的延迟单元等，但是省略其图示。

[0069] 图4是示出加法单元2C的结构例的图。图示的加法单元2C具有权重系数生成单元401、第1水平垂直统合单元411以及第2水平垂直统合单元412。

[0070] 权重系数生成单元401根据图像D1h和图像D1v，通过后述的运算求出针对水平方向分量的权重系数D512h和针对垂直方向分量的权重系数D512v。权重系数D512h与权重系数D512v之和始终恒定，例如为“1”。

[0071] 第1水平垂直统合单元411根据由权重系数生成单元401求出的权重系数D512h和权重系数D512v，对图像D1h和图像D1v进行加权相加，输出对水平方向分量和垂直方向分量进行统合后的图像D1hv。

[0072] 第2水平垂直统合单元412同样根据由权重系数生成单元401求出的权重系数D512h和权重系数D512v，对图像D2Bh和图像D2Bv进行加权相加，输出对水平方向分量和垂直方向分量进行统合后的图像D2Bhv。

[0073] 中间图像加法单元42对图像D1hv和图像D2Bhv进行相加，输出图像D2C。

[0074] 更详细地说明权重系数生成单元401的动作。权重系数生成单元401具有边缘方向估计单元511和权重系数决定单元512。

[0075] 边缘方向估计单元511根据图像D1h和图像D1v这两个信号，计算作为与边缘方向(角度)对应的量的边缘方向估计量D511。例如，在设图像D1h的绝对值为dH，图像D1v的绝对值为dV时，输出这两个值的差分dH-dV作为边缘方向估计量D511。

[0076] 权重系数决定单元512根据边缘方向估计量D511，决定针对水平方向分量的权重系数D512h和针对垂直方向分量的权重系数D512v。图5的(A)和(B)是示出针对所述差分dH-dV来决定权重系数D512h和D512v的方法的一例的图。在图5的(A)和(B)所示的例子中，如下计算权重系数D512h：

[0077] D512h＝0.5+Kα(dH-dV)…(1a)

[0078] 如下计算权重系数D512v：

[0079] D512v＝1-D512h＝0.5-Kα(dH-dV)…(1b)。

[0080] 其中，Kα是表示图5的(A)和(B)中的直线的斜率(D512h、D512v相对于(dh-dV)的增加而产生的变化的比例)的正的常数，在上述计算结果低于“0”的情况下为“0”，在上述计算结果超过“1”的情况下为“1”。

[0081] 如上所述确定的权重系数D512h和D512v的两者之和始终为1。

[0082] 以上是权重系数生成单元401的动作。

[0083] 第1水平垂直统合单元411具有第1乘法单元411a、第2乘法单元411b以及加法单元411c。水平垂直统合单元411利用第1乘法单元411a对图像D1h乘以权重系数D512h，利用第2乘法单元411b对图像D1v乘以权重系数D512v。进而，利用加法单元411c对这些相乘结果进行相加，输出图像D1hv。

[0084] 第2水平垂直统合单元412具有第1乘法单元412a、第2乘法单元412b以及加法单元412c。水平垂直统合单元412利用第1乘法单元412a对图像D2Bh乘以权重系数D512h，利用第2乘法单元412b对图像D2Bv乘以权重系数D512v，利用加法单元412c对这些相乘结果进行相加，输出图像D2Bhv。

[0085] 另外，按照图像D1h和D1v的每个像素计算权重系数D512h和D512v，这意味着，加法单元2C的输出图像D2C中的水平方向分量和垂直方向分量的混合比例由于像素位置而变化。进行这种加权的效果在后面叙述。

[0086] 接着，在中间图像加法单元42中，对图像D1hv和图像D2Bhv进行相加，输出图像D2C。这里，中间图像加法单元42中的相加处理不限于单纯相加，也可以使用加权相加。即，也可以以分别不同的放大率对图像D1hv和D2Bhv分别进行放大后进行相加。

[0087] 以上是加法单元2C的动作。

[0088] 最后，对加法单元3的动作进行说明。加法单元3生成对输入图像DIN和中间图像D2进行相加而得到的输出图像DOUT。输出图像DOUT作为最终的输出图像从图像处理装置输出。

[0089] 另外，被加法单元3相加的是输入图像DIN和中间图像D2的彼此相同的像素的值，在从输入图像DIN的提供到到达加法单元3的输入侧为止的期间，图像接受的处理所需要的时间彼此不同的情况下，在加法单元3的输入侧设有用于使定时一致的延迟单元等，但是省略其图示。

[0090] 下面，对将本发明的图像处理装置用作图像显示装置的一部分的例子进行说明。通过该说明，本发明的图像处理装置的作用、效果也变得明确。另外，在以下的说明中，只要没有特别说明，则Fn这样的记号表示输入图像DIN的奈圭斯特频率。

[0091] 图6是利用本发明的图像处理装置的图像显示装置，在图示的图像显示装置中，在监视器U3上显示与原图像DORG对应的图像。

[0092] 在原图像DORG的图像尺寸小于监视器U3的图像尺寸的情况下，图像放大单元U1输出对原图像DORG进行放大后的图像DU1。这里，图像的放大例如能够使用双三次法等。

[0093] 本发明的图像处理装置U2输出对图像DU1进行之前说明的处理而得到的图像DU2。然后，在监视器U8上显示图像DU2。

[0094] 下面，设原图像DORG的水平方向和垂直方向的像素数均为监视器U3的像素数的一半，首先，对图像放大单元U1的动作、作用进行说明。

[0095] 图7是示出图像放大单元U1的结构和动作的图，图示的图像放大单元U1具有：水平方向零插入单元U1A、水平方向低频分量通过单元U1B、垂直方向零插入单元U1C以及垂直方向低频分量通过单元U1D。

[0096] 水平方向零插入单元U1A生成针对原图像DORG的水平方向适当插入具有像素值0的像素(在原图像DORG的水平方向相邻的像素列相互间插入了各1列的由像素值0的像素构成的像素列)而得到的图像DU1A。

[0097] 水平方向低频分量通过单元U1B生成通过低通滤波处理仅取出图像DU1A的低频分量而得到的图像DU1B。

[0098] 垂直方向零插入单元U1C生成针对图像DU1B的垂直方向适当插入具有像素值0的像素(在图像DU1B的垂直方向相邻的像素行相互间插入了各1行的由像素值0的像素构成的像素行)而得到的图像DU1C。

[0099] 垂直方向低频分量通过单元DU1D生成仅取出图像DU1C的低频分量而得到的图像DU1D。

[0100] 图像DU1D作为水平方向和垂直方向均为原图像DORG的2倍的图像DU1，从图像放大单元U1输出。

[0101] 图8的(A)～(E)是用于详细说明图像放大单元U1的动作的图，图8的(A)示出原图像DORG，图8的(B)示出图像DU1A，图8的(C)示出图像DU1B，图8的(D)示出图像DU1C，图8的(E)示出图像DU1D。关于图8的(A)～(E)，四方形(方格)示出像素，其中书写的记号或数值示出各像素的像素值。

[0102] 水平方向零插入单元U1A针对图8的(A)所示的原图像DORG，在水平方向每隔1个像素插入1个具有像素值0的像素(即，在原图像DORG的水平方向相邻的像素列相互间插入1个由像素值0的像素构成的像素列)，生成图8的(B)所示的图像DU1A。水平方向低频分量通过单元U1B针对图8的(B)所示的图像DU1A实施低通滤波处理，生成图8的(C)所示的图像DU1B。

[0103] 垂直方向零插入单元U1C针对图8的(C)所示的图像DU1B，在垂直方向每隔1个像素插入1个具有像素值0的像素(即，在图像DU1B的垂直方向相邻的像素行相互间插入1个由像素值0的像素构成的像素行)，生成图8的(D)所示的图像DU1C。垂直方向低频分量通过单元U1D针对图8的(D)所示的图像DU1C实施低通滤波处理，生成图8的(E)所示的图像DU1D。

[0104] 通过以上的处理，生成在水平方向和垂直方向均将原图像DORG放大为2倍后的图像DU1D。

[0105] 图9的(A)～(D)在频率空间上示出图像放大单元U1的处理的作用，图9的(A)示出原图像DORG的频谱，图9的(B)示出图像DU1A的频谱，图9的(C)示出水平方向低频分量通过单元U1B的频率响应，图9的(D)示出图像DU1B的频谱。另外，在图9的(A)～(D)中，横轴是示出水平方向的空间频率的频率轴，纵轴示出频谱或频率响应的强度。

[0106] 原图像DORG的像素数为输入图像DIN的一半，换言之，原图像DORG的采样间隔为输入图像DIN的采样间隔的2倍。因此，原图像DORG的奈圭斯特频率为输入图像DIN的奈圭斯特频率的一半，即Fn/2。

[0107] 另外，在图9的(A)～(D)中，为了简化表记，仅使用1个频率轴。但是，通常，图像数据由在二维平面状排列的像素排列上给出的像素值构成，其频谱也在由水平方向的频率轴和垂直方向的频率轴展开的平面上给出。因此，为了准确地示出原图像DORG等的频谱等，需要记载水平方向的频率轴和垂直方向的频率轴的两方。但是，其频谱形状通常是以频率轴上的原点为中心各向同性地扩展而形成的形状，如果示出由1个频率轴展开的空间上的频谱，则本领域技术人员容易将其扩展到由2个频率轴展开的空间来进行考察。因此，在以后的说明中，只要没有特别说明，则使用由1个频率轴展开的空间进行频率空间上的说明。

[0108] 首先，说明原图像DORG的频谱。通常，输入自然图像作为原图像DORG，但是，该情况下，其谱强度集中于频率空间的原点周边。因此，原图像DORG的频谱成为图9的(A)的谱SPO那样。

[0109] 接着，说明图像DU1A的谱强度。针对原图像DORG，在水平方向每隔1个像素插入1个具有像素值0的像素，由此生成图像DU1A。当进行这种处理时，在频谱上产生以原图像DORG的奈圭斯特频率为中心的叠加。即，产生以频率±Fn/2为中心叠加了谱SPO后的谱SPM，因此，图像DU1A的频谱如图9的(B)所示。

[0110] 接着，说明水平方向低频分量通过单元U1B的频率响应。水平方向低频分量通过单元由低通滤波器实现，因此，如图9的(C)所示，频率越高，其频率响应就越低。

[0111] 最后，说明图像DU1B的频谱。针对具有图9的(B)所示的频谱的图像DU1A进行具有图9的(C)所示的频率响应的低通滤波处理，由此，得到图9的(D)所示的图像DU1B。因此，图像DU1B的频谱如图像DU1B所示，由使谱SPM的强度降低某种程度后的谱SP2和使谱SPO的强度降低某种程度后的谱SP1构成。另外，一股地，频率越高，低通滤波器的频率响应越低。因此，在将谱SP1的强度与谱SPO进行比较时，通过水平方向低频分量通过单元U1B，高频分量侧、即频率为±Fn/2附近的谱强度减小。

[0112] 并且，关于图像放大单元U1进行的处理中的、垂直方向零插入单元U1C和垂直方向低频分量通过单元U1D进行的处理，省略其频率空间上的作用的说明，但是，根据其处理内容能够容易地理解到，针对示出垂直方向的空间频率的轴向，具有与使用图9的(A)～(D)说明的内容相同的作用。即，图像DU1D的频谱是二维扩展了图9的(D)所示的频谱而得到的频谱。

[0113] 并且，在以后的说明中，将谱SP2称作叠加分量。在图像上，该叠加分量表现为具有较高频率分量的噪声或伪信号。作为这种噪声或伪信号，可以列举过冲量、锯齿或振铃等。

[0114] 下面，说明本发明的图像处理装置的作用、效果。

[0115] 图10的(A)～(E)是示意地示出在输入对原图像DORG进行放大而得到的图像DU1D作为输入图像DIN(或图像DU1)的情况下，根据输入图像DIN生成中间图像D1时的作用、效果的图，图10的(A)示出输入图像DIN的频谱，图10的(B)示出高频分量图像生成单元1A的频率响应，图10的(C)示出低频分量图像生成单元1B的频率响应，图10的(D)示出中间图像生成单元1的频率响应，图10的(E)示出中间图像D1的频谱。另外，在图10的(A)～(E)中，由于与图9的(A)～(D)相同的理由，仅使用1个频率轴。

[0116] 进而，在图10的(A)～(E)中，仅在空间频率为0以上的范围内示出频谱或频率响应的强度，但是，以下说明中的频谱或频率响应成为以频率轴上的原点为中心对称的形状。因此，说明中使用的图仅示出空间频率为0以上的范围即可。

[0117] 首先，说明输入图像DIN的频谱。输入通过图像放大单元U1中的放大处理而生成的图像DU1D作为输入图像DIN，因此，如图10的(A)所示，输入图像DIN的频谱具有与在图9的(D)中说明的频谱相同的形状，由使原图像DORG的谱SPO的强度降低某种程度后的谱SP1、和成为叠加分量的谱SP2构成。

[0118] 接着，说明高频分量图像生成单元1A的频率响应。高频分量图像生成单元1A由高通滤波器构成，因此，如图10的(B)所示，频率越低，其频率响应越低。

[0119] 接着，说明低频分量图像生成单元1B的频率响应。低频分量图像生成单元1B由低通滤波器构成，因此，如图10的(C)所示，频率越高，其频率响应越低。

[0120] 接着，说明中间图像生成单元1的频率响应。利用中间图像生成单元1内的高频分量图像生成单元1A，减弱输入图像DIN具有的频率分量中的、图10的(D)所示的低频分量侧的区域(频率低于第1频率FL1的频带)RL1的频率分量。另一方面，利用中间图像生成单元1内的低频分量图像生成单元1B，减弱图10的(D)所示的高频分量侧的区域(频率高于第2频率FL2的频带)RH1的频率分量。因此，如图10的(D)所示，中间图像生成单元1的频率响应在通过低频分量侧的区域RL1和高频分量侧的区域RH1限制了频带的中间区域(特定频带)RM1内具有峰值。

[0121] 接着，说明中间图像D1的频谱。具有图10的(A)所示的频谱的输入图像DIN通过具有图10的(D)所示的频率响应的中间图像生成单元1，由此，得到图10的(E)所示的中间图像D1。然后，中间图像生成单元1的频率响应在通过低频分量侧的区域RL1和高频分量侧的区域RH1限制了频带的中间区域RM1内具有峰值，因此，中间图像D1的频谱成为减弱了输入图像DIN的频谱中的、低频分量侧的区域RL1和高频分量侧的区域RH1中包含的部分的强度而得到的频谱。因此，中间图像D1从输入图像DIN具有的高频分量中去除了成为叠加分量的谱SP1。即，中间图像生成单元1具有生成从输入图像DIN具有的高频分量中去除成为叠加分量的谱SP1而得到的中间图像D1的效果。

[0122] 图11的(A)～(C)是示出中间图像处理单元2的作用、效果的图，图11的(A)示出非线性处理单元D2A的频谱，图11的(B)示出高频分量图像生成单元2B的频率响应，图11的(C)示出图像D2B的频谱。另外，在图11的(A)～(C)中，由于与图10的(A)～(E)相同的理由，仅在空间频率为0以上的范围内示出频谱或频率响应的强度。

[0123] 如后所述，在非线性处理图像D2A中，生成相当于高频分量侧的区域RH2的高频分量。图11的(A)是示意地示出该状况的图。非线性处理图像D2A通过高频分量图像生成单元2B，从而生成图11的(C)所示的图像D2B。高频分量图像生成单元2B由使第3频率FL3以上的分量通过的高通滤波器构成，如图11的(B)所示，频率越高，其频率响应越高。因此，图像D2B的频谱如图11的(C)所示，从非线性处理图像D2A的频谱中去除了相当于低频分量侧的区域RL2的分量(低于第3频率FL3的频率分量)。换言之，非线性处理单元
2A具有生成相当于高频分量侧的区域RH2的高频分量的效果，高频分量图像生成单元2B具有仅取出由非线性处理单元2A生成的高频分量的效果。另外，在图示的例子中，第3频率FL3大致等于Fn/2。

[0124] 更详细地说明上述的作用、效果。

[0125] 图12的(A)～(C)和图13的(A)～(C)是示出对阶跃边缘进行采样时得到的信号的图。

[0126] 图12的(A)示出阶跃边缘和采样间隔S1，图12的(B)示出以采样间隔S1对阶跃边缘进行采样时得到的信号，图12的(C)示出图12的(B)所示的信号的高频分量。另一方面，图13的(A)示出阶跃边缘和间隔比采样间隔S1宽的采样间隔S2，图13的(B)示出以采样间隔S2对阶跃边缘进行采样时得到的信号，图13的(C)示出图13的(B)所示的信号的高频分量。在以下的说明中，设采样间隔S2的长度为采样间隔S1的长度的一半。

[0127] 如图12的(C)和图13的(C)所示，阶跃边缘的中央在示出高频分量的信号中表现为过零点Z。并且，采样间隔越短，示出高频分量的信号的过零点Z附近的斜率越陡，并且，采样间隔越短，过零点Z附近的给出局部最大值、最小值的点的位置越接近过零点Z。

[0128] 即，即使采样间隔变化，在边缘附近示出高频分量的信号的过零点位置也不变化，但是，采样间隔越小(或者分辨率越高)，边缘附近的高频分量的斜率越陡，给出局部最大值、最小值的点的位置越接近过零点。

[0129] 图14的(A)～(F)是示出将以采样间隔S1对阶跃边缘进行采样后的信号放大成2倍后输入到本发明的图像处理装置时的作用、效果的图，特别地，示出中间图像生成单元
1和中间图像处理单元2的作用、效果。另外，如上所述，分别针对水平方向和垂直方向进行中间图像生成单元1和中间图像处理单元2内部的处理，因此，一维地进行该处理。因此，在图14的(A)～(F)中，使用一维信号示出处理内容。

[0130] 与图13的(B)同样，图14的(A)示出以采样间隔S2对阶跃边缘进行采样后的信号。图14的(B)示出将图14的(A)所示的信号放大成2倍后的信号。即，在原图像DORG中包含图14的(A)所示的边缘的情况下，输入图14的(B)所示的信号作为输入图像DIN。另外，在将信号放大成2倍时，采样间隔为放大前的一半，因此，图14的(B)所示的信号的采样间隔与图12的(A)～(C)中的采样间隔S1相同。并且，在图14的(A)中，坐标P3所示的位置是阶跃边缘的低亮度侧(边缘信号的低电平侧)的边界部分，坐标P4所示的位置是阶跃边缘的高亮度侧(边缘信号的高电平侧)的边界。

[0131] 图14的(C)示出表示图14的(B)所示的信号的高频分量的信号、即与从高频分量图像生成单元1A输出的图像D1A相当的信号。另外，图像D1A是取出输入图像DIN的高频分量而得到的，因此，其中还包含叠加分量。

[0132] 图14的(D)示出表示图14的(C)所示的信号的低频分量的信号、即与从低频分量图像生成单元1B输出的图像D1B相当的信号。另外，如上所述，输出图像D1B作为中间图像D1，因此，也可以说图14的(D)示出中间图像D1。如图14的(D)所示，在中间图像D1中，过零点Z附近的局部最小值出现在坐标P3，局部最大值出现在坐标P4，该状况与图13的(C)所示的、从以采样间隔S2对阶跃边缘进行采样后的信号中取出的高频分量一致。并且，通过由低频分量图像生成单元1B进行的低通滤波处理，去除图像D1A中包含的叠加分量。

[0133] 图14的(E)示出对非线性处理单元2A输入图14的(D)所示的信号时的输出信号、即在输入中间图像D1的情况下从非线性处理单元2A输出的图像D2A。在非线性处理单元2A中，过零点Z前后的(在前后相邻的)坐标P1、P2的信号值被放大。因此，如图14的(E)所示，图像D2A在坐标P1、P2处的信号值的大小比其他值大，在过零点Z附近，出现局部最小值的位置从坐标P3变化到更接近过零点Z的坐标P1，出现局部最大值的位置从坐标P4变化到更接近过零点Z的坐标P2。这意味着，通过非线性处理单元2A中的对过零点Z前后的像素值进行放大这样的非线性处理，生成了高频分量。这样，按照每个像素自适应地改变放大率，或者根据像素适当改变处理内容，由此，能够生成高频分量。即，非线性处理单元2A具有生成中间图像D1中不包含的高频分量、即与图11的(A)所示的高频分量侧的区域RH2相当的高频分量的效果。

[0134] 图14的(F)示出表示图14的(E)所示的信号的高频分量的信号、即与从高频分量图像生成单元2B输出的图像D2B相当的信号。如图14的(F)所示，在图像D2B中，过零点Z附近的局部最小值(负侧峰值)出现在坐标P1，最大值(正侧峰值)出现在坐标P2，该状况与图12的(C)所示的、从以采样间隔S1对阶跃边缘进行采样后的信号中取出的高频分量一致。这意味着，通过高频分量图像生成单元2B取出在非线性处理单元2A中生成的高频分量，作为图像D2B输出。

[0135] 并且，可以说，取出的图像D2B是包含与采样间隔S1对应的频率分量的信号。换言之，高频分量图像生成单元2B具有仅取出由非线性处理单元2A生成的高频分量的效果。

[0136] 在加法单元2C中，对与水平方向有关的处理图像D1h和与垂直方向有关的处理图像D1v进行统合，生成统合后的中间图像D1hv，对与水平方向有关的处理图像D2Bh和与垂直方向有关的处理图像D2Bv进行统合，生成统合后的图像D2Bhv，进而，对统合后的中间图像D1hv和统合后的图像D2Bhv进行相加，生成图像D2C。

[0137] 如果在输入图像DIN中加上上述图14的(D)的中间图像D1和图14的(F)的图像D2B，则能够进行图像的强调处理。在本发明中，不是在输入图像DIN中直接加上第1中间图像D1和第2图像D2B，但是，下面，说明假设在加上第1中间图像D1和图像D2B的情况下得到的效果，然后，说明如下得到的效果：加上通过在加法单元2C内对第1中间图像D1和图像D2B进行处理而得到的中间图像D2C(换言之，加上统合后的第1中间图像D1hv和统合后的图像D2Bhv而得到的效果)。

[0138] 首先，叙述加上中间图像D1的效果。如上所述，中间图像D1从输入图像DIN具有的高频分量中去除了叠加分量，如图10的(E)所示，与原图像DORG的奈圭斯特频率附近的高频分量对应。如在图9的(D)中说明的那样，原图像DORG的奈圭斯特频率附近的谱强度由于图像放大单元U1中的放大处理而减弱，因此，通过加上中间图像D1，能够对由于放大处理而减弱的谱强度进行补偿。并且，从中间图像D1中去除叠加分量，因此，不会对过冲量、锯齿或振铃这样的伪信号进行强调。

[0139] 接着，叙述加上中间图像D2B的效果。如上所述，图像D2B是与采样间隔S1对应的高频分量。因此，通过加上图像D2B，能够给出原图像DORG的奈圭斯特频率以上的频带的高频分量，因此，能够增加图像的清晰感。

[0140] 因此，通过在输入图像DIN中加上对中间图像D1和图像D2B进行相加后的图像D2C，能够对高频分量进行相加而不会对叠加分量进行强调，能够提高图像的清晰感。

[0141] 但是，在对与水平方向有关的处理图像和与垂直方向有关的处理图像进行统合时，对这些处理图像单纯相加时，由于输入图像中包含的边缘的方向不同，校正量不均匀，在处理后的图像中产生人为缺陷。

[0142] 图15的(A)～(E)、图16的(A)～(E)和图17的(A)～(E)是用于说明产生上述人为缺陷的原因以及加法单元2C的效果的示意图。如图15的(A)、图16的(A)和图17的(A)所示，作为输入图像，考虑

[0143] (イ)包含水平方向的边缘的情况(图15的(A))、

[0144] (ロ)包含倾斜方向的边缘的情况(图16的(A))、

[0145] (ハ)包含垂直方向的边缘的情况(图17的(A))。

[0146] 在各个情况下，在图15的(B)、图16的(B)和图17的(B)中示出按照水平方向从左到右的顺序提供像素信号时的信号(在水平方向高频分量图像生成单元1Ah中作为处理对象的信号(这里用标号“DINh”表示))的强度，在图15的(C)、图16的(C)和图17的(C)中示出按照垂直方向从上到下的顺序提供像素信号时的信号(在垂直方向高频分量图像生成单元1Av中作为处理对象的信号(这里用标号“DINv”表示))的强度。

[0147] 将各个情况下的边缘分解为水平分量和垂直分量进行考虑时，在(イ)、(ハ)中，仅通过水平分量和垂直分量中的任意一个分量构成阶跃边缘，与此相对，在(ロ)中，通过水平分量和垂直分量的双方构成阶跃边缘。

[0148] 图15的(D)、图16的(D)和图17的(D)示出针对图15的(B)、图16的(B)和图17的(B)所示的输入图像(DINh)在水平方向进行处理而得到的水平方向中间图像D1h的信号强度，图15的(E)、图16的(E)和图17的(E)示出针对图15的(C)、图16的(C)和图17的(C)所示的输入图像(DINv)在垂直方向进行处理而得到的垂直方向中间图像D1v的信号强度。

[0149] 关于边缘附近的中间图像D1的信号强度的绝对值，在(イ)中，在水平分量中较大，垂直分量为零，在(ロ)中，水平分量和垂直分量均较大，在(ハ)中，在垂直分量中较大，水平分量为零。

[0150] 因此，当对图像D1h和图像D1v进行单纯相加时，与水平方向和垂直方向的边缘相比，针对倾斜方向的边缘的校正量较大，大约为2倍左右。结果，由于边缘方向的不同，校正强度不均匀，在倾斜方向的边缘，产生过冲量增大等的问题。

[0151] 因此，在加法单元2C中，不对图像D1h和图像D1v进行单纯相加，而是针对这些图像乘以与边缘方向对应的权重系数后进行相加。如上所述，在加法单元2C中，在权重系数生成单元401具有的边缘方向估计单元511中，计算图像D1h和图像D1v的绝对值的差分dH-dV。该差分dH-dV是与边缘方向对应的量，在水平方向的边缘附近，dH-dV为正值，是较大的值，在倾斜方向的边缘附近，dH-dV为接近0的值，在垂直方向的边缘附近，dH-dV为负值，是其绝对值较大的值。

[0152] 这样，在边缘方向估计单元511中，根据差分dH-dV来估计边缘方向，由此，不需要额外设置用于检测边缘方向的二维滤波器等的单元，因此，能够防止电路规模的增大。

[0153] 在权重系数决定单元512中，按照该差分dH-dV，根据图5的(A)和(B)所示的关系，决定针对水平方向分量的权重系数D512h和针对垂直方向分量的权重系数D512v。

[0154] 具体而言，dH-dV的值越大，针对图像D1h的权重越大，针对D1v的权重越小。另一方面，dH-dV为负值且其绝对值越大，针对图像D1h的权重越大，针对图像D1v的权重越小。进而，dH-dV越接近0，权重越接近1/2。这样，不会损害上述提高清晰感的效果，并且能够实现使人为缺陷不明显的高画质的校正。即，与直接对图像D1、D2B进行相加的情况相比，能够消除其问题点，并且，能够得到与通过对图像D1、D2B进行相加而得到的之前叙述的效果相同的效果。

[0155] 另外，权重系数决定单元512中的权重系数的决定方法只要发挥上述目的即可，不限于图5的(A)、(B)所示的关系，例如，也可以使用由平滑曲线定义的关系。并且，也可以利用折线来近似这种曲线。一股地讲，如下决定即可：根据相对于差分dH-dV单调递增的特性决定针对水平方向分量的权重系数，根据相对于差分dH-dV单调递减的特性决定针对垂直方向分量的权重系数，使针对水平方向分量的权重系数和针对垂直方向分量的权重系数之和满足始终恒定的关系。

[0156] 进而，边缘方向估计单元511计算所述差分dH-dV作为边缘方向估计量D511，但是，只要是与边缘方向相关的量即可，也可以使用通过其他各种关系式中的任意一种而计算出的量。该情况下，权重系数决定单元512也根据边缘方向估计量D511进行变更并实施，以便发挥上述目的。

[0157] 关于对中间图像D1的水平分量D1h和垂直分量D1v进行相加的情况进行了以上说明，但是，在对中间图像D2B的水平分量D2Bh和垂直分量D2Bv进行相加的情况下也同样。在图4所示的例子中，在对中间图像D2B的水平分量D2Bh和垂直分量D2Bv进行相加的情况下，也使用由权重系数生成单元401决定的权重系数D512h、D512v。

[0158] 在加法单元3中，将图像D2C作为中间图像D2与输入图像DIN相加。因此，在抑制由于叠加分量而引起的过冲量、锯齿或振铃等的增加的同时对高频分量进行相加，能够提高图像的清晰感。

[0159] 进而，在本发明的图像处理装置中，在中间图像生成单元1和中间图像处理单元2中，并列地进行图像的与水平方向有关的处理和与垂直方向有关的处理，因此，不限于仅图像的水平方向或仅图像的垂直方向，能够对它们进行统合而关于任意方向得到上述效果。

[0160] 并且，在本发明的图像处理装置中，从频率空间进行考虑，根据从原点到Fn的频带中的输入图像DIN在原图像DORG的奈圭斯特频率±Fn/2附近(或特定频带)中具有的分量，生成与奈圭斯特频率±Fn附近的高频分量对应的图像D2B。因此，即使由于某些原因而在输入图像DIN中丢失奈圭斯特频率±Fn附近的频率分量，通过图像D2B，也能够给出奈圭斯特频率±Fn附近的频率分量。

[0161] 另外，用作特定频带的部位不限于±Fn/2附近。即，通过适当变更高频分量图像生成单元1A和低频分量图像生成单元1B的频率响应，能够变更要利用的频带。

[0162] 在上述说明中，作为丢失奈圭斯特频率Fn附近的频率分量的例子，列举了图像的放大处理，但是，针对输入图像DIN丢失奈圭斯特频率Fn附近的频率分量的原因不限于此，除此之外，还可考虑噪声去除处理等。因此，本发明的图像处理装置的用途不限于图像放大处理后。

[0163] 实施方式2

[0164] 实施方式2的图像处理装置与实施方式1的不同之处仅在于加法单元2C的内部结构，在加法单元2C中采用如下结构：根据图像D2Bh和D2Bv，求出在对图像D2Bh和图像D2Bv进行统合时使用的权重系数。

[0165] 图18示出本发明的实施方式2的图像处理装置的加法单元2C的结构例。图示的加法单元2C大致与图4的加法单元2C相同，但是，不同之处在于，附加了权重输出单元412，使用从权重输出单元412输出的权重系数D522h和D522v进行水平垂直统合单元412中的相加。

[0166] 权重系数生成单元(第1权重系数生成单元)401与图4的情况相同，根据图像D1h和D1v，求出针对图像D1h的权重系数D512h和针对图像D1v的权重系数D512v。

[0167] 水平垂直统合单元(第1水平垂直统合单元)411根据由权重系数生成单元401求出的权重系数D512h和D512v，对图像D1h和图像D1v进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D1hv。

[0168] 与上述处理并行地，权重系数生成单元(第2权重系数生成单元)402根据图像D2Bh和D2Bv，求出针对图像D2Bh的权重系数D522h和针对图像D2Bv的权重系数D522v。权重系数D522h和D522v的求出方法与权重系数生成单元401中的权重系数D512h和D512v的求出方法相同，例如，能够使用与图5的(A)和(B)相同的关系(其中，横轴示出图像D2Bh的绝对值dH’和图像D2Bv的绝对值dV’之差(dH’-dV’)，纵轴示出权重系数D522h、D522v)求出权重系数D522h和D522v。该情况下，可以使针对dH’-dV’的D522h和D522v的关系与针对dH-dV的D512h和D512v的关系完全相同，也可以相互不同。

[0169] 水平垂直统合单元(第2水平垂直统合单元)412根据由权重系数生成单元402求出的权重系数D522h和D522v，对图像D2Bh和图像D2Bv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D2Bhv。

[0170] 中间图像加法单元42对图像D1hv和图像D2Bhv进行相加，输出图像D2C。

[0171] 本实施方式2的加法单元2C构成为，相对于图4所示的实施方式1的加法单元2C的结构，追加了用于求出针对图像D2Bh和D2Bv的权重系数的权重系数生成单元402，水平垂直统合单元412使用由权重系数生成单元402求出的权重系数，对图像D2Bh和图像D2Bv进行加权相加。权重系数生成单元401、水平垂直统合单元411和中间图像加法单元42的结构、动作与实施方式1相同。进而，权重系数生成单元402由边缘方向估计单元521和权重系数决定单元522构成，它们的动作与权重系数生成单元401的边缘方向估计单元511和权重系数决定单元512的动作相同。

[0172] 本发明的实施方式2的图像处理装置具有与本发明的实施方式1的图像处理装置相同的效果。进而，通过在加法单元2C中追加权重系数生成单元402，能够更加适当地求出用于对经过非线性处理单元2A的处理后的图像即图像D2Bh和图像D2Bv进行统合的权重系数，能够使处理后的图像的画质更高。

[0173] 实施方式3

[0174] 图19是示出本发明的实施方式3的图像处理方法的流程的图，本发明的实施方式3的图像处理方法包含中间图像生成步骤ST1、中间图像处理步骤ST2以及加法步骤ST3。

[0175] 如图20所示，中间图像生成步骤ST1包含高频分量图像生成步骤ST1A和低频分量图像生成步骤ST1B。

[0176] 高频分量图像生成步骤ST1A包含水平方向高频分量图像生成步骤ST1Ah和垂直方向高频分量图像生成步骤ST1Av，低频分量图像生成步骤ST1B包含水平方向低频分量图像生成步骤ST1Bh和垂直方向低频分量图像生成步骤ST1Bv。

[0177] 如图21所示，中间图像处理步骤ST2包含非线性处理步骤ST2A、高频分量图像生成步骤ST2B以及加法步骤ST2C。

[0178] 非线性处理步骤ST2A包含水平方向非线性处理步骤ST2Ah和垂直方向非线性处理步骤ST2Av，高频分量图像生成步骤ST2B包含水平方向高频分量图像生成步骤ST2Bh和垂直方向高频分量图像生成步骤ST2Bv。

[0179] 如图22所示，水平方向非线性处理步骤ST2Ah包含过零判定步骤ST311h和信号放大步骤ST312h，如图23所示，垂直方向非线性处理步骤ST2Av包含过零判定步骤ST311v和信号放大步骤ST312v。

[0180] 首先，根据图20的流程说明中间图像生成步骤ST1的动作。

[0181] 在高频分量图像生成步骤ST1A中，针对通过未图示的图像输入步骤而输入的输入图像DIN进行以下处理。

[0182] 首先，在水平方向高频分量图像生成步骤ST1Ah中，通过水平方向的高通滤波处理，生成从输入图像DIN中取出水平方向的高频分量而得到的图像D1Ah。

[0183] 在垂直方向高频分量图像生成步骤ST1Av中，通过垂直方向的高通滤波处理，生成从输入图像DIN中取出垂直方向的高频分量而得到的图像D1Av。

[0184] 这样，高频分量图像生成步骤ST1A根据输入图像DIN，生成由图像D1Ah和图像D1Av构成的图像D1A。该动作等同于高频分量图像生成单元1A。

[0185] 在低频分量图像生成步骤ST1B中，针对图像D1A进行以下处理。首先，在水平方向低频分量图像生成步骤ST1Bh中，通过水平方向的低通滤波处理，生成从图像D1Ah中取出水平方向的低频分量而得到的图像D1Bh。

[0186] 在垂直方向低频分量图像生成步骤ST1Bv中，通过垂直方向的低通滤波处理，生成从图像D1Av中取出垂直方向的低频分量而得到的图像D1Bv。

[0187] 这样，低频分量图像生成步骤ST1B根据图像D1A，生成由图像D1Bh和图像D1Bv构成的图像D1B。该动作等同于低频分量图像生成单元1B。

[0188] 以上是中间图像生成步骤ST1的动作，中间图像生成步骤ST1将图像D1Bh作为图像D1h，将图像D1Bv作为图像D1v，输出由图像D1h和图像D1v构成的中间图像D1。以上的动作等同于中间图像生成单元1。

[0189] 接着，根据图21～24的流程说明中间图像处理步骤ST2的动作。

[0190] 首先，在非线性处理步骤ST2A中，针对中间图像D1进行以下处理。

[0191] 首先，在水平方向非线性处理步骤ST2Ah中，在基于图22所示的流程的处理中，根据图像D1h生成图像D2Ah。图22所示的流程中的处理如下所述。首先，在过零判定步骤ST311h中，沿着水平方向确认图像D1h中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，向信号放大步骤ST312h通知位于过零点左右的像素。在信号放大步骤ST312h中，关于图像D1h，对被通知为位于过零点左右的像素的像素值进行放大，输出该图像作为图像D2Ah。即，非线性处理步骤ST2Ah针对图像D1h进行与水平方向非线性处理单元2Ah相同的处理，生成图像D2Ah。

[0192] 接着，在垂直方向非线性处理步骤ST2Av中，在基于图23所示的流程的处理中，根据图像D1v生成图像D2Av。图23所示的流程中的处理如下所述。首先，在过零判定步骤ST311v中，沿着垂直方向确认图像D1v中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，向信号放大步骤ST312v通知位于过零点上下的像素。在信号放大步骤ST312v中，关于图像D1v，对被通知为位于过零点上下的像素的像素值进行放大，输出该图像作为图像D2Av。即，非线性处理步骤ST2Av针对图像D1v进行与垂直方向非线性处理单元2Av相同的处理，生成图像D2Av。

[0193] 以上是非线性处理步骤ST2A的动作，非线性处理步骤ST2A生成由图像D2Ah和图像D2Av构成的图像D2A。该动作等同于非线性处理单元2A。

[0194] 接着，在高频分量图像生成步骤ST2B中，针对图像D2A进行以下处理。

[0195] 首先，在水平方向高频分量图像生成步骤ST2Bh中，生成针对图像D2Ah进行水平方向的高通滤波处理而得到的图像D2Bh。即，水平方向高频分量图像生成步骤ST2Bh进行与水平方向高频分量图像生成单元2Bh相同的处理。

[0196] 接着，在垂直方向高频分量图像生成步骤ST2Bv中，生成针对图像D2Av进行垂直方向的高通滤波处理而得到的图像D2Bv。即，垂直方向高频分量图像生成步骤ST2Bv进行与垂直方向高频分量图像生成单元2Bv相同的处理。

[0197] 以上是高频分量图像生成步骤ST2B的动作，高频分量图像生成步骤ST2B生成由图像D2Bh和图像D2Bv构成的图像D2B。该动作等同于高频分量图像生成单元2B。

[0198] 接着，在加法步骤ST2C中，在基于图24所示的流程的处理中，对图像D1h、图像D1v、图像D2Bh和图像D2Bv进行相加，生成图像D2C。加法步骤ST2C的处理如下所述。

[0199] 首先，在权重系数生成步骤ST401中，求出针对水平方向分量的权重系数D512h和针对垂直方向分量的权重系数D512v。权重系数生成步骤ST401包含边缘方向估计步骤ST511和权重系数决定步骤ST512，它们的动作等同于权重系数生成单元401的边缘方向估计单元511和权重系数决定单元512的动作。

[0200] 接着，在水平垂直统合步骤ST411中，使用在权重系数生成步骤ST401中求出的权重系数D512h和D512v，按照每个像素对图像D1h和图像D1v进行加权相加并统合，生成图像D1hv。并且，在水平垂直统合步骤ST412中，同样使用权重系数D512h和D512v，按照每个像素对图像D2Bh和图像D2Bv进行加权相加并统合，生成图像D2Bhv。

[0201] 接着，在中间图像加法步骤ST42中，对图像D1hv和图像D2Bhv进行相加。此时，图像D1hv和图像D2Bhv的相加也可以是加权相加。

[0202] 以上的加法步骤ST2C的动作等同于加法单元2C的动作。

[0203] 以上是中间图像处理步骤ST2的动作，中间图像处理步骤ST2输出图像D2C作为中间图像D2。该动作等同于中间图像处理单元2。

[0204] 加法步骤ST3对输入图像DIN和中间图像D2进行相加，生成输出图像DOUT。输出图像DOUT作为本发明的图像处理方法的最终输出图像被输出。即，加法步骤ST3的动作等同于加法单元3的动作。

[0205] 以上是本发明的实施方式3的图像处理方法的动作。

[0206] 根据该说明可知，本发明的实施方式3的图像处理方法的动作等同于本发明的实施方式1的图像处理装置。因此，实施方式3的图像处理方法具有与实施方式1的图像处理装置相同的效果。并且，在图6所示的图像显示装置中，例如通过在图像处理装置U2内部实施上述图像处理方法，能够在图6所示的图像显示装置U3中显示通过上述图像处理方法处理后的图像。

[0207] 实施方式4

[0208] 在实施方式4的图像处理方法中，在实施方式3的图像处理方法的加法步骤ST2C中，根据图像D2Bh和D2Bv，求出在对图像D2Bh和图像D2Bv进行统合时使用的权重系数。

[0209] 图25示出本发明的实施方式4的图像处理方法的加法步骤ST2C的流程。首先，在权重系数生成步骤ST401中，根据图像D1h和图像D1v，求出针对图像D1h的权重系数D512h和针对图像D1v的权重系数D512v。权重系数生成步骤ST401包含边缘方向估计步骤ST511和权重系数决定步骤ST512，它们的动作等同于权重系数生成单元401的边缘方向估计单元511和权重系数决定单元512的动作。

[0210] 接着，在水平垂直统合步骤ST411中，使用在权重系数生成步骤ST401中求出的权重系数D512h和D512v，对图像D1h和图像D1v进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D1hv。

[0211] 并且，在权重系数生成步骤ST402中，根据图像D2Bh和D2Bv，求出针对图像D2Bh的权重系数D522h和针对图像D2Bv的权重系数D522v。权重系数生成步骤ST402包含边缘方向估计步骤ST521和权重系数决定步骤ST522，它们的动作等同于实施方式2中的权重系数生成单元402的边缘方向估计单元521和权重系数决定单元522的动作。

[0212] 接着，在水平垂直统合步骤ST412中，根据在权重系数生成步骤ST402中求出的权重系数D522h和D522v，对图像D2Bh和图像D2Bv进行加权相加，得到对水平方向分量和垂直方向分量进行统合后的图像D2Bhv。

[0213] 接着，在中间图像加法步骤ST42中，对图像D1hv和图像D2Bhv进行相加，输出图像D2C。

[0214] 以上的加法步骤ST2C的动作等同于实施方式2中的加法单元2C的动作。进而，本发明的实施方式4的图像处理方法的动作等同于本发明的实施方式2的图像处理装置。因此，实施方式4的图像处理方法具有与实施方式2的图像处理装置相同的效果。并且，在图6所示的图像显示装置中，例如通过在图像处理装置U2内部实施上述图像处理方法，能够在图6所示的图像显示装置U3中显示通过上述图像处理方法处理后的图像。

[0215] 标号说明

[0216] 1：中间图像生成单元；1A：高频分量图像生成单元；1B：低频分量图像生成单元；2：中间图像处理单元；2A：非线性处理单元；2B：高频分量图像生成单元；2C：加法单元；3：
加法单元；401、402：权重系数生成单元；411：第1水平垂直统合单元；412：第2水平垂直统合单元；DIN：输入图像；D1：第1中间图像；D1h：第1水平方向中间图像；D1v：第1垂直方向中间图像；D2：第2中间图像；D2Bh：第2水平方向中间图像；D2Bv：第1垂直方向中间图像；DOUT：输出图像。

图像处理装置、方法以及图像显示装置转让专利

申请号 : CN200980155434.6

文献号 : CN102292742B

文献日 : 2013-12-11

基本信息: 请登录后查看

PDF: 请登录后查看

法律信息: 请登录后查看

相似专利: 请登录后查看

发明人 : 豊田善隆 , 守谷正太郎 , 奥田悟崇 , 山中聪 , 南浩次 , 杉浦博明

申请人 : 三菱电机株式会社

摘要 :

权利要求 :

说明书 :