图像处理装置和方法、以及图像显示装置和方法

摘要

图像处理装置具有：第1图像放大单元(2A)，其输出对输入图像(Din)进行放大得到的第1放大图像(D2A)；高频分量图像生成单元(1)，其生成取出输入图像(Din)的高频分量得到的第1高频分量图像(D1)；第2图像放大单元(2B)，其输出对第1高频分量图像(D1)进行放大得到的第2放大图像(D2B)；高频分量图像处理单元(3)，其生成对第2放大图像(D2B)进行处理得到的第2高频分量图像(D3)；以及对第1放大图像(D2A)和第2高频分量图像(D3)进行相加并输出的单元(4)。能够针对放大图像充分赋予高频分量，能够得到放大图像的清晰感。

权利要求

1.一种图像处理装置，该图像处理装置对输入图像进行放大，其特征在于，该图像处理装置具有：图像放大单元，其输出放大所述输入图像而得到的第1放大图像；

高频分量图像生成单元，其生成取出所述输入图像的高频分量而得到的第1高频分量图像；

第2图像放大单元，其输出放大所述第1高频分量图像而得到的第2放大图像；

高频分量图像处理单元，其将所述第2放大图像作为输入，生成第2高频分量图像；以及相加单元，其对所述第1放大图像和所述第2高频分量图像进行相加，生成输出图像，所述高频分量图像处理单元具有：非线性处理单元，其对所述第2放大图像的像素值进行非线性处理，得到非线性处理图像；

第1高频分量通过单元，其仅取出所述第2放大图像的高频分量，得到第1中间图像；

第2高频分量通过单元，其仅取出所述非线性处理图像的高频分量，得到第2中间图像；

加法单元，其对所述第1中间图像和所述第2中间图像进行相加，得到所述第2高频分量图像，所述非线性处理单元通过在图像的边缘部分以更大的放大率进行放大的非线性处理，对所述第2放大图像的像素值进行处理。

2.根据权利要求1所述的图像处理装置，其特征在于，所述非线性处理单元具有：

过零判定单元，其将所述第2放大图像的像素值从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大单元，其利用根据所述过零判定单元的判定结果决定的放大率，对所述第2放大图像的像素值进行放大，所述信号放大单元将针对存在于第1区域内的像素的像素值的放大率设为大于1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含由所述过零判定单元判定的过零点。

3.根据权利要求2所述的图像处理装置，其特征在于，所述第1区域根据所述第2放大单元的放大率而变化。

4.根据权利要求2所述的图像处理装置，其特征在于，针对存在于所述第1区域的像素的放大率根据距所述过零点的距离而变化。

5.根据权利要求1所述的图像处理装置，其特征在于，所述高频分量图像生成单元具有水平方向高频分量图像生成单元，该水平方向高频分量图像生成单元生成取出所述输入图像的关于水平方向的高频分量而得到的水平方向高频分量图像，所述第1高频分量图像包含所述水平方向高频分量图像，所述第2图像放大单元具有第3图像放大单元，该第3图像放大单元输出放大所述水平方向高频分量图像而得到的第3放大图像，所述第2放大图像包括所述第3放大图像，

所述非线性处理单元具有：

过零判定单元，其将所述第3放大图像的像素值沿水平方向从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大单元，其利用根据所述过零判定单元的判定结果决定的放大率，对所述第3放大图像的像素值进行放大，所述信号放大单元将针对存在于第1区域内的像素的像素值的放大率设为大于1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含由所述过零判定单元判定的过零点。

6.根据权利要求5所述的图像处理装置，其特征在于，所述第1区域根据所述第3放大单元的放大率而变化。

7.根据权利要求5所述的图像处理装置，其特征在于，针对存在于所述第1区域的像素的放大率根据距所述过零点的距离而变化。

8.根据权利要求1所述的图像处理装置，其特征在于，所述高频分量图像生成单元具有垂直方向高频分量图像生成单元，该垂直方向高频分量图像生成单元生成取出所述输入图像的关于垂直方向的高频分量而得到的垂直方向高频分量图像，所述第1高频分量图像包含所述垂直方向高频分量图像，所述第2图像放大单元具有第4图像放大单元，该第4图像放大单元输出放大所述垂直方向高频分量图像而得到的第4放大图像，所述第2放大图像包含所述第4放大图像，

所述非线性处理单元具有：

过零判定单元，其将所述第4放大图像的像素值沿垂直方向从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大单元，其利用根据所述过零判定单元的判定结果决定的放大率，对所述第4放大图像的像素值进行放大，所述信号放大单元将针对存在于第1区域内的像素的像素值的放大率设为大于1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含由所述过零判定单元判定的过零点。

9.根据权利要求8所述的图像处理装置，其特征在于，所述第1区域根据所述第4放大单元的放大率而变化。

10.根据权利要求8所述的图像处理装置，其特征在于，针对存在于所述第1区域中的像素的放大率根据距所述过零点的距离而变化。

11.一种图像显示装置，其特征在于，该图像显示装置具有权利要求1～10中的任一项所述的图像处理装置。

12.一种对输入图像进行放大的图像处理方法，其特征在于，该图像处理方法包括：图像放大步骤，输出放大所述输入图像而得到的第1放大图像；

高频分量图像生成步骤，生成取出所述输入图像的高频分量而得到的第1高频分量图像；

第2图像放大步骤，输出放大所述第1高频分量图像而得到的第2放大图像；

高频分量图像处理步骤，将所述第2放大图像作为输入，生成第2高频分量图像；以及相加步骤，对所述第1放大图像和所述第2高频分量图像进行相加，生成输出图像，所述高频分量图像处理步骤包括：非线性处理步骤，其对所述第2放大图像的像素值进行非线性处理，得到非线性处理图像；

第1高频分量通过步骤，其仅取出所述第2放大图像的高频分量，得到第1中间图像；

第2高频分量通过步骤，其仅取出所述非线性处理图像的高频分量，得到第2中间图像；

加法步骤，其对所述第1中间图像和所述第2中间图像进行相加，得到所述第2高频分量图像。

在所述非线性处理步骤中，通过在图像的边缘部分以更大的放大率进行放大的非线性处理，对所述第2放大图像的像素值进行处理。

13.根据权利要求12所述的图像处理方法，其特征在于，所述非线性处理步骤包括：

过零判定步骤，将所述第2放大图像的像素值从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大步骤，利用根据所述过零判定步骤的判定结果决定的放大率，对所述第2放大图像的像素值进行放大，在所述信号放大步骤中，将针对存在于第1区域内的像素的像素值的放大率设为大于

1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含所述过零判定步骤中判定的过零点。

14.根据权利要求13所述的图像处理方法，其特征在于，所述第1区域根据所述第2放大步骤中的放大率而变化。

15.根据权利要求13所述的图像处理方法，其特征在于，针对存在于所述第1区域的像素的放大率根据距所述过零点的距离而变化。

16.根据权利要求12所述的图像处理方法，其特征在于，所述高频分量图像生成步骤包括水平方向高频分量图像生成步骤，在该水平方向高频分量图像生成步骤中，生成取出所述输入图像的关于水平方向的高频分量而得到的水平方向高频分量图像，所述第1高频分量图像包含所述水平方向高频分量图像，所述第2图像放大步骤包括第3图像放大步骤，在该第3图像放大步骤中，输出放大所述水平方向高频分量图像而得到的第3放大图像，所述第2放大图像包括所述第3放大图像，

所述非线性处理步骤包括：

过零判定步骤，将所述第3放大图像的像素值沿水平方向从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大步骤，利用根据所述过零判定步骤的判定结果决定的放大率，对所述第3放大图像的像素值进行放大，在所述信号放大步骤中，将针对存在于第1区域内的像素的像素值的放大率设为大于

1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含所述过零判定步骤中判定的过零点。

17.根据权利要求16所述的图像处理方法，其特征在于，所述第1区域根据所述第3放大步骤中的放大率而变化。

18.根据权利要求16所述的图像处理方法，其特征在于，针对存在于所述第1区域的像素的放大率根据距所述过零点的距离而变化。

19.根据权利要求12所述的图像处理方法，其特征在于，所述高频分量图像生成步骤包括垂直方向高频分量图像生成步骤，在该垂直方向高频分量图像生成步骤中，生成取出所述输入图像的关于垂直方向的高频分量而得到的垂直方向高频分量图像，所述第1高频分量图像包含所述垂直方向高频分量图像，所述第2图像放大步骤包括第4图像放大步骤，在该第4图像放大步骤中，输出放大所述垂直方向高频分量图像而得到的第4放大图像，所述第2放大图像包含所述第4放大图像，

所述非线性处理步骤包括：

过零判定步骤，将所述第4放大图像的像素值沿垂直方向从正值变化为负值或从负值变化为正值之处判定为过零点；以及信号放大步骤，利用根据所述过零判定步骤中的判定结果决定的放大率，对所述第4放大图像的像素值进行放大，在所述信号放大步骤中，将针对存在于第1区域内的像素的像素值的放大率设为大于

1的值，将针对除此之外的像素的像素值的放大率设为1，其中，该第1区域包含在所述过零判定步骤中判定的过零点。

20.根据权利要求19所述的图像处理方法，其特征在于，所述第1区域根据所述第4放大步骤中的放大率而变化。

21.根据权利要求19所述的图像处理方法，其特征在于，针对存在于所述第1区域中的像素的放大率根据距所述过零点的距离而变化。

说明书

图像处理装置和方法、以及图像显示装置和方法

技术领域

[0001] 本发明涉及对数字化的图像进行放大的图像处理装置和方法、以及图像显示装置和方法，在对图像进行放大时，生成高频分量，由此得到清晰感高的放大图像。

背景技术

[0002] 一般地，在输出图像的像素数多于输入图像的像素数的情况下，图像处理装置必须对图像进行放大处理。在现有的图像处理装置中，对关注像素附近的像素所具有的像素值进行加权相加，对图像进行放大。

[0003] 例如在专利文献1所记载的图像处理装置中，具有用于对从各移位寄存器分别输出的主扫描方向上相邻的5个像素数据乘以规定的加权常数并对各像素数据中的相乘结果进行相加的运算电路，在进行图像数据的放大处理的情况下，由选择器选择运算电路的运算结果作为这些像素数据的中央像素数据并输出。

[0004] 专利文献1：日本特开平6-311346号公报(图1)

[0005] 对关注像素附近的像素所具有的像素值进行加权相加是仅使输入图像的低频分量通过的低通滤波处理。因此，在上述现有技术中，无法针对放大图像充分提供高频分量，所以，存在放大图像的清晰感受损的问题。

发明内容

[0006] 本发明是为了消除上述这种课题而完成的，本发明的图像处理装置对输入图像进行放大，其特征在于，该图像处理装置具有：第1图像放大单元，其放大所述输入图像并输出第1放大图像；高频分量图像生成单元，其取出所述输入图像的高频分量，生成第1高频分量图像；第2图像放大单元，其放大所述第1高频分量图像并输出第2放大图像；高频分量图像处理单元，其取出所述第2放大图像的高频分量，生成第2高频分量图像；以及对所述第1放大图像和所述第2高频分量图像进行相加并生成输出图像的单元。

[0007] 根据本发明，能够针对放大图像充分提供高频分量，能够得到具有清晰感的放大图像。

附图说明

[0008] 图1是本发明的实施方式1的图像处理装置的结构图。

[0009] 图2是本发明的实施方式1的图像处理装置的更加详细的结构图。

[0010] 图3是本发明的实施方式1的图像处理装置的更加详细的结构图。

[0011] 图4(a)～(d)是图像放大单元2A的动作说明图。

[0012] 图5是图像放大单元2A的结构图。

[0013] 图6是图像放大单元2B的结构图。

[0014] 图7是水平方向非线性处理单元31h的结构图。

[0015] 图8是垂直方向非线性处理单元31v的结构图。

[0016] 图9(a)～(d)是放大图像D2A的频谱的说明图。

[0017] 图10(a)～(f)是中间图像D32A的频谱的说明图。

[0018] 图11(a)～(c)是中间图像D32B的频谱的说明图。

[0019] 图12(a)～(e)是阶跃边缘信号和利用不同采样频率对阶跃边缘信号进行采样时得到的信号及其高频分量的说明图。

[0020] 图13(a)～(f)是非线性处理单元31和高频分量通过单元32B的动作说明图。

[0021] 图14是放大图像Dout的频谱的说明图。

[0022] 图15(a)～(e)是阶跃边缘信号和利用不同采样频率对阶跃边缘信号进行采样时得到的信号及其高频分量的说明图。

[0023] 图16(a)～(f)是非线性处理单元31和高频分量通过单元32B、或者非线性处理步骤ST31和高频分量通过单元32B的动作说明图。

[0024] 图17是本发明的实施方式2的图像处理装置的结构图。

[0025] 图18是本发明的图像处理方法的流程图。

[0026] 图19是高频分量图像生成步骤ST1的流程图。

[0027] 图20是图像放大步骤ST2B的流程图。

[0028] 图21是高频分量图像处理步骤ST3的流程图。

[0029] 图22是水平方向非线性处理步骤ST31h的流程图。

[0030] 图23是垂直方向非线性处理步骤ST31v的流程图。

[0031] 图24是示出组入了本发明的图像处理装置的图像显示装置的一例的框图。

[0032] 标号说明

[0033] 1：高频分量图像生成单元；2A：图像放大单元；2B：图像放大单元；3：高频分量图像处理单元；4：加法单元；Din：输入图像；D1：高频分量图像；D2A：放大图像；D2B：放大图像；D3：高频分量图像；Dout：输出图像。

具体实施方式

[0034] 实施方式1

[0035] 图1是示出本发明的实施方式1的图像处理装置的结构的图，例如能够用作图24所示的图像显示装置内的图像处理装置U1。另外，图24所示的图像显示装置由图像处理装置U1和显示部9构成，通过显示部9进行图像显示。

[0036] 实施方式1的图像处理装置具有：图像放大单元2A、高频分量图像生成单元1、图像放大单元2B、高频分量图像处理单元3、以及加法单元4。

[0037] 图像放大单元2A放大输入图像Din生成放大图像D2A。高频分量图像生成单元1仅取出输入图像Din的高频分量，生成高频分量图像D1。图像放大单元2B放大从高频分量图像生成单元1输出的高频分量图像D1，生成放大图像D2B。高频分量图像处理单元3取出从图像放大单元2B输出的放大图像D2B的高频分量，生成高频分量图像D3。加法单元4对从放大单元2A输出的放大图像D2A加上从高频分量图像处理单元3输出的高频分量图像D3，将其结果作为最终的放大图像即输出图像Dout输出。加法单元4的输出被提供给图24所示的图像显示装置内的显示部9，用于显示部9的图像显示。

[0038] 另外，在本说明书中，记载了针对“图像”进行放大、高频生成、高频分量处理等的处理，但是，具体而言，是针对表示图像的数字数据进行处理。并且，具体而言，“图像”这一记载有时也意味着“图像数据”。

[0039] 图像放大单元2A、高频分量图像生成单元1、图像放大单元2B、高频分量图像处理单元3的详细动作在后面叙述，但是，高频分量图像D3所具有的频率分量为高于放大图像D2A所具有的频率分量的频带。因此，在加法单元4中对放大图像D2A加上高频分量图像D3，由此，能够得到包含大量高频分量的放大图像Dout。

[0040] 图像放大单元2A在水平方向和垂直方向的至少一方放大图像，例如，在水平方向和垂直方向以相同倍率进行放大，但是，取而代之，也可以在水平方向和垂直方向以不同倍率进行放大。并且，也可以仅在水平方向和垂直方向的一方进行放大，例如，在显示画面相对于输入图像而言横向较长的情况下，有时仅在水平方向进行放大。

[0041] 下面，更加详细地说明图像放大单元2A、高频分量图像生成单元1、图像放大单元2B、高频分量图像处理单元3的动作。通过该说明也更加清楚本发明的作用、效果。

[0042] 图2是示出图1所示的本发明的实施方式1的图像处理装置的详细结构的图，特别详细地记述了高频分量图像处理单元3的结构。

[0043] 高频分量图像处理单元3具有：高频分量通过单元32A、非线性处理单元31、高频分量通过单元32B、以及加法单元5。

[0044] 高频分量通过单元32A生成仅取出放大图像D2B中所包含的高频分量得到的中间图像D32A。非线性处理单元31生成针对放大图像D2B进行了后述的边缘(edge)锐化用的非线性处理的非线性处理图像D31，高频分量通过单元32B输出仅取出非线性处理图像D31中所包含的高频分量得到的中间图像D32B。然后，将利用加法单元5对中间图像D32A和中间图像D32B进行相加后的结果作为高频分量图像D3输出。

[0045] 图3是示出本发明的实施方式1的图像处理装置的更加详细的结构的图，特别详细地记述了高频分量图像生成单元1、图像放大单元2B、高频分量通过单元32A、非线性处理单元31、以及高频分量通过单元32B的结构。下面，说明图3所示的图像处理装置的结构要素的动作。

[0046] 高频分量图像生成单元1具有分别利用后述的方法生成水平方向高频分量图像D1h和垂直方向高频分量图像D1v的水平方向高频分量图像生成单元1h和垂直方向高频分量图像生成单元1v。由水平方向高频分量图像D1h和垂直方向高频分量图像D1v构成高频分量图像D1。

[0047] 图像放大单元2B具有生成对水平方向高频分量图像D1h进行放大得到的放大图像D2Bh的图像放大单元2Bh、和生成对垂直方向高频分量图像D1v进行放大得到的放大图像D2Bv的图像放大单元2Bv。由放大图像D2Bh和放大图像D2Bv构成放大图像D2B。

[0048] 在图像放大单元2A在水平方向和垂直方向这两个方向进行放大的情况下，图像放大单元2Bh在水平方向和垂直方向的两个方向上放大水平方向高频分量图像D1h，图像放大单元2Bv在水平方向和垂直方向的两个方向上放大垂直方向高频分量图像D1v。图像放大单元2Bh和2Bv以与图像放大单元2A进行的在水平方向和垂直方向上的各个方向的放大倍率相同的倍率进行水平方向高频分量图像D1h和垂直方向高频分量图像D1v的放大。

[0049] 高频分量通过单元32A具有：生成仅取出放大图像D2Bh所包含的水平方向的高频分量得到的中间图像D32Ah的水平方向高频分量通过单元32Ah；生成仅取出放大图像D2Bv的垂直方向的高频分量得到的中间图像D32Av的垂直方向高频分量通过单元32Av；以及对中间图像D32Ah和中间图像D32Av进行相加的加法单元6A，将利用加法单元6A对中间图像D32Ah和中间图像D32Av进行相加后的结果作为中间图像D32A输出。

[0050] 非线性处理单元31具有：水平方向非线性处理单元31h，其生成利用后述方法对放大图像D2Bh进行非线性处理得到的非线性处理图像D31h，该非线性处理用于对包含在水平方向排列的像素的信号值呈阶跃状变化的边缘进行锐化；以及垂直方向非线性处理单元31v，其生成利用后述方法对放大图像D2Bv进行非线性处理得到的非线性处理图像D31v，该非线性处理用于对包含在垂直方向排列的像素的信号值呈阶跃状变化的边缘进行锐化。由非线性处理图像D31h和非线性处理图像D31v构成非线性处理图像D31。

[0051] 高频分量通过单元32B具有：生成仅取出非线性处理图像D31h中所包含的高频分量得到的中间图像D32Bh的水平方向高频分量通过单元32Bh；生成仅取出非线性处理图像D31v中所包含的高频分量得到的中间图像D32Bv的垂直方向高频分量通过单元32Bv；以及对中间图像D32Bh和中间图像D32Bv进行相加的加法单元6B，将利用加法单元6B对中间图像D32Bh和中间图像D32Bv进行相加后的结果作为中间图像D32B输出。

[0052] 下面，以生成在水平方向、垂直方向均将输入图像Din放大2倍得到的放大图像Dout的情况为例，更加详细地说明图3所记载的图像处理装置的各结构要素的动作。

[0053] 首先，说明图像放大单元2A的动作。图像放大单元2A生成在水平方向、垂直方向均将输入图像Din放大2倍后的放大图像D2A。图4(a)～图4(d)是示意性地示出图像放大单元2A中的放大图像D2A的生成步骤的一例的图，图5是示出图像放大单元2A的一例的图。

[0054] 图像放大单元2A具有零插入单元21A和低频分量通过单元22A。下面，使用图4(a)～(d)说明零插入单元21A和低频分量通过单元22A的动作。图4(a)示出输入图像Din(特别是构成图像的一部分的像素的排列)，图4(b)示出由零插入单元21A生成的零插入图像D21A，图4(c)示出在低频分量通过单元22A中生成放大图像D2A时使用的滤波系数，图4(d)示出由低频分量通过单元22A生成的放大图像D2A。在图4(b)、(d)中，对应于像素的位置记载了水平坐标X、垂直坐标Y。

[0055] 零插入单元21A针对输入图像Din，在水平方向每隔(输入图像Din的)1个像素插入1个(在相邻2个像素相互之间为1个)具有像素值0的像素，在垂直方向每隔(输入图像Din的)1行插入1条(在相邻2行相互之间为1条)具有像素值0的像素，生成零插入图像D21A。

[0056] 如果“PXY”表示输入图像Din中的位于坐标(X、Y)的像素的像素值、“P’XY”表示零插入图像D21A中的位于坐标(X、Y)的像素的像素值，则进行上述零插入的结果为，在零插入图像D21A中由P’(2X-1)(2Y-1)表示的像素值与输入图像Din的像素值PXY相等，除此之外的像素值即由P’(2X-1)(2Y)、P’(2X)(2Y)、P’(2X)(2Y-1)表示的像素值为零。

[0057] 低频分量通过单元22A针对零插入图像D21A进行图4(c)所示的滤波系数所表示的滤波运算，由此，生成图4(d)所示的放大图像D2A。

[0058] 例如，如下述式(1)那样计算放大图像D2A所包含的坐标(X、Y)的像素的像素值QXY。

[0059] QXY ＝ (4/16)×{P’(X-1)(Y-1)+2P’X(Y-1)+P’(X+1)(Y-1)+2P’(X-1)Y+4P’XY+2P’(X+1)Y+P’(X-1)(Y+1)+2P’X(Y+1)+P’(X+1)(Y+1)}...(1)[0060] 另外，图4(c)所示的滤波系数表示低通滤波，所以，式(1)所示的低频分量通过单元22A中的处理对应于取出零插入图像D21A的低频分量。

[0061] 并且，在式(1)中，由“P’XY”表示的像素值中的若干个为零，值不为零的像素具有与输入图像Din相同的像素值。因此，式(1)的处理或放大处理等同于适当对放大前的图像(输入图像Din)所具有的像素值进行加权相加。

[0062] 接着，说明水平方向高频分量图像生成单元1h和垂直方向高频分量图像生成单元1v的动作。水平方向高频分量图像生成单元1h对输入图像Din施加使用输入图像Din的各像素和位于其水平方向附近的例如规定数量的像素的高通滤波，生成水平方向高频分量图像D1h。

[0063] 另一方面，垂直方向高频分量图像生成单元1v对输入图像Din施加使用输入图像Din的各像素和位于其垂直方向附近的例如规定数量的像素的高通滤波，生成垂直方向高频分量图像D1v。

[0064] 在水平方向高频分量图像D1h中包含输入图像Din的水平方向的高频分量，在垂直方向高频分量图像D1v中包含输入图像Din的垂直方向的高频分量。

[0065] 作为由水平方向高频分量图像生成单元1h进行的施加高通滤波的处理，例如能够进行如下处理：从针对该单元1h的输入信号中减去其水平方向的低频分量(或者由针对各像素在水平方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0066] 同样，作为由垂直方向高频分量图像生成单元1v进行的施加高通滤波的处理，例如能够进行如下处理：从针对该单元1v的输入信号中减去其垂直方向的低频分量(或者由针对各像素在垂直方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0067] 接着，说明图像放大单元2Bh和2Bv的动作。图像放大单元2Bh生成在水平方向、垂直方向均将水平方向高频分量图像D1h放大2倍得到的放大图像D2Bh，图像放大单元2Bv生成在水平方向、垂直方向均将垂直方向高频分量图像D1v放大2倍得到的放大图像D2Bv。

[0068] 图像放大单元2Bh和图像放大单元2Bv能够分别与参照图5说明的图像放大单元2A同样构成。因此，由图像放大单元2Bh和图像放大单元2Bv构成的图像放大单元2B能够如图6所示。

[0069] 图像放大单元2Bh的输入为水平方向高频分量图像D1h，输出为放大图像D2Bh。图像放大单元2Bv的输入为垂直方向高频分量图像D1v，输出为放大图像D2Bv。

[0070] 图像放大单元2Bh具有零插入单元21Bh和低频分量通过单元22Bh，图像放大单元2Bv具有零插入单元21Bv和低频分量通过单元22Bv。

[0071] 零插入单元21Bh和零插入单元21Bv分别与图5的零插入单元21A相同，低频分量通过单元22Bh和低频分量通过单元22Bv分别与图5的低频分量通过单元22A相同。

[0072] 利用从零插入单元21Bh输出的零插入图像D21Bh和从零插入单元21Bv输出的零插入图像D21Bv，构成作为零插入单元21B的输出的零插入图像D21B。

[0073] 利用从低频分量通过单元22Bh输出的放大图像D2Bh和从低频分量通过单元22Bv输出的放大图像D2Bv，构成作为低频分量通过单元22B的输出的放大图像D2B。

[0074] 接着，说明高频分量通过单元32A的动作。高频分量通过单元32A具有水平方向高频分量通过单元32Ah、垂直方向高频分量通过单元32Av、以及加法单元6A。

[0075] 水平方向高频分量通过单元32Ah对放大图像D2Bh施加水平方向的高通滤波，生成中间图像D32Ah。

[0076] 另一方面，垂直方向高频分量通过单元32Av对放大图像D2Bv施加垂直方向的高通滤波，生成中间图像D32Av。

[0077] 然后，加法单元6A对中间图像D32Ah和中间图像D32Av进行相加，由此生成中间图像D32A。从高频分量通过单元32A输出这样生成的中间图像D32A。

[0078] 由水平方向高频分量通过单元32Ah进行的施加高通滤波的处理能够与水平方向高频分量图像生成单元1h中的处理同样进行，由垂直方向高频分量通过单元32Av进行的施加高通滤波的处理能够与垂直方向高频分量图像生成单元1v中的处理同样进行。

[0079] 即，作为由水平方向高频分量通过单元32Ah进行的施加高通滤波的处理，与水平方向高频分量图像生成单元1h中的处理同样，例如能够进行如下处理：从针对该单元32Ah的输入信号中减去其水平方向的低频分量(或者针对各像素的由在水平方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0080] 同样，作为由垂直方向高频分量通过单元32Av进行的施加高通滤波的处理，例如能够进行如下处理：从针对该单元32Av的输入信号中减去其垂直方向的低频分量(或者针对各像素的由在垂直方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0081] 接着，说明非线性处理单元31的动作。非线性处理单元31具有水平方向非线性处理单元31h和垂直方向非线性处理单元31v。水平方向非线性处理单元31h和垂直方向非线性处理单元31v彼此同样构成。但是，水平方向非线性处理单元31h进行水平方向的处理，垂直方向非线性处理单元31v进行垂直方向的处理。

[0082] 图7是示出水平方向非线性处理单元31h的内部结构的图。水平方向非线性处理单元31h具有过零判定单元311h和信号放大单元312h。

[0083] 过零判定单元311h沿着水平方向确认所输入的放大图像D2Bh中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311h向信号放大单元312h传达位于过零点前后的像素(在图示的例子中，前一像素和后一像素)的位置。

[0084] 另外，水平方向非线性处理单元31h将位于过零点左右的像素识别为位于过零点前后的像素。

[0085] 信号放大单元312h根据信号D311h确定位于过零点前后的像素，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)得到的非线性处理图像D31h。即，设针对位于过零点前后的像素的像素值的放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。

[0086] 通过这种处理，对包括在水平方向排列的像素的信号值呈阶跃状变化的边缘进行锐化。

[0087] 图8是示出垂直方向非线性处理单元31v的内部结构的图。垂直方向非线性处理单元31v具有过零判定单元311v和信号放大单元312v。

[0088] 过零判定单元311v沿着垂直方向确认所输入的放大图像D2Bv中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，通过信号D311v向信号放大单元312v传达位于过零点前后的像素(在图示的例子中，前一像素和后一像素)的位置。

[0089] 另外，在垂直方向非线性处理单元31v中，将位于过零点上下的像素识别为位于过零点前后的像素。

[0090] 信号放大单元312v根据信号D311v确定位于过零点前后的像素，生成仅针对位于过零点前后的像素放大其像素值(增大绝对值)得到的非线性处理图像D31v。即，设针对位于过零点前后的像素的像素值的放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1。

[0091] 通过这种处理，对包含在垂直方向排列的像素的信号值呈阶跃状变化的边缘进行锐化。

[0092] 接着，说明高频分量通过单元32B的动作。高频分量通过单元32B具有水平方向高频分量通过单元32Bh、垂直方向高频分量通过单元32Bv、以及加法单元6B。

[0093] 水平方向高频分量通过单元32Bh对非线性处理图像D31h施加水平方向的高通滤波，生成中间图像D32Bh。另一方面，垂直方向高频分量通过单元32Bv对非线性处理图像D31v施加垂直方向的高通滤波，生成中间图像D32Bv。然后，加法单元6B对中间图像D32Bh和中间图像D32Bv进行相加，由此生成中间图像D32B。从高频分量通过单元32B输出这样生成的中间图像D32B。

[0094] 由水平方向高频分量通过单元32Bh进行的施加高通滤波的处理能够与水平方向高频分量图像生成单元1h中的处理同样进行，由垂直方向高频分量通过单元32Bv进行的施加高通滤波的处理能够与垂直方向高频分量图像生成单元1v中的处理同样进行。

[0095] 即，作为由水平方向高频分量通过单元32Bh进行的施加高通滤波的处理，例如能够进行如下处理：从针对该单元32Bh的输入信号中减去其水平方向的低频分量(或者针对各像素的由在水平方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0096] 同样，作为由垂直方向高频分量通过单元32Bv进行的施加高通滤波的处理，例如能够进行如下处理：从针对该单元32Bv的输入信号中减去其垂直方向的低频分量(或者针对各像素的由在垂直方向排列的规定数量的像素构成的局部区域中的像素值的简单平均值或加权平均值)，从而取出高频分量。

[0097] 接着，说明加法单元5的动作。加法单元5将对中间图像D32A和中间图像D32B进行相加得到的结果作为高频分量图像D3输出。

[0098] 最后，说明加法单元4的动作。加法单元4对放大图像D2A和高频分量图像D3进行相加。然后，将在加法单元4中对放大图像D2A和高频分量图像D3进行相加的结果所得到的图像作为最终的放大图像Dout，从图像处理装置输出。

[0099] 另外，加法单元4中的加法处理不限于简单相加，也可以是赋予不同权重对放大图像D2A和高频分量图像D3进行相加的处理。这一点对高频分量图像处理单元3内的加法单元5也同样。

[0100] 下面，说明本发明的图像处理装置的作用、效果。

[0101] 在本发明的图像处理装置中，对放大图像D2A和高频分量图像D3进行相加，生成最终的放大图像(输出图像)Dout。放大图像D2A包含相当于低于输入图像Din的奈圭斯特频率Fn的频率的频率分量，高频分量图像D3包含相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量。因此，对放大图像D2A和高频分量图像D3进行相加而生成的放大图像Dout在直到图像放大后的奈圭斯特频率的整个频率区域中具有频率分量。

[0102] 首先，说明放大图像D2A具有相当于低于输入图像Din的奈圭斯特频率Fn的频率的频率分量的情况。

[0103] 图9(a)～(d)是示意地示出根据输入图像Din生成放大图像D2A时的作用的图，图9(a)示出输入图像Din的频谱，图9(b)示出零插入图像D21A的频谱，图9(c)示出低频分量通过单元22A的频率响应，图9(d)示出放大图像D2A的频谱。

[0104] 说明输入图像Din的频谱。通常从输入图像Din输入自然图像等，但是，这些图像的频谱强度集中于频率空间的原点周围。因此，输入图像Din的频谱能够如图9(a)那样表示。这里，图9(a)的纵轴表示谱强度，横轴表示空间频率，Fn表示输入图像Din的奈圭斯特频率。

[0105] 另外，通常输入图像Din为二维图像，所以，其频谱也用二维频率空间表示，但是，其形状为图9(a)所示的频谱以原点为中心各向同性地扩展。因此，为了对频谱进行说明，最低限度只要示出一维形状即可，此后只要没有特别说明，仅示出一维来说明频率空间的形状。

[0106] 接着，说明零插入图像D21A的频谱。针对输入图像Din，利用零插入单元21A针对(输入图像Din的)1个像素插入1个具有像素值0的像素，由此，在频率空间上，产生以频率Fn为中心的折回。其结果，零插入图像D21A的频谱如图9(b)所示。

[0107] 接着，说明低频分量通过单元22A的频率响应。如上所述，低频分量通过单元22A中的运算为低通滤波，所以，如图9(c)所示，频率越高，低频分量通过单元22A的频率响应越低。

[0108] 最后，说明放大图像D2A的频谱。具有图9(b)所示的频谱的零插入图像D21A通过具有图9(c)所示的频率响应的低频分量通过单元22A，由此生成放大图像D2A。因此，放大图像D2A的频谱为，从D21A的频谱中去除斜线所示的高频侧区域R2AH的频谱。

[0109] 因此，放大图像D2A主要具有相当于频率低于输入图像Din的奈圭斯特频率Fn的频率分量。

[0110] 接着，说明高频分量图像D3主要具有相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量的情况。高频分量图像D3是对中间图像D32A和中间图像D32B进行相加而得到的，但是，中间图像D32A特别具有相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量，中间图像D32B特别具有相当于高于输入图像Din的奈圭斯特频率Fn的频率的频率分量，在高频分量图像D3中，对中间图像D32A、D32B所具有的频率分量进行相加，所以，具有输入图像Din的奈圭斯特频率Fn以上的频率分量。

[0111] 首先，说明中间图像D32A的频谱。

[0112] 图10(a)～(f)是示意地示出生成中间图像D32A时的作用的图，图10(a)示出高频分量图像生成单元1的频率响应，图10(b)示出高频分量图像D1(或者D1h或D1v)的频谱，图10(c)示出由放大单元2B内的零插入单元21B生成的零插入图像D21B(或者D21Bh或D21Bv)的频谱，图10(d)示出放大图像D2B(或者D2Bh或D2Bv)的频谱，图10(e)示出高频分量通过单元32A(或32Ah或32Av)的频率响应，图10(f)示出从高频分量通过单元32A输出的中间图像D32A(或者D32Ah或D32Av)的频谱。

[0113] 首先，说明高频分量图像生成单元1的频率响应和高频分量图像D1的频谱。高频分量图像生成单元1使用高通滤波器生成高频分量图像D1，所以，如图10(a)所示，频率越高，高频分量图像生成单元1的频率响应越高。具有图9(a)所示的频谱的输入图像Din通过具有图10(a)所示的频率响应的高通滤波器，由此得到高频分量图像D1，所以，高频分量图像D1的频谱如图10(b)所示，在频率低的区域中减小，仅在频率高的区域中具有某种程度的强度。

[0114] 接着，说明放大单元2B内的零插入图像D21B的频谱。与之前说明图像放大单元2A的零插入单元21A的情况同样，通过零插入单元21B产生折回，所以，放大单元2B内的零插入图像D21B的频谱如图10(c)所示。

[0115] 接着，说明放大图像D2B的频谱。生成放大图像D2B时，通过低频分量通过单元22B去除零插入图像D21B的高频分量侧的频谱，所以，放大图像D2B的频谱如图10(d)所示，去除了高频侧区域R32AH。

[0116] 最后，说明高频分量通过单元32A的频率响应和中间图像D32A的频谱。高频分量通过单元32A为高通滤波器，所以，如图10(e)所示，频率越高，其频率响应越高。具有图10(d)所示的频谱的放大图像D2B通过具有图10(e)所示的频率响应的高通滤波器，由此生成中间图像D32A。因此，中间图像D32A的频谱如图10(f)所示，从图10(d)所示的放大图像D2B的频谱中进一步去除低频侧区域R32AL。

[0117] 因此，中间图像D32A主要具有相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量。

[0118] 接着，说明中间图像D32B的频谱。

[0119] 图11(a)～(c)是示意地示出生成中间图像D32B时的作用的图，图11(a)示出由非线性处理单元31(或者31h或31v)生成高频分量的状况，图11(b)示出高频分量通过单元32B的频率响应，图11(c)示出中间图像D32B的频谱。

[0120] 如后所述，在非线性处理图像D31中生成相当于高于输入图像Din的奈圭斯特频率Fn的频率的高频分量。图11(a)是示意地示出该状况的图。非线性处理图像D31通过高频分量通过单元32B，由此生成中间图像D32B。高频分量通过单元32B为高通滤波器，如图11(b)所示，频率越高，其频率响应越高。因此，中间图像D32B的频谱如图11(c)所示，从非线性处理图像D31的频谱中去除低频侧区域R32BL，所以，相当于高于输入图像Din的奈圭斯特频率Fn的频率。

[0121] 使用图12(a)～(e)、图13(a)～(f)更加详细地说明中间图像D32B的频谱。

[0122] 图12(a)～(e)示出表示亮度、彩度等分量值呈阶跃状变化的图像(阶跃图像)的阶跃边缘信号、以及利用相互不同的采样频率对该阶跃边缘信号进行采样时得到的信号及其高频分量信号。图12(a)示出阶跃边缘信号。

[0123] 图12(b)示出以采样间隔S1对阶跃边缘信号进行采样所得到的信号，图12(c)示出以间隔S1对阶跃边缘信号进行采样所得到的信号的高频分量，图12(d)示出以采样间隔S2对阶跃边缘信号进行采样所得到的信号，图12(e)示出以间隔S2对阶跃边缘信号进行采样所得到的信号的高频分量。

[0124] 另外，采样间隔S1比采样间隔S2短，缩短采样间隔等同于放大图像。

[0125] 如图12(b)、(c)和图12(d)、(e)所示，边缘的中央在高频分量信号(图12(c)、(e))中表现为过零点Z。并且，对图12(b)、(c)和图12(d)、(e)进行比较可知，随着采样间隔的缩短(或者与图像的放大相应地)，过零点Z前后的高频分量信号的倾斜度变陡，并且，在过零点Z附近，高频分量的局部最大值、最小值的点的位置也接近过零点Z。

[0126] 因此，在放大图像时，取出输入图像Din的高频分量，在过零点附近使该变化急峻，并且，在过零点附近，使局部最大值、最小值的点接近过零点，由此，生成输入图像Din的析像度所不包含(或者高于输入图像Din的奈圭斯特频率)的高频分量，由此，能够实现边缘锐化。

[0127] 图13(a)～(f)是示意地示出高频分量图像生成单元1、图像放大单元2B、非线性处理单元31和高频分量通过单元32B进行的高频分量生成的顺序的图，图13(a)示出亮度、彩度等分量值呈阶跃状变化的图像(阶跃图像)，图13(b)示出与阶跃图像对应的输入图像Din，图13(c)示出高频分量图像D1，图13(d)示出放大图像D2B，图13(e)示出非线性处理图像D31，图13(f)示出中间图像D32B。另外，为了简化说明，分别记载为一维信号。

[0128] 与阶跃图像对应的输入图像Din、高频分量图像D1如图12(a)～(e)说明的那样，省略其说明，首先进行放大图像D1的说明。

[0129] 针对高频分量图像D1，利用零插入单元21B针对(图像D1的)1个像素插入一个具有像素值0的像素后，利用低频分量通过单元22B取出其低频分量，由此，得到放大图像D1(或者D1h或D1v)。取出低频分量等同于针对高频分量图像D1(图13(c))求出局部区域中的平均像素值，放大图像D2B(或者D2Bh或D2Bv)如图13(d)所示，是采用与高频分量图像D1大致相同形式的增加了采样数的信号。

[0130] 接着，进行非线性处理图像D31的说明。作为非线性处理单元31检测放大图像D1中的过零点Z、并对该过零点Z前后的像素的像素值进行放大的结果，输出非线性处理图像D31。因此，非线性处理图像D31(或者D31h或D31v)为图13(e)所示的信号。

[0131] 最后，进行中间图像D32B的说明。中间图像D32B(图13(f))是利用高频分量通过单元32B取出非线性处理图像D31(图13(e))所具有的高频分量而得到的。从输入信号中减去输入信号的低频分量(或者局部区域中的像素值的简单平均值或加权平均值)，由此，能够取出高频分量。

[0132] 在非线性处理图像D31(图13(e))中，利用信号放大单元312h、312v对过零点Z前后的像素的像素值进行放大，所以，与局部区域中的平均像素值之间的差变大。另一方面，不放大过零点附近的其他像素的像素值，所以，对于过零点附近的其他像素的像素值，成为与局部区域中的平均像素值之间的差较小的值。因此，与放大图像D2B(图13(d))相比，在中间图像D32B(图13(f))中，过零点Z附近的示出局部最大值、最小值的点更接近过零点Z。并且，随着示出局部最大值、最小值的点接近过零点Z，相应地过零点附近的信号的变化也变得急剧。

[0133] 如之前说明的那样，这意味着在中间图像D32B中包含输入图像Din的析像度所不包含的高频分量。换言之，在非线性处理单元31中，对放大图像D2B的过零点前后的像素值进行放大，由此，生成与高于输入图像Din的奈圭斯特频率Fn的频率对应的高频分量。

[0134] 并且，利用高频分量通过单元32B取出在非线性处理单元31中生成的高频分量，由此生成中间图像D32B，所以，成为具有与高于输入图像Din的奈圭斯特频率Fn的频率对应的高频分量的图像。

[0135] 高频分量图像D3是对中间图像D32A和中间图像D32B进行相加而得到的，所以，在高频分量图像D3中包含中间图像D32A所具有的频率分量和中间图像D32B所具有的频率分量双方。在中间图像D32A中包含相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量，在中间图像D32B中包含相当于高于输入图像Din的奈圭斯特频率Fn的频率的频率分量，所以，在高频分量图像D3中包含输入图像Din的奈圭斯特频率Fn以上的频率分量。即，利用图像放大单元2B对由高频分量图像生成单元1生成的高频分量图像D1进行放大，进而利用高频分量图像处理单元3进行处理，由此，能够得到具有输入图像Din的奈圭斯特频率Fn以上的频率分量的高频分量图像D3。

[0136] 合并放大图像D2A、高频分量图像D3所具有的频率分量进行图示时，如图14所示。在放大图像D2A中主要包含与相当于低于输入图像Din的奈圭斯特频率Fn的频率的区域RL对应的频率分量。另一方面，在高频分量图像D3中包含与相当于接近输入图像Din的奈圭斯特频率Fn的频率的区域RM对应的频率分量以及与相当于高于输入图像Din的奈圭斯特频率Fn的频率的区域RH对应的频率分量，换言之，包含相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量。

[0137] 如以上说明的那样，利用高频分量图像处理单元3，对利用图像放大单元2B对由高频分量图像生成单元1生成的高频分量图像D1进行放大后的放大图像D2B进行处理，由此，能够得到包含相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量的高频分量图像D3。然后，在加法单元4中，对包含相当于低于输入图像Din的奈圭斯特频率Fn的频率的区域的频率分量的放大图像D2A、和包含相当于输入图像Din的奈圭斯特频率Fn以上的频率的区域的频率分量的高频分量图像D3进行相加，生成放大图像Dout，所以，能够对放大图像Dout充分赋予高频分量，能够得到具有清晰感的放大图像Dout。

[0138] 并且，在高频分量图像生成单元1中，生成取出水平方向的高频分量得到的水平方向高频分量图像D1h和取出垂直方向的高频分量得到的垂直方向高频分量图像D1v，由此，针对图像的水平方向、垂直方向中的任意方向，能够生成相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量。即，针对利用图像放大单元2Bh对水平方向高频分量图像D1h进行放大得到的放大图像D2Bh，利用水平方向高频分量通过单元32Ah施加水平方向的高通滤波，由此，关于水平方向，生成具有相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32Ah，针对利用图像放大单元2Bv对垂直方向高频分量图像D1v进行放大得到的放大图像D2Bv，利用垂直方向高频分量通过单元32Av施加垂直方向的高通滤波，由此，关于垂直方向，生成具有相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32Av，利用加法单元6A对中间图像D32Ah和中间图像D32Av进行相加，生成中间图像D32A，由此，针对水平方向和垂直方向的两个方向，生成具有相当于接近输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32A。

[0139] 并且，针对水平方向和垂直方向施加不同特性的高通滤波，由此，能够生成在水平方向和垂直方向中包含不同程度的相当于接近奈圭斯特频率Fn的频率的频率分量的中间图像。

[0140] 并且，针对利用水平方向非线性处理单元31h对放大图像D2Bh进行非线性处理而生成的非线性处理图像D31h，利用水平方向高频分量通过单元32Bh施加高通滤波，由此，关于水平方向，生成具有相当于高于输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32Bh，针对利用垂直方向非线性处理单元31v对放大图像D2Bv进行非线性处理而生成的非线性处理图像D31v，利用垂直方向高频分量通过单元32Bv施加高通滤波，由此，关于垂直方向，生成具有相当于高于输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32Bv，利用加法单元6B对中间图像D32Bh和中间图像D32Bv进行相加，生成中间图像D32B，由此，针对水平方向和垂直方向的两个方向，生成具有相当于高于输入图像Din的奈圭斯特频率Fn的频率的频率分量的中间图像D32B。

[0141] 并且，针对水平方向和垂直方向进行不同特性的非线性处理和高通滤波，由此，能够生成在水平方向和垂直方向中包含不同程度的相当于高于奈圭斯特频率Fn的频率的频率分量的中间图像。

[0142] 然后，利用加法单元5对中间图像D32A和中间图像D32B进行相加，得到高频分量图像D3，由此，针对任意方向，能够得到具有相当于输入图像Din的奈圭斯特频率Fn以上的频率的频率分量的高频分量图像D3。

[0143] 另外，设为根据输入图像Din生成放大图像Dout时的放大率在水平方向、垂直方向均为2倍来进行了说明，但是，放大率不限于2倍。即，在图像放大单元2A中生成使输入图像Din在水平方向、垂直方向均放大期望倍率的放大图像D2A，在高频分量图像生成单元1中，根据输入图像Din生成高频分量图像D1，在图像放大单元2B中，生成使高频分量图像D1在水平方向、垂直方向均放大期望倍率的放大图像D2B，在高频分量图像处理单元3中，根据放大图像D2B生成高频分量图像D3，在加法单元4中，对放大图像D2A和高频分量图像D3进行相加，生成最终的放大图像Dout即可。

[0144] 另外，如上所述，水平方向的放大率和垂直方向的放大率也可以不同，并且，也可以仅针对水平方向、垂直方向的一方进行放大。

[0145] 并且，在图2所示的例子中，高频分量图像生成单元1具有水平方向高频分量图像生成单元1h和垂直方向高频分量图像生成单元1v，图像放大单元2B具有图像放大单元2Bh和图像放大单元2Bv，高频分量通过单元32A具有水平方向高频分量通过单元32Ah和垂直方向高频分量通过单元32Av，非线性处理单元31具有水平方向非线性处理单元31h和垂直方向非线性处理单元31v，高频分量通过单元32B具有水平方向高频分量通过单元
32Bh和垂直方向高频分量通过单元32Bv，但是，代替这种结构，也可以为如下结构：高频分量图像生成单元1仅具有水平方向高频分量图像生成单元1h，图像放大单元2B仅具有图像放大单元2Bh，高频分量通过单元32A仅具有水平方向高频分量通过单元32Ah，非线性处理单元31仅具有水平方向非线性处理单元31h，高频分量通过单元32B仅具有水平方向高频分量通过单元32Bh，还可以为如下结构：高频分量图像生成单元1仅具有垂直方向高频分量图像生成单元1v，图像放大单元2B仅具有图像放大单元2Bv，高频分量通过单元32A仅具有垂直方向高频分量通过单元32Av，非线性处理单元31仅具有垂直方向非线性处理单元31v，高频分量通过单元32B仅具有垂直方向高频分量通过单元32Bv。

[0146] 并且，在上述说明中，在水平方向、垂直方向中均仅针对过零点前后的各1个像素增大放大率，但是，放大率的控制例子不限于此，例如，能够根据放大率而适当变化。下面，参照图15(a)～(e)和图16(a)～(f)说明这点。

[0147] 图15(a)示出阶跃边缘信号，图15(b)示出以采样间隔S1对阶跃边缘信号进行采样所得到的信号，图15(c)示出以采样间隔S1对阶跃边缘信号进行采样所得到的信号(图15(b)所示的信号)的高频分量，图15(d)示出以间隔S1的3倍即间隔S3对阶跃边缘信号进行采样所得到的信号，图15(e)示出以间隔S3对阶跃边缘信号进行采样所得到的信号的高频分量。另外，在图15(a)～(e)中，像素的位置PL1、PR1表示阶跃边缘信号的边界(亮度变化开始的点和结束的点)。通常，在表示对阶跃边缘信号进行采样的图像的高频分量的信号中，过零点Z附近的示出局部最大值、最小值的像素的位置与阶跃边缘信号的边界的位置大致一致。

[0148] 图16(a)～(f)是示意地示出放大率为3倍时高频分量图像生成单元1、图像放大单元2B、非线性处理单元31和高频分量通过单元32B进行的高频分量生成的顺序的图，图16(a)示出亮度、彩度等分量值呈阶跃状变化的图像(阶跃图像)，图16(b)示出与阶跃图像对应的输入图像Din，图16(c)示出高频分量图像D1，图16(d)示出放大图像D2B，图16(e)示出非线性处理图像D31，图16(f)示出中间图像D32B。另外，为了简化说明，分别记载为一维信号。

[0149] 如图16(d)所示，放大图像D2B中过零点Z附近的示出局部最大值、最小值的像素的位置PL1、PR1与放大图像D2B中阶跃边缘信号的边界的位置大致一致。通常，在实施方式1和2的说明中使用的放大方法(针对零插入图像施加低通滤波的放大方法)中，该PL1、PR1的位置不变化，在由PL1、PR1所示的位置和过零点Z之间存在的像素的数量增多。并且，如果增大生成放大图像D2B时的放大率(或者如果缩短采样间隔)，则在由PL1、PR1所示的位置和过零点Z之间存在的像素的数量增多。

[0150] 另一方面，在表示利用较短的采样间隔对阶跃边缘信号进行采样的图像的高频分量的信号中，过零点Z附近的示出局部最大值、最小值的像素的位置更接近过零点Z，越是接近过零点Z的像素，表示高频分量的信号的振幅越大。

[0151] 因此，在仅放大过零点Z前后的信号来生成非线性处理图像D31时，优选进行如下处理：越是相比PL1和PR1接近过零点Z的像素，振幅越增大，例如，在相比PL1、PR1接近过零点Z的像素中，针对越接近过零点Z的像素，用越大的放大率对放大图像D2B的像素值进行放大，针对相比PL1、PR1远离过零点Z的像素，用放大率1对放大图像D2B的像素值进行放大，由此，能够生成图16(e)所示的越接近过零点Z的像素越具有较大振幅的非线性处理图像D31。但是，本发明不限于此，针对存在于包含过零点Z的规定区域内的像素的放大率也可以是大于1的一定的值。

[0152] 然后，通过高通滤波处理从这样生成的放大图像D2B中仅取出高频分量，由此，能够生成图16(f)所示的与采样间隔S1对应的中间图像D32B。

[0153] 总之，设针对存在于包含过零点Z的规定区域内的像素的放大率为大于1的值，设针对除此之外的像素的像素值的放大率为1即可，存在于位置PL1、PR1和过零点Z之间的像素的数量根据放大图像D2B生成时的放大率而不同，所以，在根据放大图像D2B生成非线性处理图像D31时，在过零点Z前后，可以根据图像的放大率来改变放大率大于1的像素的数量(存在于上述规定区域内的像素的数量)和/或放大率本身。并且，也可以根据与过零点Z之间的距离来改变针对这些像素的放大率。例如，越是接近过零点Z的像素，越增大放大率。另外，在水平方向非线性处理单元31h和垂直方向非线性处理单元31v中，上述区域的大小和放大率也可以不同。

[0154] 实施方式2

[0155] 在实施方式1中，说明了通过硬件来实现本发明的情况，但是，也可以通过软件来实现图1所示的结构的一部分或全部。参照图17、图18～图23来说明该情况下的处理。

[0156] 图17示出实施方式2的图像处理装置。图示的图像处理装置具有：CPU 11、程序存储器12、数据存储器13、接口15、以及连接这些部件的总线14，例如能够用作图24所示的图像显示装置内的图像处理部U1。

[0157] CPU 11根据存储在程序存储器12中的程序进行动作。在动作的过程中，在数据存储器13中存储各种数据。作为处理的结果所生成的放大图像Dout经由接口15提供给图24所示的图像显示装置内的显示部9，用于显示部9的显示。

[0158] 下面，参照图18～图23说明由CPU 11进行的处理。

[0159] 图18是示出由图17的图像处理装置实施的图像处理方法的流程的图，图18所示的图像处理方法具有：图像放大步骤ST2A、高频分量图像生成步骤ST1、图像放大步骤ST2B、高频分量图像处理步骤ST3、以及加法步骤ST4。

[0160] 图像放大步骤ST2A生成放大图像D2A，该放大图像D2A是利用与图1、图2、图3的图像放大单元2A相同的处理对在未图示的图像输入步骤中输入的输入图像Din进行放大而得到的。

[0161] 如图19所示，高频分量图像生成步骤ST1具有水平方向高频分量图像生成步骤ST1h和垂直方向高频分量图像生成步骤ST1v。在水平方向高频分量图像生成步骤ST1h中，针对输入图像Din进行与图3的水平方向高频分量图像生成单元1h相同的处理，生成水平方向高频分量图像D1h。另一方面，在垂直方向高频分量图像生成步骤ST1v中，针对输入图像Din进行与图3的垂直方向高频分量图像生成单元1v相同的处理，生成垂直方向高频分量图像D1v。

[0162] 如图20所示，图像放大步骤ST2B具有图像放大步骤ST2Bh和图像放大步骤ST2Bv。

[0163] 在图像放大步骤ST2Bh中，针对在水平方向高频分量图像生成步骤ST1h中生成的水平方向高频分量图像D1h，进行与图3的图像放大单元2Bh相同的处理，生成放大图像D2Bh。

[0164] 在图像放大步骤ST2Bv中，针对在垂直方向高频分量图像生成步骤ST1v中生成的垂直方向高频分量图像D1v，进行与图3的图像放大单元2Bv相同的处理，生成放大图像D2Bv。

[0165] 如图21所示，高频分量图像处理步骤ST3具有：高频分量通过步骤ST32A、非线性处理步骤ST31、高频分量通过步骤ST32B、以及加法步骤ST5。

[0166] 高频分量通过步骤ST32A具有水平方向高频分量通过步骤ST32Ah、垂直方向高频分量通过步骤ST32Av、以及加法步骤ST6A。

[0167] 非线性处理步骤ST31具有水平方向非线性处理步骤ST31h和垂直方向非线性处理步骤ST31v。

[0168] 高频分量通过步骤ST32B具有水平方向高频分量通过步骤ST32Bh、垂直方向高频分量通过步骤ST32Bv、以及加法步骤ST6B。

[0169] 在水平方向高频分量通过步骤ST32Ah中，针对在图像放大步骤ST2Bh中生成的放大图像D2Bh，进行与图3的水平方向高频分量通过单元32Ah相同的处理，生成中间图像D32Ah。在垂直方向高频分量通过步骤ST32Av中，针对在图像放大步骤ST2Bv中生成的放大图像D2Bv，进行与图3的垂直方向高频分量通过单元32Av相同的处理，生成中间图像D32Av。在加法步骤ST6A中，对在水平方向高频分量通过步骤ST32Ah中生成的中间图像D32Ah和在垂直方向高频分量通过步骤ST32Av中生成的中间图像D32Av进行相加，生成中间图像D32A。

[0170] 这样，在高频分量通过步骤ST32A中，进行与图2、图3的高频分量通过单元32A相同的动作。

[0171] 如图22所示，水平方向非线性处理步骤ST31h具有过零判定步骤ST311h和信号放大步骤ST312h。

[0172] 水平方向非线性处理步骤ST31h的动作如下所述。

[0173] 首先，在过零判定步骤ST311h中，沿着水平方向确认在图像放大步骤ST2Bh中生成的放大图像D2Bh中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，确定位于过零点左右的像素。在信号放大步骤ST312h中，对在过零判定步骤ST311h中确定的放大图像D2Bh中的位于过零点左右的像素的像素值进行放大，将作为其结果所得到的图像作为非线性处理图像D31h生成。

[0174] 如图23所示，垂直方向非线性处理步骤ST31v具有过零判定步骤ST311v和信号放大步骤ST312v。

[0175] 垂直方向非线性处理步骤ST31v的动作如下所述。

[0176] 首先，在过零判定步骤ST311v中，沿着垂直方向确认在图像放大步骤ST2Bv中生成的放大图像D2Bv中的像素值的变化。然后，捕捉像素值从正值变化为负值或从负值变化为正值的部位作为过零点，确定位于过零点上下的像素。在信号放大步骤ST312v中，对在过零判定步骤ST311v中确定的在放大图像D2Bv中位于过零点上下的像素的像素值进行放大，将作为其结果所得到的图像作为非线性处理图像D31v生成。

[0177] 这样，在非线性处理步骤ST31中，进行与图2、图3的非线性处理单元31相同的动作。

[0178] 图21的水平方向高频分量通过步骤ST32Bh对在水平方向非线性处理步骤ST31h中生成的非线性处理图像D31h施加高通滤波，生成中间图像D32Bh。垂直方向高频分量通过步骤ST32Bv对在垂直方向非线性处理步骤ST31v中生成的非线性处理图像D31v施加高通滤波，生成中间图像D32Bv。加法步骤ST6B对中间图像D32Bh和中间图像D32Bv进行相加，生成中间图像D32B。即，在高频分量通过步骤ST32B中，进行与图2、图3的高频分量通过单元32B相同的动作。

[0179] 加法步骤ST5对在高频分量通过步骤ST32A中生成的中间图像D32A和在高频分量通过步骤ST32B中生成的中间图像D32B进行相加，得到高频分量图像D3。这样，在步骤ST5中，进行与图2、图3的加法单元5相同的动作。

[0180] 如上所述，在高频分量图像处理步骤ST3中，进行与图1、图2、图3的高频分量图像处理单元3相同的动作。

[0181] 加法步骤ST4生成对在图像放大步骤ST2A中生成的放大图像D2A和在高频分量图像处理步骤ST3中生成的高频分量图像D3进行相加后得到的图像Dout。然后，通过未图示的步骤，将所生成的图像Dout作为最终的放大图像输出。

[0182] 在以上说明的实施方式2中，能够利用与在实施方式1中说明的图像处理装置相同的处理对图像进行放大，所以，能够得到与在实施方式1中说明的图像处理装置相同的效果。

[0183] 并且，实施方式2的图像处理装置与在实施方式1中说明的图像处理装置同样，能够用作图像显示装置的一部分，所以，显示由实施方式2的图像处理装置生成的图像Dout的图像显示装置也能够得到与在实施方式1中说明的图像处理装置相同的效果。另外，使用实施方式1和实施方式2的图像处理装置实施的图像处理方法以及使用该装置的图像显示方法也能够得到同样的效果。

[0184] 并且，在实施方式1中说明的各种变形也能够适用于实施方式2的图像处理装置和图像处理方法。

[0185] 并且，使用在实施方式1或2中说明的图像处理装置的图像显示装置的结构不限于图24所示的结构。