图像处理方法、图像处理装置和图像处理程序转让专利

申请号 : CN200980107175.X

文献号 : CN101960843A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 户田真人

申请人 : 日本电气株式会社

摘要 :

本发明提供一种图像处理方法,其特征在于:通过综合第一插补可靠度、第二插补可靠度和第三插补可靠度中的至少一个,决定通过对隔行图像进行插补而生成的渐进图像的插补像素的插补可靠度,其中,第一插补可靠度根据在进行插补的像素的值的计算中所使用的上行的像素与下行的像素的差分绝对值来决定,第二插补可靠度根据在进行插补的像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定,第三插补可靠度根据区域内的上行的亮度变化与下行的亮度变化的组合来决定。

权利要求 :

1.一种图像处理方法,其特征在于包括如下步骤:

通过将第一插补可靠度、第二插补可靠度和第三插补可靠度中的至少一个综合,来决定通过对隔行图像进行插补而生成的渐进图像的插补像素的插补可靠度,其中,根据在进行插补的像素的值的计算中所使用的、上行的像素与下行的像素的差分绝对值,来决定所述第一插补可靠度,根据在所述进行插补的像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度,来决定所述第二插补可靠度,根据所述区域内的上行的亮度变化与下行的亮度变化的组合,来决定所述第三插补可靠度。

2.如权利要求1所述的图像处理方法,其特征在于:

通过将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合,来决定所述插补可靠度。

3.如权利要求1或2所述的图像处理方法,其特征在于:

所述差分绝对值越小则所述第一插补可靠度具有越大的值,所述差分绝对值越大则所述第一插补可靠度具有越小的值。

4.如权利要求1~3中任一项所述的图像处理方法,其特征在于:

所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越窄则所述第二插补可靠度具有越小的值。

5.如权利要求1~4中任一项所述的图像处理方法,其特征在于:

上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。

6.如权利要求1~5中任一项所述的图像处理方法,其特征在于:

所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。

7.如权利要求1~6中任一项所述的图像处理方法,其特征在于:

作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式,使用如下四种模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。

8.如权利要求1~7中任一项所述的图像处理方法,其特征在于:

在将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。

9.一种图像处理方法,其特征在于,具有:

图像插补步骤,在该步骤中,对隔行图像进行插补来生成渐进图像;

第一插补可靠度计算步骤,在所述第一插补可靠度计算步骤中,计算插补像素的第一插补可靠度,该第一插补可靠度根据在进行插补的像素的值的计算中所使用的、上行的像素与下行的像素的差分绝对值来决定;

第二插补可靠度计算步骤和第三插补可靠度计算步骤中的至少一个步骤,其中,在所述第二插补可靠度计算步骤中,计算插补像素的第二插补可靠度,该第二插补可靠度根据在所述进行插补的像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定;在所述第三插补可靠度计算步骤中,计算插补像素的第三插补可靠度,该第三插补可靠度根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定;和插补可靠度综合步骤,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,来计算插补像素的插补可靠度。

10.如权利要求9所述的图像处理方法,其特征在于:

进行所述第二插补可靠度计算步骤和所述第三插补可靠度计算步骤两者,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。

11.一种图像处理装置,其特征在于,具有:

第一插补可靠度计算单元,该第一插补可靠度计算单元计算插补像素的第一插补可靠度,该第一插补可靠度根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中所使用的、上行的像素与下行的像素的差分绝对值来决定;

第二插补可靠度计算单元和第三插补可靠度计算单元中的至少一个;所述第二插补可靠度计算单元计算插补像素的第二插补可靠度,该第二插补可靠度根据在所述插补像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定;所述第三插补可靠度计算单元计算插补像素的第三插补可靠度,该第三插补可靠度根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定;和插补可靠度综合单元,其将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,来计算插补像素的插补可靠度。

12.如权利要求11所述的图像处理装置,其特征在于:

还具有所述第二插补可靠度计算单元和所述第三插补可靠度计算单元两者,所述插补可靠度综合单元将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。

13.如权利要求11或12所述的图像处理装置,其特征在于:

所述第一插补可靠度计算单元计算所述第一插补可靠度,使得所述差分绝对值越小则所述第一插补可靠度具有越大的值,差分绝对值越大则所述第一插补可靠度具有越小的值。

14.如权利要求11~13中任一项所述的图像处理装置,其特征在于:所述第二插补可靠度计算单元计算所述第二插补可靠度,使得所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越窄则所述第二插补可靠度具有越小的值。

15.如权利要求11~14中任一项所述的图像处理装置,其特征在于:所述第三插补可靠度计算单元计算所述第三插补可靠度,使得上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。

16.如权利要求11~15中任一项所述的图像处理装置,其特征在于:所述第三插补可靠度计算单元计算所述第三插补可靠度,使得所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。

17.如权利要求11~16中任一项所述的图像处理装置,其特征在于:所述第三插补可靠度计算单元使用如下四种模式作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。

18.如权利要求11~17中任一项所述的图像处理装置,其特征在于:所述插补可靠度综合单元在将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。

19.一种程序,其特征在于,使信息处理装置执行以下处理:

第一插补可靠度计算处理,在该第一插补可靠度计算处理中,计算插补像素的第一插补可靠度,该第一插补可靠度根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中所使用的、上行的像素与下行的像素的差分绝对值来决定;

第二插补可靠度计算处理和第三插补可靠度计算处理中的至少一个处理;在所述第二插补可靠度计算处理中,计算插补像素的第二插补可靠度,该第二插补可靠度根据在所述插补像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定;在所述第三插补可靠度计算处理中,计算插补像素的第三插补可靠度,该第三插补可靠度根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定;和插补可靠度综合处理,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,来计算插补像素的插补可靠度。

20.如权利要求19所述的程序,其特征在于:

使信息处理装置执行所述第二插补可靠度计算处理和所述第三插补可靠度计算处理两者,所述插补可靠度综合处理使所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。

21.如权利要求19或20所述的程序,其特征在于:

所述第一插补可靠度计算处理计算所述第一插补可靠度,使得所述差分绝对值越小则所述第一插补可靠度具有越大的值,差分绝对值越大则所述第一插补可靠度具有越小的值。

22.如权利要求19~21中任一项所述的程序,其特征在于:

所述第二插补可靠度计算处理计算所述第二插补可靠度,使得所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越窄则所述第二插补可靠度具有越小的值。

23.如权利要求19~22中任一项所述的程序,其特征在于:

所述第三插补可靠度计算处理计算所述第三插补可靠度,使得上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。

24.如权利要求19~23中任一项所述的程序,其特征在于:

所述第三插补可靠度计算处理计算所述第三插补可靠度,使得所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。

25.如权利要求19~24中任一项所述的程序,其特征在于:

所述第三插补可靠度计算处理使用如下四种模式作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。

26.如权利要求19~25中任一项所述的程序,其特征在于:

所述插补可靠度综合处理在将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。

说明书 :

图像处理方法、图像处理装置和图像处理程序

技术领域

[0001] 本发明涉及利用隔行-逐行转换生成渐进图像的图像处理方法、图像处理装置和图像处理程序。

背景技术

[0002] 通过TV播放来传送的影像、以及保存于录像带、DVD等记录介质的影像多为隔行影像。所谓的隔行图像Fi是如式(1)所表示的那样,与渐进图像Fp相比较,在图像的扫描方向上每隔一行被间断的图像。
[0003] (式1)
[0004] 或
[0005]
[0006] 此处,Fi(x,y)和Fp(x,y)是坐标(x,y)处的Fi和Fp的像素值。此外,x mod y是表示x除以y时的余数的算术记号。
[0007] 在利用液晶显示器、等离子体显示器等显示渐进图像的图像显示装置显示隔行图像的情况下,以及在将所输入的渐进图像与预先保存于数据库的渐进图像进行比较而识别输入渐进图像的图像对照装置中输入隔行图像的情况下等,需要通过插补来恢复式(1)的隔行图像中被间断的行的Null像素而生成渐进图像。该插补处理一般称为隔行-逐行转换(IP转换/消除隔行)。以下将通过插补而复原的Null像素称为插补像素。
[0008] 作为IP转换的方法之一,具有针对Fi内的坐标(x1,y1)的Null像素的插补使用其周边像素信息的方法。作为该方法,具有由式(2)表示的单纯线形插补方法、由式(3)表示的边缘适应型插补方法(非专利文献1,专利文献1)等。其中,Fp2是利用所述插补方法生成的逐行影像,Fp2(x,y)是坐标(x,y)处的Fp2的像素值。此外,式(3)中的m是在预先决定的范围 中使式(4)为最小的p。以下,将范围(-φ≤p≤φ)称为搜索范围,将数值φ称为搜索范围决定值。
[0009] 此外,在非专利文献2中,通过周边像素的亮度转换,将各个插补像素的边缘适应型插补方法的搜索范围内的上下行的亮度变化如图7所示那样分为以下5种模式:(1)一方平坦;(2)在同一方向上单调增加/减少;(3)向同一方向凸出;(4)一方增加/减少而另一方凸出;(5)其它,并且恰当地变更搜索范围决定值φ,使得范围内的上下行的亮度变化的模式成为从(1)至(4)的模式中的任一种那样的最大范围成为搜索范围。以下将被分类的搜索范围内的上下行的亮度变化的模式称为上下行的亮度变化模式。
[0010] (式2)
[0011]
[0012] (式3)
[0013]
[0014] (式4)
[0015] Sub(p)=|Fi(x1-p,y1-1)-Fi(x1+p,y+1)| ……(4)
[0016] 在IP转换中,一般难以正确地插补全部Null像素。即,意味着在通过IP转换生成的渐进图像中包含误插补的像素(以下将插补的像素称为插补像素)。
[0017] 在利用这样的渐进图像的影像显示装置、图像对照装置等图像处理应用装置中,存在由包含于渐进图像中的误插补像素引起的处理性能下降的问题。为了防止该问题,在所述的方法中,针对各插补像素,根据在插补中利用的像素值的差分绝对值计算插补可靠度,并在所述那样的图像处理应用中进行与该插补可靠度相应的图像处理。以下,将在该插补中利用的像素的差分绝对值称为插补差分值。
[0018] 例如,为了显示专利文献2那样的被更高精度地插补的渐进图像,在执行运动适应型IP转换、即使用静动判别对利用所述方法从现在时刻的一幅隔行图像插补的渐进图像和其它时刻的隔行图像进行合成的图像处理应用装置中,将根据所述插补差分值计算的插补可靠度作为一个指标来执行处理的切换。所述插补可靠度以插补差分值越小则插补可靠度越大、插补差分值越大则插补可靠度越小的方式来计算。
[0019] 使用图9对利用与本发明相关联的技术的IP转换生成渐进图像并输出渐进图像及其插补可靠度的图像处理装置进行说明。图9是表示利用与本发明相关联的技术进行渐进图像的生成以及进行其插补可靠度的计算的图像处理装置的结构的框图。
[0020] 图9的图像处理装置100包括图像插补单元11和可靠度计算单元12,以隔行图像为输入,向影像显示装置、图像对照装置等图像处理应用装置400输出渐进图像及其插补可靠度。
[0021] 图像插补单元11以隔行图像为输入,利用所述方法对隔行图像进行插补,生成渐进图像并且输出各像素的插补差分值。
[0022] 插补可靠度计算单元12以从图像插补单元11输出的各像素的插补差分值为输入,计算与插补差分值相应的插补可靠度,输出插补可靠度。
[0023] 专利文献1:日本特开平4-355581号公报
[0024] 专利文献2:日本特开2000-50212号公报
[0025] 非专利文献1:“Deinterlacing-an overview”,De Haan,G.,Bellers,E.B,Proceedings of the IEEE,Volume 86,Issue 9,Sept.1998 Page(s):1839-1857[0026] 非专利文献2:“周辺領域の輝度変化に基づくエツジ適応型インタ一レ一ス-プログレツシブ変換法”,戸田ら,第6回情報科学技術フオ一ラム,I-034,2007发明内容
[0027] 但是,虽然所述的关联技术使用插补差分值来计算插补可靠度,但是仅使用插补差分值的信息不能正确地求取插补可靠度。
[0028] 例如,在将图8的上段所示的注目插补像素如图8下段那样使上下像素连接而进行白插补的情况下、以及使倾斜方向上的黑像素彼此连接而进行黑插补的情况下,不论哪种情况,插补差分值均为0,其结果是,插补可靠度为最大。但是,在考虑区域的连接的情况下,在白插补的情况下,插补像素的右上方的黑色像素孤立,因此并不妥当。因此优选进行白插补的情况下的注目插补像素的插补可靠度与进行黑插补的情况下的注目插补像素的插补可靠度相比,具有更小的值。但是,如果仅根据插补差分值,利用所述关联技术,则无论执行哪种插补,其插补可靠度均为相同的最大值。因此,在使用所述关联技术的情况下,存在图像处理应用装置的处理性能劣化的情况。
[0029] 这样,利用所述关联技术时,因为在被计算出的插补可靠度中存在问题,所以图像处理应用装置的处理性能存在问题,不能提供良好的图像处理方法、图像处理装置和图像处理程序。
[0030] 因此,本发明是鉴于所述问题而发明的,其目的在于提供一种高精度地计算隔行-逐行转换时的插补可靠度的图像处理方法、图像处理装置和图像处理程序。
[0031] 解决上述问题的本发明提供一种图像处理方法,其特征在于:通过将第一插补可靠度、第二插补可靠度和第三插补可靠度中的至少一个综合,来决定通过对隔行图像进行插补而生成的渐进图像的插补像素的插补可靠度,其中,第一插补可靠度根据在进行插补的像素的值的计算中使用的、上行的像素与下行的像素的差分绝对值来决定,第二插补可靠度根据在进行插补的像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定,第三插补可靠度根据所述区域内的上行的亮度变化与下行的亮度变化的组合来决定。
[0032] 解决上述问题的本发明提供一种图像处理方法,其特征在于,具有:
[0033] 图像插补步骤,在该步骤中,对隔行图像进行插补来生成渐进图像;
[0034] 第一插补可靠度计算步骤,对根据在进行插补的像素的值的计算中使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的的第一插补可靠度进行计算;
[0035] 第二插补可靠度计算步骤和第三插补可靠度计算步骤中的至少一个步骤,其中,第二插补可靠度计算步骤对根据在所述进行插补的像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算步骤对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0036] 插补可靠度综合步骤,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,并计算插补像素的插补可靠度。
[0037] 解决上述问题的本发明提供一种图像处理装置,其特征在于,具有:
[0038] 第一插补可靠度计算单元,对根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的第一插补可靠度进行计算;
[0039] 第二插补可靠度计算单元和第三插补可靠度计算单元中的至少一个单元,其中,第二插补可靠度计算单元对根据在所述插补的像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算单元对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0040] 插补可靠度综合单元,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,并计算插补像素的插补可靠度。
[0041] 解决上述问题的本发明提供一种程序,其特征在于,使信息处理装置执行如下处理:
[0042] 第一插补可靠度计算处理,对根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的第一插补可靠度进行计算;
[0043] 第二插补可靠度计算处理和第三插补可靠度计算处理中的至少一个处理,其中,第二插补可靠度计算处理对根据在所述插补的像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算处理对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0044] 插补可靠度综合处理,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,并计算插补像素的插补可靠度。
[0045] 发明的效果
[0046] 本发明具有能够高精度地计算隔行-逐行转换时的插补可靠度的效果。

附图说明

[0047] 图1是表示用于实施本发明的第一发明的最佳方式的结构的框图。
[0048] 图2是表示本发明的第一发明的插补可靠度计算单元22的详细结构的框图。
[0049] 图3是表示用于实施第一发明的最佳方式的动作的流程图。
[0050] 图4是表示用于实施本发明的第二发明的最佳方式的结构的框图。
[0051] 图5是表示本发明的第二发明的插补可靠度计算单元32的详细结构的框图。
[0052] 图6是表示用于实施第四发明的最佳方式的动作的流程图。
[0053] 图7是表示上下行的亮度变化模式的说明图。
[0054] 图8是用于说明关联技术的问题点的补充图。
[0055] 图9是表示关联技术的结构的框图。
[0056] 附图标记的说明
[0057] 100 基于现有方法的图像处理装置
[0058] 11 图像插补单元
[0059] 12 插补可靠度计算单元
[0060] 200 本发明的第一实施方式的图像处理装置
[0061] 21 图像插补单元
[0062] 22 插补可靠度计算单元
[0063] 221 第一插补可靠度计算单元
[0064] 222 第二插补可靠度计算单元
[0065] 223 第三插补可靠度计算单元
[0066] 224 插补可靠度综合单元
[0067] 300 本发明的第一实施方式的图像处理装置
[0068] 32 插补可靠度计算单元
[0069] 324 插补可靠度综合单元
[0070] 400 图像处理应用装置
[0071] 500 用户界面

具体实施方式

[0072] (第一实施方式)
[0073] 参照附图对本发明的第一实施方式进行详细说明。
[0074] 图1是表示本发明的图像处理装置的第一实施方式的框图。参照图1,本发明的第一实施方式的图像处理装置200包括图像插补单元21和插补可靠度计算单元22。
[0075] 图像插补单元21以隔行图像为输入,使用非专利文献2等的方法生成渐进图像。此处,利用非专利文献2的方法,根据插补像素周边的亮度变化计算出上下行的亮度变化模式,求得最佳的搜索范围后执行边缘适应型插补。图像插补单元21除了输出关联的方法的输出、即被插补的渐进图像与每个插补像素的插补差分值,还输出利用非专利文献2的方法求取的每个插补像素的上下行的亮度变化模式和搜索范围。
[0076] 插补可靠度计算单元22以每个插补像素的插补差分值、搜索范围和搜索范围内的上下行的亮度变化模式为输入,计算并输出各个插补像素的插补可靠度。参照图2,插补可靠度计算单元22包括第一插补可靠度计算单元221、第二插补可靠度计算单元222、第三插补可靠度计算单元223和插补可靠度综合单元224。
[0077] 第一插补可靠度计算单元221以每个插补像素的插补差分值为输入,根据插补差分值计算并输出意味着插补可靠度的第一插补可靠度。就第一插补可靠度计算单元221的动作而言,利用与关联技术的插补可靠度计算单元12相同的方法,插补差分值越小则输出具有越大的值的第一插补可靠度,插补差分值越大则输出具有越小的值的第一插补可靠度,这样即可。
[0078] 对第一插补可靠度的计算方法的一个例子进行说明。现在,关于插补像素(x2,y2),作为根据插补差分值s(x2,y2)求取第一插补可靠度p1(x2,y2)的方法,使用式(5)所示的计算式计算。
[0079] (式5)
[0080]
[0081] 此处,T1和p10(0≤p10≤1.0)是预先通过手动设置的参数。
[0082] 进一步,还能够利用如下方法:预先准备使插补差分值和第一插补可靠度相对应的表,参照表读出与输入的插补差分值s(x2,y2)对应的第一插补可靠度。
[0083] 对第二插补可靠度计算单元222进行说明。
[0084] 在对隔行图像进行插补的情况下,以宽的搜索范围执行边缘适应型插补意味着使用更多的信息进行插补,以狭窄的搜索范围执行边缘适应型插补意味着使用较少的信息进行插补。例如,在非专利文献2的方法的边缘适应型插补中,以宽的搜索范围执行边缘适应型插补具有如下的性质:插补像素周边的亮度变化比较单调,容易执行正确的插补;此外,在狭窄的搜索范围的情况下,插补像素周边的亮度变化复杂,比较难以执行正确的插补。即,可以说,在宽的搜索范围执行插补处理的情况下,其插补可靠度高,在狭窄的搜索范围执行插补处理的情况下,其插补可靠度低。
[0085] 因此,在本发明中,着眼于该搜索范围的大小和插补可靠度存在密切关联的特性,就第二插补可靠度计算单元222而言,输入的搜索范围越宽则输出具有越大的值的第二插补可靠度,输入的搜索范围越窄则输出具有越小的值的第二插补可靠度。
[0086] 关于插补像素(x2,y2),使用式(6)所示的计算式,根据插补像素(x2,y2)的搜索范围决定值φ(x2,y2)计算第二插补可靠度p2(x2,y2)。
[0087] (式6)
[0088]
[0089] 此处,T2和p20(0≤p20≤1.0)是预先通过手动设置的参数。
[0090] 进一步,还能够利用如下方法:预先准备使搜索范围和第二插补可靠度相对应的表,参照表读出与输入的搜索范围φ(1x2,y2)对应的第二插补可靠度。
[0091] 第三插补可靠度计算单元223以每个插补像素的搜索范围内的上下行的亮度变化为输入,输出根据所述亮度变化模式计算出的插补可靠度即第三插补可靠度。
[0092] 在对隔行图像进行插补的情况下,插补像素周边的亮度变化越单调就越容易执行正确的插补,插补像素周边的亮度变化越复杂就越难以执行正确的插补。此外,存在如下特性:上下行的亮度变化的方式越类似,就越容易执行正确的插补,上下行的亮度变化越不同,就越难以执行正确的插补。
[0093] 因此,在本发明中,着眼于该上下行的亮度变化模式和插补可靠度存在关联的特性,在第三插补可靠度计算单元223,有根据上下行的亮度变化模式,对于在图7中被分类的四个亮度变化的模式,输出具有如下值的第三插补可靠度:(一方平坦时的第三插补可靠度)≥(在同一方向上单调增加/减少时的第三插补可靠度)≥(向同一方向凸出时的第三插补可靠度)≥(一方增加/减少另一方凸出时的插补可靠度)。
[0094] 关于插补像素(x2,y2),作为根据上下行的亮度变化模式k(x2,y2)求取第三插补可靠度p3(x2,y2)的方法之一,预先准备使上下行的亮度变化模式与第三插补可靠度相对应的表,参照表读出与输入的上下行的亮度变化模式k(1x2,y2)对应的第三插补可靠度。此外,上下行的亮度变化模式与第三插补可靠度相对应的表也可以从外部进行调整。
[0095] 插补可靠度综合单元224以从所述第一插补可靠度单元221输出的所述第一插补可靠度、从所述第二插补可靠度单元222输出的所述第二插补可靠度和从所述第三插补可靠度单元223输出的所述三插补可靠度为输入,计算插补可靠度,将该插补可靠度作为插补可靠度单元22的输出。
[0096] 作为对于插补像素(x2,y2)求取插补可靠度p(x2,y2)的方法之一,使用(x2,y2)的第一插补可靠度p1(x2,y2)、(x2,y2)的第二插补可靠度p2(x2,y2)和(x2,y2)的第三插补可靠度p3(x2,y2),利用式(7)进行求取。
[0097] (式7)
[0098] p(x2,y2)=p1(x2,y2)p2(x2,y2)p3(x2,y2) ……(7)[0099] 此外,也可以如式(8)的计算式那样利用p1(x2,y2)、p2(x2,y2)和p3(x2,y2)的加权平均求取。
[0100] (式8)
[0101]
[0102] 此处,w1、w2、w3是实数的合成加权系数,既可以是预先设定的固定值,也可以从外部进行调整。
[0103] 如以上所示,图像处理装置200以隔行图像为输入,以渐进图像和插补可靠度为输出。这些输出成为后段的、例如实现清晰度转换的图像处理应用装置400等的输入。
[0104] 接着,参照图3的流程图,说明本发明的第一实施方式的图像处理方法的动作。
[0105] 输入隔行图像,对它进行插补而生成渐进图像(步骤S11)。
[0106] 在第一插补可靠度计算中,根据插补差分值求取第一插补可靠度(步骤S12)。
[0107] 在第二插补可靠度计算中,根据搜索范围的宽度求取第二插补可靠度(步骤S13)。
[0108] 在第三插补可靠度计算中,根据搜索范围内的上下行的亮度变化模式求取第三插补可靠度(步骤S14)。
[0109] 然后,在插补可靠度的计算中,根据第一插补可靠度、第二插补可靠度和第三插补可靠度求取注目插补像素的插补可靠度(步骤S15)。
[0110] (第二实施方式)
[0111] 对第二实施方式进行说明。
[0112] 图4是表示本发明的图像处理装置的第二实施方式的框图。参照图4,本发明的第二实施方式的图像处理装置300包括图像插补单元21和插补可靠度计算单元32。本发明的第二实施方式的图像处理装置300与本发明的第一实施方式的图像处理装置200相比较,在插补可靠度计算单元32不同。以下详细说明插补可靠度计算单元32。
[0113] 参照图5,插补可靠度计算单元32包括第一插补可靠度计算单元221、第二插补可靠度计算单元222、第三插补可靠度计算单元223和插补可靠度综合单元324。插补可靠度计算单元32与本发明的第一实施方式的图像处理装置101的插补可靠度计算单元22相比较,在插补可靠度综合单元324,在“从用户界面500输入插补可靠度综合单元224的式(8)中的合成加权系数”这方面不同。
[0114] 本发明的第二实施方式的图像处理装置102通过用户界面500执行插补可靠度综合单元324的合成加权系数的设定,由此,能够容易地调节合成加权系数。
[0115] 接着,参照图6的流程图,说明本发明的第二实施方式的图像处理方法的动作。
[0116] 输入隔行图像,对它进行插补而生成渐进图像(步骤S21)。
[0117] 在第一插补可靠度计算中,根据插补差分值求取第一插补可靠度(步骤S22)。
[0118] 在第二插补可靠度计算中,根据搜索范围的宽度求取第二插补可靠度(步骤S23)。
[0119] 在第三插补可靠度计算中,根据搜索范围内的上下行的亮度变化模式求取第三插补可靠度(步骤S24)。
[0120] 将合成加权系数的值设定为由用户界面指定的值(步骤S25)。
[0121] 然后,在插补可靠度的计算中,根据第一插补可靠度、第二插补可靠度和第三插补可靠度求取注目插补像素的插补可靠度(步骤S26)。
[0122] 此外,在本发明的图像处理装置的第一和第二实施方式以及本发明的图像处理方法的第一和第二实施方式中,也可以仅通过第一插补可靠度和第二插补可靠度的综合或者仅通过第一插补可靠度和第三插补可靠度的综合来计算插补可靠度。这样的实施方式能够通过如下方式实现,即,在仅为第一插补可靠度和第二插补可靠度的综合的情况下,使所述第一和第二实施方式中的第三插补可靠度的值为固定值1.0,在仅为第一插补可靠度和第三插补可靠度的综合的情况下,使第二插补可靠度的值为固定值1.0。
[0123] 在将第一插补可靠度和第二插补可靠度综合而计算插补可靠度的方法中,与现有的根据插补差分值计算插补可靠度的方法相比较,通过增加根据搜索范围的宽度计算的第二插补可靠度,能够使用关于搜索范围的宽度所具有的正确的插补的容易执行程度的信息,因此能够计算出更高精度的插补可靠度。
[0124] 此外,在将第一插补可靠度和第三插补可靠度综合而计算插补可靠度的方法中,与现有的根据插补差分值计算插补可靠度的方法相比较,通过增加根据搜索范围内的上下行的亮度变化模式计算的第三插补可靠度,能够从插补像素周边的亮度变化的复杂度获得关于正确的插补的容易执行程度的信息,因此能够计算出更高精度的插补可靠度。
[0125] 在所述的实施方式中,虽然由硬件构成图像插补单元21、插补可靠度计算单元22、32等各部,但是也可以由通过程序控制构成进行动作的计算机。计算机可以是中央处理装置、处理器和数据处理装置中的任一种。
[0126] 如上所述,本发明的第一方式是一种图像处理方法,其特征在于:通过将第一插补可靠度、第二插补可靠度和第三插补可靠度中的至少一个综合,来决定通过对隔行图像进行插补而生成的渐进图像的插补像素的插补可靠度,其中,第一插补可靠度根据在进行插补的像素的值的计算中所使用的上行的像素与下行的像素的差分绝对值来决定,第二插补可靠度根据在进行插补的像素的值的计算中所使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定,第三插补可靠度根据所述区域内的上行的亮度变化与下行的亮度变化的组合来决定。
[0127] 本发明的第二方式的特征在于:在上述方式中,通过将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合,来决定所述插补可靠度。
[0128] 本发明的第三方式的特征在于:在上述方式中,所述差分决对值越小则所述第一插补可靠度具有越大的值,所述差分绝对值越大则所述第一插补可靠度具有越小的值。
[0129] 本发明的第四方式的特征在于:在上述方式中,所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越窄则所述第二插补可靠度具有越小的值。
[0130] 本发明的第五方式的特征在于:在上述方式中,所述上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。
[0131] 本发明的第六方式的特征在于:在上述方式中,所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。
[0132] 本发明的第七方式的特征在于:在上述方式中,作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式,使用如下四种模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。
[0133] 本发明的第八方式的特征在于:在上述方式中,在将所述第一插补可靠度、与所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。
[0134] 本发明的第九方式是一种图像处理方法,其特征在于,具有:
[0135] 图像插补步骤,在该步骤中,对隔行图像进行插补来生成渐进图像;
[0136] 第一插补可靠度计算步骤,在该步骤中,对根据在进行插补的像素的值的计算中使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的第一插补可靠度进行计算;
[0137] 第二插补可靠度计算步骤和第三插补可靠度计算步骤中的至少一个步骤,其中,第二插补可靠度计算步骤对根据在所述进行插补的像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算步骤对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0138] 插补可靠度综合步骤,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,来计算插补像素的插补可靠度。
[0139] 本发明的第十方式的特征在于:在上述方式中,进行所述第二插补可靠度计算步骤和所述第三插补可靠度计算步骤两者,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。
[0140] 本发明的第十一方式是一种图像处理装置,其特征在于,具有:
[0141] 第一插补可靠度计算单元,对根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中所使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的第一插补可靠度进行计算;
[0142] 第二插补可靠度计算单元和第三插补可靠度计算单元中的至少一个计算单元,其中,第二插补可靠度计算单元对根据在所述插补像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算单元对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0143] 插补可靠度综合单元,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,并计算插补像素的插补可靠度。
[0144] 本发明的第十二方式的特征在于:在上述方式中,具有所述第二插补可靠度计算单元和所述第三插补可靠度计算单元两者,所述插补可靠度综合单元将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。
[0145] 本发明的第十三方式的特征在于:在上述方式中,所述第一插补可靠度计算单元计算所述第一插补可靠度,使得所述差分绝对值越小则所述第一插补可靠度具有越大的值,差分绝对值越大则所述第一插补可靠度具有越小的值。
[0146] 本发明的第十四方式的特征在于:在上述方式中,所述第二插补可靠度计算单元计算所述第二插补可靠度,使得所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越狭窄则所述第二插补可靠度具有越小的值。
[0147] 本发明的第十五方式的特征在于:在上述方式中,所述第三插补可靠度计算单元计算所述第三插补可靠度,使得所述上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。
[0148] 本发明的第十六方式的特征在于:在上述方式中,所述第三插补可靠度计算单元计算所述第三插补可靠度,使得所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。
[0149] 本发明的第十七方式的特征在于:在上述方式中,所述第三插补可靠度计算单元使用如下四种模式作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。
[0150] 本发明的第十八方式的特征在于:在上述方式中,所述插补可靠度综合单元在将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。
[0151] 本发明的第十九方式是一种程序,其特征在于,使信息处理装置执行以下处理:
[0152] 第一插补可靠度计算处理,对根据在通过插补隔行图像而生成的渐进图像的插补像素的值的计算中使用的上行的像素与下行的像素的差分绝对值来决定的插补像素的第一插补可靠度进行计算;
[0153] 第二插补可靠度计算处理和第三插补可靠度计算处理中的至少一个处理,其中,第二插补可靠度计算处理对根据在所述插补像素的值的计算中使用的、为了决定上行的像素和下行的像素而使用的区域的宽度来决定的插补像素的第二插补可靠度进行计算,第三插补可靠度计算处理对根据所述区域内的上行的亮度变化与下行的亮度变化的组合的模式来决定的插补像素的第三插补可靠度进行计算;和
[0154] 插补可靠度综合处理,将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合,来计算插补像素的插补可靠度。
[0155] 本发明的第二十方式的特征在于:在上述方式中,使信息处理装置执行所述第二插补可靠度计算处理和所述第三插补可靠度计算处理两者,所述插补可靠度综合处理使所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度综合。
[0156] 本发明的第二十一方式的特征在于:在上述方式中,所述第一插补可靠度计算处理计算所述第一插补可靠度,使得所述差分绝对值越小则所述第一插补可靠度具有越大的值,差分绝对值越大则所述第一插补可靠度具有越小的值。
[0157] 本发明的第二十二方式的特征在于:在上述方式中,所述第二插补可靠度计算处理计算所述第二插补可靠度,使得所述区域越宽则所述第二插补可靠度具有越大的值,所述区域越狭窄则所述第二插补可靠度具有越小的值。
[0158] 本发明的第二十三方式的特征在于:在上述方式中,所述第三插补可靠度计算处理计算第三插补可靠度,使得所述上行的亮度变化的模式与下行的亮度变化的模式越类似,则所述第三插补可靠度具有越大的值。
[0159] 本发明的第二十四方式的特征在于:在上述方式中,所述第三插补可靠度计算处理计算所述第三插补可靠度,使得所述上行的亮度变化的模式和下行的亮度变化的模式越简单,则所述第三插补可靠度具有越大的值,所述上行的亮度变化的模式和下行的亮度变化的模式越复杂,则所述第三插补可靠度具有越小的值。
[0160] 本发明的第二十五方式的特征在于:在上述方式中,所述第三插补可靠度计算处理使用如下四种模式作为所述区域内的上行的亮度变化与下行的亮度变化的组合的模式:一方平坦、在同一方向上增加或减少、向同一方向凸出、一方增加或减少而另一方凸出。
[0161] 本发明的第二十六方式的特征在于:在上述方式中,所述插补可靠度综合处理在将所述第一插补可靠度、所述第二插补可靠度和所述第三插补可靠度中的至少一个综合时,利用通过用户界面输入的合成加权系数。
[0162] 以上,列举优选实施形态和方式对本发明进行了说明,但是本发明并不仅限于所述实施方式形态和方式,能够在其技术性思想的范围内进行各种变形而实施。
[0163] 本申请主张以2008年3月21日提出申请的日本专利申请2008-72972号为基础的优先权,在此引入其全部公开的内容。
[0164] 产业上的可利用性
[0165] 根据本发明,能够作为一种图像处理装置加以利用,该图像处理装置是利用通过隔行-逐行转换而生成的渐进图像的各种图像处理应用的图像处理装置。