调整模糊图像的方法转让专利
申请号 : CN200810129727.4
文献号 : CN101345825B
文献日 : 2010-06-02
发明人 : 简演龙 , 沈志聪
申请人 : 华硕电脑股份有限公司
摘要 :
本发明公开一种调整模糊图像的方法，包括下列步骤：获得一亮度与一彩度的一模糊图像；取出该模糊图像的一亮度成分；利用一侧边检测技术获得模糊图像的一模糊区域；计算上述模糊区域中所有的黑色线条由左到右的水平像素数目出现的次数以获得水平位移量，计算上述模糊区域中所有的上述这些黑色线条由上到下的垂直像素数目出现的次数以获得垂直位移量；根据该水平位移量以及该垂直位移量来决定一点散开函数；以及，将上述点散开函数设计成还原滤波器来将上述模糊图像还原成清晰图像。通过本发明提供一种调整模糊图像的方法可以仅利用光耦合元件(CCD)所接收的模糊图像即可获得点散开函数。
权利要求 :
1.一种调整模糊图像的方法，其特征是，包括下列步骤：获得具有亮度与彩度的模糊图像；
取出上述模糊图像的亮度成分；
利用侧边检测技术获得上述模糊图像的模糊区域；
计算上述模糊区域中所有的黑色线条由左到右的水平像素数目出现的次数以获得水平位移量，计算上述模糊区域中所有的上述这些黑色线条由上到下的垂直像素数目出现的次数以获得垂直位移量；
根据上述水平位移量以及上述垂直位移量来决定点散开函数；以及将上述点散开函数设计成还原滤波器来将上述模糊图像还原成清晰图像。
2.根据权利要求1所述的调整模糊图像的方法，其特征是，获得具有上述亮度与上述彩度的模糊图像之前，还包括：将红绿蓝颜色空间的上述模糊图像转换为上述亮度与上述彩度的上述模糊图像。
3.根据权利要求1所述的调整模糊图像的方法，其特征是，上述侧边检测技术为索贝尔侧边检测技术。
4.根据权利要求1所述的调整模糊图像的方法，其特征是，上述还原滤波器使用路西理查森算法来设计。
5.根据权利要求1所述的调整模糊图像的方法，其特征是，上述还原滤波器为温妮滤波器。
6.根据权利要求1所述的调整模糊图像的方法，其特征是，上述模糊图像是由光耦合元件所产生。
说明书 :
技术领域
本发明涉及一种调整模糊图像的方法，尤其涉及利用点散开函数(pointspread function，简称PSF)来调整模糊图像的方法。
背景技术
由于科技的进步，现在的数字照相机已经多具有防手震的功能。而实现防手震的方法又可区分为很多种类。第一种为机械式防手震，也就是在数字相机的镜头或者是光耦合元件(以下简称CCD)上装设可移动的机构并且辅以一个手动检测装置。当拍摄时产生些微震动，手动检测装置会检测到数字相机的震动并且动态的反向补偿镜头或者CCD，使得反向补偿镜头以及CCD的相对位置固定。因此，CCD不会接收到模糊图像(blur image)。一般来说，此种方式的效果佳，但机械结构复杂、以及成本高，因此常运用于高阶数字相机的防手震。
第二种为高感光度(ISO)方式或者超高感光度(ISO)方式防手震。当使用者拍摄并产生震动时，数字相机会缩短镜头曝光的时间。也就是说，CCD会在极短的时间内接收到一图像，而此图像也不会是模糊图像。由于镜头曝光时间很短所以CCD接收到的光强度不足，将导致CCD产生的图像信号较弱。因此，数字相机中必须要有一放大电路来放大图像信号成为清晰图像。一般来说，市面上的数字相机大多采用此种方式。
上述二种方式最主要的目的皆是在数字相机产生震动时，利用机械的方式或者是控制镜头的曝光时间，来防止CCD接收到模糊图像。一般来说，手持式装置，例如手机或者PDA，上的数字相机由于无法装设复杂的机械结构以及成本的考虑，无法运用上述二种防手震的方式。因此，就必须将CCD接收到的模糊图像经过特殊的处理来将模糊图像还原成清晰图像。
请参照图1A，其所示为图像的退化程序(degradation)以及还原程序(restoration)示意图。假设有一清晰图像f(x，y)经过退化程序，得到模糊图像g(x，y)。若h(x，y)为一个线性空间不变量(linear spatially invariant)的程序，η(x，y)为噪声(noise)，则退化的模糊图像g(x，y)在空间域(spatial domain)上，有以下几个关系：
其中为回旋积分(convolutionintegration)。
若利用傅立叶转换(Fourier Transformation)，则在频率域(frequencydomain)的表示式为：
G(u，v)＝H(u，v)F(u，v)+N(u，v)--(2)。其中，(2)式为(1)式的傅立叶转换。其中，N(u，v)为噪声的傅立叶转换，而退化函数H(u，v)在频率域称为光学转移函数(optical transfer function，OTF)；相对的，在空间域上的h(x，y)称为点散开函数(point spread function，PSF)。此术语是让h(x，y)作用在一个光点上，以获得任一种物体的退化程序。如图1B所示，在空间域中在不考虑噪声的情况下，一物体10与一点散开函数20的回旋积分即成为一模糊图像30。
运用到数字相机上，f(x，y)即可视为照相的物体(object)，点散开函数h(x，y)即可视为数字相机的震动，再加上噪声η(x，y)后，CCD即接收到一模糊图像g(x，y)。再者，图1A中的还原滤波器(restoration filter)即是还原程序中用来接收模糊图像g(x，y)并还原成清晰图像
最简单的方式，就是利用一直接反滤波器(inverse filter)来作为还原滤波器用以还原一模糊图像。也就是在频率域上直接将(2)式除以光学转移函数H(u，v)：
然而，上述的直接反滤波器会有一个很大的缺点，即是当H(u，v)接近零时，噪声会被加大，通常不会被采用。
运用于还原滤波器中最有名的即是利用路西理查森算法(Lucy-Richardson method，以下简称LR算法)而设计出来的。此算法需要先获得一点散开函数后再利用LR算法即可将模糊图像还原成清晰图像。然而，由于LR算法的计算量庞大，以目前最先进的台式计算机处理器需要十几分钟才能够完成。因此，无法将上述的方式运用于手持式装置。
再者，温妮滤波器(Wiener filter)于1942年被提出，也可以用来对模糊图像还原成清晰图像。简单的来说，温妮滤波器即是寻找统计误差最小化的估测
其中，E为期望值，f为未退化图像(对象)。而(4)式在频率域的解为：
其中，H点散开函数的傅立叶转换，Sη(u，v)为噪声的功率频谱(powerspectrum)，Sf(u，v)为未退化图像(对象)的功率频谱。而由于温妮滤波器的计算量小，因此利用手持式装置中的处理器来实现。
一般来说，还原滤波器的选择会影响到清晰图像的品质。而手持式装置中，检测点散开函数h(x，y)的能力也会影响到清晰图像的质量。由上述说明可知，为了要将具有防手震功能的数字相机实现于手机上，手机就必须要有能力检测手机的震动，用以检测点散开函数。再者，点散开函数又可称为模糊函数(blur kernel)。
为了要检测点散开函数，已知的手持式装置会设置一重力加速度检测器(G sensor)。也就是说，当手持式装置的数字相机在动作时，重力加速度检测器可以感应出重力的变化，而经过积分之后即可以计算出实际位移，并且获得点散开函数。之后，利用手持式装置的处理器结合点散开函数以及还原滤波器即可获得一清晰图像。
第二种为高感光度(ISO)方式或者超高感光度(ISO)方式防手震。当使用者拍摄并产生震动时，数字相机会缩短镜头曝光的时间。也就是说，CCD会在极短的时间内接收到一图像，而此图像也不会是模糊图像。由于镜头曝光时间很短所以CCD接收到的光强度不足，将导致CCD产生的图像信号较弱。因此，数字相机中必须要有一放大电路来放大图像信号成为清晰图像。一般来说，市面上的数字相机大多采用此种方式。
上述二种方式最主要的目的皆是在数字相机产生震动时，利用机械的方式或者是控制镜头的曝光时间，来防止CCD接收到模糊图像。一般来说，手持式装置，例如手机或者PDA，上的数字相机由于无法装设复杂的机械结构以及成本的考虑，无法运用上述二种防手震的方式。因此，就必须将CCD接收到的模糊图像经过特殊的处理来将模糊图像还原成清晰图像。
请参照图1A，其所示为图像的退化程序(degradation)以及还原程序(restoration)示意图。假设有一清晰图像f(x，y)经过退化程序，得到模糊图像g(x，y)。若h(x，y)为一个线性空间不变量(linear spatially invariant)的程序，η(x，y)为噪声(noise)，则退化的模糊图像g(x，y)在空间域(spatial domain)上，有以下几个关系：
其中为回旋积分(convolutionintegration)。
若利用傅立叶转换(Fourier Transformation)，则在频率域(frequencydomain)的表示式为：
G(u，v)＝H(u，v)F(u，v)+N(u，v)--(2)。其中，(2)式为(1)式的傅立叶转换。其中，N(u，v)为噪声的傅立叶转换，而退化函数H(u，v)在频率域称为光学转移函数(optical transfer function，OTF)；相对的，在空间域上的h(x，y)称为点散开函数(point spread function，PSF)。此术语是让h(x，y)作用在一个光点上，以获得任一种物体的退化程序。如图1B所示，在空间域中在不考虑噪声的情况下，一物体10与一点散开函数20的回旋积分即成为一模糊图像30。
运用到数字相机上，f(x，y)即可视为照相的物体(object)，点散开函数h(x，y)即可视为数字相机的震动，再加上噪声η(x，y)后，CCD即接收到一模糊图像g(x，y)。再者，图1A中的还原滤波器(restoration filter)即是还原程序中用来接收模糊图像g(x，y)并还原成清晰图像
最简单的方式，就是利用一直接反滤波器(inverse filter)来作为还原滤波器用以还原一模糊图像。也就是在频率域上直接将(2)式除以光学转移函数H(u，v)：
然而，上述的直接反滤波器会有一个很大的缺点，即是当H(u，v)接近零时，噪声会被加大，通常不会被采用。
运用于还原滤波器中最有名的即是利用路西理查森算法(Lucy-Richardson method，以下简称LR算法)而设计出来的。此算法需要先获得一点散开函数后再利用LR算法即可将模糊图像还原成清晰图像。然而，由于LR算法的计算量庞大，以目前最先进的台式计算机处理器需要十几分钟才能够完成。因此，无法将上述的方式运用于手持式装置。
再者，温妮滤波器(Wiener filter)于1942年被提出，也可以用来对模糊图像还原成清晰图像。简单的来说，温妮滤波器即是寻找统计误差最小化的估测
其中，E为期望值，f为未退化图像(对象)。而(4)式在频率域的解为：
其中，H点散开函数的傅立叶转换，Sη(u，v)为噪声的功率频谱(powerspectrum)，Sf(u，v)为未退化图像(对象)的功率频谱。而由于温妮滤波器的计算量小，因此利用手持式装置中的处理器来实现。
一般来说，还原滤波器的选择会影响到清晰图像的品质。而手持式装置中，检测点散开函数h(x，y)的能力也会影响到清晰图像的质量。由上述说明可知，为了要将具有防手震功能的数字相机实现于手机上，手机就必须要有能力检测手机的震动，用以检测点散开函数。再者，点散开函数又可称为模糊函数(blur kernel)。
为了要检测点散开函数，已知的手持式装置会设置一重力加速度检测器(G sensor)。也就是说，当手持式装置的数字相机在动作时，重力加速度检测器可以感应出重力的变化，而经过积分之后即可以计算出实际位移，并且获得点散开函数。之后，利用手持式装置的处理器结合点散开函数以及还原滤波器即可获得一清晰图像。
发明内容
有鉴于此，本发明的目的在于提供一种调整模糊图像的方法，以改善现有技术的缺失，可轻易的利用手持式装置中的处理器来完成，不会造成处理单元的过度负担。
本发明提出一种调整模糊图像的方法，包括下列步骤：获得亮度与彩度的模糊图像；取出模糊图像的亮度成分；利用侧边检测技术获得模糊图像的模糊区域；根据模糊区域进行水平像素位移统计以及垂直像素位移统计，获得水平位移量以及垂直位移量；根据该水平位移量以及该垂直位移量来决定点散开函数；以及，根据该点散开函数来调整该模糊图像。
本发明还提出一种调整模糊图像的方法，包括下列步骤：获得具有亮度与彩度的模糊图像；取出上述模糊图像的亮度成分；利用侧边检测技术获得上述模糊图像的模糊区域；计算上述模糊区域中所有的黑色线条由左到右的水平像素数目出现的次数以获得水平位移量，计算上述模糊区域中所有的上述这些黑色线条由上到下的垂直像素数目出现的次数以获得垂直位移量；根据上述水平位移量以及上述垂直位移量来决定点散开函数；以及将上述点散开函数设计成还原滤波器来将上述模糊图像还原成清晰图像。
因此，本发明所提出的调整模糊图像的方法，仅利用CCD所接收的模糊图像即可获得点散开函数。
为了使读者能更进一步了解本发明特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所附图示仅提供参考与说明，并非用来对本发明加以限制。
本发明提出一种调整模糊图像的方法，包括下列步骤：获得亮度与彩度的模糊图像；取出模糊图像的亮度成分；利用侧边检测技术获得模糊图像的模糊区域；根据模糊区域进行水平像素位移统计以及垂直像素位移统计，获得水平位移量以及垂直位移量；根据该水平位移量以及该垂直位移量来决定点散开函数；以及，根据该点散开函数来调整该模糊图像。
本发明还提出一种调整模糊图像的方法，包括下列步骤：获得具有亮度与彩度的模糊图像；取出上述模糊图像的亮度成分；利用侧边检测技术获得上述模糊图像的模糊区域；计算上述模糊区域中所有的黑色线条由左到右的水平像素数目出现的次数以获得水平位移量，计算上述模糊区域中所有的上述这些黑色线条由上到下的垂直像素数目出现的次数以获得垂直位移量；根据上述水平位移量以及上述垂直位移量来决定点散开函数；以及将上述点散开函数设计成还原滤波器来将上述模糊图像还原成清晰图像。
因此，本发明所提出的调整模糊图像的方法，仅利用CCD所接收的模糊图像即可获得点散开函数。
为了使读者能更进一步了解本发明特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所附图示仅提供参考与说明，并非用来对本发明加以限制。
附图说明
图1A所示为图像的退化程序以及还原程序示意图。
图1B所示为物体的退化程序示意图。
图2A～G所示为本发明图像的退化程序以及还原程序示意图。
图3所示为本发明调整模糊图像的方法流程图。
图1B所示为物体的退化程序示意图。
图2A～G所示为本发明图像的退化程序以及还原程序示意图。
图3所示为本发明调整模糊图像的方法流程图。
具体实施方式
在以下的描述以林娜(Lena)小姐为一对象，并且经过退化程序(震动)后产生一模糊图像。而利用本发明检测出点散开函数后，结合点散开函数以及还原滤波器进而还原成一清晰图像。
请参照图2A～G，其所示为本发明图像的退化程序以及还原程序示意图。图2A所示即为林娜(Lena)小姐。如图2B所示，当数字相机于拍摄震动，因此CCD即会产生一模糊图像。
本发明的实施例须将模糊图像进行一颜色空间的转换(color spaceconversion)，将红绿蓝颜色空间(R，G，B color space)转换成亮度与彩度颜色空间(Y，Cb，Cr color space)。并且利用转换后模糊图像的亮度成分来检测点散开函数。也就是说，只考虑模糊图像的亮度，而不考虑模糊图像的彩度。如图2C所示，即为模糊图像的亮度成分。
接着，利用一侧边检测(edge detection)技术将图2C进行侧边检测，并且如图2D所示得到有侧边的图像。由图2D可知，由于图2C为模糊图像的亮度成分，因此，利用侧边检测技术检测出的侧边并不是清楚的黑色细线条，而是长宽不一的黑色粗线条以及黑色的方块(block)。而长宽不一的黑色粗线条以及黑色的方块(block)即为模糊图像的模糊区域(blur area)。也就是说，数字相机震动越剧烈，侧边的线条宽度会越宽；反之，数字相机无震动，侧边的线条会非常的清晰。再者，侧边检测技术可以利用索贝尔(Sobel)侧边检测技术来产生模糊图像的侧边，由于侧边检测技术已经是本领域的技术人员所熟悉的技术，因此，本发明予以省略不加以详述侧边检测技术。
接着，进行水平像素位移统计以及垂直像素位移统计。也就是说，以像素为单位来计算长宽不一的粗线条的水平宽度与垂直宽度。请参照图2E与图2F，其所示为图2D的水平像素位移统计以及垂直像素位移统计的结果。以图2E为例，统计所有模糊区域中黑色线条由左到右的水平宽度。由统计结果可知，水平宽度为6像素最多，出现95次。因此，可定义出水平位移量为6像素。同理，于图2F中，统计所有模糊区域中黑色线条由上到下的垂直宽度。由统计结果可知，垂直宽度为11像素最多，出现272次。因此，可定义出垂直位移量为11像素。
根据上述的统计结果可以获得震动量为水平位移6像素，垂直位移11像素。因此，可以设计一水平位移6像素且垂直位移11像素的一点散开函数。最后，利用本发明检测出的点散开函数结合一还原滤波器，例如温妮滤波器，即可以获得如图2G所示的一清晰图像。
请参照图3，其所示为本发明调整模糊图像的方法流程图。首先，将红绿蓝颜色空间的一模糊图像转换成为一亮度与彩度颜色空间的一模糊图像，如步骤S10。接着，取出该模糊图像的一亮度成分，如步骤S12。接着，将模糊图像的亮度成分利用一侧边检测技术，例如索贝尔(Sobel)侧边检测技术，检测出该模糊图像的一模糊区域，如步骤S14。接着，根据此模糊区域进行水平像素位移统计以及垂直像素位移统计，并获得一水平位移量以及一垂直位移量如步骤S16。接着，根据一水平位移量以及一垂直位移量来决定一点散开函数，如步骤S18。最后，根据点散开函数来调整模糊图像，如步骤S20。也就是说，当点散开函数已经决定之后，即可以将点散开函数设计成一还原滤波器，例如温妮滤波器，来调整模糊图像以可以获得一清晰图像。
根据本发明的实施例，于具有防手震功能的手持式装置上，可以利用本发明的点散开函数的检测方法以及温妮滤波器而将一模糊图像还原成一清晰图像。而此方式可轻易的利用手持式装置中的处理器来完成，不会造成处理单元的过度负担。当然，运用于台式计算机的中央处理器，本发明的点散开函数的检测方法以及路西理查森算法可将模糊图像还原成更清晰的图像。
综上所述，虽然本发明已以较佳实施例公开如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当以权利要求书所界定的范围为准。
请参照图2A～G，其所示为本发明图像的退化程序以及还原程序示意图。图2A所示即为林娜(Lena)小姐。如图2B所示，当数字相机于拍摄震动，因此CCD即会产生一模糊图像。
本发明的实施例须将模糊图像进行一颜色空间的转换(color spaceconversion)，将红绿蓝颜色空间(R，G，B color space)转换成亮度与彩度颜色空间(Y，Cb，Cr color space)。并且利用转换后模糊图像的亮度成分来检测点散开函数。也就是说，只考虑模糊图像的亮度，而不考虑模糊图像的彩度。如图2C所示，即为模糊图像的亮度成分。
接着，利用一侧边检测(edge detection)技术将图2C进行侧边检测，并且如图2D所示得到有侧边的图像。由图2D可知，由于图2C为模糊图像的亮度成分，因此，利用侧边检测技术检测出的侧边并不是清楚的黑色细线条，而是长宽不一的黑色粗线条以及黑色的方块(block)。而长宽不一的黑色粗线条以及黑色的方块(block)即为模糊图像的模糊区域(blur area)。也就是说，数字相机震动越剧烈，侧边的线条宽度会越宽；反之，数字相机无震动，侧边的线条会非常的清晰。再者，侧边检测技术可以利用索贝尔(Sobel)侧边检测技术来产生模糊图像的侧边，由于侧边检测技术已经是本领域的技术人员所熟悉的技术，因此，本发明予以省略不加以详述侧边检测技术。
接着，进行水平像素位移统计以及垂直像素位移统计。也就是说，以像素为单位来计算长宽不一的粗线条的水平宽度与垂直宽度。请参照图2E与图2F，其所示为图2D的水平像素位移统计以及垂直像素位移统计的结果。以图2E为例，统计所有模糊区域中黑色线条由左到右的水平宽度。由统计结果可知，水平宽度为6像素最多，出现95次。因此，可定义出水平位移量为6像素。同理，于图2F中，统计所有模糊区域中黑色线条由上到下的垂直宽度。由统计结果可知，垂直宽度为11像素最多，出现272次。因此，可定义出垂直位移量为11像素。
根据上述的统计结果可以获得震动量为水平位移6像素，垂直位移11像素。因此，可以设计一水平位移6像素且垂直位移11像素的一点散开函数。最后，利用本发明检测出的点散开函数结合一还原滤波器，例如温妮滤波器，即可以获得如图2G所示的一清晰图像。
请参照图3，其所示为本发明调整模糊图像的方法流程图。首先，将红绿蓝颜色空间的一模糊图像转换成为一亮度与彩度颜色空间的一模糊图像，如步骤S10。接着，取出该模糊图像的一亮度成分，如步骤S12。接着，将模糊图像的亮度成分利用一侧边检测技术，例如索贝尔(Sobel)侧边检测技术，检测出该模糊图像的一模糊区域，如步骤S14。接着，根据此模糊区域进行水平像素位移统计以及垂直像素位移统计，并获得一水平位移量以及一垂直位移量如步骤S16。接着，根据一水平位移量以及一垂直位移量来决定一点散开函数，如步骤S18。最后，根据点散开函数来调整模糊图像，如步骤S20。也就是说，当点散开函数已经决定之后，即可以将点散开函数设计成一还原滤波器，例如温妮滤波器，来调整模糊图像以可以获得一清晰图像。
根据本发明的实施例，于具有防手震功能的手持式装置上，可以利用本发明的点散开函数的检测方法以及温妮滤波器而将一模糊图像还原成一清晰图像。而此方式可轻易的利用手持式装置中的处理器来完成，不会造成处理单元的过度负担。当然，运用于台式计算机的中央处理器，本发明的点散开函数的检测方法以及路西理查森算法可将模糊图像还原成更清晰的图像。
综上所述，虽然本发明已以较佳实施例公开如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当以权利要求书所界定的范围为准。