本发明提出一种基于频域矩阵分解的快速单透镜计算成像方法。在频域下，将待求解的模糊图像的频域矩阵拆分成一系列基的线性组合，对每个基进行图像复原计算，并保存所得到的对应清晰图像的基，然后对于新的模糊图像，将其同样拆分成一系列基的线性组合，可直接由所得到的清晰图像的基得到最终的图像复原效果。基于矩阵分解的图像复原算法省略了现有图像复原算法中的多次迭代优化过程，是图像复原领域全新的突破，所需计算时间大大减少，基本可以满足单透镜计算成像的实时性需求。
1.一种基于频域矩阵分解的快速单透镜计算成像方法，其特征在于，包括以下步骤：S1：将时域下模糊图像y和对应的模糊核k转换到频域，得到对应的模糊图像的频谱矩阵Y和模糊核的频谱矩阵K；
S2：将频谱矩阵Y用一系列基表示Y＝α1H1+α2H2+…+αnHn；线性组合的系数αi即是与频域矩阵Y中与基Hi对应的那一部分数值；
S3：针对Y的每一个基Hi，结合模糊核的频谱矩阵K，采用频域下的非盲卷积算法进行去模糊，得到对应的清晰图像基Xi；
S4：因为与清晰图像对应的基Xi是由模糊图像对应的基Hi通过去模糊算法所得到的，得到Xi的过程已经进行了去模糊；所以对于时域下新的模糊图像y1和对应的模糊核k1，转换到频域，得到对应的频谱矩阵Y1和K1；对于新的模糊图像的频谱矩阵Y1，同样将其拆分成基的线性组合Y1＝α′1H1+α′2H2+…+α′nHn，则对应的清晰图像能够直接表示为X＝α′1X1+α′2X2+…+α′nXn，将所得到的清晰图像再转换到时域即可。
2.根据权利要求1所述的基于频域矩阵分解的快速单透镜计算成像方法，其特征在于，步骤S2中，频谱矩阵的基的选取方式：以频谱矩阵的中心点为原点，根据基的个数将频谱矩阵从里至外依次划分成与基的个数相等的多个宽度相同的矩形环，每个基的大小与频谱矩阵大小一致，最里面的矩阵环至最外的矩阵环依次设为第一矩阵环，第二矩阵环……第n矩阵环，首先将最里面的矩阵环每个像素设为1，其余n-1个矩形环的像素设为0，得到基H1；然后将从里至外第二个矩阵环每个像素设为1，其余n-1个矩形环的像素设为0，得到基H2；按照这种方法依次类推，最终得到所有的基。
3.根据权利要求1所述的基于频域矩阵分解的快速单透镜计算成像方法，其特征在于，步骤S3所采用的方法是基于L2范数的非盲卷积图像复原算法，算法主要流程如下：模糊图像y表示为清晰图像x与模糊核k的卷积y＝x*k，若基于最大后验概率MAP的思想，图像复原问题表示为：x＝argmaxxP(x|y)∝P(y|x)P(x) (1)
其中，x表示最终所求得的清晰图像；y表示已知的模糊图像；P(x|y)表示已知模糊图像，得到清晰图像为x的概率；P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；P(x)表示对原始清晰图像已知的先验概率；
其中，P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；符号∝表示近似，即左边的概率可近似由右边的式子表示；由清晰图像得到模糊图像的过程理解为添加了噪声，所以这个概率近似为方差为η的高斯分布 Cf为N×N的卷积矩阵；||·||2表示二范数， 表示二范数的平方；
假设图像先验能用一系列的滤波gk表示，而且图像对先验滤波的反应尽可能地小，则图像先验表示为：其中，P(x)表示清晰图像的已知先验信息；水平方向的滤波为gx＝[1 -1]；垂直方向的滤波为gy＝[1 -1]T；ρ表示先验函数；gi,k表示针对第i个像素的第k个滤波；
取公式(1)、(2)、(3)的对数形式，则能得到图像复原的目标函数：其中ω＝2αη2；取高斯图像先验，并且设ρ(z)＝|z|2；对公式(4)求导，并且令导数为零，则能够得到Ax＝b，其中 将Ax＝b转换到频域下求解则得到：
公式(5)即为频域下基于L2范数的非盲卷积图像复原算法最终结果，其中ν和ω表示频2
基于频域矩阵分解的快速单透镜计算成像方法
技术领域
[0001] 本发明主要涉及到数字图像处理领域，特指一种基于频域矩阵分解的快速单透镜计算成像方法。
背景技术
[0002] 目前，单反相机以其高清的成像质量、丰富的镜头选择、迅捷的响应速度、卓越的手控能力等优势在人们的日常生活中发挥着越来越重要的作用。然而，为弥补单反镜头中镜片的几何畸变和像差，进一步提高成像质量，单反镜头的设计日益复杂，甚至包含数十个独立的光学器件。复杂的镜头在提高成像质量的同时，无疑也会增加镜头的体积和重量，也导致镜头的成本大大提高。镜头体积和重量的增加给用户的日常使用带来了不便，成本的提高也不便单反向大面积用户推广使用。因此，在尽量消除镜片像差，增加成像质量的同时，如何降低镜头成本，使其更为轻便，也成为目前单反相机设计的重要需求之一。近年来，随着图像复原技术的快速发展，图像去模糊等方法越来越成熟，镜头中某些消除像差和修正几何畸变的镜片可由去模糊等计算摄影技术代替，因此，单透镜成像(如图2所示)与图像复原技术的结合也逐渐成为单反相机设计的一个新的研究方向。
[0003] 目前单透镜计算成像所存在的问题是，即使已经估计出了单透镜对应的模糊核，求得清晰图像的过程依然需要多次迭代，耗费的时间很长。图像复原的卷积运算可以转换到频域下变成矩阵相乘的形式，在一定程度上可以减少计算量，但是依然难以满足单透镜计算成像的实时性需求。因此，提出一种更加快速的单透镜计算成像方法，达到实时成像，是单透镜计算成像急需解决的问题。
发明内容
[0004] 针对现有单透镜计算成像算法需要多次迭代优化过程，耗费时间长，难以满足单透镜计算成像的实时性需求的问题，本发明提出一种基于频域矩阵分解的快速单透镜计算成像方法。在频域下，将待求解的模糊图像的频域矩阵拆分成一系列基的线性组合，对每个基进行图像复原计算，并保存所得到的对应清晰图像的基，然后对于新的模糊图像，将其同样拆分成一系列基的线性组合，可直接由所得到的清晰图像的基得到最终的图像复原效果。基于矩阵分解的图像复原算法省略了现有图像复原算法中的多次迭代优化过程，是图像复原领域全新的突破，所需计算时间大大减少，基本可以满足单透镜计算成像的实时性需求。
[0005] 本发明的技术方案是，
[0006] 一种基于频域矩阵分解的快速单透镜计算成像方法，包括以下步骤：
[0007] S1：将时域下模糊图像y和对应的模糊核k转换到频域，得到对应的模糊图像的频谱矩阵Y和模糊核的频谱矩阵K；
[0008] S2：将频谱矩阵Y用一系列基表示Y＝α1H1+α2H2+…+anHn；其中:频谱矩阵的基的选取方式：以频谱矩阵的中心点为原点，根据基的个数将频谱矩阵从里至外依次划分成与基的个数相等的多个宽度相同的矩形环，每个基的大小与频谱矩阵大小一致，最里面的矩阵环至最外的矩阵环依次设为第一矩阵环，第二矩阵环……第n矩阵环，首先将最里面的矩阵环每个像素设为1，其余n-1个矩形环的像素设为0，得到基H1；然后将由里至外第二个矩阵环每个像素设为1，其余n-1个矩形环的像素设为0，得到基H2；按照这种方法依次类推，最终得到所有的基；线性组合的系数αi即是与频域矩阵Y中与基Hi对应的那一部分数值。
[0009] S3：针对Y的每一个基Hi，结合模糊核的频谱矩阵K，采用频域下的非盲卷积算法进行去模糊，得到对应的清晰图像基Xi；本发明所采用的方法是基于L2范数的非盲卷积图像复原算法，算法主要流程如下：
[0010] 模糊图像y可以表示为清晰图像x与模糊核k的卷积y＝x*k，若基于最大后验概率MAP的思想，图像复原问题可表示为：
[0011] x＝argmaxxP(x|y)∝P(y|x)P(x) (1)
[0012] 其中，x表示最终所求得的清晰图像；y表示已知的模糊图像；P(x|y)表示已知模糊图像，得到清晰图像为x的概率；P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；P(x)表示对原始清晰图像已知的先验概率。
[0013] 假设噪声服从高斯分布，而且方差为η，则可表示为：
[0014]
[0015] 其中，P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；符号∝表示近似，即左边的概率可近似由右边的式子表示；由清晰图像得到模糊图像的过程理解为添加了噪声，所以这个概率近似为方差为η的高斯分布 Cf为N×N的卷积矩阵；||·||2表示二范数， 表示二范数的平方。
[0016] 假设图像先验用一系列的滤波gk表示，而且图像对先验滤波的反应尽可能地小，则图像先验表示为：
[0017]
[0018] 其中，P(x)表示清晰图像的已知先验信息，也可以用类似的概率分布表示；水平方向的滤波为gx＝[1 -1]；垂直方向的滤波为gy＝[1 -1]T；ρ表示先验函数；gi,k表示针对第i个像素的第k个滤波。
[0019] 取公式(1)、(2)、(3)的对数形式，则得到图像复原的目标函数：
[0020]
[0021] 其中ω＝2αη2。取高斯图像先验，并且设ρ(z)＝|z|2。对公式(4)求导，并且令导数为零，则可以得到Ax＝b，其中 将Ax＝b转换到频域下求解则可以得到：
[0022]
[0023] 公式(5)即为频域下基于L2范数的非盲卷积图像复原算法最终结果，其中ν和ω表2
示频域下的坐标，；|·|表示对应数值绝对值的平方和。
[0024] S4：因为与清晰图像对应的基Xi是由模糊图像对应的基Hi通过去模糊算法所得到的，得到Xi的过程已经进行了去模糊。所以对于时域下新的模糊图像y1和对应的模糊核k1，转换到频域，得到对应的频谱矩阵Y1和K1。对于新的模糊图像的频谱矩阵Y1，同样将其拆分成基的线性组合Y1＝α1′H1+α2′H2+…+αn′Hn，则对应的清晰图像能直接表示为X＝α1′X1+α2′X2+…+αn′Xn将所得到的清晰图像再转换到时域即可。新的模糊图像的基的选取方式与步骤二中模糊图像的基的选取方式是一样的，将频域下的图像转到时域采用的是Matlab中的ifft2函数。
[0025] 本发明的有益技术效果：
[0026] 本发明基于单透镜计算成像系统，将频域下图像复原算法的矩阵相乘进行拆分，提出一种基于频域矩阵分解的单透镜计算成像方法，从根本上省略了现有图像复原算法多次迭代优化过程，直接由所求得的基Xi和相应的线性组合系数αi通过相乘相加得到最终的清晰图像，所需计算时间大大减少，可以满足单透镜计算成像的实时性需求，这种方法在图像处理和相机设计领域都具有非常重要的意义。
附图说明
[0027] 图1为频域矩阵对应基的选取方式；
[0028] 图2为单透镜成像示意图；
[0029] 图3为基于频域矩阵分解的快速单透镜计算成像方法流程图；
[0030] 图4为测试集数据；
[0031] 图5为模糊图像与模糊核的频谱矩阵；
[0032] 图6为模糊图像频谱矩阵基的示意图；
[0033] 图7为实验结果对比图；
具体实施方式
[0034] 下面，将结合附图和具体实施例对本发明作进一步说明。
[0035] 如图3所示，本实施例提供的一种基于频域矩阵分解的单透镜计算成像方法，包括如下步骤：
[0036] 步骤一：取如图4所示的清晰图像、模糊核以及对应的模糊图像。并将模糊图像和模糊核通过Matlab中的ifft2函数转换到频域，得到的频谱矩阵如图5所示。
[0037] 步骤二：将频谱矩阵Y用一系列基表示Y＝α1H1+α2H2+…+αnHn，频谱矩阵的基的选取方式如图1所示，图1以分解为三个基的线性组合为例，以频谱矩阵的中心点为原点，根据基的个数将频谱矩阵从里至外依次划分成三个宽度相同的矩形环，每个基的大小与频谱矩阵大小一致，首先将最里面的矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到基H1，然后将中间的矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到基H2，最后将最外的矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到基H3。在其他实施案例中，对于不同个数的基，也按照这种方法依次类推，最终得到所有的基。在具体实施中，频谱矩阵的基的个数选为n＝3，选择方式如图1所示，所得到的基的示意图如图6所示。
[0038] 步骤三：针对Y的每一个基Hi，结合模糊核的频谱矩阵K，采用基于L2范数的非盲卷积图像复原算法进行去模糊运算，并将最终得到的复原结果Xi保存。算法主要流程如下：
[0039] 模糊图像y可以表示为清晰图像x与模糊核k的卷积y＝x*k，若基于最大后验概率MAP的思想，图像复原问题可表示为：
[0040] x＝argmaxxP(x|y)∝P(y|x)P(x) (1)
[0041] 其中，x表示最终所求得的清晰图像；y表示已知的模糊图像；P(x|y)表示已知模糊图像，得到清晰图像为x的概率；P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；P(x)表示对原始清晰图像已知的先验概率。
[0042] 假设噪声服从高斯分布，而且方差为η，则可表示为：
[0043]
[0044] 其中，P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率，由清晰图像得到模糊图像的过程可以理解为添加了噪声，所以这个概率可以近似为方差为η的高斯分布 Cf为N×N的卷积矩阵。
[0045] 假设图像先验可用一系列的滤波gk表示，而且图像对先验滤波的反应尽可能地小，则图像先验可表示为：
[0046]
[0047] 其中，P(x)表示清晰图像的已知先验信息，也可以用类似的概率分布表示；水平方向的滤波为gx＝[1 -1]；垂直方向的滤波为gy＝[1 -1]T；ρ表示先验函数；gi,k表示针对第i个像素的第k个滤波。
[0048] 取公式(1)、(2)、(3)的对数形式，则可以得到图像复原的目标函数：
[0049]
[0050] 其中ω＝2aη2。取高斯图像先验，并且设ρ(z)＝|z|2。对公式(4)求导，并且令导数为零，则可以得到Ax＝b，其中 将Ax＝b转换到频域下求解则可以得到：
[0051]
[0052] 公式(5)即为频域下基于L2范数的非盲卷积图像复原算法最终结果，其中ν和ω表示频域下的坐标。
[0053] 步骤四：对于新的模糊图像Y1，如图7所示，由清晰图像分别得到模糊图像Y和模糊图像Y1所使用的模糊核是相同的。同样将其拆分成基的线性组合Y1＝α1′H1+α2′H2+…+αn′Hn，基Hi与图6中的基是一样的，根据步骤三中所保存的Xi，则对应的清晰图像可直接表示为X＝α1′X1+α2′X2+…+αn′Xn，再将得到的频域清晰图像通过ifft2转换到时域。直接使用频域下L2范数的图像复原效果与基于频域下矩阵分解的图像复原效果如图7所示。对于255×255大小的灰度图像，在图像复原效果接近的情况下，使用矩阵分解所需的时间是0.0253s，而不直接采用频域下L2范数的图像复原算法所需的时间是0.0588s。如果图像大小增加为1024×1024，则两种算法所需的计算时间分别为0.2334s和2.2806s。结合单透镜计算成像的实时性需求，基于矩阵分解的图像复原方法基本上能满足这种需求。
[0054] 如上所述，本发明针对单透镜计算成像的实时性需求，将模糊图像和模糊核转换到频域下，并对频谱矩阵进行拆分，将模糊图像频谱矩阵的基作为输入模糊图像进行图像复原处理，保存所得到的对应清晰图像的基。然后对于要处理的新的模糊图像，只需利用已求得的基进行相乘相加的运算，完全避免了以往图像复原算法中多次迭代优化的过程，所需的整体计算时间大大减少，能基本满足单透镜计算成像的实时性需求。这种方法在图像处理和相机设计领域都具有非常重要的意义。
[0055] 以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。
