一种基于卡尔曼滤波的由光场EPI重建稠密深度方法

摘要

本发明公开了一种基于卡尔曼滤波的由光场EPI重建稠密深度方法，该方法包括：步骤1，根据由(u，v)平面和(x，y)平面组成的双平面光场数据L(u，v，x，y)，获取不同方向的光场EPI；步骤2，在不同方向的光场EPI中通过卡尔曼滤波搜索匹配；步骤3，将步骤2获得的不同方向的光场EPI的匹配点集合进行拼接，并将拼接后的离散点进行拟合成直线；步骤4，深度重建：在光场计算成像中，光场数据中相邻视点之间的视差与深度图存在反比例关系，因此使得深度重建问题被转化为视差重建问题。本发明能够为基于光场的数字重聚焦和三维场景重构提供高精度的深度信息。

权利要求

1.一种基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，包括：步骤1，根据由(u，v)平面和(x，y)平面组成的双平面光场数据L(u，v，x，y)，获取不同方向的光场EPI，(u，v)平面和(x，y)平面相互平行，间距描述为f；

步骤2，在不同方向的光场EPI中通过卡尔曼滤波搜索匹配点，其具体包括：步骤21，以光场EPI的中心视点为初始状态

步骤22，以X+和X‑两个方向分别搜索光场EPI的匹配点，通过式(9)，预测X+方向匹配点的下一个状态分别为 以及预测X‑方向匹配点的下一个状态式中，Xi表示i时刻的状态变量，Xi‑1表示i‑1时刻的状态变量， 表示修正后的i时刻的预测状态变量， 表示修正后的i‑1时刻的预测状态变量，Δt表示两个相邻状态变量之间的时间间隔，Wi为观测噪声：步骤23，以预设倍数的最大搜索视差为搜索范围进行搜索，计算X+方向上与中心视点(x0，y0)最接近的像素点(x1，y1)、以及X‑方向上与中心视点(x0，y0)最接近的像素点(x1′，y1′)，则斜率分别对应为k1＝(y1‑y0)、k1′＝(y0‑y1′)；

步骤24，通过公式(11)修正当前状态 和 并返回步骤22，继续预测下一个状态，直到搜索完所有的光场EPI为止；

式中，Ki表示卡尔曼增益， 表示协方差矩阵，H表示Xi映射到Yi的观测矩阵，R表示观测噪声的协方差矩阵；

步骤3，将步骤2获得的不同方向的光场EPI的匹配点集合进行拼接，并将拼接后的离散点进行拟合成直线；

步骤4，通过步骤3拟合获得的直线斜率k，利用式(15)重建深度z：

2.如权利要求1所述的基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，所述不同方向的光场EPI包括水平方向的第一光场EPI、垂直方向的第二光场EPI、45°方向的第三光场EPI和135°方向的第四光场EPI。

3.如权利要求1所述的基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，同一个光场数据，应用于0度方向、90度方向的光场EPI时，Δt＝1；应用于45度方向、135度方向的光场EPI时，

4.如权利要求1至3中任一项所述的基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，若k＞0，则在X+方向上搜索范围为预测点及以上的最大视差范围，X‑方向为预测点及以下最大视差范围；若k＜0，则在X+方向上搜索范围为预测点及以下的最小视差范围，X‑方向为预测点及以上最小视差范围。

5.如权利要求4所述的基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，0

步骤2获得的第一光场EPI1的匹配点集合通过Epipoint (x，y)进行描述，第二光场EPI2的

90 45

匹配点集合通过Epipoint (x，y)进行描述，第三光场EPI3的匹配点集合通过Epipoint

135

(x，y)进行描述，第四光场EPI的匹配点集合通过Epipoint (x，y)进行描述，步骤3中的拼接方法具体包括：步骤31，设定u方向的视点间隔Δu与v方向的视点间隔Δv满足：Δu＝Δv＝c，

0 90 45

Epipoint (x，y)和Epipoint (x，y)的视点采样间隔采用c进行描述，Epipoint (x，y)和

135

Epipoint (x，y)的视点采样间隔采用 进行描述；

步骤32，按视点采样间隔进行归一化，对不同方向的光场EPI的匹配点进行拼接，物点*(x，y)归一化匹配点集合记为Epipoint(x，y)；

*

步骤33，将Epipoint(x，y)中的物点拟合成直线，则直线的斜率k为物点的视差。

6.如权利要求5所述的基于卡尔曼滤波的由光场EPI重建稠密深度方法，其特征在于，通过求解下面的最小二乘问题，解出斜率k：

说明书

一种基于卡尔曼滤波的由光场EPI重建稠密深度方法

技术领域

[0001] 本发明涉及计算机视觉与数字图像处理技术领域，特别是关于一种基于卡尔曼(Kalman)滤波的由光场EPI重建稠密深度方法。

背景技术

[0002] 光场包含光线的空间和角度信息，刻画了场景中光线的辐照度，广泛应用于场景渲染、深度获取、计算摄影与三维重构。七维全光函数 最早被提出用来形式化描述空间中任意时刻任意波长的光线辐照度信息。之后Levoy等人对其进行简化处理，提出了光场的双平面参数化L(u,v,x,y)模型。

[0003] 基于四维光场的理论，由光场数据获取场景深度信息的方法可分为五类：基于多视点像素匹配的深度获取方法、基于宏像素角度一致性的深度获取方法、基于极线图的深度获取方法、基于编码孔径的深度图像获取方法和基于聚焦堆栈深度获取方法。基于多视点像素匹配的深度获取方法通过像素匹配获取任意物点在所有视点下的视差信息；基于宏像素角度一致性是利用角度一致性评估来获得场景的深度信息；基于极线图的深度获取方法通过搜索极线图中直线的斜率来获得视差信息；基于编码孔径通过对光路的编码和解码获得场景的深度信息；基于聚焦堆栈深度获取方法通过清晰度评价来估计深度。

[0004] 高精度的深度重建方法可用于光场相机的深度信息获取，以及为三维场景重构提供精确的深度信息。但是，现有技术中缺少高精度的深度重建方法。

发明内容

[0005] 本发明的目的在于提供一种基于卡尔曼滤波的由光场EPI重建稠密深度方法，其能够为基于光场的数字重聚焦和三维场景重构提供高精度的深度信息。

[0006] 为实现上述目的，本发明提供一种基于卡尔曼滤波的由光场EPI重建稠密深度方法，该方法包括：

[0007] 步骤1，根据由(u,v)平面和(x,y)平面组成的双平面光场数据L(u,v,x,y)，获取不同方向的光场EPI，(u,v)平面和(x,y)平面相互平行，间距描述为f；

[0008] 步骤2，在不同方向的光场EPI中通过卡尔曼滤波搜索匹配点，其具体包括：

[0009] 步骤21，以光场EPI的中心视点为初始状态

[0010] 步骤22，以X+和X‑两个方向分别搜索光场EPI的匹配点，通过式(9)，预测X+方向匹配点的下一个状态分别为 以及预测X‑方向匹配点的下一个状态

[0011]

[0012] 式中，Xi表示i时刻的状态变量，Xi‑1表示i‑1时刻的状态变量， 表示修正后的i时刻的预测状态变量， 表示修正后的i‑1时刻的预测状态变量，Δt表示两个相邻状态变量之间的时间间隔，Wi为观测噪声：

[0013] 步骤23，以预设倍数maxdisp的最大搜索视差为搜索范围进行搜索，计算X+方向上与中心视点(x0,y0)最接近的像素点(x1,y1)、以及X‑方向上与中心视点(x0,y0)最接近的像素点(x1',y1')，则斜率分别对应为k1＝(y1‑y0)、k1'＝(y0‑y1')；

[0014] 步骤24，通过公式(11)修正当前状态 和 并返回步骤22，继续预测下一个状态，直到搜索完所有的光场EPI为止；

[0015]

[0016] 式中，Ki表示卡尔曼增益， 表示协方差矩阵，H表示Xi映射到Yi的观测矩阵，R表示观测噪声的协方差矩阵；

[0017] 步骤3，将步骤2获得的不同方向的光场EPI的匹配点集合进行拼接，并将拼接后的离散点进行拟合成直线；

[0018] 步骤4，通过步骤3拟合获得的直线，进行深度重建。

[0019] 进一步地，所述不同方向的光场EPI包括水平方向的第一光场EPI、垂直方向的第二光场EPI、45°方向的第三光场EPI和135°方向的第四光场EPI。

[0020] 进一步地，同一个光场数据，应用于0度方向、90度方向的光场EPI时，Δt＝1；应用于45度方向、135度方向的光场EPI时，

[0021] 进一步地，若k>0，则在X+方向上搜索范围为预测点及以上的最大视差范围，X‑方向为预测点及以下最大视差范围；若k<0，则在X+方向上搜索范围为预测点及以下的最小视差范围，X‑方向为预测点及以上最小视差范围。

[0022] 进一步地，步骤2获得的第一光场EPI1的匹配点集合通过Epipoint0(x,y进行描90
述，第二光场EPI2的匹配点集合通过Epipoint (x,y)进行描述，第三光场EPI3的匹配点集
45 135
合通过Epipoint (x,y)进行描述，第四光场EPI的匹配点集合通过Epipoint (x,y)进行描述，步骤3中的拼接方法具体包括：

[0023] 步骤31，设定u方向的视点间隔Δu与v方向的视点间隔Δv满足：Δu＝Δv＝c。因0 90 45
此，Epipoint(x,y)和Epipoint (x,y)的视点采样间隔采用c进行描述，Epipoint (x,y)和
135
Epipoint (x,y)的视点采样间隔采用 进行描述；

[0024] 步骤32，按视点采样间隔进行归一化，对不同方向的光场EPI的匹配点进行拼接，*物点(x,y)归一化匹配点集合记为Epipoint(x,y)；

[0025] 步骤33，将Epipoint*(x,y)中的物点拟合成直线，则直线的斜率k为物点的视差。

[0026] 进一步地，通过求解下面的最小二乘问题，解出斜率k：

[0027]

[0028] 本发明由于采取以上技术方案，其具有以下优点：

[0029] 本发明将不同方向EPI进行拼接，构建光场EPI图的卡尔曼滤波，提高由光场EPI重建场景深度的精度和鲁棒性。

附图说明

[0030] 图1为双平面光场示意图。

[0031] 图2为本发明实施例提供的不同方向EPI的分布示意图。

[0032] 图3为图2中不同方向的光场EPI中穿过点(x0,y0)的直线表示。

[0033] 图4为本发明实施例提供的卡尔曼滤波修正匹配点的过程示意图。

[0034] 图5为本发明实施例提供的不同EPI方向匹配点集合归一化拼接的示意图。

[0035] 图6为本发明实施例提供的双平面参数化光场示意图。

[0036] 图7为本发明实施例提供的视差图重建的结果示意图。

[0037] 图8为本发明实施例提供的深度图重建的结果示意图。

具体实施方式

[0038] 下面结合附图和实施例对本发明进行详细的描述。

[0039] 本发明实施例提供的基于卡尔曼滤波的由光场EPI(英文：epipolar plane image；中文：极平面图)重建稠密深度方法包括以下步骤：

[0040] 步骤1，根据双平面光场数据L(u,v,x,y)，获取不同方向的光场EPI。其中，如图1所示，L(u,v,x,y)对应为由(u,v)平面和(x,y)平面组成的双平面，(u,v)平面和(x,y)平面相互平行，间距用f描述。

[0041] 为了便于理解，结合图2理解“不同方向”，图2中心显示的是呈正方形的图像是中心视图，那么，图2中的A‑A方向显示的是“水平方向”，1对应的是水平方向的第一光场EPI；图2中的B‑B方向显示的是“垂直方向”，2对应的是垂直方向的第二光场EPI；图2中的C‑C方向显示的是“45°方向”，3对应的是45°方向的第三光场EPI；图2中的D‑D方向显示的是“135°方向”，4对应的是135°方向的第四光场EPI。当然，不同方向可以按照图2之外的方式进行划分。

[0042] 通过将光场数据L(u,v,x,y)的变量v固定为v*，将光场数据L(u,v,x,y)的变量y固*定为y，获得水平方向的第一光场EPI1，记为式(1)：

[0043]

[0044] 通过将光场数据L(u,v,x,y)的变量u固定为u*，将光场数据L(u,v,x,y)的变量x固*定为x，获得垂直方向的第二光场EPI2，记为式(2)：

[0045]

[0046] 通过将光场数据L(u,v,x,y)的变量u设置为等于变量v，即u＝v，获得45°方向的第三光场EPI3，记为式(3)：

[0047]

[0048] 通过将光场数据L(u,v,x,y)的变量u设置为等于变量‑v，即u＝‑v，获得135°方向的第四光场EPI4，记为式(4)：

[0049]

[0050] 步骤2，在不同方向的光场EPI中通过卡尔曼滤波搜索匹配点。

[0051] 根据不同方向的光场EPI中的穿过中心视点直线的斜率与场景的深度成反比，即k1＝k2＝k3＝k4，例如：图3的a表示的是步骤1得到的第一光场EPI1穿过像素点(x0,y0)的第一直线x＝k1u+x0，b表示的是步骤1得到的第二光场EPI2穿过中心视点(x0,y0)的第二直线y＝k2v+y0，c表示的是步骤1得到的第三光场EPI3穿过中心视点(x0,y0)的第三直线Y＝k3X+Y0，d表示的是步骤1得到的第四光场EPI4穿过中心视点(x0,y0)的第四直线Y＝k4X+Y0。其中，u0＝0、v0＝0。

[0052] 鉴于此，本实施例中设过中心视点(x0,y0)的不同方向的光场EPI均可以用直线式(5)进行描述：

[0053] Y＝kX+Y0 (5)

[0054] 状态变量X包括搜索匹配点的位置x和斜率k，表示为 则状态方程表示如下式(6)：

[0055]

[0056] 其中，Xi表示i时刻的状态变量，其是通过实验搜索匹配得到的测量值；Xi‑1表示i‑1时刻的状态变量；同一个光场数据，应用于0度方向、90度方向EPI时，Δt＝1；应用于45度方向、135度方向EPI时， Wi为观测噪声，满足均值为0、观测噪声的协方差矩阵为R的高斯分布，即Wi～N(0,R)；F表示状态方程中的系统矩阵，如矩阵(7)所示：

[0057]

[0058] 观测方程分布表示为式(8)：

[0059] Yi＝HXi+Vi    (8)

[0060] 其中，Yi表示Xi的观测值，H表示Xi映射到Yi的观测矩阵；Vi为系统噪声，满足均值为0、系统噪声协方差矩阵为Q的高斯分布，即Vi～N(0,Q)。

[0061] 因为数字图像是离散化的，搜索匹配点准确程度可以近似为高斯分布。对于直线的搜索，可以通过卡尔曼滤波进行预测和修正。根据已知i‑1时刻的修正值 利用式(6)计算得到i时刻的预测状态变量 表示为式(9)：

[0062]

[0063] 根据已知i‑1时刻的最优协方差矩阵 再由公式(8)和(9)得到协方差矩阵表示为式(10)：

[0064]

[0065] 通过式(11)表示的卡尔曼增益Ki，根据由式(8)得到的观测值测量值Yi，利用式(12)更新修正后的i时刻的预测状态变量 利用式(13)更新协方差

[0066]

[0067]

[0068]

[0069] 鉴于此，作为步骤2的一种优选实施方式，物点(x,y)经卡尔曼滤波后，获得不同方0
向的光场EPI的匹配点。例如：第一光场EPI1的匹配点集合通过Epipoint (x,y)进行描述，
90
第二光场EPI2的匹配点集合通过Epipoint (x,y)进行描述，第三光场EPI3的匹配点集合通
45 135
过Epipoint (x,y)进行描述，第四光场EPI的匹配点集合通过Epipoint (x,y)进行描述。
步骤2具体包括：

[0070] 步骤21，以光场EPI的中心视点为初始状态

[0071] 步骤22，以X+和X‑两个方向分别搜索光场EPI的匹配点，通过式(9)，预测X+方向匹配点的下一个状态分别为 以及预测X‑方向匹配点的下一个状态 其中，如图4所示，X+方向是由原点是X轴的正向方向，X‑方向是由原点是X轴的负向方向。

[0072] 步骤23，以预设倍数maxdisp的最大搜索视差为搜索范围进行搜索，计算X+方向上与中心视点(x0,y0)最接近的像素点(x1,y1)、以及X‑方向上与中心视点(x0,y0)最接近的像素点(x1',y1')，则斜率分别对应为k1＝(y1‑y0)、k1'＝(y0‑y1')。理论上k1＝k1'，由于误差可控，k1和k1'近似相等。

[0073] 步骤24，通过公式(11)修正当前状态 和 并返回步骤22，继续预测下一个状态。若k>0，则在X+方向上搜索范围为预测点及以上的最大视差范围，X‑方向为预测点及以下最大视差范围；若k<0，则相反，即：在X+方向上搜索范围为预测点及以下的最小视差范围，X‑方向为预测点及以上最小视差范围。直到搜索完所有的光场EPI为止。

[0074] 例如，如图4所示，首先，以光场EPI的中心视点为初始状态变化量且k0＝0，如图4中a的黑色实心圆。然后，以X+和X‑两个方向分别搜索光场EPI的匹配点，通过式(9)，预测X+方向光场EPI的匹配点的下一个状态分别为
以及预测X‑方向光场EPI的匹配点的下一个状态 图4中的b示出的两个
实心三角形分别是 和 再者，以2倍的最大搜索视差
maxdisp为搜索范围进行搜索，如图4中的b空心圆圈，计算X+方向上与中心视点(x0,y0)最接近的像素点(x1,y1)、以及X‑方向上与中心视点(x0,y0)最接近的像素点(x1',y1')，k1＝(y1‑y0)、k1'＝(y0‑y1')。最后，通过公式(11)修正当前状态 和
并继续预测下一个状态，直到搜索完所有的光场EPI为止，获得不同方向的光场EPI的匹配点。

[0075] 步骤3，将步骤2获得的不同方向的光场EPI的匹配点集合进行拼接，并将拼接后的离散点进行拟合成直线。

[0076] 在一个实施例中，拼接方法具体包括：

[0077] 步骤31，设定u方向的视点间隔Δu与v方向的视点间隔Δv满足Δu＝Δv＝c。因0 90 45
此，Epipoint(x,y)和Epipoint (x,y)的视点采样间隔采用c进行描述，Epipoint (x,y)和
135
Epipoint (x,y)的视点采样间隔采用 进行描述。

[0078] 步骤32，按视点采样间隔进行归一化，对不同方向的光场EPI的匹配点进行拼接，*归一化拼接的结果如图5，物点(x,y)归一化匹配点集合记为Epipoint(x,y)。

[0079] 步骤33，将Epipoint*(x,y)中的物点拟合成直线，则直线的斜率k为物点的视差。如图5所示，不同方向EPI的离散点进行归一化拼接，对拼接后的离散点进行拟合成直线。

[0080] 只拟合直线的斜率这一个参数，通过求解下面的式(14)的最小二乘问题，解出斜率k。

[0081]

[0082] 步骤4，通过步骤3拟合获得的直线斜率k，重建深度z：在光场计算成像中，光场数据中相邻视点之间的视差与深度图存在反比例关系，因此使得深度重建问题被转化为视差重建问题。

[0083] 以图6双平面参数化光场为例，记Δu为视点u1、u2之间的距离，Δx为物点P在视点u1、u2下对应像素坐标的距离，f为双平面之间的距离，z为物点P深度，由几何关系可得又因 因此得到的z描述为式(15)：

[0084]

[0085] 通过采用本发明提供的方法，能够在四维光场理论下实现高精度的深度重建。

[0086] 最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。