本发明属于计算机视觉技术领域，公开了一种基于电液可调焦镜头单目深度估计方法，包括电液可调焦镜头，还包括以下主要步骤：建立电液可调焦镜头光学成像系统模型、建立电液可调焦镜头焦距与成像物距之间的函数关系、采集不同焦距下的图像并记录对应的焦距、将采集到的图像配准、采用梯度算子对图像预处理、利用清晰度评价函数获得清晰度最大的滑动窗口所在图像对应的焦距、得到最优成像物距并作为滑动窗口中心像素对应空间点的深度估计值、以步长λ滑动滑动窗口计算所有像素的深度估计值；本发明解决了现有技术获取深度信息的方式效率低、算法复杂和成本高昂的问题。
1.一种基于电液可调焦镜头的单目深度估计方法，包括电液可调焦镜头，其特征在于，包括以下步骤：S1：建立电液可调焦镜头光学成像系统模型；
S2：建立电液可调焦镜头焦距与成像物距之间的函数关系，建立过程为：A：利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与焦距之间的关系：f＝αI+β (1)
其中,f为焦距，I为控制电流，α和β为曲线拟合得到的系数；
B：利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与成像物距之间的关系：
其中u为成像物距，I为控制电流，a、b、c、d、e为曲线拟合获得的参数；
C：式(1)代入式(2)中，得到电液可调焦镜头焦距与成像物距间的函数关系：u＝F(f)
完成电液可调焦镜头焦距与成像物距之间的函数关系的建立；
S3：控制电液可调焦镜头遍历调焦区间，采集不同焦距下的图像并记录对应的焦距；
S4：将步骤S3中采集到的图像配准，使所有图像包含的场景信息及图像尺寸相同，并将图像转换为灰度图；
S6：采用尺寸为N×N的滑动窗口计算所有灰度图在同一位置的清晰度评价值，清晰度评价值采用与步骤S5中梯度算子对应的清晰度评价函数计算，获得不同焦距下的滑动窗口中的清晰度评价值；其中N＞n；
S7：将清晰度评价值最大时对应的焦距代入步骤S2所得的函数，得到最优成像物距，由得到的最优成像物距计算滑动窗口中心像素对应空间点的深度估计值，并在深度图中记录该深度估计值；
S8滑动窗口以步长λ滑动至下一位置，重复步骤S6和步骤S7，直到计算完所有像素的深度估计值；其中λ≤N。
2.根据权利要求1所述的基于电液可调焦镜头的单目深度估计方法，其特征在于，步骤S7中清晰度评价值最大时焦距由以下方式获得：直接选择滑动窗口中的最大清晰度评价值对应的焦距；
或者，通过曲线拟合建立焦距与滑动窗口中的清晰度评价值之间的函数关系，得到函数D＝T(f)，根据函数D＝T(f)计算清晰度评价值最大时所对应的焦距。
3.根据权利要求2所述的基于电液可调焦镜头的单目深度估计方法，其特征在于，步骤S7，所述由得到的最优成像物距计算滑动窗口中心像素对应空间点的深度估计值，过程为：直接将所述最优成像物距直接作为滑动窗口中心像素对应空间点的深度估计值。
4.根据权利要求3所述的基于电液可调焦镜头的单目深度估计方法，其特征在于，步骤S4中的图像配准的具体过程为：以焦距最长的图像为基准，采用基于特征匹配的图像配准算法，使采集到的所有图像包含的场景信息以及图像的尺寸相同。
5.根据权利要求1‑4任一所述的基于电液可调焦镜头的单目深度估计方法，其特征在于，步骤S7中估计得到的深度值为滑动窗口中心λ×λ像素的深度估计值。
6.根据权利要求5所述的基于电液可调焦镜头的单目深度估计方法，其特征在于，步骤S8中，滑动窗口以步长λ滑动的规则为：a：以滑动窗口中心λ×λ像素其中一角的像素点作为灰度图初始位置像素点，该窗口完成深度值估计之后，滑动窗口以步长λ沿着x轴方向滑动继续进行深度估计，直至到达灰度图另一侧的边界；
b：滑动窗口回到灰度图初始位置像素点所在一侧的边界处，以步长λ沿着y轴方向滑动一次，c:重复步骤a和b，直至完成灰度图所有像素的深度估计。
7.一种相机，包括电液可调焦镜头，电液可调焦镜头连接有控制模块，控制模块连接有处理器模块和存储模块；其特征在于，所述存储模块上储存有一个或多个程序，当所述一个或多个程序被所述处理器模块执行，使得所述处理器模块实现权利要求1‑6任一所述的方法步骤。
8.一种存储介质，其特征在于，其上存储有程序，在该程序被设有电液可调焦镜头的智能设备的处理器模块执行时，使得所述智能设备实现如权利要求1‑6中任一项所述的方法步骤。
一种基于电液可调焦镜头的单目深度估计方法及相应的相机
和存储介质
技术领域
[0001] 本发明涉及计算机视觉技术领域，具体涉及一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质。
背景技术
[0002] 计算机视觉是为了使计算机能够模仿人体的视觉系统对获取的视觉信息进行处理分析而出现的一个研究领域，计算机视觉研究的目标是让机器人可以像人类一样对三维空间中的物体信息进行有效的感知，包括物体的深度、颜色等，然后对其感知到的信息进行分析和理解。其中，深度信息在自动驾驶、场景三维重建等领域有着非常重要的作用，因此，获取三维场景的深度信息尤为重要。
[0003] 目前获取深度信息的方式主要有三种：红外或雷达摄像头直接测量、基于双目视差推断物体的深度、基于单目相机的深度估计方式；这三类方法的信息采集成本依次递减，采用红外或雷达摄像头直接测量的设备通常体积较大、价格高昂且能耗较高；基于双目视差推断物体的深度的方法相较于单目相机结构复杂，且可估计的深度范围受限于两个摄像头之间的基线长度；基于单目相机的深度估计方式主要采用深度神经网络来实现，而深度神经网络需要设计复杂的网络结构，并需要大量数据和时间训练神经网络，前期成本很高。
[0004] 以optotune为代表电液可调焦镜头具有调焦响应速度快、能耗低、结构紧凑、重复定位精度高等优势，可实现快速精确对焦；而且控制电流与焦距和最佳成像物距之间的相关性好，通过对该镜头的光学成像系统建模，可得到电液可调焦镜头的焦距与最佳成像物距之间的函数关系，因此，其为实现单目深度估计提供了一种新的思路。
发明内容
[0005] 为解决现有技术中存在的问题，本发明提供了一种结构简单、实用性强得到基于电液可调焦镜头的单目深度估计方法、设备和存储介质。
[0006] 为实现上述目的，本发明的技术方案为：
[0007] 一种基于电液可调焦镜头单目深度估计方法，包括以下步骤：
[0008] S1：建立电液可调焦镜头光学成像系统模型；
[0009] S2：建立电液可调焦镜头焦距与成像物距之间的函数关系；
[0010] S3：控制电液可调焦镜头遍历调焦区间，采集不同焦距下的图像并记录图像对应的焦距；
[0011] S4：将步骤S3中采集到的图像配准，使所有图像包含的场景信息及图像尺寸相同，并将图像转换为灰度图；
[0012] S5：采用尺寸为n×n的梯度算子对图像(此处指已转化为灰度图的图像)预处理；
[0013] S6：采用尺寸为N×N的滑动窗口计算所有图像(此处指已转化为灰度图的图像)在同一位置的清晰度评价值，清晰度评价值采用与步骤S5中梯度算子对应的清晰度评价函数计算，获得不同焦距下的滑动窗口中的清晰度评价；其中N＞n；
[0014] S7：将清晰度评价值最大时对应的焦距fmax代入步骤S2中的函数，得到最优成像物距，由该最优成像物距计算滑动窗口中心像素对应空间点的深度估计值，并在深度图中记录该深度估计值；
[0015] S8：滑动窗口以步长λ滑动至下一位置，重复步骤S6和步骤S7，直到计算完所有像素的深度估计值；其中λ≤N。
[0016] 进一步地，步骤S2中电液可调焦镜头焦距与成像物距之间的函数关系建立过程为：
[0017] A：利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与焦距之间的关系：
[0018] f＝αI+β (1)
[0019] 其中,f为焦距，I为控制电流，α和β为曲线拟合得到的系数；
[0020] B：利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与成像物距之间的关系：
[0021] u＝aI4+bI3+cI2+dI+e (2)
[0022] 其中u为成像物距，I为控制电流，a、b、c、d、e为曲线拟合获得的参数；
[0023] C：式(1)代入式(2)中，得到电液可调焦镜头焦距与成像物距间的函数关系：
[0024] u＝F(f)
[0025] 完成电液可调焦镜头焦距与成像物距之间的函数关系的建立。
[0026] 进一步地，清晰度评价值最大时焦距fmax由以下方式获得：直接选择滑动窗口中的最大清晰度评价值对应的焦距；
[0027] 或者，通过曲线拟合建立焦距与滑动窗口中的清晰度评价值之间的函数关系，得到函数D＝T(f)，根据函数D＝T(f)计算清晰度评价值最大时所对应的焦距。
[0028] 进一步地，步骤S7，所述由得到的最优成像物距计算滑动窗口中心像素对应空间点的深度估计值，过程为：直接将该最优成像物距直接作为滑动窗口中心像素对应空间点的深度估计值。
[0029] 进一步地，步骤S4中的图像配准的具体过程为：以焦距最长的图像为基准，采用基于特征匹配的图像配准算法，使采集到的所有图像包含的场景信息以及图像的尺寸相同。
[0030] 进一步地，步骤S7中估计得到的深度值为滑动窗口中心λ×λ像素的深度估计值。
[0031] 进一步地，步骤S8中，滑动窗口以步长λ滑动的规则为：
[0032] a：以滑动窗口中心λ×λ像素其中一角的像素点作为灰度图初始位置像素点，该窗口完成深度值估计之后，滑动窗口以步长λ沿着x轴方向滑动继续进行深度估计，直至到达灰度图另一侧的边界；
[0033] b：滑动窗口回到灰度图初始位置像素点所在一侧的边界处，以步长λ沿着y轴方向滑动一次，
[0034] c:之后继续按照上述规则滑动，重复步骤a和b，直至完成灰度图所有像素的深度估计。
[0035] 一种相机，包括电液可调焦镜头，电液可调焦镜头连接有控制模块，控制模块连接有处理器模块和存储模块；存储模块上储存有一个或多个程序，当一个或多个程序被处理器模块执行，使得处理器模块实现上述基于电液可调焦镜头单目深度估计方法中的任一步骤。
[0036] 一种存储介质，其上存储有程序，在该程序被设有可调焦镜头的智能设备的处理器执行时，使得该智能设备实现上述基于电液可调焦镜头单目深度估计方法中的任一步骤。
[0037] 与现有技术相比，本发明的有益效果为：
[0038] (1)本发明具有单目相机深度估计方式成本低廉、结构简单的优点，但相比现有技术中单目相机的深度估计方式，本发明无需训练复杂的深度神经网络；
[0039] 本发明根据电液可调焦镜头的控制电流与焦距之间的关系和控制电流与成像物距之间的关系，可得到变焦镜头焦距与成像物距间的函数关系，再利用梯度算子和对应的清晰度评价函数获得滑动窗口清晰度最大时对应的最优成像物距，从而得到滑动窗口中心像素对应空间点的深度；这一函数关系的建立过程简单实用，无需训练复杂的深度神经网络，具有很好的推广和应用价值。
[0040] (2)本发明设计的方法算法简单，估计精度可以通过改变采集的图像数量或滑动窗口的滑动步长进行调节，例如步长为1时表示对配准后的图像逐个像素进行估计，一次只估计1个像素的深度；步长为2时表示一次估计2×2个像素的深度，估计精度可根据实际实用场景进行修改，适用情况更加广泛。
附图说明
[0041] 图1为本发明的流程图；
[0042] 图2为光学成像系统模型获得的控制电流与系统焦距的关系图；
[0043] 图3为光学成像系统模型获得的控制电流与成像物距的关系图。
具体实施方式
[0044] 为了使本领域技术人员能够更好的理解本发明的技术方案，下面结合附图对本发明作进一步的解释说明。
[0045] 实施例1
[0046] 参见图1，一种基于电液可调焦镜头单目深度估计方法，包括以下步骤：
[0047] S1：采用Zemax软件建立电液可调焦镜头光学成像系统模型，并在Zemax软件中设置使用的电液可调焦镜头半径、厚度、曲率、材质等信息。
[0048] S2：建立电液可调焦镜头焦距与成像物距之间的函数关系，其具体的建立过程为：
[0049] A：参见图2，利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与焦距之间的关系：
[0050] f＝αI+β (1)
[0051] 其中,f为焦距，I为控制电流，α和β为曲线拟合得到的系数；
[0052] B：参见图3，利用步骤S1中建模得到的光学成像系统模型，可得到电液可调焦镜头的控制电流与成像物距之间的关系：
[0053] u＝aI4+bI3+cI2+dI+e (2)
[0054] 其中u为成像物距，I为控制电流，a、b、c、d、e为曲线拟合获得的参数；
[0055] C：将式(1)代入式(2)中，得到电液可调焦镜头焦距与成像物距间的函数关系：
[0056] u＝F(f)
[0057] 从而完成电液可调焦镜头焦距与成像物距之间的函数关系的建立。
[0058] S3：控制电液可调焦镜头遍历调焦区间，采集不同焦距下m幅图像并记录每一幅图像对应的焦距，将第i幅图像对应的焦距记作fi，i＝1，2，3…m。
[0059] S4：以焦距最长的图像为基准，即以视场角最小的图像为基准，采用基于特征匹配的图像配准算法，使步骤S3中采集到的所有图像包含的场景信息以及图像的尺寸相同，并将图像转换为灰度图；
[0060] 其中，图像配准算法一般可分为：一、基于图像灰度统计特性配准算法；二、基于图像特征配准算法；三、基于图像理解的配准算法；本发明采用的是基于图像特征配准算法，图像配准算法可以为SIFT算法、SURF算法、ORB算法或AKAZE算法等；SIFT全称Scale Invariant Feature Transform，尺度不变特征转换，是图像处理领域中的一种局部特征描述算法；SURF全称Speeded Up Robust Features，加速稳健特征，是一种稳健的局部特征点检测和描述算法，是对SIFT的一种改进；ORB全称Oriented FAST and Rotated BRIEF，是一种快速特征点提取和描述的算法；AKAZE算法是SIFT特征算法的一种改进版本。
[0061] S5：采用尺寸为n×n的梯度算子对灰度图预处理；其中梯度算子可以为Sobel算子、Laplacian算子等，为方便理解，本实施例选用Laplacian算子进行举例说明，Laplacian算子为：
[0062]
[0063] S6：采用尺寸为N×N的滑动窗口计算所有灰度图在同一位置的清晰度评价值，清晰度评价值采用与步骤S5中梯度算子对应的清晰度评价函数计算，即S5图像预处理采用的梯度算子与清晰度评价函数对应；其中N＞n；
[0064] 清晰度评价函数可采用常用的SMD函数、EOG函数、Roberts函数、Tenengrad函数、Brenner函数、Laplacian函数或SML函数；因为本实施例中步骤S5选用的梯度算子为Laplacian算子，因此，本步骤选用的清晰度评价函数为与Laplacian算子对应的Laplacian函数，对应的Laplacian清晰度评价函数为：
[0065]
[0066] 其中G(x，y)是像素点(x，y)处Laplacian算子的卷积；所有m幅图像中的滑动窗口都计算出窗口内的清晰度评价值D(fi)，并获得不同焦距下的滑动窗口中的清晰度评价值，然后计算清晰度评价值最大时对应的焦距，记为fmax：可以直接选择滑动窗口中的最大清晰度评价值对应的焦距fi作为fmax，也可以通过曲线拟合建立焦距与滑动窗口中的清晰度评价值，得到函数D＝T(f)，根据函数D＝T(f)计算清晰度评价值最大时所对应的焦距作为fmax。
[0067] S7：将步骤S6中获得的清晰度最大的滑动窗口所在图像对应的焦距fmax代入步骤S2中的函数，得到最优成像物距，直接将该最优成像物距直接作为滑动窗口中心像素对应空间点的深度估计值；深度图用于记录所有计算的深度估计值，实现本专利深度估计的目的。
[0068] S8：滑动窗口以步长λ滑动至下一位置，重复步骤S6和步骤S7，直到计算完所有像素的深度估计值；其中λ≤N，对应步骤S7中估计得到的深度值为滑动窗口中心λ×λ像素的深度估计值；
[0069] 滑动窗口以步长λ滑动的规则为：
[0070] a：以滑动窗口中心λ×λ像素左上角的像素点作为图像初始位置像素点，该窗口完成深度值估计之后，滑动窗口以步长λ沿着x轴正方向滑动继续进行深度估计，直至到达图像最右侧的边界；
[0071] b：滑动窗口回到图像初始位置像素点最左侧的边界处，以步长λ沿着y轴正方向滑动一次，之后继续按照上述规则a滑动；重复a和b，直至完成图像所有像素的深度估计。
[0072] 实施例2
[0073] 一种基于电液可调焦镜头单目深度估计方法，与实施例1的区别仅在于，步骤S8中滑动窗口以步长λ滑动的规则为：
[0074] a：以滑动窗口中心λ×λ像素右下角的像素点作为图像初始位置像素点，该窗口完成深度值估计之后，滑动窗口以步长λ沿着x轴负方向滑动继续进行深度估计，直至到达图像最左侧的边界；
[0075] b：滑动窗口回到图像初始位置像素点最右侧的边界处，以步长λ沿着y轴负方向滑动一次，之后继续按照上述规则a滑动；重复a和b，直至完成图像所有像素的深度估计。
[0076] 实施例3
[0077] 一种相机，包括电液可调焦镜头，电液可调焦镜头连接有控制模块，控制模块连接有处理器模块和存储模块；存储模块上储存有一个或多个程序，当一个或多个程序被处理器模块执行，使得一个或多个处理器实现实施例1或2所述的基于电液可调焦镜头单目深度估计方法中的任一步骤。
[0078] 实施例4
[0079] 一种存储介质，其上存储有程序，在该程序被智能设备的处理器执行时实现实施例1或2所述的基于电液可调焦镜头单目深度估计方法中的任一步骤。
