一种基于清晰域及暗视觉的自动聚焦优化方法

摘要

本发明设计计算机视觉、自动聚焦领域，特别涉及一种基于清晰域及暗视觉的自动聚焦优化方法，包括使用TEN法对图像进行评价，并且使用ADAM算法根据当前梯度自适应的控制步长进行第一次扫描；当第一次出现电机转向时，根据TEN法对图像进行评价，得到的清晰度序列值进行高通滤波；进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波；在经过前两次滤波之后，持续扫描，直到扫描到清晰域范围内，停止扫描，使用曲线拟合的方式，拟合出峰值，得到聚焦图像；本发明与常规算法聚焦相比增加了高通滤波环节，减少了搜索时被次峰误导的情况，同时减少了非峰值区域的导数波动，使得自适应搜索算法在运行时步长噪声受影响减少。

权利要求

1.一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，具体包括以下步骤：使用TEN法对图像进行评价，并且使用ADAM算法根据当前图像像素的梯度自适应的控制步长进行第一次扫描；

当第一次出现电机转向时，根据TEN法对图像进行评价，得到的清晰度序列值进行高通滤波，即以当前图像清晰度函数值的平均值作为阈值，对低于平均值的清晰度值进行抑制，保持高于平均值得清晰度值不变；

进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，即以第一次滤波得到的阈值，对低于平均值的清晰度值进行抑制，保持高于平均值得清晰度值不变；

在经过前两次滤波之后，持续扫描，直到扫描到清晰域范围内，停止扫描，使用曲线拟合的方式，拟合出峰值，得到聚焦图像。

2.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，图像的原始数据类型为RGB，且在进行评价之前将图像的像素值归一化到[0,1]之间。

3.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，使用TEN法对图像进行评价包括：

其中，FTen为基于梯度的焦点测量值；sx(i,j)和sy(i,j)分别是图像f(i，j)与Sobel算子在水平和垂直方向上的卷积结果；M和N分别是图像的高度和宽度。

4.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，使用ADAM算法根据当前图像像素的梯度自适应的控制步长进行第一次扫描包括：S1、t代表搜索步数，初始为0；

S2、引入了随机参数用于跳出局部峰值，获取第t时刻的含导参数，表示为：S3、限制步长更新的指数移动均值mt表示为：mt←β1·mt‑1+(1‑β1)·gt；

S4、限制步长更新的平方梯度vt表示为：S5、获取第一步长变量 表示为：

S6、获取第二步长变量 表示为：

S7、更新进行第一次扫描的步长，并根据该步长进行扫描，第一次扫描的步长表示为：其中，ft为第t次位置图像清晰度函数一阶导数，θt‑1为第t‑1次计算得出的运动的位置，gt为第t次含导参数， 为第t次随机参数；β1、β2为常数；α为学习率，ε为极小值补偿；←为赋值符号。

5.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，当第一次出现电机转向时，对当前的图像清晰度函数值进行高通滤波，即对清晰度进行高值削减，低值补偿的算式表示为：

其中，F(x)为在x处的图像修正后的清晰度值，f(x)为第x张图片的清晰度值，ave11为第一次扫描获得清晰度的平均值，ave12为小于ave11的清晰度值的平均值，c11、c12为第一次扫描的补偿因子。

6.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，同样适用第一次滤波阈值，特化高数值清晰度函数值，即对清晰度进行高值削减，低值补偿的算式表示为：其中，F(x)为在x处的图像修正后的清晰度值,f(x)为第x张图片的清晰度值，ave21为第二次扫描获得清晰度的平均值，ave22为小于ave21的清晰度值的平均值，c21、c22为第二次扫描的补偿因子。

7.根据权利要求1所述的一种基于清晰域及暗视觉的自动聚焦优化方法，其特征在于，清晰域宽度的求解流程包括：

设物体M的高度设为h，棱镜移动的距离为p，第一次聚焦时物距为u1+p，投射在传感器上的像高度为m，相机焦距为f，棱镜与cmos传感器的距离为v1；

在棱镜移动后，第二次的物距为u2，第二次棱镜与coms传感器距离为v2，第二次投影在cmos位置顶部表示为m1，底部表示为m2，因此模糊圆半径为m1m2，焦点偏移量为mm1；

同时设棱镜移动后能够聚焦的物体N，该物体聚焦于m1点，根据清晰域的成立条件求得2

棱镜的移动距离p，表示为：p≤((u2‑u1)·v1·f)/u2；

若峰值点为p1，就可以将清晰域的范围表示为

说明书

一种基于清晰域及暗视觉的自动聚焦优化方法

技术领域

[0001] 本发明设计计算机视觉、自动聚焦领域，特别涉及一种基于清晰域及暗视觉的自动聚焦优化方法。

背景技术

[0002] 自动聚焦系统如今正在广泛应用到人类社会的各个领域，包括生物医学，公共安全，工业生产等领域。而针对移动物体的聚焦方法的重要性也体现出来，为了获得更快且更
稳定的聚焦效果，人们也在不懈努力。动聚焦可以通过主动、被动来实现，主动方法包括超
声波，红外线，和飞行时间类型，例如相机发出光束或声音并接收反射光束以估计相机与拍
摄对象之间的距离；被动方法分为相位检测和对比度检测自动聚焦系统。前者测量两个捕
获图像之间的相位差以估计焦点位置。后者测量每个帧的清晰度以找到最佳焦点位置。

[0003] 现有的动聚焦方法在许多方面都取得了很好的效果，但仍存在不足，例如被动聚焦时，为了确定峰值搜索过程冗长，且对可能存在的次级峰值，会导致搜索的失败等问题。
对于暗视觉图像来说，重要信息通常隐藏在图像的背景环境中，人类视觉对目标亮度变化
的响应不是取决于目标的绝对亮度，而是取决于目标亮度相对于背景亮度的局部变化。图
像增强的主要目的是增强暗区，提升图像的对比度，来使图像实现清晰化，满足人们肉眼观
看的要求。使图像中重要的信息凸显出来，而削弱或消除人们不需要或是不关心的信息，来
增大原始图像中不同物体特征之间的差异，改善人眼对原始图像的视觉效果，以便于进行
后续的相关图像处理。

发明内容

[0004] 针对现有技术中存在次级峰值的被动聚焦，本发明提出一种基于清晰域及暗视觉的自动聚焦优化方法，如图1，具体包括以下步骤：

[0005] 使用TEN法对图像进行评价，并且使用ADAM算法控制步长进行第一次扫描；

[0006] 当第一次出现电机转向时，对当前的图像清晰度函数TEN得到的清晰度值值进行高通滤波：以当前图像清晰度函数值得平均值作为阈值，对低于平均值的清晰度值进行抑
制，保持高于平均值得清晰度值不变；

[0007] 进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，同样适用第一次滤波阈值，特化高数值清晰度函数值；

[0008] 持续扫描，直到扫描到清晰域范围内，停止扫描，使用曲线拟合的方式，拟合出峰值，得到聚焦图像。

[0009] 进一步的，图像的原始数据类型为RGB，且在进行评价之前将图像的像素值归一化到[0,1]之间。

[0010] 进一步的，使用TEN法对图像进行评价包括：

[0011]

[0012] 其中，FTen为基于梯度的焦点测量值；sx(i,j)和sy(i,j)分别是图像f(i，j)与Sobel算子在水平和垂直方向上的卷积结果；M和N分别是图像的高度和宽度。

[0013] 进一步的，使用Adam算法控制步长进行第一次扫描包括：

[0014] S1、t代表搜索步数，初始为0；

[0015] S2、引入了随机参数用于跳出局部峰值，获取第t时刻的含导参数，表示为：gt←▽θft(θt‑1)；

[0016] S3、限制步长更新的指数移动均值mt表示为：mt←β1·mt‑1+(1‑β1)·gt；

[0017] S4、限制步长更新的平方梯度vt表示为：

[0018] S5、获取第一步长变量 表示为：

[0019] S6、获取第二步长变量 表示为：

[0020] S7、更新进行第一次扫描的步长，并根据该步长进行扫描，第一次扫描的步长表示为：

[0021] 其中，ft为第t次位置图像清晰度函数一阶导数，θt‑1为第t‑1次计算得出的运动的位置，gt为第t次含导参数，▽θ为第t次随机参数；β1、β2为常数；α为学习率，ε为极小值补偿；
←为赋值符号。

[0022] 进一步的，当第一次出现电机转向时，对当前的图像清晰度函数值进行高通滤波，即对清晰度进行高值削减，低值补偿的算式表示为：

[0023]

[0024] 其中，F(x)为在x处的图像修正后的清晰度值，f(x)为第x张图片的清晰度值，ave11为第一次扫描获得清晰度的平均值，ave12为小于ave11的清晰度值的平均值，c11、c12为第一
次扫描的补偿因子。

[0025] 进一步的，进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，同样适用第一次滤波阈值，特化高数值清晰度函数值，即对清晰度进行高值削减，低值补偿的
算式表示为：

[0026]

[0027] 其中，F(x)为在x处的图像修正后的清晰度值,f(x)为第x张图片的清晰度值，ave21为第二次扫描获得清晰度的平均值，ave22为小于ave21的清晰度值的平均值，c21、c22为第二
次扫描的补偿因子。

[0028] 进一步的，清晰域的求解流程包括：

[0029] 设物体M的高度设为h，棱镜移动的距离为p，第一次聚焦时物距为u1+p，投射在传感器上的像高度为m，相机焦距为f，棱镜与cmos传感器的距离为v1；

[0030] 在棱镜移动后，第二次的物距为u2，第二次棱镜与coms传感器距离为v2，第二次投影在cmos位置顶部表示为m1，底部表示为m2，因此模糊圆半径为m1m2，焦点偏移量为mm1；

[0031] 同时设棱镜移动后能够聚焦的物体N，该物体聚焦于m1点，根据清晰域的成立条件2
求得棱镜的移动距离p，表示为：p≤((u2‑u1)·v1·f)/u2；

[0032] 若峰值点为p1，就可以将清晰域表示为

[0033] 本发明针对次级峰值干扰的自动聚焦优化系统，增强了抗干扰性；重新定义了清晰图像范围，使得搜索速度加快，解决了搜索冗余的问题。其中，与常规算法聚焦相比增加
了高通滤波环节，减少了搜索时被次峰误导的情况，同时减少了非峰值区域的导数波动，使
得自适应搜索算法在运行时步长噪声受影响减少；现有的自适应搜索算法寻找峰值速度较
快，而确认峰值数值的速度较慢，这是因为自适应搜索算法在峰值附近会来回精细扫描以
确定最优解，然而这增加搜索的次数，本发明增加了清晰域的定义，从而减少搜索的次数，
加快搜索速度。

附图说明

[0034] 图1是本发明提供一种基于清晰域的自动聚焦优化系统的流程示意图；

[0035] 图2是本发明提供一种基于清晰域的自动聚焦优化系统的逻辑示意图；

[0036] 图3是本发明清晰域的结构示意图；

[0037] 图4是本发明清晰域的效果示意图。

具体实施方式

[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0039] 本发明提出一种基于清晰域及暗视觉的自动聚焦优化方法，如图1，具体包括以下步骤：

[0040] 使用TEN法对图像进行评价，并且使用ADAM算法控制步长进行第一次扫描，即根据TEN法对图像进行评价得到的数值经过ADAM算法转换为步长，利用该步长进行扫描；

[0041] 当第一次出现电机转向时，对当前的图像清晰度函数值进行高通滤波，以当前平均图像清晰度函数值作为计算后阈值，特化高数值清晰度函数值；

[0042] 进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，同样适用第一次滤波阈值，特化峰值；

[0043] 持续扫描，直到扫描到清晰域范围内，停止扫描，使用曲线拟合的方式，拟合出峰值，得到聚焦图像。

[0044] 高通滤波机制在流程中使用了两次，其原因是现有的自适应搜索算法前期粗略搜索而后期精细搜索，ADAM算法为最初步长较大，前期搜索次数较少，能够跨越的范围大；同
时为了确保获取到的峰值精准度设置的学习率小，在搜索后期确认最高峰值时会进行大量
精细搜索。因此为了帮助搜索算法更快的找到最高峰，仅在前期搜索中对清晰度值进行调
整，消除小的振荡，次峰对搜索的影响，同时不影响真正的峰值数据。

[0045] TEN法是Tenengrad，Tenengrad是一种基于梯度的焦点测量，已广泛用于自动对焦，可以表示为：

[0046]

[0047] 其中，FTen为基于梯度的焦点测量值；sx(i,j)和sy(i,j)分别是图像f(i，j)与Sobel算子在水平和垂直方向上的卷积结果；M和N分别是图像的高度和宽度。

[0048] 其中，Sobel三阶算子水平方向表示为：

[0049]

[0050] Sobel三阶算子垂直方向表示为：

[0051]

[0052] ADAM算法一种基于一阶梯度的随机目标函数，以及对低阶矩的自适应估计的优化算法，该方法结合了两种最近流行的优化方法的优点：AdaGrad处理稀疏梯度的能力以及
RMSProp处理非平稳目标的能力，该方法易于实现并且仅需要很少的内存，在实验中证实了
对凸问题收敛速度的分析。Adam在峰值搜索中具有强大的能力，并能很好地解决各种非凸
优化问题，本发明中其更新规则如下：

[0053] S1、t代表搜索步数，初始为0：

[0054] t←t+1；

[0055] S2、ft为当前位置图像清晰度函数一阶导数，θt‑1为上一次计算得出的运动的位置，gt为含导参数：

[0056] gt←▽θft(θt‑1)；

[0057] S3、mt为指数移动均值，用于限制步长更新，β1为常数，优选的取值为0.9：

[0058] mt←β1·mt‑1+(1‑β1)·gt；

[0059] S4、vt为平方梯度，用于限制步长更新，β2为常数，优选的取值为0.999：

[0060]

[0061] S5、 为第一步长变量：

[0062]

[0063] S6、 为第二步长变量：

[0064]

[0065] S7、θt为更新后的步长，α为学习率，决定了步长学习速度，优选的取值为0.001，ε为极小值补偿，优选的取值为0.00000001：

[0066]

[0067] 当第一次出现电机转向时，对当前的图像清晰度函数值进行高通滤波处理，以当前平均图像清晰度函数值作为阈值，特化高数值清晰度函数值，对清晰度进行高值削减，低
值补偿的算式在下列给出：

[0068] F(x)＝f(x)‑|(f(x)‑ave12)|·c11 f(x)＜ave12＜av11

[0069] F(x)＝f(x)+|(f(x)‑ave12)|·c12 ave12＜f(x)＜av11

[0070] 其中F(x)为在x处的图像修正后的清晰度值，f(x)为第x张图片的清晰度值，ave11为第一次扫描获得的平均值，ave12为小于ave11的清晰度值的平均值，优选的，本实施例参
数c11取值为0.4，参数c12取值为0.8。

[0071] 进行第二次扫描，当电机出现第二次转向时，进行第二次高通滤波，同样适用第一次滤波阈值，特化高数值清晰度函数值，对清晰度进行高值削减，低值补偿的算式在下列给
出：

[0072] F(x)＝f(x)‑|(f(x)‑ave22)|·c21 f(x)＜ave22＜av21

[0073] F(x)＝f(x)+|(f(x)‑ave22)|·c22 ave22＜f(x)＜av21

[0074] 其中F(x)为在x处的图像修正后的清晰度值，f(x)为第x张图片的清晰度值，ave21为第二次次扫描获得的平均值，ave22为小于ave21的清晰度值的平均值，优选的，本实施例
参数c21取值为0.6，参数c22取值为1.2。

[0075] 持续扫描，直到扫描到清晰域范围内，停止扫描，使用曲线拟合的方式，拟合出峰值，得到聚焦图像。其中清晰域宽度的求解流程由以下给出：

[0076] 如图3所示，本发明中将棱镜组合简化为一块凸透镜，设物体M的高度设为h，棱镜移动的距离为p，第一次聚焦时物距为u1+p，投射在传感器上的像高度为m，相机焦距为f，棱
镜与cmos传感器的距离为v1；在棱镜移动后，第二次的物距为u2，第二次棱镜与cmos传感器
距离为v2,第二次投影在cmos位置顶部表示为m1,底部表示为m2,因此模糊圆半径为m1m2,焦
点偏移量为mm1。同时设棱镜移动后能够聚焦的物体N，该物体聚焦于m1点。

[0077] 由图3中可知，角度α可以通过f与h表示,即：

[0078] tan(α)＝f/h；

[0079] 同时因假设棱镜平移，移动后聚焦角度依旧为α。根据平行四边形原理，mm1与图3标注部分长度相等，因此可以得到mm1的表示：

[0080] mm1＝p·tan(α)；

[0081] 同时根据图3，不难发现角度β可以通过h与u2表示，并且三角型nmx与xAm1相似，因此可以的到m1m2的表达：

[0082] tan(β)＝h/u2；

[0083] Am1＝(u2‑u1)·v2/u2；

[0084] m1m2＝Am1·tan(β)；

[0085] 至此，求得了m1m2与mm1的表达式，根据清晰域的成立条件求得以下范围：

[0086] p≤((u2‑u1)·v1·f)/u22；

[0087] 将 峰 值 点 设 为 p 1 ，就 可 以 将 清 晰 域 表 示 为 在最 清晰 图 像处的范围；

[0088] 所述清晰域的宽度对于一个相机来说为一个固定值，只需要根据相机不同进行计算，上述峰值点是位置的，本实施例利用峰值点p1假定清晰域的位置，清晰域的大小是可以
计算得出的，但其位置是不确定的。

[0089] 图4表示步长的变化，横轴代表迭代次数，纵轴代表了步长从图中可以看出，在开始时，步长是较大的，随着迭代的进行而缩减。在图4中，红色线条之间的区域就是清晰域范
围，可以发现，迭代在63次时已经完全进入了清晰域的范围，而如果未应用清晰域，则会一
直搜索至192次。当搜索函数搜索到峰值附近时，步长会在一个非常小的范围内迭代，然而
正是这段大量的迭代，导致了搜索效率低下。从以图4可以得知，本文提出的清晰域的概念
是正确并且的确有助于提升搜索效率。

[0090] 在实际使用过程中的流程如图2所示，开始聚焦后进行以下操作：

[0091] 获取图像，并根据TEN法对图像进行评价，计算获得清晰度函数值；

[0092] 判断是否为前两轮，即是否为第一次扫描或者第二次扫描，如果是第一次扫描，则当第一次出现电机转向时，根据TEN法对图像进行评价，得到的清晰度序列值进行高通滤
波，即以当前图像清晰度函数值的平均值作为阈值，对低于平均值的清晰度值进行抑制，保
持高于平均值得清晰度值不变；如果是第二次扫描，则当电机出现第二次转向时，进行第二
次高通滤波，即以第一次滤波得到的阈值，对低于平均值的清晰度值进行抑制，保持高于平
均值得清晰度值不变；

[0093] 判断是否为最高峰，即判断步长是否小于清晰域的宽度且大于历史扫描到的峰值，若是，则认为扫描到最高峰，结局对焦；

[0094] 如果不是最高峰，则驱动电机移动棱镜，并判断步长是否满足清晰域，即步长是否小于清晰域，若小于则结束聚焦，否则返回第一步，重新获取图像并计算清晰域。

[0095] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限定。