聚焦电机的控制方法、装置、存储介质及电子装置转让专利

申请号 : CN202110605450.3

文献号 : CN113191349B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨熙丞陈天钧张东詹建华王廷鸟王松

申请人 : 浙江大华技术股份有限公司

摘要 :

本发明实施例提供了一种聚焦电机的控制方法、装置、存储介质及电子装置,其中,该方法包括:重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:获取目标设备采集到的目标图像;使用目标模型对目标图像进行分析,以得到目标图像的第一模糊度;在确定第一模糊度不满足目标条件的情况下,基于第一模糊度确定目标设备中包括的聚焦电机的目标移动距离;控制聚焦电机按照目标移动距离进行移动,并在聚焦电机移动了目标移动距离后,控制目标设备重新采集图像,并将重新采集到的图像作为目标图像。通过本发明,解决了相关技术中存在的控制聚焦电机移动不准确的问题,达到准确控制聚焦电机移动的效果,提高了聚焦速度。

权利要求 :

1.一种聚焦电机的控制方法,其特征在于,包括:

重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:获取所述目标设备采集到的目标图像;

使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;

在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;

控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。

2.根据权利要求1所述的方法,其特征在于,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离包括:确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系;

基于所述目标对应关系确定与所述第一模糊度对应的所述目标移动距离。

3.根据权利要求2所述的方法,其特征在于,确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系包括:在所述目标设备采集到的图像的模糊度满足所述目标条件的情况下,确定所述聚焦电机的第一位置;

调节所述聚焦电机的位置,确定所述聚焦电机位于不同位置时所述目标设备采集到的图像的模糊度,以得到不同位置对应的第一模糊度;

确定所述聚焦电机所处的不同位置与所述第一位置的距离差,以得到多个距离差;

将多个所述距离差确定为所述第一模糊度对应的第一移动距离;

基于所述第一模糊度和所述第一移动距离确定所述目标对应关系。

4.根据权利要求3所述的方法,其特征在于,基于所述第一模糊度和所述第一移动距离确定所述目标对应关系包括:将所述第一模糊度和所述第一移动距离进行拟合,以得到拟合结果;

将所述拟合结果确定为所述目标对应关系。

5.根据权利要求3所述的方法,其特征在于,确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系包括:调节所述目标设备中包括的变焦电机的档位,确定所述变焦电机位于不同档位时,所述目标设备采集的图像的第二模糊度与所述聚焦电机的第二移动距离;

将所述变焦电机位于不同档位时所述第二模糊度和所述第二移动距离的对应关系确定为所述目标对应关系。

6.根据权利要求1所述的方法,其特征在于,使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度包括:对所述目标图像进行目标处理,以得到目标特征图,其中,所述目标处理包括依次将所述目标图像输入至所述目标模型中包括的卷积层,以得到第一特征图,将所述第一特征图输入至所述目标模型中包括的池化层,以得到所述目标特征图;

将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度。

7.根据权利要求6所述的方法,其特征在于,

对所述目标图像进行目标处理,以得到目标特征图包括:对所述目标图像进行多次所述目标处理,以得到所述目标特征图;

将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度包括:将所述目标特征图输入至所述目标模型中包括的多层全连接层,以得到所述第一模糊度。

8.根据权利要求1所述的方法,其特征在于,控制所述聚焦电机按照所述目标移动距离进行移动包括:控制所述聚焦电机向第一方向移动预定距离,确定所述目标设备在所述聚焦电机向所述第一方向移动了所述预定距离后所采集到的图像的第三模糊度;

控制所述聚焦电机向第二方向移动所述预定距离,确定所述目标设备在所述聚焦电机向所述第二方向移动了所述预定距离后所采集到的图像的第四模糊度,其中,所述第二方向为与所述第一方向相反的方向;

基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向;

控制所述聚焦电机向所述目标移动方向移动所述目标移动距离。

9.根据权利要求8所述的方法,其特征在于,基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向包括:在所述第三模糊度小于所述第四模糊度的情况下,将所述第一方向确定为所述目标移动方向;

在所述第三模糊度大于所述第四模糊度的情况下,将所述第二方向确定为所述目标移动方向。

10.一种聚焦电机的控制装置,其特征在于,包括:

执行模块,用于重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:获取所述目标设备采集到的目标图像;

使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;

在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;

控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至9任一项中所述的方法的步骤。

12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。

说明书 :

聚焦电机的控制方法、装置、存储介质及电子装置

技术领域

[0001] 本发明实施例涉及通信领域,具体而言,涉及一种聚焦电机的控制方法、装置、存储介质及电子装置。

背景技术

[0002] 聚焦一直是相机的重要组成部分,好的聚焦技术可以更快的得到更清晰的场景信息,聚焦技术一般分为基于对比度的聚焦技术,基于相位的聚焦技术和基于离焦深度(Depth from Defocus,DFD)的聚焦技术。在相关技术中,基于离焦深度的聚焦技术通过调整光圈、像距等方式来获取不同模糊程度的图像,依据这些图像重建场景的距离。这类方法一般存在着距离判定误差大等不足。
[0003] 由此可知,相关技术中存在控制聚焦电机移动不准确的问题。
[0004] 针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。

发明内容

[0005] 本发明实施例提供了一种聚焦电机的控制方法、装置、存储介质及电子装置,以至少解决相关技术中存在的控制聚焦电机移动不准确的问题。
[0006] 根据本发明的一个实施例,提供了一种聚焦电机的控制方法,包括:重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:获取所述目标设备采集到的目标图像;使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。
[0007] 根据本发明的另一个实施例,提供了一种聚焦电机的控制装置,包括:执行模块,用于重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:获取所述目标设备采集到的目标图像;使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;
[0008] 在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。
[0009] 根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
[0010] 根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0011] 通过本发明,获取目标设备采集到的目标图像,使用目标模型对目标图像进行分析,以得到目标图像的第一模糊度,在第一模糊度不满足目标条件的情况下,根据第一模糊度确定目标设备中包括的聚焦电机的目标移动距离,控制聚焦电机按照目标移动距离进行移动,并在聚焦电机在移动了目标移动距离后,控制目标设备重新采集图像,并将采集到的图像作为目标图像。重复执行以上步骤,直至目标设备采集到的目标图像的模糊度满足目标条件。由于通过深度学习模型准确地确定出图像的模糊度,进而根据模糊度可以准确地确定出聚焦电机的目标移动距离,因此,可以解决相关技术中存在的控制聚焦电机移动不准确的问题,达到准确控制聚焦电机移动的效果,提高了聚焦速度。

附图说明

[0012] 图1是本发明实施例的一种聚焦电机的控制方法的移动终端的硬件结构框图;
[0013] 图2是根据本发明实施例的聚焦电机的控制方法的流程图;
[0014] 图3是根据本发明示例性实施例的确定目标图像示意图;
[0015] 图4是根据本发明示例性实施例的目标设备结构图;
[0016] 图5是根据本发明示例性实施例的目标模型结构图;
[0017] 图6是根据本发明具体实施例的聚焦电机的控制方法流程图;
[0018] 图7是根据本发明实施例的聚焦电机的控制装置的结构框图。

具体实施方式

[0019] 下文中将参考附图并结合实施例来详细说明本发明的实施例。
[0020] 需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0021] 本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种聚焦电机的控制方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
[0022] 存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的聚焦电机的控制方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0023] 传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
[0024] 在本实施例中提供了一种聚焦电机的控制方法,图2是根据本发明实施例的聚焦电机的控制方法的流程图,通过重复执行如图2所示的步骤,直到目标设备采集到的目标图像的模糊度满足目标条件为止,如图2所示,该流程包括:
[0025] 步骤S202,获取所述目标设备采集到的目标图像;
[0026] 步骤S204,使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;
[0027] 步骤S206,在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;
[0028] 步骤S208,控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。
[0029] 在上述实施例中,目标设备可以为照相机、摄像机等图像采集设备。通过摄像设备采集图像时,需要通过变焦、聚焦等方式调整摄像设备,以使摄像设备采集到的图像清晰。在目标设备采集到图像后,可以确定图像中包括的感兴趣区域的图像,将感兴趣区域的图像确定为目标图像。其中,感兴趣区域可以为目标设备采集到的图像中的一部分区域的图像。例如,人脸区域、车牌区域等重点区域,输出感兴趣区域图像。确定目标图像示意图可参见附图3,如图3所示,A为目标设备采集到的图像,B为目标图像,也即感兴趣区域图像。当感兴趣区域中所在的物体静止时,每次执行确定目标图像时,A和B的相对位置不变。当感兴趣区域中所在的物体移动时,多次不同聚焦过程中物体在画面中的相对位置发生了变化,每次执行确定目标图像时B需要随着物体移动。假设第一图像高和宽为H1和W1,感兴趣区域图像的高和宽为H2和W2。小于其中,H2小于H1和W2小于W1。
[0030] 在上述实施例中,目标条件可以为模糊度为0,或模糊度小于预定阈值,其中,预定阈值可以为预先设备的值,当模糊度小于预定阈值时,目标设备采集到的目标图像较为清晰。
[0031] 在上述实施例中,目标设备结构图可参见附图4,如图4所示,目标设备包括处理器1、图像传感器2、变焦电机3、聚焦电机4、镜头模组5。处理器1控制整个自动聚焦控制模块,通过改变变焦电机3,确定合适的图像光学放大倍率。获取传感器2得到的图像信息,可以是bayer格式,rgb格式和yuv格式等。并对图像信息进行分析处理,得到并调整聚焦电机4的位置,从而改镜头模组5与传感器2之间的位置,使图像越来越清晰。经过多次调整,完成自动聚焦控制模块的自动调焦工作。
[0032] 在上述实施例中,目标设备可以采集场景中的图像并记录初始电机位置。将镜头对准观测场景,手动设定变焦电机位置,记录此时变焦电机位置x_zoom。在整个聚焦过程中,变焦电机位置不再改变。由于未经过调焦过程,此时一般呈现模糊的图像。获取图像传感器采集的图像并记录此时聚焦电机位置x_focus。在采集到图像后,可以将图像输入值目标模型中,以确定图像的模糊度。
[0033] 在上述实施例中,目标模型可以为卷积神经网络模型,在目标图像的模糊度不满足目标条件的情况下,可以利用卷积神经网络对感兴趣区域图像,即目标图像进行处理,得到目标图像的模糊度估计结果s(即第一模糊度)。根据第一模糊度确定聚焦电机要移动的目标移动距离,并控制聚焦电机按照目标移动距离进行移动。
[0034] 可选地,上述步骤的执行主体可以是处理器、摄像设备,或者其他的具备类似处理能力的设备,还可以是至少集成有图像获取设备以及数据处理设备的机器,但不限于此。
[0035] 通过本发明,获取目标设备采集到的目标图像,使用目标模型对目标图像进行分析,以得到目标图像的第一模糊度,在第一模糊度不满足目标条件的情况下,根据第一模糊度确定目标设备中包括的聚焦电机的目标移动距离,控制聚焦电机按照目标移动距离进行移动,并在聚焦电机在移动了目标移动距离后,控制目标设备重新采集图像,并将采集到的图像作为目标图像。重复执行以上步骤,直至目标设备采集到的目标图像的模糊度满足目标条件。由于通过深度学习模型准确地确定出图像的模糊度,进而根据模糊度可以准确地确定出聚焦电机的目标移动距离,因此,可以解决相关技术中存在的控制聚焦电机移动不准确的问题,达到准确控制聚焦电机移动的效果,提高了聚焦速度。
[0036] 在一个示例性实施例中,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离包括:确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系;基于所述目标对应关系确定与所述第一模糊度对应的所述目标移动距离。在本实施例中,可以首先确定目标设备采集到的图像的模糊度与聚焦电机的移动距离的对应关系,根据对应关系确定与第一模糊度对应的目标移动距离。
[0037] 在一个示例性实施例中,确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系包括:在所述目标设备采集到的图像的模糊度满足所述目标条件的情况下,确定所述聚焦电机的第一位置;调节所述聚焦电机的位置,确定所述聚焦电机位于不同位置时所述目标设备采集到的图像的模糊度,以得到不同位置对应的第一模糊度;确定所述聚焦电机所处的不同位置与所述第一位置的距离差,以得到多个距离差;将多个所述距离差确定为所述第一模糊度对应的第一移动距离;基于所述第一模糊度和所述第一移动距离确定所述目标对应关系。在本实施例中,可以对聚焦电机移动距离x_next和模糊度结果s的关系进行标定,生成聚焦电机移动距离和模糊度结果关系查找表。选择室内静态场景,场景内有较为丰富的各种物体。首先调整变焦电机位置档位至x_zoom1,此时,画面模糊。选择视场中心区域作为感兴趣区域,不断调节聚焦电机位置至画面最为清楚,将此时聚焦电机位置确定为x_focus1(对应于上述第一位置)。对感兴趣区域输入至目标模型中,得到模糊度结果s1,此时聚焦电机移动距离为0,记为x1。少量调节聚焦电机位置至x_focus2,此时画面稍微模糊,再对感兴趣区域输入至目标模型中,得到模糊度结果s2,并记录此时聚焦电机移动距离x2=abs(x_focus2‑x_focus1),即第一移动距离。多次调节聚焦电机位置,生成模糊度结果和聚焦电机移动距离的点集,得到该变焦电机档位下,第一模糊度和第一移动距离的一一对应关系。根据第一模糊度和第一移动距离确定目标对应关系。
[0038] 在一个示例性实施例中,基于所述第一模糊度和所述第一移动距离确定所述目标对应关系包括:将所述第一模糊度和所述第一移动距离进行拟合,以得到拟合结果;将所述拟合结果确定为所述目标对应关系。在本实施例中,可以对得到的点集(即第一模糊度和第一移动距离的一一对应关系)进行曲线拟合,生成在变焦电机位置x_zoom1下模糊度结果和聚焦电机移动距离关系的查找表。将该查找表确定为目标对应关系。
[0039] 在一个示例性实施例中,确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系包括:调节所述目标设备中包括的变焦电机的档位,确定所述变焦电机位于不同档位时,所述目标设备采集的图像的第二模糊度与所述聚焦电机的第二移动距离;将所述变焦电机位于不同档位时所述第二模糊度和所述第二移动距离的对应关系确定为所述目标对应关系。在本实施例中,在确定出变焦电机位置在x_zoom1下模糊度和移动距离的对应关系后,可以再次调整变焦电机位置档位至x_zoom2,重复确定模糊度和移动距离的对应关系的操作,最终生成不同变焦电机位置x_zoom下的模糊度结果和聚焦电机移动距离关系查找表。将不同变焦电机位置下的模糊度结果和聚焦电机移动距离关系查找表确定为目标对应关系。当设备型号更换或镜头更换时,可以重新进行查找表的更换和标定。
[0040] 在上述实施例中,在利用目标设备拍摄时,可以确定目标设备中包括的变焦电机的变焦位置以及图像的模糊度,确定该变焦位置下的目标对应关系,根据对应关系确定出与模糊度对应的移动距离。即当实际聚焦时,由获取到变焦电机位置x_zoom和模糊度结果s,通过查找表直接得到下一步聚焦电机需要移动的距离x_next。
[0041] 在一个示例性实施例中,使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度包括:对所述目标图像进行目标处理,以得到目标特征图,其中,所述目标处理包括依次将所述目标图像输入至所述目标模型中包括的卷积层,以得到第一特征图,将所述第一特征图输入至所述目标模型中包括的池化层,以得到所述目标特征图;将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度。在本实施例中,在通过目标模型对目标图像进行处理之前,可以对感兴趣区域图像进行图像缩放操作,缩放到神经网络的图像规定输入尺寸,得到缩放图像。缩放后高和宽可以表示为H3和W3。缩放操作可以采用最近邻插值缩放、双线性插值缩放和双三次插值缩放等方法。
[0042] 在上述实施例中,可以根据目标图像的格式确定输入到目标模型中的通道,例如,如果是bayer格式,可以使用该格式的所有通道作为神经网络输入,也可以只使用绿色通道(g通道)作为神经网络输入。如果是yuv格式,可以使用该格式的所有通道作为神经网络输入,也可以使用该格式的亮度通道(y通道)作为神经网络输入。如果是rgb格式,可以使用该格式的所有通道作为神经网络输入,也可以将rgb格式图像转换为灰度图像作为网络输入。
[0043] 在上述实施例中,可以利用卷积神经网络模型中的卷积层、池化层和全连接层对缩放图像进行处理,得到模糊度处理结果s。卷积神经网络可以包括卷积层、池化层和全连接层,卷积层用于对图像特征进行特征提取,得到特征向量,并输入到池化层中,在池化层用于对特征进行降维并从全连接层中得到结果。
[0044] 在一个示例性实施例中,对所述目标图像进行目标处理,以得到目标特征图包括:对所述目标图像进行多次所述目标处理,以得到所述目标特征图;将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度包括:将所述目标特征图输入至所述目标模型中包括的多层全连接层,以得到所述第一模糊度。在本实施例中,目标模型结构图可参见附图5,如图5所示,目标模型包括多层卷积层、池化成,以及多层全连接层。将缩放图像输入卷积神经网络中,首先利用第一层卷积层对缩放图像进行第一层卷积处理。
输入通道数为cinput的缩放图像,输出通道数为coutput的特征图,第一层卷积公式可以为其中,F1,j表示第1层第j个通道的中间结果,inputi表示输
入缩放图像的第i个通道,W1,i,j表示第1层第i个滤波器的第j个通道,b1,j表示第1层第j个通道的偏置项。对第一层卷积处理的中间结果F1可以进行ReLU激活函数处理,F1经过激活函数后的结果F1_act=max(0,F1)。对激活函数处理后的结果F1_act进行池化处理,池化处理也称作下采样处理,目的是对中间结果F1_act进行下采样操作,池化操作步长为2。假设F1_act的大小为H4*W4*C4,池化后特征图大小为H4/2*W4/2*C4。经过类似的第二层、第三层的重复卷积处理和池化处理。直到第n层池化处理中间结果Fn,对该结果使用多层全连接层进行处理,其中,FC代表多次全连接层,得到模糊度估计结果s,s=FC(Fn)。
[0045] 在一个示例性实施例中,控制所述聚焦电机按照所述目标移动距离进行移动包括:控制所述聚焦电机向第一方向移动预定距离,确定所述目标设备在所述聚焦电机向所述第一方向移动了所述预定距离后所采集到的图像的第三模糊度;控制所述聚焦电机向第二方向移动所述预定距离,确定所述目标设备在所述聚焦电机向所述第二方向移动了所述预定距离后所采集到的图像的第四模糊度,其中,所述第二方向为与所述第一方向相反的方向;基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向;控制所述聚焦电机向所述目标移动方向移动所述目标移动距离。在本实施例中,在确定出聚焦电机的目标距离后,还需判断聚焦电机的移动方向并移动聚焦电机。可以将聚焦电机分别向前后两个方向移动小幅距离,距离均为dx(对应于上述预定距离)。其中,第一方向可以为向前移动,第二方向可以为向后移动。在移动后,分别确定第三模糊度和第四模糊度,根据第三模糊度和第四模糊度确定目标移动方向,并控制聚焦电机按照目标移动方向移动目标移动距离。
[0046] 在一个示例性实施例中,基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向包括:在所述第三模糊度小于所述第四模糊度的情况下,将所述第一方向确定为所述目标移动方向;在所述第三模糊度大于所述第四模糊度的情况下,将所述第二方向确定为所述目标移动方向。在本实施例中,在聚焦电机分别向前后两个方向移动小幅距离dx后,分别计算其模糊度sf(对应于第三模糊度)和sb(对应于第四模糊度),当sf小于sb时,聚焦电机由x_focus位置向前移动x_next距离,即将第一方向确定为目标移动方向。当sf大于sb时,聚焦电机由x_focus位置向后移动x_next距离,即将第二方向确定为目标移动方向。在聚焦电机向目标移动方向移动了目标移动距离后,需确定聚焦是否可以终止。即继续确定目标设备采集到的图像的模糊度,在模糊度小于预定阈值时,聚焦流程可以终止。在模糊度大于预定阈值时,重复执行上述操作,直到模糊度小于预定阈值。其中,预定阈值可以为预先设置的值。
[0047] 下面结合具体实施方式对聚焦电机的控制方法进行说明:
[0048] 图6是根据本发明具体实施例的聚焦电机的控制方法流程图,如图6所示,该流程包括:
[0049] 步骤S602,采集场景中第一图像并记录初始电机位置。
[0050] 步骤S604:选取第一图像中的感兴趣区域。
[0051] 步骤S606,利用卷积神经网络对感兴趣区域图像进行处理,得到图像的模糊度估计结果s(对应于上述第一模糊度)。
[0052] 步骤S608,根据变焦电机位置x_zoom、聚焦电机位置x_focus和模糊度估计结果s计算得到下一步聚焦电机移动距离x_next(对应于上述目标移动距离)。
[0053] 步骤S610,判断聚焦电机的移动方向(对应于上述目标移动方向)并移动聚焦电机。
[0054] 步骤S612,重复上述步骤并判断聚焦过程是否可以终止。重复执行步骤S602‑S606,得到模糊度估计结果s_next,当模糊度的值小于提前设定的参数s_th时,对焦流程终止,否则重复执行步骤S602‑S612直到对焦流程终止。
[0055] 在前述实施例中,通过获取图像及对应电机位置,选取图像中的感兴趣区域并利用卷积神经网络对感兴趣区域图像进行处理来得到图像模糊度估计结果。对模糊度估计结果和聚焦电机移动距离对应关系进行标定,通过实际图像模糊度估计结果查询得到下一步聚焦电机移动距离。同时对聚焦电机移动方向进行判断。移动聚焦电机并重复以上步骤直到图像清晰。采用卷积神经网络算法来预测图像模糊程度,能够更准确的指导自动聚焦的电机调整,同时场景适应性好。针对不同型号设备的适应能力更强,不需要针对每个型号的设备单独训练模型,而是统一使用一个神经网络模型,输出统一的模糊程度。对于不同型号的设备仅需要重新标定查找表。可以更快速方便的适应实际情况。
[0056] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
[0057] 在本实施例中还提供了一种聚焦电机的控制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
[0058] 图7是根据本发明实施例的聚焦电机的控制装置的结构框图,如图7所示,该装置包括:
[0059] 执行模块72,用于重复执行如下操作,直到目标设备采集到的目标图像的模糊度满足目标条件为止:
[0060] 获取所述目标设备采集到的目标图像;
[0061] 使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度,其中,所述目标模型为使用多组训练数据通过机器学习训练得到的,所述多组训练数据中的每组数据包括:图像和图像的模糊度;
[0062] 在确定所述第一模糊度不满足所述目标条件的情况下,基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离;
[0063] 控制所述聚焦电机按照所述目标移动距离进行移动,并在所述聚焦电机移动了所述目标移动距离后,控制所述目标设备重新采集图像,并将重新采集到的图像作为所述目标图像。
[0064] 在一个示例性实施例中,执行模块72可以通过如下方式实现基于所述第一模糊度确定所述目标设备中包括的聚焦电机的目标移动距离:确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系;基于所述目标对应关系确定与所述第一模糊度对应的所述目标移动距离。
[0065] 在一个示例性实施例中,执行模块72可以通过如下方式实现确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系:在所述目标设备采集到的图像的模糊度满足所述目标条件的情况下,确定所述聚焦电机的第一位置;调节所述聚焦电机的位置,确定所述聚焦电机位于不同位置时所述目标设备采集到的图像的模糊度,以得到不同位置对应的第一模糊度;确定所述聚焦电机所处的不同位置与所述第一位置的距离差,以得到多个距离差;将多个所述距离差确定为所述第一模糊度对应的第一移动距离;基于所述第一模糊度和所述第一移动距离确定所述目标对应关系。
[0066] 在一个示例性实施例中,执行模块72可以通过如下方式实现基于所述第一模糊度和所述第一移动距离确定所述目标对应关系:将所述第一模糊度和所述第一移动距离进行拟合,以得到拟合结果;将所述拟合结果确定为所述目标对应关系。
[0067] 在一个示例性实施例中,执行模块72可以通过如下方式实现确定所述目标设备采集的图像的模糊度与所述聚焦电机的移动距离的目标对应关系:调节所述目标设备中包括的变焦电机的档位,确定所述变焦电机位于不同档位时,所述目标设备采集的图像的第二模糊度与所述聚焦电机的第二移动距离;将所述变焦电机位于不同档位时所述第二模糊度和所述第二移动距离的对应关系确定为所述目标对应关系。
[0068] 在一个示例性实施例中,所述执行模块72可以通过如下方式实现使用目标模型对所述目标图像进行分析,以得到所述目标图像的第一模糊度:对所述目标图像进行目标处理,以得到目标特征图,其中,所述目标处理包括依次将所述目标图像输入至所述目标模型中包括的卷积层,以得到第一特征图,将所述第一特征图输入至所述目标模型中包括的池化层,以得到所述目标特征图;将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度。
[0069] 在一个示例性实施例中,执行模块72可以通过如下方式实现对所述目标图像进行目标处理,以得到目标特征图:对所述目标图像进行多次所述目标处理,以得到所述目标特征图;执行模块72可以通过如下方式实现将所述目标特征图输入至所述目标模型中包括的全连接层,以得到所述第一模糊度:将所述目标特征图输入至所述目标模型中包括的多层全连接层,以得到所述第一模糊度。
[0070] 在一个示例性实施例中,执行模块72可以通过如下方式实现控制所述聚焦电机按照所述目标移动距离进行移动:控制所述聚焦电机向第一方向移动预定距离,确定所述目标设备在所述聚焦电机向所述第一方向移动了所述预定距离后所采集到的图像的第三模糊度;控制所述聚焦电机向第二方向移动所述预定距离,确定所述目标设备在所述聚焦电机向所述第二方向移动了所述预定距离后所采集到的图像的第四模糊度,其中,所述第二方向为与所述第一方向相反的方向;基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向;控制所述聚焦电机向所述目标移动方向移动所述目标移动距离。
[0071] 在一个示例性实施例中,执行模块72可以通过如下方式实现基于所述第三模糊度以及所述第四模糊度确定所述聚焦电机的目标移动方向:在所述第三模糊度小于所述第四模糊度的情况下,将所述第一方向确定为所述目标移动方向;在所述第三模糊度大于所述第四模糊度的情况下,将所述第二方向确定为所述目标移动方向。
[0072] 需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
[0073] 本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
[0074] 在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read‑Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0075] 本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0076] 在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
[0077] 本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
[0078] 显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
[0079] 以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。