图像处理方法、装置和电子设备

摘要

本申请公开了一种图像处理方法、装置和电子设备，属于摄像技术领域。该方法主要包括接收拍摄第一图像的第一输入；响应于第一输入，在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同；根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。本申请实施例中提供的方法能够解决目前无法定位异常光斑的问题。

权利要求

1.一种图像处理装置，其特征在于，包括：

接收模块，用于接收拍摄第一图像的第一输入；

控制模块，用于在第一图像满足第一预设条件的情况下，确定所述第一图像包括点光源，所述第一图像满足第一预设条件包括所述第一图像中的目标区域的亮度值大于或者等于第二预设阈值、或者所述第一图像的曝光刻度大于或等于第三预设阈值；控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，所述多条移动控制线中每条移动控制线控制所述拍摄模组的移动方向不同；

处理模块，用于根据所述多个图像中每个图像异常点的位置与所述第一图像中点光源进行对比，得到所述每个图像中异常点的移动轨迹；

将每两个图像中异常点的移动轨迹连线，并将连线区域的重叠部分确定为所述第一图像中的异常区域；

移除模块，用于移除所述第一图像中的异常区域，得到待填充图像。

2.根据权利要求1所述的装置，其特征在于，所述控制模块具体用于，在所述多条移动控制线包括第一移动控制线和第二移动控制线，所述多个图像包括第二图像和第三图像的情况下，控制所述拍摄模组沿着所述第一移动控制线的第一移动方向，获取第二图像；

控制所述拍摄模组复位至拍摄所述第一图像的位置后，控制所述拍摄模组沿着所述第二移动控制线的第二移动方向，获取第三图像。

3.根据权利要求2所述的装置，其特征在于，所述控制模块具体用于，在所述多条移动控制线中每条移动控制线移动所述拍摄模组的移动角度相同的情况下，控制所述拍摄模组沿着所述第一移动方向和目标移动角度，获取第二图像；

控制所述拍摄模组复位至拍摄所述第一图像的位置后，控制所述拍摄模组沿着所述第二移动方向和所述目标移动角度，获取第三图像。

4.根据权利要求2所述的装置，其特征在于，所述控制模块具体用于，在所述多条移动控制线中每条移动控制线移动所述拍摄模组的移动角度不同，且所述每条移动控制线移动所述拍摄模组的移动角度满足第二预设条件的情况下，控制所述拍摄模组沿着所述第一移动方向和第一移动角度，获取第二图像；

控制所述拍摄模组复位至拍摄所述第一图像的位置后，控制所述拍摄模组沿着所述第二移动方向和第二移动角度，获取第三图像；

所述第一移动角度和所述第二移动角度之间的差值满足第一预设阈值。

5.根据权利要求1所述的装置，其特征在于，所述处理模块具体用于，识别所述多个图像中第四图像和第五图像，确定至少一个移动的第一点；

在所述至少一个移动的第一点中，确定移动轨迹满足第三预设条件的第一异常点；

根据所述第一异常点在所述第四图像和所述第五图像中的第一移动轨迹，确定所述第一图像中的异常区域。

6.根据权利要求5所述的装置，其特征在于，所述图像处理装置还包括识别模块、第一确定模块和第二确定模块；其中，所述识别模块，用于识别所述多个图像中的第六图像和第七图像，确定至少一个移动的第二点；

所述第一确定模块，用于在所述至少一个移动的第二点中，确定移动轨迹满足第四预设条件的第二异常点；

所述第二确定模块，用于根据所述第二异常点在所述第六图像和所述第七图像中的第二移动轨迹和所述第一移动轨迹的连线区域，确定所述第一图像中的异常区域。

7.根据权利要求5所述的装置，其特征在于，所述图像处理装置还包括填充模块；其中，所述填充模块，用于根据所述第五图像和所述第四图像，对所述待填充图像中的空白区域像进行填充，得到待显示图像。

8.根据权利要求1所述的装置，其特征在于，所述图像处理装置还包括检测模块和第三确定模块；其中，所述检测模块，用于对所述第一图像中至少一个区域进行测光；

所述第三确定模块，用于在所述至少一个区域中的目标区域的亮度值大于或者等于第二预设阈值的情况下，确定所述第一图像满足第一预设条件。

9.根据权利要求1所述的装置，其特征在于，所述图像处理装置还包括第四确定模块和第五确定模块；其中，所述第四确定模块，用于确定拍摄所述第一图像的曝光刻度值；

所述第五确定模块，用于在所述曝光刻度值大于或者等于第三预设阈值的情况下，确定所述第一图像满足第一预设条件。

10.一种图像处理方法，其特征在于，包括：

接收拍摄第一图像的第一输入；

响应于所述第一输入，在第一图像满足第一预设条件的情况下，确定所述第一图像包括点光源，所述第一图像满足第一预设条件包括所述第一图像中的目标区域的亮度值大于或者等于第二预设阈值、或者所述第一图像的曝光刻度大于或等于第三预设阈值；

控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，所述多条移动控制线中每条移动控制线控制所述拍摄模组的移动方向不同；

根据所述多个图像中每个图像异常点的位置与所述第一图像中点光源进行对比，得到所述每个图像中异常点的移动轨迹；

将每两个图像中异常点的移动轨迹连线，并将连线区域的重叠部分确定为所述第一图像中的异常区域；

移除模块，用于移除所述第一图像中的异常区域，得到待填充图像。

说明书

图像处理方法、装置和电子设备

技术领域

[0001] 本申请属于摄像技术领域，具体涉及一种图像处理方法、装置和电子设备。

背景技术

[0002] 随着电子设备的发展，具有拍摄功能的电子设备成为人们记录生活的必备装备，广受大众的喜爱和使用。

[0003] 目前，在使用电子设备拍摄较强光源的场景中，如拍摄阳光直射或者拍摄夜晚中的强光灯，会在成像时出现异常光斑。如果不对其进行定位并消除，就会影响最终的成像质量。由此，如何定位异常光斑成为亟需关注的问题。

发明内容

[0004] 本申请实施例的目的是提供一种图像处理方法、装置和电子设备，能够解决目前无法定位异常光斑的问题。

[0005] 为了解决上述技术问题，本申请是这样实现的：

[0006] 第一方面，本申请实施例提供了一种图像处理装置，应用于电子设备，电子设备包括拍摄模组，该图像处理装置包括：

[0007] 接收模块，用于接收拍摄第一图像的第一输入；

[0008] 控制模块，用于响应于第一输入，在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同；

[0009] 处理模块，用于根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0010] 第二方面，本申请实施例提供了一种图像处理方法，应用于电子设备，电子设备包括拍摄模组，该图像处理方法包括：

[0011] 接收拍摄第一图像的第一输入；

[0012] 响应于第一输入，在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同；

[0013] 根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0014] 第三方面，本申请实施例提供了一种电子设备，该电子设备包括拍摄模组、处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所示的方法的步骤。

[0015] 第四方面，本申请实施例提供了一种计算机可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所示的方法的步骤。

[0016] 第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的方法。

[0017] 在本申请实施例中，通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

附图说明

[0018] 图1为异常光斑的示意图；

[0019] 图2本申请实施例提供的一种图像处理方法的应用场景示意图；

[0020] 图3为本申请实施例提供的一种拍摄模组的结构示意图；

[0021] 图4为本申请实施例提供的一种图像处理方法的流程图；

[0022] 图5为本申请实施例提供的一种基于多个图像确定第一图像中的异常区域的图像处理方法的流程图；

[0023] 图6为本申请实施例提供的一种第一图像的示意图；

[0024] 图7为本申请实施例提供的一种向左移动图像的示意图；

[0025] 图8为本申请实施例提供的一种向右移动图像的示意图；

[0026] 图9为本申请实施例提供的一种向上移动图像的示意图；

[0027] 图10为本申请实施例提供的一种向下移动图像的示意图；

[0028] 图11为本申请实施例提供的一种第一图像中异常区域所在位置的示意图；

[0029] 图12为本申请实施例提供的一种图像处理装置的结构示意图；

[0030] 图13为本申请实施例提供的一种电子设备的结构示意图；

[0031] 图14为本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

[0032] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0033] 本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

[0034] 目前，电子设备包括保护镜片、摄像头透镜模组和CMOS图像传感器(CMOS image sensor)的摄像头模组。相比单反相机，该保护镜片使得某些点光源多了一次光路反射。如图1所示，在有点光源例如阳光直射或者夜晚的强光灯的拍照场景中，点光源透过电子设备中镜头的保护镜片和摄像头透镜模组到达CMOS图像传感器的一处位置呈像的同时，会有一部分光经过一系列反射、折射在CMOS图像传感器的另一处位置呈像即异常光斑所在位置。

[0035] 这里，如图2所示的异常光斑成像原理示意图，点光源首先经过保护镜片，反射一部分，另一部分经过折射通过保护镜片和摄像头透镜模组，到达CMOS图像传感器位置。此时，位置1为点光源在图片中的正常呈像。在CMOS图像传感器处还有一部分能量会以反射形式几乎沿入射光路原路返回，如图2中光路21(加粗部分)到达保护镜片，再反射经过摄像头透镜模组到达CMOS图像传感器，由于摄像头透镜模组表面镀膜的中心特性波长，对可见光中间段(如绿色)效果最好，因此，在一系列反射后，在CMOS图像传感器的位置2成像往往是一个绿点(俗称“鬼影”)，这就是拍照时出现的异常光斑所在的位置。

[0036] 由此，本申请实施例提供了一种异常光斑的图像处理方法，该图像处理方法可以通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0037] 基于此，下面结合附图3，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

[0038] 本申请提出的图像处理方法应用于电子设备，如图3所示，该电子设备包括保护镜片30和拍摄模组31。这里，拍摄模组31可以为云台拍摄模组或者可移动摄像头方向和/或角度的拍摄模组。拍摄模组31上设置有摄像头透镜模组311和图像传感器321如CMOS图像传感器。摄像头透镜模组311设置在保护镜30和图像传感器321之间。

[0039] 根据上述涉及的电子设备，对本申请实施例提供的异常光斑的图像处理方法进行详细说明。在用户拍摄第一图像时，电子设备识别第一图像中是否存在点光源。若无点光源，则继续进行图像拍摄。若第一图像中存在点光源，则电子设备控制关闭云台拍摄模组的云台防抖功能，并控制云台拍摄模组按照多条移动控制线的移动方向，获取多个图像，其中，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同。由于异常光斑成像位置与点光源成像位置近似成中心对称，这样，可以通过小角度轻微偏移拍摄模组31位置时，第一图像涉及的画面变化不大，但是，异常光斑经过一些列反射偏移量会远大于整体图像的偏移量，这样，结合电子设备中的拍摄模组33，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0040] 然后，可以移除第一图像中的异常区域，得到待填充图像，并对待填充图像中的空白区域像进行填充，得到待显示图像，以便向用户显示不包括“鬼影”的图像。

[0041] 由此，可以运用拍摄模组31，灵活利用光学特性，结合光路传播以及异常斑点成像的特点，本申请实施例提供一种利用云台拍摄模组对图像出现异常光斑的现象进行异常光斑的图像处理方法，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0042] 根据上述应用场景，下面结合图4至图11对本申请实施例提供的图像处理方法进行详细说明。

[0043] 图4为本申请实施例提供的一种图像处理方法的流程图。

[0044] 如图4所示，该图像处理方法可以应用于电子设备，基于此，具体可以包括如下步骤：

[0045] 首先，步骤410，接收拍摄第一图像的第一输入。接着，步骤420，响应于第一输入，在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同。然后，步骤430，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0046] 这样，通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0047] 下面对上述步骤进行详细说明，具体如下所示：

[0048] 首先，在涉及步骤410之后，本申请实施例提供了两种方式确定第一图像是否满足第一预设条件，具体如下所示：

[0049] 在一种或者多种可选的实施例中，在该步骤之前，该图像处理方法还可以包括：

[0050] 对第一图像中至少一个区域进行测光；

[0051] 在至少一个区域中的目标区域的亮度值大于或者等于第二预设阈值的情况下，确定第一图像满足第一预设条件。

[0052] 举例说明，用户在拍摄某一个图像时，可以对其图像中的每个区域进行测光，目的是检测该图像中某个区域或者拍摄主体出现亮度值是否高于其他区域的现象即出现单点过曝的现象，以确定该图像中是否在点光源。由此，若在第一图像中某一个区域如目标区域的亮度值大于或者等于第二预设阈值时，即可以证明该图像中存在点光源；反之，若在第一图像中任一个区域的亮度值小于第二预设阈值时，即可以证明该图像中未存在点光源。

[0053] 或者，在另一种或者多种可选的实施例中，在该步骤之前，该图像处理方法还可以包括：

[0054] 确定拍摄第一图像的曝光刻度值；

[0055] 在曝光刻度值大于或者等于第三预设阈值的情况下，确定第一图像满足第一预设条件。

[0056] 举例说明，可以根据拍摄第一图像时的曝光刻度值，检测拍摄第一图像的曝光刻度值是否大于或者等于第三预设阈值。若曝光刻度值大于或者等于第三预设阈值，则可以证明该图像中存在点光源；反之，若曝光刻度值小于第三预设阈值，则可以证明该图像中未存在点光源。

[0057] 涉及步骤420，本申请实施例中提供以下方式获取多个图像，以根据多个图像中的异常点的移动轨迹，确定第一图像中的异常区域。

[0058] 在一种或者多种可选的实施例中，在多条移动控制线包括第一移动控制线和第二移动控制线，多个图像包括第二图像和第三图像的情况下，步骤420具体可以包括：

[0059] 控制拍摄模组沿着第一移动控制线的第一移动方向，获取第二图像；

[0060] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动控制线的第二移动方向，获取第三图像。其中，第一移动方向可以为平行于地平线的方向，第二移动方向可以为垂直于地平线的方向。

[0061] 举例说明，控制拍摄模组沿着第一移动控制线的平行于地平线的方向即向左移动或者向右移动，获取第二图像；控制拍摄模组复位至起始位置后，控制拍摄模组沿着第二移动控制线的垂直于地平线的方向，获取第三图像。

[0062] 同理，还可以以拍摄第一图像的位置为起始位置，控制拍摄模组沿着第一移动控制线的平行于地平线的方向即向左旋转或者向右旋转，获取第二图像；控制拍摄模组复位至起始位置后，控制拍摄模组以拍摄第一图像的位置为起始位置，沿着第二移动控制线的垂直于地平线的方向，获取第三图像。

[0063] 在另一种或者多种可选的实施例中，在多条移动控制线中每条移动控制线移动拍摄模组的移动角度相同的情况下，步骤420具体可以包括：

[0064] 控制拍摄模组沿着第一移动方向和目标移动角度，获取第二图像；

[0065] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动方向和目标移动角度，获取第三图像。

[0066] 举例说明，电子设备可以以拍摄第一图像的位置为起始位置，控制拍摄模组沿着平行于地平线的方向旋转目标移动角度30度如向左旋转30度和/或向右旋转30度，获取第二图像；控制拍摄模组复位至起始位置后，控制拍摄模组以拍摄第一图像的位置为起始位置，沿着第二移动控制线的垂直于地平线的方向移动目标移动角度30度如向移动30度或者向下移动30度，获取第三图像。

[0067] 或者，在多条移动控制线中每条移动控制线移动拍摄模组的移动角度不同，且每条移动控制线移动拍摄模组的移动角度满足第二预设条件的情况下，步骤420具体可以包括：

[0068] 控制拍摄模组沿着第一移动方向和第一移动角度，获取第二图像；

[0069] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动方向和第二移动角度，获取第三图像；

[0070] 第一移动角度和第二移动角度之间的差值满足第一预设阈值。

[0071] 举例说明，电子设备还可以以拍摄第一图像的位置为起始位置，控制拍摄模组沿着平行于地平线的方向旋转第一移动角度30度如向左旋转30度和/或向右旋转30度，获取第二图像；控制拍摄模组复位至起始位置后，控制拍摄模组以拍摄第一图像的位置为起始位置，沿着第二移动控制线的垂直于地平线的方向旋转第二移动角度35度如向移动35度和/或向下移动35度，获取第三图像。

[0072] 需要说明的是，为了保证多个图像中异常点的移动轨迹尽量出现在小一些的区域内移动，以提高确定第一图像中的异常区域的准确性，在设定第一移动角度和第二移动角度时，可以控制两个移动角度之间的差值不必过大，例如差值小于或者等于10度。

[0073] 接着，涉及步骤430，具体可以包括：

[0074] 识别多个图像中第四图像和第五图像，确定至少一个移动的第一点；

[0075] 在至少一个移动的第一点中，确定移动轨迹满足第三预设条件的第一异常点；

[0076] 根据第一异常点在第四图像和第五图像中的第一移动轨迹，确定第一图像中的异常区域。

[0077] 举例说明，对比第四图像和第五图像，筛选运动轨迹较大的第一点A。若在第四图像中第一点A的移动轨迹1和第五图像中第一点B的移动轨迹2的相似度大于第一预设相似度，则根据移动轨迹1和移动轨迹2的重合的部分，确定第一图像中的异常区域。在一些可能的实施例中，第四图像可以为前述所示的第二图像或者第三图像，第五图像也可以为前述的第二图像或者第三图像。若第四图像为第二图像时，第五图像为第三图像。

[0078] 另外，本申请实施例在一些实施例中，为了提高定位异常区域的准确性，可以控制模组沿着多个方向如以拍摄第一图像的位置为起始位置，向其第一移动角度如左和右，以及第二移动角度如上和下，四个方向获取每个方向的图像，以根据至少4张图像中异常点的移动轨迹，确定第一图像中的异常区域，由此，该步骤430具体可以包括：

[0079] 识别多个图像中的第六图像和第七图像，确定至少一个移动的第二点；

[0080] 在至少一个移动的第二点中，确定移动轨迹满足第四预设条件的第二异常点；

[0081] 根据第二异常点在第六图像和第七图像中的第二移动轨迹和第一移动轨迹的连线区域，确定第一图像中的异常区域。

[0082] 举例说明，对比第六图像和第七图像，筛选运动轨迹较大的第二点B。若在第六图像中第二点C的移动轨迹3和第七图像中第二点D的移动轨迹3的相似度大于第二预设相似度，则根据第二异常点在第六图像和第七图像中的第二移动轨迹和第一移动轨迹的连线区域，确定第一图像中的异常区域。

[0083] 为了更好的对上述实施例提供的图像处理方法进行详细说明，本申请实施例结合图5‑图11为例，对申请实施例提供的图像处理方法进行详细说明。

[0084] 如图5所示，该基于多个图像确定第一图像中的异常区域的图像处理方法具体可以包括步骤501‑步骤540。

[0085] 步骤510，接收用户拍摄第一图像的第一输入。

[0086] 这里，如图6所示，为用户拍摄的当前图像即第一图像记作img.ori，其第一图像中包括异常光斑。

[0087] 步骤520，响应于第一输入，对第一图像中至少一个区域进行测光，确定至少一个区域中的目标区域的亮度值是否大于或者等于第二预设阈值。

[0088] 这里，在至少一个区域中的目标区域的亮度值大于或者等于第二预设阈值的情况下，确定第一图像中包括点光源，执行步骤530。

[0089] 在至少一个区域中的目标区域的亮度值小于第二预设阈值的情况下，确定第一图像中未包括点光源，正常拍照。

[0090] 步骤530，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像。

[0091] 其中，电子设备控制拍摄模组以拍摄第一图像的位置为起始位置，如图7所示，向平行于地平线的方向即向左转动a角度，记录图像信息img.left；如图8所示，回到起始位置后再向右转动a角度，记录图像信息img.right。接着，电子设备控制拍摄模组以拍摄第一图像的位置为起始位置，如图9所示，向垂直于地平线的方向即向上转动a角度，记录图像信img.up；如图10所示，回到起始位置后再向下转动a角度，记录图像信息img.down。

[0092] 步骤540，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0093] 其中，将转动过后的四个图像中的异常光斑位置1、异常光斑位置2、异常光斑位置3和异常光斑位置4和第一图像中异常光斑进行对比，如图11所示，将其异常光斑的移动轨迹连线，即将异常光斑位置2和异常光斑位置3进行连线，以及将异常光斑位置4和异常光斑位置进行连线，两次连线区域的重叠部分即为第一图像中异常光斑位置5所在的区域。

[0094] 步骤550，移除第一图像中的异常区域，得到待填充图像。

[0095] 步骤560，对待填充图像中的空白区域进行填充，得到待显示图像，以便向用户显示不包括异常光斑的图像。

[0096] 其中，可以通过上述四个图像中任意个图像中与空白区域对应的区域，对待填充图像中的空白区域像进行填充，得到待显示图像。

[0097] 或者，可以通过图像处理方式，采用第一图像中其他的与其对空白区域像进行填充，得到待显示图像。

[0098] 综上，在本申请实施例中，通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0099] 需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理的方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

[0100] 基于相同的发明构思，本申请还提供了一种图像处理装置。具体结合图12进行详细说明。

[0101] 图12为本申请实施例提供的一种图像处理装置的结构示意图。

[0102] 如图12所示，该图像处理装置120应用于电子设备，具体可以包括：

[0103] 接收模块1201，用于接收拍摄第一图像的第一输入；

[0104] 控制模块1202，用于在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同；

[0105] 处理模块1203，用于根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0106] 由此，可以通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0107] 下面对该图像处理装置120进行详细说明，具体如下所示：

[0108] 本申请实施例在一些实施例中，控制模块1202具体可以用于，在多条移动控制线包括第一移动控制线和第二移动控制线，多个图像包括第二图像和第三图像的情况下，控制拍摄模组沿着第一移动控制线的第一移动方向，获取第二图像；

[0109] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动控制线的第二移动方向，获取第三图像。

[0110] 本申请实施例在另一些实施例中，控制模块1202具体可以用于，在多条移动控制线中每条移动控制线移动拍摄模组的移动角度相同的情况下，控制拍摄模组沿着第一移动方向和目标移动角度，获取第二图像；

[0111] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动方向和目标移动角度，获取第三图像。

[0112] 本申请实施例在又一些实施例中，控制模块1202具体可以用于，在多条移动控制线中每条移动控制线移动拍摄模组的移动角度不同，且每条移动控制线移动拍摄模组的移动角度满足第二预设条件的情况下，控制拍摄模组沿着第一移动方向和第一移动角度，获取第二图像；

[0113] 控制拍摄模组复位至拍摄第一图像的位置后，控制拍摄模组沿着第二移动方向和第二移动角度，获取第三图像；

[0114] 第一移动角度和第二移动角度之间的差值满足第一预设阈值。

[0115] 本申请实施例在一些实施例中，本申请实施例提供的处理模块1203具体可以用于，识别多个图像中第四图像和第五图像，确定至少一个移动的第一点；

[0116] 在第一点中，确定移动轨迹满足第三预设条件的第一异常点；

[0117] 根据第一异常点在第四图像和第五图像中的第一移动轨迹，确定第一图像中的异常区域。

[0118] 基于此，本申请实施例提供的图像处理装置120还可以包括识别模块、第一确定模块和第二确定模块。其中，识别模块，用于识别多个图像中的第六图像和第七图像，确定至少一个移动的第二点；第一确定模块，用于在第二点中，确定移动轨迹满足第四预设条件的第二异常点；第二确定模块，用于根据第二异常点在第六图像和第七图像中的第二移动轨迹和第一移动轨迹的连线区域，确定第一图像中的异常区域。

[0119] 本申请实施例在一些实施例中，本申请实施例提供的图像处理装置120还可以包括移除模块和填充模块；其中，移除模块，用于移除第一图像中的异常区域，得到待填充图像；填充模块，用于根据第五图像和第四图像，对待填充图像中的空白区域像进行填充，得到待显示图像。

[0120] 本申请实施例在一些实施例中，本申请实施例提供的图像处理装置120还可以包括检测模块和第三确定模块。其中，检测模块，用于对第一图像中至少一个区域进行测光；第三确定模块，用于在至少一个区域中的目标区域的亮度值大于或者等于第二预设阈值的情况下，确定第一图像满足第一预设条件。

[0121] 本申请实施例在一些实施例中，本申请实施例提供的图像处理装置120还可以包括第四确定模块和第五确定模块。其中，第四确定模块，用于确定拍摄第一图像的曝光刻度值；第五确定模块，用于在曝光刻度值大于或者等于第三预设阈值的情况下，确定第一图像满足第一预设条件。

[0122] 本申请实施例中的图像处理装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra‑mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

[0123] 本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

[0124] 本申请实施例提供的图像处理装置能够实现图1至图11的方法实施例实现的各个过程，为避免重复，这里不再赘述。

[0125] 综上，在本申请实施例中，通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0126] 可选的，如图13所示，本申请实施例还提供一种电子设备1300，包括处理器1301，存储器1302，存储在存储器1302上并可在处理器1301上运行的程序或指令，该程序或指令被处理器1301执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

[0127] 需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

[0128] 图14为本申请实施例提供的一种电子设备的硬件结构示意图。

[0129] 该电子设备1400包括但不限于：射频单元1401、网络模块1402、音频输出单元1403、输入单元1404、传感器1405、显示单元1406、用户输入单元1407、接口单元1408、存储器1409、处理器1410以及拍摄模组1411等部件。

[0130] 本领域技术人员可以理解，电子设备1400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

[0131] 在本申请实施例中，用户输入单元1407，用于接收拍摄第一图像的第一输入；处理器1410，用于响应于第一输入，在第一图像满足第一预设条件的情况下，控制拍摄模组按照多条移动控制线的移动方向，获取多个图像，多条移动控制线中每条移动控制线控制拍摄模组的移动方向不同；以及，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。

[0132] 由此，通过控制拍摄模组沿着多条不同移动方向的移动控制线，获取多个图像。然后，根据多个图像中异常点的移动轨迹，确定第一图像中的异常区域。可以有效利用光学特性即不同方向拍摄图像的光线不同，识别多个图像中的异常点，根据多个图像中的异常点的移动轨迹对第一图像中的异常区域如异常光斑进行定位，以便为后期消除异常光斑，为提高成像质量提供了可能。

[0133] 应理解的是，输入单元1404可以包括图形处理器(Graphics Processing Unit，GPU)14041和麦克风14042，图形处理器14041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1406可包括显示面板14061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板14061。用户输入单元1407包括触控面板14071以及其他输入设备14072。触控面板14071，也称为触摸屏。触控面板14071可包括触摸检测装置和触摸控制器两个部分。其他输入设备14072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1409可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1410中。本申请实施例中的拍摄模组1411包括摄像头透镜模组和图像传感器如CMOS图像传感器。摄像头透镜模组设置在保护镜和图像传感器之间，用于拍摄图像。

[0134] 本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

[0135] 其中，处理器为上述实施例中的电子设备中的处理器。其中，可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

[0136] 另外，本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

[0137] 应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

[0138] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

[0139] 此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

[0140] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。

[0141] 上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。