图像处理方法及装置、计算机可读介质、电子设备

摘要

本公开涉及图像处理技术领域，具体涉及一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种电子设备。方法包括：响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对第一摄像组件和第二摄像组件进行同步；以及获取所述第一摄像组件对当前场景的第一曝光参数，并基于第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。所述方法可以保证两摄像组件的输出图像的拍摄效果保持一致，进而保证最终输出的背景虚化图像具有较高的图像质量。

权利要求

1.一种图像处理方法，其特征在于，包括：

响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步；以及获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；

所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像，包括：对所述第一图像和第二图像进行特征点匹配以对齐所述第一图像和第二图像；根据对齐后的所述第一图像和第二图像计算所述第一摄像组件和第二摄像组件的视差值，以基于所述视差值计算各特征点的深度数据；基于所述深度数据构建深度图像；根据所述深度图像对所述第一图像进行图像分割以获取前景图像和背景图像；对所述背景图像进行虚化处理以获取虚化背景图像，并将所述虚化背景图像和所述前景图像进行图像融合，以获取所述当前场景对应的虚化图像；

基于所述前景图像的区域边界和所述虚化背景图像的区域边界对所述虚化图像进行区域划分，以获取所述前景图像与虚化背景图像之间的虚化过渡区域；

按预设规则对所述虚化过渡区域进行图像质量评估，并在评估结果低于预设要求时，对所述虚化过渡区域进行优化处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一摄像组件和第二摄像组件进行同步，包括：基于所述第一摄像组件的状态信息向所述第二摄像组件发送同步控制信号，以使所述第二摄像组件根据所述同步控制信号与所述第一摄像组件同步。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像和第二图像进行特征点匹配以对齐所述第一图像和第二图像，包括：在空间坐标系中根据所述第一摄像组件、第二摄像组件和目标点构建极平面；

分别获取所述第一图像、第二图像与所述极平面相交的极线；

基于所述极线确定所述第一图像中特征点对应的所述第二图像中的特征点，以对齐所述第一图像和第二图像。

4.根据权利要求1所述的方法，其特征在于，所述按预设规则对所述虚化过渡区域进行图像质量评估，并在评估结果低于预设要求时，对所述虚化过渡区域进行优化处理，包括：对所述虚化过渡区域进行区域划分以获取多个子过渡区域，并分别对各所述子过渡区进行图像质量评估；

在所述子过渡区域的评估结果低于预设要求时，对所述子过渡区域执行平滑处理以优化所述子过渡区域。

5.根据权利要求3所述的方法，其特征在于，所述对齐所述第一图像和第二图像前，所述方法还包括：对所述第一图像进行尺寸变换以将原始尺寸的第一图像变换为目标尺寸的第一图像；

以及

在获取所述虚化图像后，将所述虚化图像进行尺寸变换以获取原始尺寸的所述虚化图像。

6.一种图像处理装置，其特征在于，包括：

同步执行模块，用于响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步；以及参数查询模块，用于获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；

参数执行模块，用于所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像；

特征点匹配模块，用于对所述第一图像和第二图像进行特征点匹配以对齐所述第一图像和第二图像；

深度数据计算模块，用于根据对齐后的所述第一图像和第二图像计算所述第一摄像组件和第二摄像组件的视差值，以基于所述视差值计算各特征点的深度数据；

深度图像构建模块，用于基于所述深度数据构建深度图像；

图像分割模块，用于根据所述深度图像对所述第一图像进行图像分割以获取前景图像和背景图像；

图像融合模块，用于对所述背景图像进行虚化处理以获取虚化背景图像，并将所述虚化背景图像和所述前景图像进行图像融合，以获取所述当前场景对应的虚化图像；

虚化过渡区域划分模块，用于基于所述前景图像的区域边界和所述虚化背景图像的区域边界对所述虚化图像进行区域划分，以获取所述前景图像与虚化背景图像之间的虚化过渡区域；

优化模块，用于按预设规则对所述虚化过渡区域进行图像质量评估，并在评估结果低于预设要求时，对所述虚化过渡区域进行优化处理。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的图像处理方法。

说明书

图像处理方法及装置、计算机可读介质、电子设备

技术领域

[0001] 本公开涉及图像处理技术领域，具体涉及一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种电子设备。

背景技术

[0002] 在拍摄照片时，为了突出拍照的主体，可以对背景区域进行虚化处理，例如利用“人像模式”进行虚化背景的拍照。由于受到硬件设备的限制，手机、平板电脑等智能移动终端设备一般通过图像处理算法实现对背景的虚化处理，例如基于双目立体视觉匹配算法。

[0003] 基于双目立体视觉匹配算法对输入图像的质量要求非常高，当输入图像不准确时，容易导致特征点匹配错误进而导致深度信息计算不准确，从而导致虚化图像出现误虚、漏虚等问题。

[0004] 需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

[0005] 本公开的目的在于提供一种图像处理方法、一种图像处理装置、一种计算机可读介质以及一种电子设备，能够提升虚化图像的图像质量。

[0006] 本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

[0007] 根据本公开的方面，提供一种图像处理方法，包括：

[0008] 响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步；以及

[0009] 获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；

[0010] 所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。

[0011] 根据本公开的第二方面，提供一种图像处理装置，包括：

[0012] 同步执行模块，用于响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步；以及

[0013] 参数查询模块，用于获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；

[0014] 参数执行模块，用于所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。

[0015] 根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。

[0016] 根据本公开的第四方面，提供一种电子设备，包括：

[0017] 一个或多个处理器；

[0018] 存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的图像处理方法。

[0019] 本公开的一种实施例所提供的图像处理方法，通过响应用户的第一触发操作首先对第一摄像组件和第二摄像组件执行同步操作，使得两摄像组件可以同步采集当前场景的同一帧图像，保持图像采集的同步性和一致性。另外，通过预先配置两摄像组件曝光参数之间对应关系的预设参数表，并实时的根据第一摄像组件的当前曝光参数调整第二摄像组件的曝光参数，从而使得两摄像组件的输出图像的拍摄效果可以保持一致，具有相同的、较高的图像质量，进而保证最终输出的背景虚化图像具有较高的图像质量，提升背景虚化效果。

[0020] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0021] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0022] 图1示意性示出本公开示例性实施例中一种图像处理方法的流程示意图；

[0023] 图2示意性示出本公开示例性实施例中一种构建虚化图像方法的流程示意图；

[0024] 图3示意性示出本公开示例性实施例中一种特征点匹配方法的示意图；

[0025] 图4示意性示出本公开示例性实施例中一种深度信息计算的示意图；

[0026] 图5示意性示出本公开示例性实施例中一种第一摄像组件采集的第一图像的示意图；

[0027] 图6示意性示出本公开示例性实施例中第一图像对应的深度图像示意图；

[0028] 图7示意性示出本公开示例性实施例中融合处理后虚化图像的示意图；

[0029] 图8示意性示出本公开示例性实施例中一种虚化过渡区域示意图；

[0030] 图9示意性示出本公开示例性实施例中一种虚化过渡区域优化处理后的效果示意图；

[0031] 图10示意性示出本公开示例性实施例中一种图像处理装置的组成示意图；

[0032] 图11示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。

具体实施方式

[0033] 现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

[0034] 此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

[0035] 现有的相机，例如单反相机可以通过大光圈拍出背景虚化效果的图像。对于手机、平板电脑等电子设备，因为受到设备厚度的限制，无法放入专业相机的镜头，各电子设备的摄像头大多采用固定光圈，无法利用硬件设备进行光学变焦并直接拍出类似单反的背景虚化效果的图片，需要借助图像处理算法实现对背景的虚化处理。例如，基于双目立体视觉匹配算法。但这样的算法对双摄像头的输入图像的质量要求非常高，当输入图像的质量较低时，容易导致无法获取准确的深度信息，导致虚化过程出现误虚、漏虚等问题。比如两个摄像头捕捉的图像出现不匹配、或者两张图片亮度不一致、又或者输入图轮廓清晰度较差等，都有可能直接导致背景虚化做的不准确。

[0036] 针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种图像处理方法。参考图1中所示，上述的图像处理方法可以包括以下步骤：

[0037] S11，响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步；

[0038] S12，获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数；

[0039] S13，所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。

[0040] 本示例实施方式所提供的图像处理方法中，一方面，通过响应用户的第一触发操作首先对第一摄像组件和第二摄像组件执行同步操作，使得两摄像组件可以同步采集当前场景的同一帧图像，保持图像采集的同步性和一致性。另一方面，通过预先配置两摄像组件曝光参数之间对应关系的预设参数表，并实时的根据第一摄像组件的当前曝光参数调整第二摄像组件的曝光参数，从而使得两摄像组件的输出图像的拍摄效果可以保持一致，具有相同的、较高的图像质量，进而保证最终输出的背景虚化图像具有较高的图像质量，提升背景虚化效果。

[0041] 下面，将结合附图及实施例对本示例实施方式中的图像处理方法的各个步骤进行更详细的说明。

[0042] 步骤S11，响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步。

[0043] 本示例实施方式中，上述的图像处理方法可以应用于配置有至少两个摄像组件的电子设备。电子设备可以是手机、平板电脑等移动智能终端设备。电子设备可以装配有两个摄像组件，例如一具有较高像素的主摄像头，和一广角摄像头。或者，也可以是装配有三、四或五个摄像组件；例如，一具有较高像素的主摄像头、一景深摄像头、一微距摄像头、一广角摄像头以及一黑白摄像头等组合形式。

[0044] 本公开的以下实施例以一主摄像头、一广角摄像头为例对图像处理防范进行说明。其中，上述的第一摄像组件可以是主摄像头，第二摄像组件可以是广角摄像头。

[0045] 上述的第一触发操作可以是用户在终端开启并进入相机应用程序的操作，或者是进入背景虚化拍摄模式的触控操作。在识别到用户的触发操作后，便可以启动第一摄像组件和第二摄像组件。或者，在终端的摄像组件数量大于三时，还可以在识别到用户的触发操作后，首先启动第一摄像组件，并对第一摄像组件采集的当前场景的图像进行识别，获取当前的场景模式，并基于该场景模式启动对应的另一摄像组件作为第二摄像组件。

[0046] 在将两摄像组件启动之后，便可以对两摄像组件进行同步。具体来说，电子设备可以根据第一摄像组件的当前状态信息向第二摄像组件发送同步控制信号。当第二摄像组件接收到该同步控制信号后，便可以根据该同步控制信号与第一摄像组件实现硬件上的帧同步。保证两个摄像组件同时采集图像，保证在一个时刻捕捉到同一个画面。举例来说，同步控制信号中可以包括时钟信号或者定时任务信号。当开始拍摄背景虚化图像时，第一摄像组件对第二摄像组件发起同步信号，第二摄像组件收到同步信号后，两个摄像组件同时采集图像出图。

[0047] 步骤S12，获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数。

[0048] 本示例实施方式中，由于第一摄像组件和第二摄像组件本身存在感光性能、传感器差异等硬件设备的差别，在拍摄同一场景时，采集图像结果可能存在一定的差异，例如，两图像的亮度不同等等。或者，在拍摄相同场景时，即便使用相同的拍摄参数，也可能导致最终输出的采集图像效果不同。为了保证两摄像组件采集图像具有相同的拍摄质量和效果，可以预先根据两摄像组件的硬件特点、成像特性配置两摄像组件之间的参数表。该参数表中可以记载第一摄像组件和第二摄像组件之间的拍摄参数的对应关系。其中，参数表中可以包含快门速度、曝光、亮度、感光度、白平衡、色温等参数。

[0049] 具体来说，在背景虚化拍摄模式下，电子设备可以读取第一摄像组件对于当前场景下的第一曝光参数。并利用该第一曝光参数检索预设参数表，从而获取当前场景下对应的第二曝光参数。从而实现两摄像组件的AE(Auto exposure，自动曝光)同步，确保曝光时间、帧率等参数一致，最终要保证两张图片输出的EV亮度值一致。

[0050] 步骤S13，所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。

[0051] 本示例实施方式中，在确定在当前时刻、当前场景下，第一摄像组件的第一曝光参数、第二摄像组件对应的第二曝光参数后，便可以对第一摄像组件执行第一曝光参数，同时对第二摄像组件执行第二曝光参数，使得第一摄像组件、第二摄像组件同时针对当前场景进行图像的采集，获取第一图像和第二图像。

[0052] 具体来说，参考图2所示，基于所述第一图像和第二图像构建所述当前场景对应的虚化图像可以包括：

[0053] 步骤S21，对所述第一图像和第二图像进行特征点匹配以对齐所述第一图像和第二图像。

[0054] 本示例实施方式中，可以基于双目测距的方法进行深度信息计算。首先可以建立一基于空间坐标系，在空间坐标系中根据所述第一摄像组件、第二摄像组件和目标点构建极平面；并分别获取所述第一图像、第二图像与所述极平面相交的极线；再基于所述极线确定所述第一图像中特征点对应的所述第二图像中的特征点，以对齐所述第一图像和第二图像。

[0055] 举例来说，参考图3所示，C1，C2是两个相机，P是空间中的一个点，例如被拍摄的当前场景中的任意一点。点P和两个相机中心点C1、C2形成了三维空间中的一个平面PC1C2，作为极平面(Epipolar plane)。极平面和两个相机采集的两幅图像m1、m2分别相交于两条直线，这两条直线称为极线(Epipolar line)。点P在相机C1中的成像点是P1，在相机C2中的成像点是P2，根据极线约束(epipolar constraint)的定义，我们可以在图中直观的观察到P2一定在极线上。因此，可以沿着极线搜索和P1的对应点P2。

[0056] 利用上述的方法便可以对将第一图像和第二图像中的各特征点或像素点进行匹配，进而使得两图像对齐。此外，由于单个特征点在匹配时容易受到噪点、视角等因素的影响，会产生误差，因此在极线约束的搜索基础上可以适当放宽特征点的搜索范围，增加匹配鲁棒性，提升特征点匹配的准确性。

[0057] 步骤S22，根据对齐后的所述第一图像和第二图像计算所述第一摄像组件和第二摄像组件的视差值，以基于所述视差值计算各特征点的深度数据。

[0058] 本示例实施方式中，在将第一图像和第二图像对齐后，可以匹配空间一个点在两幅图像分别成像的位置。利用对齐后的第一图像和第二图像计算是差值。

[0059] 举例来说，参考图4所示，P是待测物体上的某一点，例如当前采集图像中人物、动物或某一物体上的任意一点；f是相机焦距，OR与OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’，Z为深度信息。b)P到点P’的距离为dis，公式可以包括：

[0060] dis＝B‑(XR‑XT)

[0061] 根据相似三角形定理可以得到如下公式：

[0062]

[0063] 通过公式变换可以获取深度信息Z，公式可以包括：

[0064]

[0065] 其中，f为相机焦距，B是双摄像头baseline长度，这些都是已知信息。因此，只需要计算双摄像头的视差Xr‑Xt，即可求得深度信息。

[0066] 步骤S23，基于所述深度数据构建深度图像。

[0067] 本示例实施方式中，根据上述步骤中获取的各特征点的深度信息Z，输出具有一定分辨率大小的深度图像。例如，深度图像可以为8bit的灰度图像。具体来说，可以首先对得到的各特征点的深度信息Z做去均值的归一化处理，然后映射到[0，255]的范围内，映射后的值为灰度图的像素值，据此可以得到第一图像和第二图像对应的深度图像。例如，参考图5、图6所示，图6为图5的深度图像。

[0068] 步骤S24，根据所述深度图像对所述第一图像进行图像分割以获取前景图像和背景图像。

[0069] 本示例实施方式中，在获取深度图像后，结合对焦平面信息，确定深度图像汇总主体深度值X。据此对第一摄像组件采集的第一图像进行主体和背景的分割。例如，将深度信息小于X区域作为前景区域，深度信息大于X的区域作为背景。从而实现对第一图像中前景区域和背景区域的准确分割。

[0070] 步骤S25，对所述背景图像进行虚化处理以获取虚化背景图像，并将所述虚化背景图像和所述前景图像进行图像融合，以获取所述当前场景对应的虚化图像。

[0071] 本示例实施方式中，在对第一图像中前景区域和背景区域分割后，便可以对背景区域进行虚化处理，生成虚化处理后的虚化背景图像。再将前景图像和虚化背景图像进行图像融合，将融合处理后的图像输出，得到虚化图像。将该虚化图像显示在预览界面，或响应用户的操作输出当前的虚化图像作为拍摄图像。例如，参考图7所述的图像，为融合处理后的虚化图像。

[0072] 举例来说，对背景图像的虚化处理，以及对虚化背景图像和前景图像的融合处理采用现有算法即可实现。例如，可以针对背景图像进行由近至远虚化程度逐渐增加的方法，如利用高斯模糊算法等算法进行虚化处理。此外，可以利用高斯金字塔、拉普拉斯金字塔或者基于加权平均的融合算法等进行图像融合处理。具体的算法过程采用常规方法即可实现，本公开对此不再赘述。

[0073] 基于上述内容，在本示例实施方式中，获取所述当前场景的虚化图像后，所述方法还包括：

[0074] 步骤S31，基于所述前景图像的区域边界和所述虚化背景图像的区域边界对所述虚化图像进行区域划分，以获取所述前景图像与虚化背景图像之间的虚化过渡区域；

[0075] 步骤S32，按预设规则对所述虚化过渡区域进行图像质量评估，并在评估结果低于预设要求时，对所述虚化过渡区域进行优化处理。

[0076] 在本示例实施方式中，在融合处理生成虚化图像后，还可以对虚化图像划分虚化过渡区域，并对虚化过渡区域的显示效果进行评估，判断是否需要对虚化过渡区域进行优化。举例来说，可以根据前景区域的边界对虚化图像进行虚化过渡区域的划分。例如，以前景区域的边界为路径，向虚化背景区域延伸，按一定大小的窗口沿路径划分虚化过渡区域。其中，虚化过渡区域也可以向前景图像的区域延伸，即虚化过渡区域包含一定比例的前景图像。例如，参考图8所示的虚化图像，前景图像和虚化背景之间具有明显的不自然区域。如图8中所示，虚线为前景图像的边缘。实线区域为划分的虚化过渡区域，其中包含一定比例的前景图像区域。

[0077] 此外，还可以对虚化过渡区域进行子区域划分，得到连续的多个子过渡区域，再对各子过渡区域进行识别和评估，判断各子过渡区域是否包含非正常的纹理、毛刺以及不自然的显示效果。如图8所示，对虚化过渡区域划分为多个连续的子区域。若子过渡区域中包含上述的一种或多种情况，则判断为低于预设要求，便可以对该子过渡区域进行优化，例如进行平滑处理，使得前景图像、子过渡区域图像、虚化背景图像之间平滑过渡。使得虚化效果自然、平滑过渡。如图9所示的优化结果，对虚化过渡区域优化处理后，使得前景图像区域和虚化背景图像区域之间平滑过渡，提升图像质量。通过对主体边缘进行平滑处理，增加虚化过渡带，使得虚化效果自然、平滑过渡。

[0078] 在本公开的其他示例实施方式中，在第一摄像组件获取第一图像后，为了降低处理器运算压力，还可以与第一图像进行尺寸变换，缩小第一图像的尺寸。利用该尺寸缩小后的司仪第一图像进行深度图像的获取、前景图像和背景图像和划分以及图像融合的处理。在获取融合后的虚化图像后，再对虚化图像进行尺寸变换，使虚化图像的尺寸位于第一图像对应的原始尺寸，从而保证输出图像的显示效果。

[0079] 本公开实施例所提供的图像处理方法，通过在启动两摄像组件后首先使两摄像组件进行同步，使得两摄像组件实现硬件的帧同步，保证同一时刻两个摄像头同时采集相同的图像并出图。通过预先配置两摄像组件之间曝光参数的对应关系的参数表，在确定第一摄像组件当前的第一曝光参数后，可以查询参数表来确定当前时刻第二摄像组件的第二曝光参数，实现两摄像组件的AE同步，确保两摄像组件曝光时间、曝光位置和帧率一致，最终保证两张图片输出的EV亮度值一致。从而有效的实现对两摄像组件输出图像的质量的提升，有效控制了两摄像组件输出图的质量。相较于传统方法，极大保证第一摄像头和第二摄像头图像采集的一致性，为虚化后期做特征点匹配提供了可靠的输入源，输入图的一致性可以极大降低虚化误虚、漏虚的概率。其次在虚化处理中期特征点匹配时，扩大了极线搜索的范围，大大增加匹配的鲁棒性，使得深度图计算更加准确，尤其是暗光下虚化效果提升较为明显。最后在虚化处理后期时，对前景图像边缘增加虚化过渡带，使得虚化效果更加自然、平滑过渡，对背景纹理比较复杂的场景，虚化效果提升明显。本公开提供的方法从虚化流程前期、中期、后期的流程进行改善和优化，极大提升了背景虚化的效果，提高了虚化可用场景和范围，显著增强了虚化的图像质量。相对于用户可以有更好的用户体验，更少的场景限制，获得更好更自然的虚化图像。

[0080] 需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

[0081] 进一步的，参考图10所示，本示例的实施方式中还提供一种图像处理装置100，包括：同步执行模块101、参数查询模块102和参数执行模块103。其中，

[0082] 所述同步执行模块101可以用于响应于第一触发操作，启动第一摄像组件和第二摄像组件，并对所述第一摄像组件和第二摄像组件进行同步。

[0083] 所述参数查询模块102可以用于获取所述第一摄像组件对当前场景的第一曝光参数，并基于所述第一曝光参数查询预设参数表，以获取所述第二摄像组件对应的第二曝光参数。

[0084] 所述参数执行模块103可以用于所述第一摄像组件执行第一曝光参数以获取第一图像、所述第二摄像组件执行第二曝光参数以获取第二图像，以基于所述第一图像和第二图像构建所述当前场景对应的虚化图像。

[0085] 在本公开的一种示例中，所述同步执行模块101可以包括：同步信息处理单元(图中未示出)。

[0086] 所述同步信息处理单元可以用于基于所述第一摄像组件的状态信息向所述第二摄像组件发送同步控制信号，以使所述第二摄像组件根据所述同步控制信号与所述第一摄像组件同步。

[0087] 在本公开的一种示例中，所述装置100可以包括：特征点匹配模块、深度数据计算模块、深度图像构建模块、图像分割模块和图像融合模块(图中未示出)。其中，[0088] 所述特征点匹配模块可以用于对所述第一图像和第二图像进行特征点匹配以对齐所述第一图像和第二图像。

[0089] 所述深度数据计算模块可以用于根据对齐后的所述第一图像和第二图像计算所述第一摄像组件和第二摄像组件的视差值，以基于所述视差值计算各特征点的深度数据。

[0090] 所述深度图像构建模块可以用于基于所述深度数据构建深度图像。

[0091] 所述图像分割模块可以用于根据所述深度图像对所述第一图像进行图像分割以获取前景图像和背景图像。

[0092] 所述图像融合模块可以用于对所述背景图像进行虚化处理以获取虚化背景图像，并将所述虚化背景图像和所述前景图像进行图像融合，以获取所述当前场景对应的虚化图像。

[0093] 在本公开的一种示例中，所述特征点匹配模块可以包括：极平面构建单元单元、极线构建单元、特征点匹配单元(图中未示出)。其中，

[0094] 所述极平面构建单元可以用于在空间坐标系中根据所述第一摄像组件、第二摄像组件和目标点构建极平面。

[0095] 所述极线构建单元可以用于分别获取所述第一图像、第二图像与所述极平面相交的极线。

[0096] 所述特征点匹配单元可以用于基于所述极线确定所述第一图像中特征点对应的所述第二图像中的特征点，以对齐所述第一图像和第二图像。

[0097] 在本公开的一种示例中，所述装置100还可以包括：虚化过渡区域划分模块、优化模块(图中未示出)。其中，

[0098] 所述虚化过渡区域划分模块可以用于基于所述前景图像的区域边界和所述虚化背景图像的区域边界对所述虚化图像进行区域划分，以获取所述前景图像与虚化背景图像之间的虚化过渡区域。

[0099] 所述优化模块可以用于按预设规则对所述虚化过渡区域进行图像质量评估，并在评估结果低于预设要求时，对所述虚化过渡区域进行优化处理。

[0100] 在本公开的一种示例中，所述优化模块可以包括：子过渡区域划分单元、子过渡区域优化单元(图中未示出)。其中，

[0101] 所述子过渡区域划分单元可以用于对所述虚化过渡区域进行区域划分以获取多个子过渡区域，并分别对各所述子过渡区进行图像质量评估。

[0102] 所述子过渡区域优化单元可以用于在所述子过渡区域的评估结果低于预设要求时，对所述子过渡区域执行平滑处理以优化所述子过渡区域。

[0103] 在本公开的一种示例中，所述装置100还可以包括：第一图像变换模块、第二图像变换(图中未示出)。其中，

[0104] 所述第一图像变换模块可以用于对所述第一图像进行尺寸变换以将原始尺寸的第一图像变换为目标尺寸的第一图像。

[0105] 所述第二图像变换模块可以用于在获取所述虚化图像后，将所述虚化图像进行尺寸变换以获取原始尺寸的所述虚化图像。

[0106] 上述的图像处理装置中各模块的具体细节已经在对应的图像处理方法中进行了详细的描述，因此此处不再赘述。

[0107] 应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

[0108] 图11示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

[0109] 需要说明的是，图11示出的电子设备的计算机系统110仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

[0110] 如图11所示，计算机系统110包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read‑Only Memory，ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 
1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。

[0111] 以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

[0112] 特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的系统中限定的各种功能。

[0113] 需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read‑Only Memory，CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

[0114] 附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0115] 描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

[0116] 需要说明的是，作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。

[0117] 此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

[0118] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。