拍摄图像的虚化处理方法和装置

摘要

本发明公开了一种拍摄图像的虚化处理方法和装置，其中，方法包括：向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像；解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息；根据第一景深信息生成前景区域中不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域；删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。由此，可以实现对拍摄人物图像的主动选择，可以对不相关人物进行智能化的删除处理，且对删除后的相关区域进行虚化处理，与图像中的其他区域无缝衔接，图像视觉效果较好。

权利要求

1.一种拍摄图像的虚化处理方法，其特征在于，包括：

向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像；

解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息；

将所述前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物

3D信息，并根据所述不相关人物3D信息确定不相关人物对应的目标区域；

删除所述不相关人物，并对所述不相关人物对应的背景区域和所述目标区域进行虚化处理；

其中，所述根据所述不相关人物3D信息确定不相关人物对应的目标区域，包括：采用相关活体识别技术手段，对前景区域进行活体识别，识别出人物所在区域，将人物所在区域与前景区域的3D信息进行像素匹配，匹配出人物所在区域对应的3D信息，进而，将除了相关人物之外的其他人物对应的3D信息作为不相关人物的3D信息，以根据不相关人物的3D信息确定不相关人物的目标区域。

2.如权利要求1所述的方法，其特征在于，所述结构光源的结构特征，包括：激光条纹、格雷码、正弦条纹、均匀散斑、或者，非均匀散斑。

3.如权利要求1所述的方法，其特征在于，所述对所述不相关人物对应的背景区域和所述目标区域进行虚化处理，包括：确定背景区域的第二景深信息；

根据所述第一景深信息和所述第二景深信息获取虚化程度的基础数值；

根据所述虚化程度的基础数值对所述不相关人物对应的背景区域和所述目标区域进行虚化处理。

4.如权利要求3所述的方法，其特征在于，所述根据所述虚化程度的基础数值对所述不相关人物对应的背景区域和所述目标区域进行虚化处理，包括：根据所述虚化程度的基础数值和所述背景区域的第二景深信息，确定所述背景区域中每个像素的虚化系数；

根据所述虚化程度的基础数值和所述目标区域的景深信息，确定所述目标区域中每个像素的虚化系数；

根据所述背景区域和所述目标区域中每个像素的虚化系数对所述背景区域和所述目标区域进行高斯模糊处理。

5.如权利要求4所述的方法，其特征在于，所述根据所述虚化程度的基础数值和所述背景区域的第二景深信息，确定所述背景区域中每个像素的虚化系数，包括：计算所述虚化程度的基础数值与所述背景区域中每个像素的第二景深信息的乘积，获取所述背景区域中每个像素的虚化系数；

所述根据所述虚化程度的基础数值和所述目标区域的景深信息，确定所述目标区域中每个像素的虚化系数，包括：计算所述虚化程度的基础数值与所述目标区域中每个像素的景深信息的乘积，获取所述目标区域中每个像素的虚化系数。

6.一种拍摄图像的虚化处理装置，其特征在于，包括：

拍摄模块，用于向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像；

生成模块，用于解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息；

匹配模块，用于将所述前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息；

确定模块，用于根据所述不相关人物3D信息确定不相关人物对应的目标区域；

处理模块，用于删除所述不相关人物，并对所述不相关人物对应的背景区域和所述目标区域进行虚化处理；

其中，所述根据所述不相关人物3D信息确定不相关人物对应的目标区域，包括：采用相关活体识别技术手段，对前景区域进行活体识别，识别出人物所在区域，将人物所在区域与前景区域的3D信息进行像素匹配，匹配出人物所在区域对应的3D信息，进而，将除了相关人物之外的其他人物对应的3D信息作为不相关人物的3D信息，以根据不相关人物的3D信息确定不相关人物的目标区域。

7.如权利要求6所述的装置，其特征在于，所述处理模块包括：确定单元，用于确定背景区域的第二景深信息；

获取单元，用于根据所述第一景深信息和所述第二景深信息获取虚化程度的基础数值；

处理单元，用于根据所述虚化程度的基础数值对所述目标区域和所述目标区域进行虚化处理。

8.如权利要求7所述的装置，其特征在于，所述处理单元包括：第一确定子单元，用于根据所述虚化程度的基础数值和所述背景区域的第二景深信息，确定所述背景区域中每个像素的虚化系数；

第二确定单元，用于根据所述虚化程度的基础数值和所述目标区域的景深信息，确定所述目标区域中每个像素的虚化系数；

处理子单元，用于根据所述背景区域和所述目标区域中每个像素的虚化系数对所述背景区域和所述目标区域进行高斯模糊处理。

9.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1-5任一所述的拍摄图像的虚化处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一所述的拍摄图像的虚化处理方法。

说明书

拍摄图像的虚化处理方法和装置

技术领域

[0001] 本发明涉及终端设备拍照技术领域，尤其涉及一种拍摄图像的虚化处理方法和装置。

背景技术

[0002] 随着终端设备技术的不断发展，终端设备中的拍摄功能越来越丰富，用户也越来越习惯于使用终端设备进行拍摄。然而，终端设备所拍摄的场景信息往往较为丰富，包含了各种人物的图像，比如在景区用户留影纪念时，拍摄的图像中往往包含其他游客，因此，亟待一种能够有效屏蔽不相关人物的拍照方式。

发明内容

[0003] 本发明提供一种拍摄图像的虚化处理方法和装置，以解决现有技术中，无法去除拍摄的画面中，不相关人物的技术问题。

[0004] 本发明实施例提供一种拍摄图像的虚化处理方法，包括：向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像；解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息；将所述前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定中不相关人物3D信息，并根据所述不相关人物3D信息确定不相关人物对应的目标区域；删除所述不相关人物，并对所述不相关人物对应的背景区域和所述目标区域进行虚化处理。

[0005] 本发明另一实施例提供一种拍摄图像的虚化处理装置，包括：拍摄模块，用于向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像；生成模块，用于解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息；匹配模块，用于将所述前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息；确定模块，用于根据所述不相关人物3D信息确定不相关人物对应的目标区域；处理模块，用于删除所述不相关人物，并对所述不相关人物对应的背景区域和所述目标区域进行虚化处理。

[0006] 本发明又一实施例提供一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本发明上述实施例所述的拍摄图像的虚化处理方法。

[0007] 本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明上述实施例所述的拍摄图像的虚化处理装置。

[0008] 本发明实施例提供的技术方案可以包括以下有益效果：

[0009] 向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息，将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域，删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。由此，可以实现对拍摄人物图像的主动选择，可以对不相关人物进行智能化的删除处理，且对删除后的相关区域进行虚化处理，与图像中的其他区域无缝衔接，图像视觉效果较好。

附图说明

[0010] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

[0011] 图1是根据本发明一个实施例的拍摄图像的虚化处理方法的流程图；

[0012] 图2(a)是根据本发明一个实施例的结构光测量的场景示意图一；

[0013] 图2(b)是根据本发明一个实施例的结构光测量的场景示意图二；

[0014] 图2(c)是根据本发明一个实施例的结构光测量的场景示意图三；

[0015] 图2(d)是根据本发明一个实施例的结构光测量的场景示意图四；

[0016] 图2(e)是根据本发明一个实施例的结构光测量的场景示意图五；

[0017] 图3(a)是根据本发明一个实施例的准直分束元件的局部衍射结构示意图；

[0018] 图3(b)是根据本发明另一个实施例的准直分束元件的局部衍射结构示意图；

[0019] 图4是根据本发明一个实施例的拍摄图像处理场景示意图；

[0020] 图5是根据本发明一个实施例的拍摄图像的虚化处理装置的结构框图；

[0021] 图6是根据本发明另一个实施例的拍摄图像的虚化处理装置的结构框图；

[0022] 图7是根据本发明又一个实施例的拍摄图像的虚化处理装置的结构框图；

[0023] 以及

[0024] 图8是本发明一实施例提出的终端设备中的图像处理电路的结构示意图。

具体实施方式

[0025] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

[0026] 应当理解的是，在很多应用场景下，用户想要拍摄的画面中，除了包含用户希望拍摄的人物信息外，还包含其他人物信息，如果拍摄画面中包含其他人物信息可能影响照片的美观，甚至会在使用的时候，带来不必要的纠纷，比如侵犯他人肖像权。

[0027] 为了解决上述技术问题，本发明的实施例中，可以主动选择拍摄画面中的人物信息，在保证可以获取到拍摄主体人物信息的基础上，屏蔽其他人物信息，更好的满足了用户的拍照需求。

[0028] 下面参考附图描述本发明实施例的拍摄图像的虚化处理方法和装置。

[0029] 图1是根据本发明一个实施例的拍摄图像的虚化处理方法的流程图。

[0030] 如图1所示，该拍摄图像的虚化处理方法包括：

[0031] 步骤101，向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像。步骤102，解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息。

[0032] 其中，本发明实施例的3D信息包括图像的深度信息、像素位置关系信息等。

[0033] 另外，景深信息是指使被摄物体产生较为清晰影像的最近点至最远点的距离，即被摄物体能清晰成像的空间深度。

[0034] 可以理解，不相关人物相较于拍摄主体用户所在的景深具有较大差距，因此，在本示例中，基于前景区域的景深信息确定出不相关人物所在的区域。

[0035] 需要说明的是，根据应用场景的不同，可采用不同的实施方式获取前景区域的第一景深信息。

[0036] 作为一种可能的实现方式，为了进一步提高确定的敏感区域准确度，基于结构光获取前景区域的第一景深信息，其中，结构光源的结构特征包括激光条纹、格雷码、正弦条纹、均匀散斑、或者，非均匀散斑。

[0037] 在本实施例中，为了使得本领域的技术人员更加清楚的了解，如何根据结构光来获取前景区域的第一景深信息，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理，其中，光栅投影技术属于广义上的面结构光。

[0038] 在使用面结构光投影的时候，如图2(a)所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。

[0039] 具体而言，第一步，编程产生正弦条纹图，因为后续要利用变形条纹图获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差pi/2的条纹，然后将该四幅条纹分时投影到被测物(面具)上，采集到如图2(b)左边的图，同时要采集如图2(b)右边所示的参考面的条纹。

[0040] 第二步，进行相位恢复，由采集到的四幅受调制条纹图计算出被调制相位，这里得到的相位图是截断相位图，因为四步移相算法得到的结果是由反正切函数计算所得，因而被限制在[-pi,pi]之间，也就是说每当其值超过该范围，其又会重新开始。得到的相位主值如图2(c)所示。

[0041] 其中，在第二个步骤下，需要消跳变，即将截断相位恢复为连续相位，如图2(d)所示，左边为受调制的连续相位，右边是参考连续相位。

[0042] 第三步，将受调制的连续相位和参考连续相位相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式(其中相应参数经过标定)，得到如图2(e)所示的待测物体的三维模型。

[0043] 应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述光栅之外，还可是其他任意图案。

[0044] 在本实施例中，可以使用基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕的衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构，或多个凹凸的台阶浮雕结构，基片的厚度大致为l微米，各个台阶的高度不均匀，为0.7微米-0.9微米。图3(a)为本实施例的准直分束元件的局部衍射结构，图3(b)为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。

[0045] 从而，由于普通的衍射元件对光束进行衍射后得到多束衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大，即便是对衍射光进行二次衍射，得到的光束的均匀性也较低，利用此类光束在图像信息处理装置中对物体进行投影，投影效果较差。

[0046] 本实施例中的准直分束元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行图像处理或投影的效果更好，同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且由于是散斑结构光，相对于其他排布均匀的结构光，达到同样的采集效果时，所消耗的电能更低。

[0047] 基于上述描述，在本实施例中，向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位的畸变计算出前景区域的第一景深信息，进而根据第一景深信息生成前景区域的3D信息。

[0048] 步骤103，将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域。

[0049] 可以理解，在实际应用中，使用终端设备的用户为用户本人或者用户的家人或朋友等，因此，使用终端设备拍得的照片中的拍摄主体用户通常为用户本人，或者用户的家人或朋友等。

[0050] 从而，在本发明的实施例中，针对终端设备的数据库中存储的相关人物信息包括用户本人或者用户的家人或朋友信息等，则在获取前景区域的3D信息后，将3D信息与预存的与相关终端设备对应的数据库进行匹配。

[0051] 在本发明的一个实施例中，如果前景区域的3D信息，与预存的与相关终端设备对应的数据库中存储的相关人物信息的匹配度均不大于预设阈值，则认为当前预览图像并不是针对人物的图像，可能仅仅是针对风景的图像，此时判定图像中所有的人物均为不相关人物，从而，根据不相关人物3D信息确定不相关人物对应的目标区域。

[0052] 在本发明的另一个实施例中，如果前景区域的3D信息，存在与预存的与相关终端设备对应的数据库中存储的相关人物信息的匹配度大于预设阈值的人物信息，则认为当前预览图像中包含相关人物，从而判定图像中除该相关人物之外的人物均为不相关人物，从而，根据不相关人物3D信息确定不相关人物对应的目标区域。

[0053] 需要说明的是，根据应用场景的不同，可采用不同的方式，实现根据不相关人物的3D信息确定不相关人物对应的目标区域：

[0054] 第一种示例，由于人物和其他物体的3D信息具有较大差距，根据前景区域的3D信息识别出人物对应的区域，进而，将除了相关人物之外的其他人物对应的区域作为目标区域。

[0055] 第二示例，结合其他人物识别手段确定出人物所在区域，比如，根据前景区域的3D信息建立前景区域的轮廓信息，将前景区域的轮廓信息与人物的轮廓信息进行比对，将人体轮廓覆盖的区域作为人物对应的区域，进而，将除了相关人物之外的其他人物对应的区域作为目标区域。

[0056] 又比如，采用相关活体识别技术手段，对前景区域进行活体识别，识别出人物所在区域，将人物所在区域与前景区域的3D信息进行像素匹配，匹配出人物所在区域对应的3D信息，进而，将除了相关人物之外的其他人物对应的3D信息作为不相关人物的3D信息，以根据不相关人物的3D信息确定不相关人物的目标区域。

[0057] 需要强调的是，上述实施例仅仅以相关人物为终端设备对应的用户本人或者用户的家人或朋友等为例进行说明，在实际应用中，该相关人物可以是用户自定义的其他人物，比如其感兴趣的某个明星等，或者，可以是人物特征满足某些预设条件的人物，比如身高超过A的用户、做出指定动作的用户等，无论预存的数据库中的人物信息是哪一类用户，其实现原理类似，在此不再赘述。

[0058] 步骤104，删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。

[0059] 可以理解，在确定不相关人物对应的目标区域后，删除不相关人物，但是仅仅删除不相关人物，可能会导致拍摄的图像中不相关人物原来所在的目标区域，与其他区域的衔接较为突兀，如图4左图所示，当预览画面中包含不相关人物A时，由于A遮挡住了一部分建筑物B，则直接删除不相关人物A所在区域，则如图4右图所示，建筑物B显示不完整，与整个图像的衔接较为突兀，

[0060] 影响图像的整体美观。

[0061] 因此，在本发明实施例中，为了实现不相关人物对应的背景区域与整个图像的无缝衔接，删除不相关人物后，对不相关人物对应的背景区域和不相关人物所在的目标区域进行虚化处理。

[0062] 需要说明的是，根据具体应用场景的不同，可采用不同的方式对不相关人物对应的背景区域和目标区域进行虚化处理，举例说明如下：

[0063] 作为一种可能的实现方式，确定背景区域的第二景深信息，根据第一景深信息和第二景深信息获取虚化程度的基础数值，根据虚化程度的基础数值对目标区域和目标区域进行虚化处理。

[0064] 其中，虚化程度的基础数值为虚化程度的一个基准值，可通过在虚化程度的基础数值的基础上进行运算得到虚化系数，并根据虚化系数对目标区域和背景区域进行虚化。

[0065] 本实施例中，根据第一景深信息和第二景深信息获取虚化程度的基础数值可通过多种方式实现。例如，可分别确定第一景深信息的代表值和第二景深信息的代表值，然后根据第景深信息的代表值和第二景深信息的代表值进行运算得到虚化程度的基础数值。其中，代表值可以包括但不限于平均值，采样值等。得到虚化程度的基础数值所采用的运算方法可包括但不限于计算比值、差值或者基于比值或者差值的进一步乘以或者加上预设值等方式。

[0066] 举例而言，获取第一景深信息的第一平均值以及第二景深信息的第二平均值，计算第一平均值与第二平均值的比值获取虚化程度的基础数值。其中，第一平均值与第二平均值的比值越大，虚化程度的基础数值也越大。

[0067] 其中，在不同的应用场景中，可采用不同的方式实现根据虚化程度的基础数值对不相关人物对应的背景区域和目标区域进行虚化处理，作为一种可能的实现方式，根据虚化程度的基础数值和背景区域的第二景深信息，确定背景区域中每个像素的虚化系数，比如，计算虚化程度的基础数值与背景区域中每个像素的第二景深信息的乘积，获取背景区域中每个像素的虚化系数，计算虚化程度的基础数值与目标区域中每个像素的景深信息的乘积，获取目标区域中每个像素的虚化系数。

[0068] 进而，根据虚化程度的基础数值和目标区域的景深信息，确定目标区域中每个像素的虚化系数，根据背景区域和目标区域中每个像素的虚化系数对背景区域和目标区域进行高斯模糊处理。

[0069] 为了更加清楚的说明本发明实施例的拍摄图像的虚化处理方法，下面结合具体的应用场景进行举例：

[0070] 当前预览图像包含人物A和人物B时，向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像，解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息。

[0071] 进而，将前景区域的3D信息与预存的数据库进行匹配，匹配出A相关人物，则根据用户B的3D信息确定出用户B所在的目标区域，删除用户B所在区域并对用户B所在目标区域和背景区域进行虚化处理，得到处理后的图像中目标区域和原不相关人物所在的背景区域与其他区域无缝连接，处理后的图像视觉效果较好。

[0072] 综上所述，本发明实施例的拍摄图像的虚化处理方法，向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息，将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域，删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。由此，可以实现对拍摄人物图像的主动选择，可以对不相关人物进行智能化的删除处理，且对删除后的相关区域进行虚化处理，与图像中的其他区域无缝衔接，图像视觉效果较好。

[0073] 为了实现上述实施例，本发明还提出一种拍摄图像的虚化处理装置，图5是根据本发明一个实施例的拍摄图像的虚化处理装置的结构框图，如图5所示，该拍摄图像的虚化处理装置包括拍摄模块100、生成模块200、匹配模块300、确定模块400和处理模块500。

[0074] 其中，拍摄模块100，用于向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像。

[0075] 生成模块200，用于解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息。

[0076] 匹配模块300，用于将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息。

[0077] 确定模块400，用于根据不相关人物3D信息确定不相关人物对应的目标区域。

[0078] 处理模块500，用于删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。

[0079] 需要说明的是，根据具体应用场景的不同，处理模块500可采用不同的方式对不相关人物对应的背景区域和目标区域进行虚化处理。

[0080] 在本发明的一个实施例中，如图6所示，在如图5所示的基础上，处理模块500包括确定单元510、获取单元520和处理单元530。

[0081] 其中，确定单元510，用于确定背景区域的第二景深信息。

[0082] 获取单元520，用于根据第一景深信息和第二景深信息获取虚化程度的基础数值。

[0083] 处理单元530，用于根据虚化程度的基础数值对目标区域和目标区域进行虚化处理。

[0084] 具体地，处理单元530在不同的应用场景下，也可采用不同的方式实现根据虚化程度的基础数值对目标区域和目标区域进行虚化处理。

[0085] 作为一种可能的实现方式，如图7所示，在如图6所示的基础上，处理单元530包括第一确定子单元531、第二确定单元532和处理子单元533。

[0086] 其中，第一确定子单元531，用于根据虚化程度的基础数值和背景区域的第二景深信息，确定背景区域中每个像素的虚化系数。

[0087] 第二确定单元532，用于根据虚化程度的基础数值和目标区域的景深信息，确定目标区域中每个像素的虚化系数；

[0088] 处理子单元533，用于根据背景区域和目标区域中每个像素的虚化系数对背景区域和目标区域进行高斯模糊处理。

[0089] 上述拍摄图像的虚化处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将拍摄图像的虚化处理装置按照需要划分为不同的模块，以完成上述拍摄图像的虚化处理装置的全部或部分功能。

[0090] 需要说明的是，本发明实施例的拍摄图像的虚化处理方法也适用于本发明实施例的拍摄图像的虚化处理装置，其实现原理类似，在此不再赘述。

[0091] 综上所述，本发明实施例的拍摄图像的虚化处理装置，向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息，将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域，删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。由此，可以实现对拍摄人物图像的主动选择，可以对不相关人物进行智能化的删除处理，且对删除后的相关区域进行虚化处理，与图像中的其他区域无缝衔接，图像视觉效果较好。

[0092] 为实现上述目的，本发明还提出一种终端设备。上述终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8是本发明一实施例提出的终端设备中的图像处理电路的结构示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

[0093] 如图8所示，图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140。成像设备1110可包括具有一个或多个透镜1112、图像传感器1114的照相机和结构光投射器1116。结构光投射器1116将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器1130，由ISP处理器1130对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1114也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。其中，以散斑结构光为例，ISP处理器1130对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

[0094] 在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1130处理的一组原始图像数据。

[0095] ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

[0096] ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接存储器存取)特征。

[0097] 当接收到原始图像数据时，ISP处理器1130可进行一个或多个图像处理操作。

[0098] 在ISP处理器1130获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

[0099] 三维图像的图像数据可发送给图像存储器1120，以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1130的输出还可发送给图像存储器1120，且显示器1160可从图像存储器
1120读取图像数据。在一个实施例中，图像存储器1120可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1130的输出可发送给编码器/解码器1150，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。

[0100] ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备1110的控制参数。

[0101] 以下为运用图8中图像处理技术实现拍摄图像的虚化处理方法的步骤：

[0102] 步骤101’，向预览图像的前景区域投射结构光源，并拍摄所述结构光源经过所述前景区域调制的结构光图像。

[0103] 步骤102’，解调所述结构光图像中变形位置像素对应的相位，根据所述相位生成所述前景区域的第一景深信息，根据所述第一景深信息生成所述前景区域的3D信息。

[0104] 步骤103’，将所述前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据所述不相关人物3D信息确定不相关人物对应的目标区域。

[0105] 步骤104’，删除所述不相关人物，并对所述不相关人物对应的背景区域和所述目标区域进行虚化处理。

[0106] 需要说明的是，前述对拍摄图像的虚化处理方法实施例的解释说明也适用于本实施例的终端设备，其实现原理类似，此处不再赘述。

[0107] 综上所述，本发明实施例的终端设备，向预览图像的前景区域投射结构光源，并拍摄结构光源经过前景区域调制的结构光图像，解调结构光图像中变形位置像素对应的相位，根据相位生成前景区域的第一景深信息，根据第一景深信息生成前景区域的3D信息，将前景区域的3D信息与预存的数据库进行匹配，并根据匹配结果确定不相关人物3D信息，并根据不相关人物3D信息确定不相关人物对应的目标区域，删除不相关人物，并对不相关人物对应的背景区域和目标区域进行虚化处理。由此，可以实现对拍摄人物图像的主动选择，可以对不相关人物进行智能化的删除处理，且对删除后的相关区域进行虚化处理，与图像中的其他区域无缝衔接，图像视觉效果较好。

[0108] 本发明实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的拍摄图像的虚化处理方法。

[0109] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0110] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

[0111] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

[0112] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

[0113] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

[0114] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

[0115] 此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

[0116] 上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。