一种图像处理方法、装置与设备转让专利
申请号 : CN201811199216.X
文献号 : CN109961453B
文献日 : 2021-03-12
发明人 : 李宇 , 马飞龙 , 黄秀杰
申请人 : 华为技术有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,所述方法应用于拍摄视频,所述方法包括:采集N个图像,N为正整数;
对所述N个图像中的每一个图像执行步骤1和步骤2,得到目标视频;
步骤1:利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域;所述背景区域为所述图像中除所述目标区域以外的部分;其中,所述目标区域对应第一物体类别的分割模板,且所述背景区域对应于第二物体类别的分割模板;所述第一物体类别包括人物、动物、植物、车或其他预设物体中的至少一种;所述第二物体类别包括背景;所述第一物体类别的分割模板与所述第二物体类别的分割模板与所述神经网络的性能有关;所述神经网络能够确定的分割模板包括人物、动物、植物或其他预设物体中的至少两种类别的分割模板和背景的分割模板;
步骤2:对所述图像中的目标区域保留色彩,对所述图像中的背景区域进行黑白处理;
其中,所述目标视频是由经步骤2处理后的N个图像组成的;所述经步骤2处理后的N个图像中的目标区域对应于同一主体。
2.如权利要求1所述方法,其特征在于,所述利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;
若所述k=2,且这2个分割模板中包含1个主体模板和1个背景模板,则将所述主体模板对应的图像区域确定为目标区域,将所述背景模板对应的区域确定为背景区域。
3.如权利要求1所述方法,其特征在于,所述利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,且所述k个分割模板当中有k0个主体模板包含的像素数量大于预设阈值,则将所述k0个主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;其中,k0为1。
4.如权利要求1所述方法,其特征在于,所述利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,将所述k个分割模板当中包含像素数量最多的主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
5.如权利要求1所述方法,其特征在于,所述利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;
若所述k大于2,则根据预先设置的物体类别的优先级在所述k个分割模板中确定出目标模板;
将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
6.如权利要求1所述方法,其特征在于,所述利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;
若所述k大于2,则根据用户的选择指令在所述k个分割模板中确定出目标模板;
将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
7.一种图像处理方法,其特征在于,所述方法包括:获取N个图像,N为正整数,所述N个图像组成一段视频;
对于获取的每一个图像确定出图像中所包含的物体的类别;
若当前图像的前N0个图像中,存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值;则根据图像中物体的类别在当前图像中确定出目标区域和背景区域;所述背景区域为所述当前图像中除所述目标区域以外的部分;且,对所述目标区域和所述背景区域分别采用第一颜色处理方式和第二颜色处理方式进行处理,得到目标图像;所述第一颜色处理方式与所述第二颜色处理方式不同;
若当前图像的前N0个图像中,存在同一物体被判断为不同类别的相邻图像组数大于预设阈值;则对所述当前图像采用所述第一颜色处理方式或所述第二颜色处理方式进行处理,得到目标图像;所述当前图像为所述N个图像中的一个。
8.如权利要求7所述方法,其特征在于,所述第一颜色处理方式包括保留色彩,所述第二颜色处理方式包括黑白处理、变暗处理或模糊处理。
9.如权利要求7或8所述方法,其特征在于,所述物体的类别包括人物、动物、植物、预设物体、或背景中的至少一个。
10.如权利要求7或8所述方法,其特征在于,所述根据图像中物体的类别在当前图像中确定出目标区域和背景区域包括:
对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;
若所述k=2,且这2个分割模板中包含1个主体模板和1个背景模板,则将所述主体模板对应的图像区域确定为目标区域,将所述背景模板对应的区域确定为背景区域。
11.如权利要求7或8所述方法,其特征在于,所述根据所述图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,且所述k个分割模板当中有k0个主体模板包含的像素数量大于预设阈值,则将所述k0个主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;其中,k0为小于k的非负整数。
12.如权利要求7或8所述方法,其特征在于,所述根据所述图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,将所述k个分割模板当中包含像素数量最多的主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
13.如权利要求7或8所述方法,其特征在于,所述根据所述图像中物体的类别在所述图像中确定出目标区域和背景区域包括:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;
若所述k大于2,则根据预先设置的物体类别的优先级在所述k个分割模板中确定出目标模板;
将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
14.一种图像处理装置,其特征在于,所述装置应用于拍摄视频,所述装置包括:拍摄模块,用于采集N个图像,N为正整数;
确定模块,用于对所述N个图像中的每一个图像执行步骤1;
步骤1:利用预设的神经网络根据图像中物体的类别在所述图像中确定出目标区域和背景区域;所述背景区域为所述图像中除所述目标区域以外的部分;其中,所述目标区域对应第一物体类别的分割模板,且所述背景区域对应于第二物体类别的分割模板;所述第一物体类别包括人物、动物、植物或其他预设物体中的至少一种;所述第二物体类别包括背景;所述第一物体类别的分割模板与所述第二物体类别的分割模板与所述神经网络的性能有关;所述神经网络能够确定的分割模板包括人物、动物、植物、车或其他预设物体中的至少两种类别的分割模板和背景的分割模板;
颜色处理模块,用于对所述N个图像中的每一个图像执行步骤2;得到目标视频;其中,所述目标视频是由经步骤2处理后的N个图像组成的;所述经步骤2处理后的N个图像中的目标区域对应于同一主体;
步骤2:对所述图像中的目标区域保留色彩,对所述图像中的背景区域进行黑白处理。
15.如权利要求14所述装置,其特征在于,所述确定模块具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k=2,且这2个分割模板中包含1个主体模板和1个背景模板,则将所述主体模板对应的图像区域确定为目标区域,将所述背景模板对应的区域确定为背景区域。
16.如权利要求14所述装置,其特征在于,所述确定模块具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,且所述k个分割模板当中有k0个主体模板包含的像素数量大于预设阈值,则将所述k0个主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;其中,k0为1。
17.如权利要求14所述装置,其特征在于,所述确定模块具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,将所述k个分割模板当中包含像素数量最多的主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
18.如权利要求14所述装置,其特征在于,所述确定模块具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,则根据预先设置的物体类别的优先级在所述k个分割模板中确定出目标模板;将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
19.如权利要求14所述装置,其特征在于,所述确定模块具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k大于2,则根据用户的选择指令在所述k个分割模板中确定出目标模板;
将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
20.一种图像处理装置,其特征在于,所述装置包括:拍摄模块,用于获取N个图像,N为正整数,所述N个图像组成一段视频;
确定模块,用于对于获取的每一个图像确定出图像中所包含的物体的类别;
判断模块,用于若当前图像的前N0个图像中,存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值;则控制确定模块根据图像中物体的类别在当前图像中确定出目标区域和背景区域;所述背景区域为所述当前图像中除所述目标区域以外的部分;且控制颜色处理模块对所述目标区域和所述背景区域分别采用第一颜色处理方式和第二颜色处理方式进行处理,得到目标图像;所述第一颜色处理方式与所述第二颜色处理方式不同;
若当前图像的前N0个图像中,存在同一物体被判断为不同类别的相邻图像组数大于预设阈值;则控制闪烁修复模块对所述当前图像采用所述第一颜色处理方式或所述第二颜色处理方式进行处理,得到目标图像;所述当前图像为所述N个图像中的一个。
21.如权利要求20所述装置,其特征在于,所述确定模块还具体用于:对所述图像进行语义分割,得到k个分割模板;其中,所述k个分割模板对应于不同的物体类别;所述k个分割模板包含背景模板和主体模板;
若所述k=2,且这2个分割模板中包含1个主体模板和1个背景模板,则将所述主体模板对应的图像区域确定为目标区域,将所述背景模板对应的区域确定为背景区域;或,若所述k大于2,且所述k个分割模板当中有k0个主体模板包含的像素数量大于预设阈值,则将所述k0个主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;其中,k0为小于k的非负整数;或,若所述k大于2,将所述k个分割模板当中包含像素数量最多的主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;或,若所述k大于2,则根据预先设置的物体类别的优先级在所述k个分割模板中确定出目标模板;将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域;或,
若所述k大于2,则根据用户的选择指令在所述k个分割模板中确定出目标模板;
将所述目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
22.如权利要求20或21所述装置,其特征在于,所述颜色处理模块具体用于:对所述目标区域保留色彩,对所述背景区域进行黑白处理、变暗处理、或模糊处理。
23.一种终端设备,其特征在于,所述终端设备包含摄像头、存储器、处理器、总线;所述摄像头、所述存储器、以及所述处理器通过所述总线相连;
所述摄像头用于采集图像;
所述存储器用于存储计算机程序和指令;
所述处理器用于调用所述存储器中存储的所述计算机程序、指令和采集的图像,用于执行如权利要求1~6中任一项所述方法。
24.如权利要求23所述的终端设备,所述终端设备还包括天线系统、所述天线系统在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;所述移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
25.一种终端设备,其特征在于,所述终端设备包含摄像头、存储器、处理器、总线;所述摄像头、所述存储器、以及所述处理器通过所述总线相连;
所述摄像头用于采集图像;
所述存储器用于存储计算机程序和指令;
所述处理器用于调用所述存储器中存储的所述计算机程序、指令和采集的图像,用于执行如权利要求7-13中任一项所述方法。
26.如权利要求25所述的终端设备,所述终端设备还包括天线系统、所述天线系统在处理器的控制下,收发无线通信信号实现与移动通信网络的无线通信;所述移动通信网络包括以下的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
说明书 :
一种图像处理方法、装置与设备
技术领域
背景技术
类,但都要遵循一定的原则。随着科技的进步,拍摄也变得越来越简单,越来越符合大众化。
在未来几年中预期会占到80%~90%的流量。
得的拍摄体验。因此,对于非专业人士,终端中需要集成更多的新颖的图像处理技术。
发明内容
的亮度或色度高于背景区域的亮度和色度,使得目标区域对应的主题更加显著地突出显
示,实现终端用户拍照或拍摄视频时具有电影特效,提升用户拍照体验。
域的亮度。
像中物体的类别在图像中确定出目标区域和背景区域;背景区域为所述图像中除目标区域
以外的部分;颜色处理模块,用于对目标区域和背景区域采用不同的颜色处理方式进行处
理,得到目标图像;在目标图像中目标区域的色度大于背景区域的色度,或者目标区域的亮
度大于背景区域的亮度。第一方面的方法和第二方面的装置可以应用于录制视频,广义的
视频录制可以包括狭义的摄像以及视频通话等具有实时视频流采集的场景。拍摄的视频可
以包括上述N个图像。
处理,得到目标图像;其中,在目标图像中目标区域的色度大于背景区域的色度,或者目标
区域的亮度大于背景区域的亮度。
对目标区域和背景区域采用不同的颜色处理方式进行处理,得到目标图像;在目标图像中
目标区域的色度大于背景区域的色度,或者目标区域的亮度大于背景区域的亮度。
某一区域的色度大于另一区域的色度描述的是一个整体的色度视觉感受,表征某一个区域
的整体色度相对于另一个区域的整体色度更强。
到k个分割模板;其中,k个分割模板对应于不同的物体类别;
为背景区域;其中,k0为小于k的非负整数;或者,
为背景区域;或者,
方法可以由确定模块具体执行。
的前N0个图像中,存在同一物体被判断为不同类别的相邻图像组数不大于预设阈值;则根
据图像中物体的类别在当前图像中确定出目标区域和背景区域;背景区域为当前图像中除
目标区域以外的部分;且,对目标区域和背景区域分别采用第一颜色处理方式和第二颜色
处理方式进行处理,得到目标图像;其中,在目标图像中,目标区域的色度大于背景区域的
色度,或者目标区域的亮度大于背景区域的亮度;若当前图像的前N0个图像中,存在同一物
体被判断为不同类别的相邻图像组数大于预设阈值;则对当前图像采用第一颜色处理方式
或第二颜色处理方式进行处理,得到目标图像。
中所包含的物体的类别;判断模块,用于若当前图像的前N0个图像中,存在同一物体被判断
为不同类别的相邻图像组数不大于预设阈值;则控制确定模块根据图像中物体的类别在当
前图像中确定出目标区域和背景区域;背景区域为当前图像中除目标区域以外的部分;且
控制颜色处理模块对目标区域和背景区域分别采用第一颜色处理方式和第二颜色处理方
式进行处理,得到目标图像;其中,在目标图像中目标区域的色度大于背景区域的色度,或
者目标区域的亮度大于背景区域的亮度;若当前图像的前N0个图像中,存在同一物体被判
断为不同类别的相邻图像组数大于预设阈值;则控制闪烁修复模块对当前图像采用第一颜
色处理方式或第二颜色处理方式进行处理,得到目标图像。
如最新的时刻,或者用户感兴趣的时刻。
k个分割模板对应于不同的物体类别;
为背景区域;其中,k0为小于k的非负整数;或者,
为背景区域;或者,
方法可以由确定模块具体执行。
机程序和指令,处理器用于调用存储器中存储的计算机程序和指令以及采集的图像,还具
体用于使终端设备执行如上述任何一种可能的设计方法。
的一种或多种:GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、
WCDMA、TDSCDMA、WIFI以及LTE网络。
或者视频的特效增强,更能突显图像中的主体和目标,使得主要角色更加突出。
附图说明
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机,可以是便携式、袖珍式、手持式、可
穿戴设备(如智能手表等)、平板电脑、个人电脑(PC,Personal Computer)、PDA(Personal
Digital Assistant,个人数字助理)、车载电脑、无人机、航拍器等。
190等部件。本领域技术人员可以理解,图1仅仅是智能终端或多功能设备的举例,并不构成
对智能终端或多功能设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,
或者不同的部件。如,至少存在存储器120、处理器170、摄像头150。
进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中
的所有物体(也可称为待拍摄场景、待拍摄对象、目标场景或目标对象,也可以理解为用户
期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波
(例如除可见光外的光波,如红外)滤去;图像传感器主要是用于对接收到的光信号进行光
电转换,转换成电信号,并输入到处理器170进行后续处理。其中,摄像头可以位于终端设备
的前面,也可以位于终端设备的背面,摄像头具体个数以及排布方式可以根据设计者或厂
商策略的需求灵活确定,本申请不做限定。
和/或其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使
用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作),并根据预先设
定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作,将所述触摸动
作转换为触摸信号发送给所述处理器170,并能接收所述处理器170发来的命令并加以执
行;所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之
间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类
型实现触摸屏。除了触摸屏131,输入单元130还可以包括其他输入设备。具体地,其他输入
设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨
迹球、鼠标、操作杆等中的一种或多种。
单元还用于显示设备利用摄像头150获取到的图像/视频,可以包括某些拍摄模式下的预览
图像/视频、拍摄的初始图像/视频以及拍摄后经过一定算法处理后的目标图像/视频。
在显示面板141上提供相应的视觉输出。在本实施例中,触摸屏与显示单元可以集成为一个
部件而实现终端100的输入、输出、显示功能;为便于描述,本发明实施例以触摸显示屏代表
触摸屏和显示单元的功能集合;在某些实施例中,触摸屏与显示单元也可以作为两个独立
的部件。
应用、至少一个功能所需的指令等软件单元,或者他们的子集、扩展集。还可以包括非易失
性随机存储器;向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源,支
持控制软件和应用。还用于多媒体文件的存储,以及运行程序和应用的存储。
终端100的各种功能和处理数据,从而对手机进行整体控制。可选的,处理器170可包括一个
或多个处理单元;优选的,处理器170可集成应用处理器和调制解调处理器,其中,应用处理
器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理
解的是,上述调制解调处理器也可以不集成到处理器170中。在一些实施例中,处理器、存储
器、可以在单一芯片上实现,在一些实施例中,他们也可以在独立的芯片上分别实现。处理
器170还可以用于产生相应的操作控制信号,发给计算处理设备相应的部件,读取以及处理
软件中的数据,尤其是读取和处理存储器120中的数据和程序,以使其中的各个功能模块执
行相应的功能,从而控制相应的部件按指令的要求进行动作。
包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise
Amplifier,LNA)、双工器等。此外,射频单元110还可以通过无线通信与网络设备和其他设
备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统
(Global System of Mobile communication,GSM)、通用分组无线服务(General Packet
Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址
(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,
LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
信号输出;另一方面,麦克风162用于收集声音信号,还可以将收集的声音信号转换为电信
号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器170处理后,经射频单
元110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理,音频电
路也可以包括耳机插孔163,用于提供音频电路和耳机之间的连接接口。扬声器、麦克风的
具体个数以及排布方式可以根据设计者或厂商策略的需求灵活确定,本申请不做限定。
管理等功能。
100充电。
应用在如图1所示的终端中。
机器人、电视、安防系统、无人机等安装有摄像头的产品。具体地,本发明的功能模块可以部
署在相关设备的DSP芯片上,具体的可以是其中的应用程序或软件;本发明部署在终端设备
上,通过软件安装或升级,通过硬件的调用配合,提供图像处理功能。应理解,本发明可以应
用的终端还可以包括新兴的折叠式终端设备、智能大屏设备、智能电视等。本发明不对终端
的具体形态进行限定。
验。本发明可以将图片或视频进行主体分割,并对不同的区域进行颜色调整,以实现画面的
实时特效。
景区域;其中,背景区域为图像中除了目标区域以外的部分;目标区域对应于图像中的目标
物体或目标对象,即用户想在图像中突出显示的物体或对象,可以与用户的交互选择或者
系统设置有关。具体地,步骤22可以包括s221-s224。
寸;其中m、n的值越小,后续运算量也就越小;但m、n如果过小则会导致后续的像素分辨能力
下降。实验表明,m、n的合理取值区间为[128,512],更具体地,[256,300],m和n可以相等也
可以不相等。例如,可以将1920*1080的图像下采样到256*256。
尺度语义特征;其中m1、m2、……、mz成倍数关系且小于m;n1、n2、……、nz成倍数关系且小于
n。例如,m=2m1=4m2=,……,=2z*mz;n=2n1=4n2=,……,=2z*nz。z的取值以及倍数关
系可以根据算法性能和设计需求来确定。
值,分数越高表示该像素属于该类别的概率越高。
计需求任意设计分类数目、种类以及标识方法。一种具体实例可以如图3所示,车辆所在像
素区域均被神经网络分类为车,且标识为1,而周围的背景部分的像素区域都神经网络分类
为背景,且被标识为0。再例如,神经网络输出的分割模板中,同一类物体的区域具有相同的
标签,比如背景的标签为0,猫的标签为1,滑板的标签为2。在如图4中的分割模板中,还可以
使用同一种颜色表示相同类别的标签,如人、马、背景分别用不同的颜色标识。
观地显示分割的结果。
在拍照或者拍摄的图像中更想突出显示的个体,例如人物、动物、植物、或某种特定物体(杯
子、桌子、衣服、装饰……)等;背景模板对应于图像中没有被识别为主体模板的其他区域;
图像分割模板对应于整个图像。主体模板的识别能力与神经网络的性能有关,例如有些神
经网络仅能识别出人和背景;有些神经网络能够识别出人、车和背景;有些神经网络仅能识
别出车和背景;有些神经网络能够识别出人、动物和背景;有些神经网络仅能识别出动物和
背景,有些神经网络能够识别出动物、植物和背景……
景,且具有数据的多样性。用训练集中的输入图像和分割模板图对网络进行训练,得到优良
的网络参数,即得到用户满意的分割性能;并将得到的网络参数作为最终的使用的神经网
络的计算参数。
标模板。目标模板的确定包括但不限于以下几种方式。
板对应的图像区域确定为目标区域,将背景模板对应的区域确定为背景区域。
板包含的像素数量小于一定阈值时,则将该主体模板进行重新标识,也标识为背景。主体模
板包含的像素数量可以指该个体的图像连通区域包含的像素的数量。
值,则将k0个主体模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区
域确定为背景区域;其中,k0为小于k的非负整数。
目标模板,主体模板A2重新标识为背景模板,重新标识后的模板可以如图5所示。若其中A1
包含的像素数量大于预设阈值,A2包含的像素数量也大于预设阈值,则将A1、A2均确定为目
标模板。若其中A1、A2包含的像素数量均不大于预设阈值,则将A1、A2重新标识,标识为背景
模板,即该图像中没有主体模板。
域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区域。
的模板可以如图5所示。
先级,那么人物模板为目标模板,车辆模板可以被重新标识为背景。例如,人物模板高于动
物模板高于植物模板,如果系统设置的优先级为高于植物模板的均为主题模板,那么人物
模板和动物模板均为目标模板,植物模板可以被重新标识为背景。应理解,同属统一类别模
板的个体可以是一个或者多个。
标模板;将目标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域
确定为背景区域。
的主题模板都可以作为目标模板,则A1、B1均为目标模板;如果系统设置B1以上优先级的主
题模板可以作为目标模板,则将确定A1为目标模板,并将B1进行重新标识,标识为背景模
板。
了哪个个体,哪个个体对应的主体模板就是目标模板。
标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区
域。
标识,标识为背景模板。如果用户在拍照过程中触屏点击了B1对应的个体,则将B1确定为目
标模板;并将A1进行重新标识,标识为背景模板。
限于触屏、语音等选择指令。用户选择了哪个个体,哪个个体对应类别的所有主体模板就是
目标模板。
标模板对应的图像区域确定为目标区域,将其余的分割模板对应的图像区域确定为背景区
域。
个体,则将同一类别的A1、A2确定为目标模板,并将B1、B2进行重新标识,标识为背景模板。
如果用户在拍照过程中触屏点击了B2对应的个体,则将同一类别的B1、B2确定为目标模板;
并将A1、A2进行重新标识,标识为背景模板。
可以只有一个类别,也可以包含多个类别,每个类别下还可以有一个或多个个体;显示的结
果与终端系统的设置的确定目标模板的规则以及用户的输入有关,一些场景中,一个图像
中也可能只含有背景模板。
域,上采样后的背景模板在原始图像中对应的所有像素组成的区域即背景区域。
的色度或者目标区域的亮度大于背景区域的亮度。即在目标图像中目标区域的色度大于背
景区域的色度,或者目标区域的亮度大于背景区域的亮度。
个。
比第二种滤镜方式得到的图像色度更高。
比第四种滤镜方式得到的图像亮度更高。
度和/或色度的处理。
系不变。滤镜也可以理解为一种像素对像素的映射,通过预设的映射表,将输入图像的像素
值映射为目标像素的像素值,从而实现特效效果。应理解,滤镜可以是预先设定的参数模
板,这些与色彩有关的参数可以是业界公知的滤镜模板中的参数,也可以是由用户自主设
计的参数。
图片具有大片儿感,犹如影片。
整的视频,也可以是一个完整视频中的一个片段,或者用户自定义的某个时段区间的视频
片段。对于视频或者视频片段中的每一帧图像的处理流程都可参考上述示例1中的处理方
法。
非相邻关系。
的方式可以具有延时性,例如在第L1帧中确定出人物和背景,通过像素标记和模板比对,可
以在第L1+1帧到第L1+L0帧依旧确定这些图像中的该人物为主体,其对应的区域为目标区
域0。可以不必每一帧都要判定主体和背景。每次确认主体的时刻可以由用户自主定义,还
可以周期性确认主体,例如但不限于每2s或者每10s确定一次等等,每次确定主体的方式包
括但不限于s223中的6种方式。
拍出来的视频具有大片儿感,犹如影片,带来视频炫酷感,提升用户体验。
程都可参考上述示例1中的处理方法。在一些复杂的拍摄视频的场景中,图像中一些区域可
能会被误检,如果同一个区域在相邻帧中分别被标记为目标或背景,则按照上述示例处理
颜色的方法,对同一区域处理为不同的颜色,这种相邻帧中同一区域的颜色的变化会造成
感官上的闪烁,因此需要在处理过程中对闪烁进行判断,并消除闪烁。闪烁可以理解为对物
体类别的误判。
度超过一定比例时,判断为不闪烁,否则判断为闪烁。另外,应理解,判断闪烁是一个持续的
过程。可选的,一种具体的判断是否存在闪烁的方法如下:
认为相邻帧t-1帧和t帧的分割模板相差较大,判断为t-1帧和t帧之间会发生闪烁,也可以
理解为第t帧发生闪烁。其中,相差较大表明同一个物体可能被误判为不同的类别。例如,t-
1帧和t帧中的同一个个体被分别判断成为了人和猴。
同一物体被判断为不同类别的相邻图像组数不大于预设阈值,则可以判断需要对当前帧进
行闪烁异常处理。
判断需要对当前帧进行闪烁异常处理;若有不超过半数的帧被判断为闪烁(如当前视频帧
的前相邻5帧中,有1个视频帧被判定为闪烁),则可以判断不需要对当前帧进行闪烁异常处
理。
如最新的时刻,或者用户感兴趣的时刻。
非相邻关系。
可以为N0的1/2或2/3等,仅作举例不做限定。
与上一帧中的目标区域的颜色处理方法相同,或者可以与上一帧整个图像的颜色处理方法
相同。例如可以对整幅图像采用与在步骤33(23)中对背景区域相同的颜色处理方法;也可
以对整幅图像采用与在步骤33(23)中对目标区域相同的颜色处理方法。例如,图像全部保
持彩色、或者全部变成黑白,或者图像全部采用第一或第二种颜色处理方式(包括但不限于
上述示例1中提到的颜色处理方式)。
拍出来的视频具有大片儿感,犹如影片,带来视频炫酷感,提升用户体验。
控视频风格。
或色度要高于色彩处理后的背景区域;或者,对于任意一个图像来说,主体区域应用的色彩
处理方式要比背景区域应用的色彩处理方式得到的图像的色度或亮度更高。
控视频风格。尤其是分时段进行变换色彩。
肉眼区别出来图像变化的时长,N1、N2由录像时的帧率和时段的时长决定,本发明中不予以
限定。
第一目标区域都对应第一物体(可以包含至少一个物体);对于N2个图像中的每个图像,在
图像中确定出第二目标区域和第二背景区域;第二背景区域为图像中除第二目标区域以外
的部分;其中,N2个图像中每个图像中的第二目标区域都对应第二物体(可以包含至少一个
物体);
景区域采用第四颜色处理方式进行处理,得到目标视频;其中,在目标视频中,第一目标区
域的色度大于第一背景区域的色度,或第一目标区域的亮度大于第一背景区域的亮度;并
且,第二目标区域的色度大于第二背景区域的色度,或第二目标区域的亮度大于第二背景
区域的亮度。
内确定第一物体对应的图像区域为目标区域,第二时段内确定第二物体对应的图像区域为
目标区域,第一物体和第二物体为不同的物体或个体或者类别。
域;第二目标区域对应的物体与第一目标区域对应的物体不同或者类别不同,可以让系统
和用户自主选择目标主体和图像的目标区域。一个图像,是由主体和背景组成的,对应地,
是由目标区域和背景区域组成的。
域均被标记为背景。
一步识别出用户选择的模板是哪一个(/些)个体(/可以是至少一个个体)或者哪一个(/些)
类别(/可以是至少一个类别),进而将那一个(/些)个体或者那一个(/些)类别下的所有个
体确定为第一物体,将第一物体或者对应的图像区域确定为第一目标区域,并可以维持一
段时间,即接下来的若干帧中,第一物体相应的分割模板对应的区域均为第一目标区域,直
到用户在下一个时刻点选其他个体,将新个体所对应的区域按照上述类似的方法为确定为
第二目标区域。在一个图像中,第一目标区域或第二目标区域以外的图像区域为背景区域。
即第一个时段内第一物体相应的分割模板对应的区域为第一目标区域;即第二个时段内变
为第二物体相应的分割模板对应的区域为第二目标区域。
的目标模板。例如第101帧确定出第一目标模板,对于接下来的102帧-200帧中的每一帧,均
采用与该第一目标模板类别相同或个体相同的分割模板作为第一目标模板;直到第201帧
确定出第二目标模板,对于接下来的202帧-200帧中的每一帧,均采用与该第二目标模板类
别相同或个体相同的分割模板作为第二目标模板,应理解,上述举例的数字可以根据用户
或系统进行事先定义。
也有可能是不同的类别或不同的个体。与网络的识别能力、场景画面的变换、或者用户的输
入命令有关。
使得整体视觉更为炫酷。
使得目标主体更为突出。
的需求下,提供更多的色彩配合。
方式和第二颜色处理方式。)
的颜色处理方式,以实现不同程度或形式的主体衬托。
重于指两者的信号处理逻辑类似,并不限定于两者的输入和输出都要完全相同,也并不限
定两个方法流程完全等同,本领域技术人员能够引发合理的引用和变形都应属于本发明保
护范围内。
的亮度或色度高于背景区域的亮度和色度,使得目标区域对应的主题更加显著地突出显
示,实现电影特效。
的终端,请参阅图9,该装置包括:
换的方法;该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。
以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令,实现相应的算法
来实现。
域的亮度大于背景区域的亮度。该模块具体用于执行上述示例中步骤23、步骤33、步骤53、
步骤63、或步骤73中所提到的方法以及可以等同替换的方法;该模块可以由处理器调用存
储器中相应的程序指令通过一定的算法来实现。
使得目标区域的亮度或色度高于背景区域的亮度和色度,使得目标区域对应的主题更加显
著地突出显示,实现电影特效。
像功能的终端,请参阅图10,该装置包括:
换的方法;该模块可以由处理器调用存储器中相应的程序指令控制摄像头采集图像。
1004执行相关功能;若判断结果为大于预设阈值,则判断模块1002继续触发闪烁修复模块
1005执行相关功能。该模块1002具体用于执行上述示例中步骤42中所提到的方法以及可以
等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令,实现相应的算法来
实现。
述示例中步骤22、步骤32、步骤43、步骤52、步骤62、或步骤72中所提到的方法以及可以等同
替换的方法;该模块可以由处理器调用存储器中相应的程序指令,实现相应的算法来实现。
颜色处理模块1004,用于对图像中的目标区域和背景区域采用不同的颜色处理方式;使得
目标区域的色度大于背景区域的色度,或者使得目标区域的亮度大于背景区域的亮度。该
模块具体用于执行上述示例中步骤23、步骤33、步骤44、步骤53、步骤63、或步骤73中所提到
的方法以及可以等同替换的方法;该模块可以由处理器调用存储器中相应的程序指令通过
一定的算法来实现。
法可以与上一帧中的背景区域的颜色处理方法相同,或者可以与上一帧中的目标区域的颜
色处理方法相同。该模块具体用于执行上述示例中步骤45中所提到的方法以及可以等同替
换的方法;该模块可以由处理器调用存储器中相应的程序指令通过一定的算法来实现。
使得目标区域的亮度或色度高于背景区域的亮度和色度,使得目标区域对应的主题更加显
著地突出显示,实现电影特效。
设立的处理元件,也可以集成在终端的某一个芯片中实现,此外,也可以以程序代码的形式
存储于控制器的存储元件中,由处理器的某一个处理元件调用并执行以上各个模块的功
能。此外各个模块可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成
电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通
过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用
处理器,例如中央处理器(英文:central processing unit,简称:CPU),还可以是被配置成
实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(英文:
application-specific integrated circuit,简称:ASIC),或,一个或多个微处理器(英
文:digital signal processor,简称:DSP),或,一个或者多个现场可编程门阵列(英文:
field-programmable gate array,简称:FPGA)等。
适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的
顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,
例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那
些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其
它步骤或模块。
施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产
品的形式。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
列举实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发
明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的
这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动
和变型在内。