图像处理方法和装置、存储介质、电子设备转让专利
申请号 : CN201811142884.9
文献号 : CN109447925B
文献日 : 2021-07-09
发明人 : 罗玲玲
申请人 : OPPO广东移动通信有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,包括:获取待处理图像的原始二值化图像;
将所述待处理图像、所述原始二值化图像分别在所述待处理图像上的光线方向上移动预设数目个像素,得到移动后的待处理图像、移动后的二值化图像;
根据所述待处理图像及所述原始二值化图像进行合成,得到人像主体的图像;
将所述原始二值化图像与所述移动后的二值化图像进行叠加,获取重叠部分的二值化图像;
采用所述移动后的二值化图像减去所述重叠部分的二值化图像,得到所述人像主体的影子区域的二值化图像;
根据所述移动后的待处理图像乘以所述人像主体的影子区域的二值化图像,得到所述人像主体的影子区域的图像;
将所述人像主体的图像与所述人像主体的影子区域的图像进行合成,得到具有抖光光线效果的图像。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的原始二值化图像,包括:
获取所述待处理图像的深度数据;
根据所述待处理图像的深度数据对所述待处理图像进行人像分割,得到人像分割之后的原始二值化图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述待处理图像的人脸区域获取所述待处理图像上的光线方向。
4.根据权利要求3所述的方法,其特征在于,所述根据所述待处理图像的人脸区域获取所述待处理图像上的光线方向,包括:将所述待处理图像的人脸区域对应的红绿蓝RGB图像由RGB空间转换到色调饱和度明度HSV空间,得到所述待处理图像的人脸区域对应的HSV图像;
从所述待处理图像的人脸区域对应的HSV图像中获取明度V分量;
根据所述明度V分量确定当前光线的方向。
5.根据权利要求1所述的方法,其特征在于,所述根据所述待处理图像及所述原始二值化图像进行合成,得到人像主体的图像,包括:根据所述待处理图像乘以所述原始二值化图像,得到人像主体的图像。
6.一种图像处理装置,其特征在于,所述装置包括:原始二值化图像获取模块,用于获取待处理图像的原始二值化图像;
移动模块,用于将所述待处理图像、所述原始二值化图像分别在所述待处理图像上的光线方向上移动预设数目个像素,得到移动后的待处理图像、移动后的二值化图像;
人像主体的图像获取模块,用于根据所述待处理图像及所述原始二值化图像进行合成,得到人像主体的图像;
人像主体的影子区域的图像获取模块,用于将所述原始二值化图像与所述移动后的二值化图像进行叠加,获取重叠部分的二值化图像;采用所述移动后的二值化图像减去所述重叠部分的二值化图像,得到所述人像主体的影子区域的二值化图像;根据所述移动后的待处理图像乘以所述人像主体的影子区域的二值化图像,得到所述人像主体的影子区域的图像;
合成模块,用于将所述人像主体的图像与所述人像主体的影子区域的图像进行合成,得到具有抖光光线效果的图像。
7.根据权利要求6所述的装置,其特征在于,所述原始二值化图像获取模块,用于原始二值化图像获取模块,还用于获取所述待处理图像的深度数据;根据所述待处理图像的深度数据对所述待处理图像进行人像分割,得到人像分割之后的原始二值化图像。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:光线方向获取模块,用于根据待处理图像的人脸区域获取待处理图像上的光线方向。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的图像处理方法的步骤。
说明书 :
图像处理方法和装置、存储介质、电子设备
技术领域
背景技术
过程中,用户经常发现在自然光线的场景下,所拍摄或制作的视频的光线效果不能够满足
用户的个性化需求。
发明内容
素,得到移动后的待处理图像、移动后的二值化图像。根据待处理图像及原始二值化图像进
行合成,得到人像主体的图像。根据移动后的待处理图像及移动后的二值化图像进行合成,
得到人像主体的影子区域的图像。将人像主体的图像与人像主体的影子区域的图像进行合
成,得到具有抖光光线效果的图像。
像与人像主体的影子区域的图像进行合成,就得到具有抖光光线效果的图像,丰富图像处
理的多样性。
附图说明
申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
具体实施方式
不用于限定本申请。
支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程
序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的场景
识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read‑Only Memory,ROM)等非易失性
存储介质,或随机存储记忆体(Random‑Access‑Memory,RAM)等。例如,在一个实施例中,存
储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程
序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理
方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可
以是手机、平板电脑或者个人数字助理或穿戴式设备等。
明显的黑白效果的过程。所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度
值为255表示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物
体区域。如此,则对既包含人像也包括背景的图像,进行二值化处理,就可以突出人像区域。
待处理图像一般为既包含人像也包括背景的图像,当然,待处理图像也可以只包括人像。对
待处理图像进行二值化处理,就得到了待处理图像的原始二值化图像。待处理图像可以是
拍照预览画面,也可以是拍照后保存到电子设备中的照片。
像的光线方向之后,将待处理图像整体在该光线方向上移动预设数目个像素,这样就会将
待处理图像的一部分移出了图像区域,得到移动后的待处理图像。同理,将待处理图像的原
始二值化图像也在该光线方向上移动相同数目个像素,这样也会将原始二值化图像的一部
分移出了图像区域,得到移动后的二值化图像。
效果的过程。所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值为255表
示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物体区域。如
此,则对既包含人像也包括背景的图像,进行二值化处理,就可以突出人像区域。即在二值
化图像中人像区域为1,背景区域为0。根据待处理图像乘以原始二值化图像,得到只留下人
像主体的图像,除了人像区域之外的背景区域为空白区域。
像中人像区域为1,背景区域为0。将原始二值化图像与移动后的二值化图像进行叠加,获取
重叠部分的二值化图像。采用移动后的二值化图像减去重叠部分的二值化图像,得到人像
主体的影子区域的二值化图像。再根据移动后的待处理图像乘以人像主体的影子区域的二
值化图像,得到人像主体的影子区域的图像,其他区域为空白区域。
称之为具有抖光光线效果的图像。此时所得的图像的背景区域的像素值为0,因此,就可以
对该图像的背景区域进行填充预设的像素值,最终输出既具有前景(人像主体及人像主体
的影子)又具有背景的图像。对背景区域进行填充,可以选择纯色的背景进行填充,例如黑
色或白色等。当然也可以在对最终输出的图像上,根据待处理图像上的光线方向进行添加
光效效果,使得背景不会太单调。
移动后的二值化图像。根据待处理图像及原始二值化图像进行合成,得到人像主体的图像。
根据移动后的待处理图像及移动后的二值化图像进行合成,得到人像主体的影子区域的图
像。将人像主体的图像与人像主体的影子区域的图像进行合成,得到具有抖光光线效果的
图像。
像与人像主体的影子区域的图像进行合成,就得到具有抖光光线效果的图像,丰富图像处
理的多样性。
据。
flight的简写,直译为飞行时间的意思。TOF摄像头是通过给目标连续发送光脉冲,然后用
传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离,从而
通过TOF摄像头采集待处理图像的深度数据。
背景进行分离,分成不同的区域,用不同的标签进行区分。例如,在对待处理图像进行人像
分割,得到人像分割之后的原始二值化图像中,用1来表示前景部分(此时专指人像区域),
用0来表示背景部分。本申请实施例中,通过不同的方法来获取待处理图像的深度数据,然
后再根据待处理图像的深度数据来进行人像分割,将待处理图像分割为人像区域和背景区
域的原始二值化图像。根据深度数据进行人像分割之后得到二值化图像,该二值化图像中
人像和背景进行分离的准确性高。后续对进行人像分割之后的二值化图像进行处理,就进
一步保障后续处理的准确性。
像中进行人像分割之后的人像区域是从待处理图像中提取出的人像部分,并非从二值化图
像中提取出的人像区域。人像区域可能包括头部区域(包括人脸区域)及身体区域,从头部
区域或身体区域都可以提取出当前光线的方向,具体地,选择从人像区域的人脸区域中获
取当前光线的方向。因为人脸区域一般为图像关注的焦点,且人脸区域包含了较多的光线
信息,所以仅从人脸区域中就可以直观准确地获取到整张待处理图像上当前光线的方向,
提高了获取整张待处理图像上当前光线的方向的效率和准确度。
值化图像分别在待处理图像上的光线方向上移动预设数目个像素,得到移动后的待处理图
像、移动后的二值化图像。根据待处理图像及原始二值化图像进行合成,得到人像主体的图
像。根据移动后的待处理图像及移动后的二值化图像进行合成,得到人像主体的影子区域
的图像。最后,将人像主体的图像与人像主体的影子区域的图像进行合成,得到具有抖光光
线效果的图像。
感知到的所有颜色,也是目前运用最广的颜色系统之一,人们平时看到或用终端拍摄的图
像一般是RGB图像。RGB色彩模式使用RGB模型为图像中的每一个像素的RGB分量分配了一个
0~255范围内的强度值。例如:纯蓝色R值为0,G值为0,B值为255;灰色的RGB三个值相等(除
了0和255),白色的R、G、B值都是255;黑色的R、G、B都是0。RGB图像只使用三种颜色就可以使
他们按照不同的比例混合,在屏幕上出现16777216种颜色。
值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°。它
们的补色是:黄色为60°,青色为180°,品红为300°;S表示颜色接近光谱色的程度。一种颜
色,可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大,颜色接近光谱
色的程度就愈高,颜色的饱和度也就愈高。饱和度高,颜色则深而艳。光谱色的白光成分为
0,饱和度达到最高。通常取值范围为0%~100%,值越大,颜色越饱和。明度V表示颜色明亮
的程度,对于光源色,明度值与发光体的光亮度有关;对于物体色,此值和物体的透射比或
反射比有关。通常取值范围为0%(黑)到100%(白)。
HSV图像:
越小。所以根据待处理图像的人脸区域对应的HSV图像上的明度V分量,就可以确定出当前
光线的方向。
线的方向。通过HSV图像中所体现出的V分量来确定当前光线的方向,相比较于其他方法更
加准确。
图像乘以原始二值化图像,就得到(人像区域)人像主体的图像。该人像主体的图像中,除了
人像主体部分之外,都是空白区域。
二值化图像。A∩B表示原始二值化图像与移动后的二值化图像进行叠加,得到的重叠部分
的二值化图像。B‑(A∩B)即图中画虚线部分,表示采用移动后的二值化图像减去重叠部分
的二值化图像,得到人像主体的影子区域的二值化图像。最后,根据移动后的待处理图像乘
以人像主体的影子区域的二值化图像B‑(A∩B),就得到了人像主体的影子区域的图像。
值化图像减去重叠部分的二值化图像,得到人像主体的影子区域的二值化图像。最后,根据
移动后的待处理图像乘以人像主体的影子区域的二值化图像,得到人像主体的影子区域的
图像。巧妙地采用二值化图像,从而在获取了人像主体之后,也获取了人像主体的影子,最
后再将人像主体和人像主体的影子进行合并,就得到了具有抖光光线效果的图像。
的二值化图像。再根据待处理图像及原始二值化图像进行合成,得到人像主体的图像。根据
移动后的待处理图像及移动后的二值化图像进行合成,得到人像主体的影子区域的图像。
最后,将人像主体的图像与人像主体的影子区域的图像进行合成,得到具有抖光光线效果
的图像。
像及原始二值化图像进行合成,得到人像主体的图像。根据放大后的待处理图像及放大后
的二值化图像进行合成,得到人像主体的影子区域的图像。最后,将人像主体的图像与人像
主体的影子区域的图像进行合成,得到具有抖光光线效果的图像。采用放大的方式同样可
以呈现出人像主体和人像主体的影子。将这种形成重影的图像,称之为具有抖光光线效果
的图像。
取模块740及合成模块750。其中,
值化图像。
应的HSV图像;从待处理图像的人脸区域对应的HSV图像中获取明度V分量;根据明度V分量
确定当前光线的方向。
图像减去重叠部分的二值化图像,得到人像主体的影子区域的二值化图像;根据移动后的
待处理图像乘以人像主体的影子区域的二值化图像,得到人像主体的影子区域的图像。
取模块940及合成模块950。其中,
像处理方法的步骤。
脑、穿戴式设备等任意终端设备,以电子设备为手机为例:上述电子设备中包括图像处理电
路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal
Processing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示
意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器1014可获取用第一
图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器
1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感
器1024。第二图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器1024可
获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息,并提供可由第二
ISP处理器1040处理的一组图像数据。
的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第一摄像头1010
的控制参数,从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图
像经过第一ISP处理器1030进行处理后可存储至图像存储器1060中,第一ISP处理器1030也
可以读取图像存储器1060中存储的图像以对进行处理。另外,第一图像经过ISP处理器1030
进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器1060中
的图像以进行显示。
图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深
度计算精度进行。
之前进行另外的处理。第一ISP处理器1030从图像存储器1060接收处理数据,并对处理数据
进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1030处理后的图像数据可输
出给显示器1070,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形
处理器)进一步处理。此外,第一ISP处理器1030的输出还可发送给图像存储器1060,且显示
器1070可从图像存储器1060读取图像数据。在一个实施例中,图像存储器1060可被配置为
实现一个或多个帧缓冲器。
一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理
器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头1010的控制参
数及第一ISP处理器1030的控制参数。例如,第一摄像头1010的控制参数可包括增益、曝光
控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦
距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处
理期间)的增益水平和色彩校正矩阵,以及第一透镜1012阴影校正参数。
值、图像的颜色等)发送给控制逻辑器1050,控制逻辑器1050可根据统计数据确定第二摄像
头1020的控制参数,从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。
第二图像经过第二ISP处理器1040进行处理后可存储至图像存储器1060中,第二ISP处理器
1040也可以读取图像存储器1060中存储的图像以对进行处理。另外,第二图像经过ISP处理
器1040进行处理后可直接发送至显示器1070进行显示,显示器1070也可以读取图像存储器
1060中的图像以进行显示。第二摄像头1020和第二ISP处理器1040也可以实现如第一摄像
头1010和第一ISP处理器1030所描述的处理过程。
电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取
存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如
静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型
SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。