一种图像处理方法、装置及移动终端转让专利
申请号 : CN201811289702.0
文献号 : CN111131688B
文献日 : 2021-04-23
发明人 : 马岚 , 李松南 , 俞大海
申请人 : TCL科技集团股份有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,所述方法包括:获取连续拍摄的多帧图像的梯度信息;
根据所述梯度信息将所述多帧图像聚类为相对清晰类和相对模糊类;
获取所述相对清晰类和相对模糊类之间的清晰度差异,包括:获取所述相对清晰类的平均梯度以及获取所述相对模糊类的平均梯度;获取所述相对清晰类的平均梯度与所述相对模糊类的平均梯度之间的第一距离;获取所述多帧图像中的最大梯度差作为第二距离;
根据所述第一距离与第二距离之间的比值确定所述相对清晰类和相对模糊类之间的清晰度差异;
若所述相对清晰类和相对模糊类之间的清晰度差异满足预设条件,则保留相对清晰类的图像并删除所述相对模糊类的图像;
根据所述保留的图像生成新图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述梯度信息为全局梯度信息或者局部梯度信息,其中:
所述全局梯度信息是指通过图像的全部像素信息获取的图像梯度信息;
所述局部梯度信息是指通过图像的局部像素信息获取的图像梯度信息。
3.如权利要求2所述的图像处理方法,其特征在于,所述梯度信息为局部梯度信息,对应地,所述获取连续拍摄的多帧图像的梯度信息包括:获取图像中的感兴趣区域;
根据所述图像中的感兴趣区域的像素信息获取图像的局部梯度信息。
4.如权利要求3所述的图像处理方法,其特征在于,所述感兴趣区域为图像的中心或者为用户指定的图像区域。
5.如权利要求1所述的图像处理方法,其特征在于,所述方法包括:若所述相对清晰类和相对模糊类之间的清晰度差异不满足预设条件,则保留所述相对清晰类的图像以及相对模糊类的图像。
6.如权利要求1所述的图像处理方法,其特征在于,根据所述多帧图像的梯度信息将所述多帧图像聚类为相对清晰类和相对模糊类,包括:采用K‑means聚类算法、均值漂移聚类算法、基于密度的聚类算法、用高斯混合模型的最大期望聚类算法中的任意一种对所述多帧图像进行聚类。
7.一种图像处理装置,其特征在于,所述装置包括:梯度信息获取单元,用于获取连续拍摄的多帧图像的梯度信息;
聚类单元,用于根据所述梯度信息将所述多帧图像聚类为相对清晰类和相对模糊类;
清晰度差异获取单元,用于获取所述相对清晰类和相对模糊类之间的清晰度差异;所述清晰度差异获取单元包括:平均梯度获取子单元,用于获取所述相对清晰类的平均梯度以及获取所述相对模糊类的平均梯度;第一距离获取子单元,用于获取所述相对清晰类的平均梯度与所述相对模糊类的平均梯度之间的第一距离;第二距离获取子单元,用于获取所述多帧图像中的最大梯度差作为第二距离;确定子单元,用于根据所述第一距离与第二距离之间的比值确定所述相对清晰类和相对模糊类之间的清晰度差异;
处理单元,用于若所述相对清晰类和相对模糊类之间的清晰度差异满足预设条件,则保留相对清晰类的图像并删除所述相对模糊类的图像;
图像生成单元,用于根据所述保留的图像生成新图像。
8.一种移动终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
说明书 :
一种图像处理方法、装置及移动终端
技术领域
背景技术
仍有着较大的差距。尤其是对噪声的抑制以及高动态范围成像(High Dynamic Range
Imaging,HDR)技术的实现。但由于手机强大的后处理计算功能,可以通过算法缩小和弥补
成像设备上的不同。在实际实现中,我们一般采用的是多帧拍摄,选取参考帧后将其他帧与
参考帧对齐,再进行去噪,或者HDR的实现。但是因为手机拍摄一般为手持拍摄,所以会有不
稳定的情况,某些帧可能会出现模糊的情况。所以多帧拍摄的时候在拍照过程中很容易受
到手持电子设备的移动以及场景中物体运动的影响,导致同一前景可能在多张拍摄图像中
位置发生变化,而背景也会有一定程度的位移,故直接根据拍摄的多帧图像进行处理时很
可能影响成像效果。
发明内容
程序时实现如上第一方面的方法的步骤。
的清晰度差异;若所述相对清晰类和相对模糊类之间的清晰度差异满足预设条件,则保留
相对清晰类的图像并删除所述相对模糊类的图像;根据所述保留的图像生成新图像。由于
有效地去除连续拍摄的多帧图像中的模糊帧,因此后续只需根据保留的相对清晰类的图像
生成新图像,无需再对相对模糊类的图像处理,从而减少了运算量,并且,由于相对清晰类
的图像包含的信息量大于相对模糊类的图像,因此能够提高生成的新图像的图像质量。
附图说明
实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些
附图获得其他的附图。
具体实施方式
分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包
括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和
“第三”等是用于区别不同对象,而非用于描述特定顺序。
供的图像处理方法,包括:
以是灰度图像。从用户层面来讲,所述连续拍摄是指用户在终端设备上输入拍摄指令,例如
单击“拍摄”按键,从而触发终端设备的图像采集元件执行多个连续图像帧的采集。最后基
于对所述多个连续图像帧的后处理从而得到最终图像,所述最终图像的数量小于连续拍摄
的多帧图像的数量,优选地,所述最终图像的数量为1。
素灰度差的平方)、Tenengrad梯度函数(采用Sobel算子分别提取水平和垂直方向的梯度
值)、Laplacian梯度函数、灰度方差函数或灰度方差乘积函数计算得到,在此不对具体采用
的梯度函数进行限制。可以通过以上梯度函数中的任意一个对每一张图像分别计算梯度
值。当然对于连续拍摄的多帧图像中的所有图像均采用相同的梯度函数进行梯度(或称梯
度值)计算,从而保证梯度值的返回形式保持一致。举例来说,所述梯度信息可以是一个一
维的数值或者是二维的数值。
所述水平梯度和垂直梯度进行加权求和得到一维的数值作为梯度信息。
V代表垂直梯度。
图像中相邻像素的一阶差分或者二阶差分,所述全局梯度信息是指通过图像的全部像素信
息获取的图像梯度信息;所述局部梯度信息是指通过图像的局部像素信息获取的图像梯度
信息。
梯度不高基本可以认定该图像比较模糊。本实施例中的图像的梯度信息可以是图像的总体
梯度,或者是图像的平均梯度。具体采用图像的总体梯度还是平均梯度,可以根据图像的特
性和/或采用的梯度函数来确定。
K‑means聚类算法、均值漂移聚类算法、基于密度的聚类算法、用高斯混合模型的最大期望
聚类算法等。在本实施例中,采用K‑means聚类算法对所述多帧图像进行聚类进行示例性说
明。
方差最小标准K个聚类的一种算法。k‑means算法接受输入量K,然后将n个数据对象划分K个
聚类以便使得所获得的聚类满足同一聚类中的对象相似度较高,而不同聚类中的对象相似
度较小。其中,所述K为大于1的整数,所述n为大于2的整数。
信息中随机选取K个梯度信息为初始聚类中心;根据每个聚类对象的均值(中心对象),计算
每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分;重新计算每
个有变化聚类的均值;计算标准测度函数,当满足一定条件,如函数收敛时,则算法终止。K‑
mens算法的最大特点是速度快,非常适合在智能手机等速度要求较高的终端使用。
清晰度差异决定后续的处理步骤。
的平均梯度也可以是所述相对清晰类中的聚类中心的梯度值。所述相对模糊类的平均梯度
的确定方式可以参照相对清晰类的平均梯度的确定方式,在此不作赘述。优选地,所述相对
模糊类的平均梯度的确定方式与所述相对清晰类的平均梯度的确定方式相同。例如,若相
对清晰类的平均梯度为所述相对清晰类的聚类中心的梯度值,相应地,所述相对模糊类的
平均梯度为所述相对模糊类的聚类中心的梯度值。
D模糊=(H模糊晰,V模糊)为相对模糊类的平均梯度,其中H模糊,V模糊分别表示相对模糊类的平均梯度
的水平分量和垂直分量,则第一距离
是欧氏距离。本实施例以梯度为一维数值进行示例性说明,计算多帧图像中的两两之间的
梯度值的欧氏距离,将所述欧氏距离最大的距离作为第二距离。
所述第一距离与第二距离之间的比值确定所述相对清晰类和相对模糊类之间的清晰度差
异,可以对清晰度差异进行客观的量化处理。
别较大,模糊程度不可以接受,对应的相对模糊帧从而需要去除,因此,仅保留相对清晰类
的图像,删除相对模糊类的所有图像。其中预设阈值为25%时鲁棒性较好。优选地,所述预
设阈值的区间为20%‑30%。
者等于预设阈值时,则认为相对清晰类与相对模糊类差别不大,模糊程度可以接受,对应的
可以保留相对模糊类的图像以及相对清晰类图像。
去噪效果图,图4为应用本发明的图像处理方法进行模糊帧去除的多帧去噪效果图,由此可
见,通过本发明的图像处理方法,可以有效提高图像质量。
清晰度差异;若所述相对清晰类和相对模糊类之间的清晰度差异满足预设条件,则保留相
对清晰类的图像并删除所述相对模糊类的图像;根据所述保留的图像生成新图像。由于有
效地去除连续拍摄的多帧图像中的模糊帧,因此后续只需根据保留的相对清晰类的图像生
成新图像,无需再对相对模糊类的图像处理,从而减少了运算量,并且,由于相对清晰类的
图像包含的信息量大于相对模糊类的图像,因此能够提高生成的新图像作为高动态范围成
像的中间步骤辅助后续步骤,从而提高图像的图像质量。
定。
很快。因此,为了提高图像处理速度,可以选择图像中的部分区域作为感兴趣区域,从而根
据图像中的感兴趣区域获取图像的局部梯度信息。所述感兴趣区域可以是矩形、圆形、椭圆
形,在此不对所述感兴趣区域的形状进行限制。
的中心,当所述感兴趣区域为矩形时,所述感兴趣区域的选取方式可以是以取景界面的中
心为作为感兴趣区域的中心,所述感兴趣与的长和宽分别为取景界面的长和宽的一半。
指点击操作,以手指点击的坐标为感兴趣区域的中心,获取所述感兴趣区域。当然用户在拍
摄图像时,图像中可能存在多个非连通的感兴趣区域,用户可以通过选择取景界面中的不
同区域,将所述不同区域共同作为感兴趣区域。
处理后的图像所生成的最终图像的感兴趣区域的清晰程度符合预期即可。从而可以显著提
高图像处理方法的处理速度。
清晰度差异;若所述相对清晰类和相对模糊类之间的清晰度差异满足预设条件,则保留相
对清晰类的图像并删除所述相对模糊类的图像;根据所述保留的图像生成新图像。由于有
效地去除连续拍摄的多帧图像中的模糊帧,因此后续只需根据保留的相对清晰类的图像生
成新图像,无需再对相对模糊类的图像处理,从而减少了运算量,并且,由于相对清晰类的
图像包含的信息量大于相对模糊类的图像,因此能够提高生成的新图像作为高动态范围成
像的中间步骤辅助后续步骤,从而提高图像的图像质量。
算机程序72,例如视频热度预测程序。所述处理器70执行所述计算机程序72时实现上述各
个视频热度预测方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器70
执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示单元
61至66的功能。
个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于
描述所述计算机程序72在所述终端设备7中的执行过程。
仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部
件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网
络接入设备、总线等。
(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field‑
Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等。
插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪
存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单
元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的
其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上
描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可
以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的
单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单
元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统
中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出
本发明的范围。
述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如
多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另
一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置
或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计
算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上
述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代
码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质
可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁
碟、光盘、计算机存储器、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random
Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计
算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,
例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信
信号。
实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改
或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应
包含在本申请的保护范围之内。