一种多帧图像融合方法及装置转让专利
申请号 : CN201910452826.4
文献号 : CN110189285B
文献日 : 2021-07-09
发明人 : 王涛
申请人 : 北京迈格威科技有限公司
摘要 :
权利要求 :
1.一种多帧图像融合方法,其中,包括:连续图像获取步骤,通过连续拍摄,获取多张连续拍摄图像;
参考帧选取步骤,从多张所述连续拍摄图像中,选取一张参考帧图像,其余作为辅助图像;
长曝光图像获取步骤,获取一张长曝光图像,所述长曝光图像在连续拍摄的同时通过长曝光拍摄,所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间;
配准步骤,将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准;
区域分割步骤,将配准后的所述长曝光图像进行区域分割,分割为纹理区域和平坦区域;
图像融合步骤,根据所述纹理区域和所述平坦区域,将配准后的所述辅助图像和所述参考帧图像分区域进行融合,得到结果图像;其中,所述图像融合步骤包括:根据配准后的所述长曝光图像的所述纹理区域和所述平坦区域,获得配准后的所述参考帧图像的所述纹理区域和所述平坦区域;
根据配准后的参考帧图像的所述纹理区域和所述平坦区域,获得配准后的所述辅助图像的所述纹理区域和所述平坦区域;
将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合,以及将配准后的所述参考帧图像的所述平坦区域与配准后的所述辅助图像的所述平坦区域进行融合。
2.根据权利要求1所述的方法,其中,将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合,包括:直接将配准后的参考帧图像作为融合结果。
3.根据权利要求1所述的方法,其中,将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合,包括:获得配准后的所述辅助图像的所述纹理区域内的各个像素点与配准后的所述参考帧图像在所述纹理区域中对应的各个的像素点的像素差,所述像素差小于预设阈值时,将对应的像素点进行融合;所述像素差大于或等于所述预设阈值时,对应的所述辅助图像的所述像素点不参与融合。
4.根据权利要求1所述的方法,其中,所述参考帧选取步骤包括:对多张所述连续拍摄图像进行边缘检测,通过所述边缘检测得到每个所述连续拍摄图像的清晰度,选取所述清晰度最高的所述连续拍摄图像作为所述参考帧图像。
5.根据权利要求1所述的方法,其中,所述配准步骤包括:通过均值二值化对齐算法对所述长曝光图像和所述参考帧图像进行配准。
6.根据权利要求1所述的方法,其中,所述长曝光图像与所述连续拍摄图像分别通过不同摄像头针对同一景象进行同时拍摄。
7.根据权利要求1‑6中任一项的所述的方法,其中,所述图像融合步骤包括:通过直接平均或双边权重的方式进行融合。
8.一种多帧图像融合装置,其中,包括:连续图像获取模块,用于通过连续拍摄,获取多张连续拍摄图像;
参考帧选取模块,用于从多张所述连续拍摄图像中,选取一张参考帧图像,其余作为辅助图像;
长曝光图像获取模块,用于获取一张长曝光图像,所述长曝光图像在连续拍摄的同时通过长曝光拍摄,所述长曝光图像的曝光时间长于拍摄单张所述连续拍摄图像的曝光时间;
配准模块,用于将所述长曝光图像和所述辅助图像分别与所述参考帧图像进行配准;
区域分割模块,用于将配准后的所述长曝光图像进行区域分割,分割为纹理区域和平坦区域;
图像融合模块,用于根据所述纹理区域和所述平坦区域,将配准后的所述辅助图像和所述参考帧图像分区域进行融合,得到结果图像;其中,所述图像融合模块还包括:用于根据配准后的所述长曝光图像的所述纹理区域和所述平坦区域,获得配准后的所述参考帧图像的所述纹理区域和所述平坦区域;
根据配准后的参考帧图像的所述纹理区域和所述平坦区域,获得配准后的所述辅助图像的所述纹理区域和所述平坦区域;
将配准后的所述参考帧图像的所述纹理区域与配准后的所述辅助图像的所述纹理区域进行融合,以及将配准后的所述参考帧图像的所述平坦区域与配准后的所述辅助图像的所述平坦区域进行融合。
9.一种电子设备,其中,所述电子设备包括:存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行权利要求1‑7中任一项所述的多帧图像融合方法。
10.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在由处理器执行时,执行权利要求1‑7中任一项所述的多帧图像融合方法。
说明书 :
一种多帧图像融合方法及装置
技术领域
背景技术
摄5‑10张图像,选择其中一张作为参考帧,其他图像进行图像配准,对配准后图像进行多帧
图像融合,进而得到去噪图像。
出现较为严重的拖影现象,严重影响对图像去噪成像的质量;在大噪声的场景下,很多噪声
也会被误检测为运动状态,影响图像去噪。
发明内容
取一张参考帧图像,其余作为辅助图像;长曝光图像获取步骤,获取一张长曝光图像,长曝
光图像在连续拍摄的同时通过长曝光拍摄,长曝光图像的曝光时间长于拍摄单张连续拍摄
图像的曝光时间;配准步骤,将长曝光图像和辅助图像分别与参考帧图像进行配准;区域分
割步骤,将配准后的长曝光图像进行区域分割,分割为纹理区域和平坦区域;图像融合步
骤,根据纹理区域和平坦区域,将配准后的辅助图像和参考帧图像分区域进行融合,得到结
果图像。
参考帧图像的纹理区域和平坦区域,获得辅助图像的纹理区域和平坦区域;将配准后的参
考帧图像的纹理区域与辅助图像的纹理区域进行融合;将配准后的参考帧图像的平坦区域
与辅助图像的平坦区域进行融合。
理区域中对应的各个的像素点的像素差,像素差小于预设阈值时,将对应的像素点进行融
合;像素差大于或等于预设阈值时,对应的辅助图像的像素点不参与融合。
像。
图像中,选取一张参考帧图像,其余作为辅助图像;长曝光图像获取模块,用于获取一张长
曝光图像,长曝光图像在连续拍摄的同时通过长曝光拍摄,长曝光图像的曝光时间长于拍
摄单张连续拍摄图像的曝光时间;配准模块,用于将长曝光图像和辅助图像分别与参考帧
图像进行配准;区域分割模块,用于将配准后的长曝光图像进行区域分割,分割为纹理区域
和平坦区域;图像融合模块,根据纹理区域和平坦区域,将配准后的辅助图像和参考帧图像
分区域进行融合,得到结果图像。
法。
分割,有助于区分连续拍摄图像中可能存在拖影现象和不存在拖影现象的区域,在分割区
域的过程中不受噪声干扰;由于对长曝光图像的分辨率不需要太高,因此拍摄长曝光的设
备也可以是低端设备。配准后的连续图像根据平坦区域和纹理区域进行分区域融合,有助
于合理去噪和消除拖影影响;通过使用本发明的多帧图像融合方法及装置,能够得到去噪
效果正常且去除拖影现象良好的图像。
附图说明
方式,其中:
具体实施方式
方式限制本发明的范围。
之间进行区分,而并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全
可以互换使用。
140、区域分割步骤150、图像融合步骤160。下面对图1中的各个步骤进行详细说明。
参考图像;其余连续拍摄图像为辅助图像。便于图像在融合的过程中合理去噪,避免噪声和
拖影的影响。
化。在保证看清景象轮廓的前提下,最优选择拍摄一张长曝光图像所用时长为拍摄一帧连
续图像曝光所用时长的10倍,即拍摄一张长曝光图像的同时,可拍摄10张连续拍摄图像,此
时物体运动效果明显、图像清晰。在一例中,长曝光图像与连续拍摄图像同时获取;在另一
例中,长曝光图像与连续拍摄图像分批获取。长曝光图像有助于区分物体移动变化,区域分
割时不会受到噪声干扰,有助于连续拍摄图像在融合时避免拖影的影响。
到的特征点对获得图像空间坐标变换参数,根据坐标变换参数进行图像配准,将所有连续
拍摄图像和长曝光图像的坐标系进行统一,便于后续将图像划区域分割进行图像融合,有
利于图像去噪和去拖影。在一例中,将长曝光图像与连续拍摄图像同时获取进行配准。在另
一例中,分批获取长曝光图像与连续拍摄图像。将辅助图像先与参考帧图像进行配准,再将
与连续拍摄图像对应的长曝光图像进行获取,将长曝光图像根据参考帧图像进行配准。
域分割,边缘密集的区域为纹理区域,边缘稀疏的区域为平坦区域。纹理区域为可能出现拖
影的区域,平坦区域为不可能出现拖影的区域。由于移动的物体必然有纹理,所以将图像中
可能出现拖影的位置都划分至纹理区域中。相对于在正常拍摄的图片,使用长曝光图像进
行区域分割,可以在避免噪声干扰情况下,准确分割出运动物体或者拖影可能存在区域。
域和平坦区域,获得辅助图像的纹理区域和平坦区域;将配准后的参考帧图像的纹理区域
与辅助图像的纹理区域进行融合;将配准后的参考帧图像的平坦区域与辅助图像的平坦区
域进行融合。
与长曝光图像分割的纹理区域和平坦区域对应的像素点,因此在参考帧图像中可分割出与
长曝光图像相对应的纹理区域和平坦区域。同理,将配准后的辅助图像对照分割后的参考
帧图像进行分割,获得与参考帧图像相对应的纹理区域和平坦区域。最终,长曝光图像、参
考帧图像和辅助图像均能获得相互对应的纹理区域和平坦区域。由于平坦区域不会产生拖
影现象,因此将参考帧图像和连续拍摄图像在平坦区域内的像素直接采用多图融合的方式
进行融合,降低图像噪声,方便快捷。连续拍摄图像通过与长曝光图像配准,区分出可能出
现拖影现象和不可能出现拖影现象的区域,分区域进行融合有助于避免多张连续拍摄图像
因直接融合而产生的噪声干扰、拖影现象和噪声放大等负面作用。
避免在多帧融合的过程中产生拖影现象,辅助图像和参考帧图像在纹理区域内进行进行融
合时,直接选取参考帧图像在纹理区域内的像素作为融合结果的像素,能够节省大量融合
图像的时间,提高多帧图像融合的速率。
理区域中对应的各个的像素点的像素差,像素差小于预设阈值时,将对应的像素点进行融
合;像素差大于或等于预设阈值时,对应的辅助图像的像素点不参与融合。
图像与辅助图像的像素差小于预设阈值的对应的像素点进行融合;将像素差大于或者等于
阈值的像素点,辅助图像对应的像素点不参与融合。例如:在一例中,预设像素差阈值为20,
五张连续拍摄图像针对纹理区域中的A点进行融合,第一张A点的像素为159,第二张A点的
像素为169,第三张A点像素为186,第四张A点的像素为145,第五张A点的像素为149,其中第
二张连续拍摄图像为参考帧图像,其余四张图像为辅助图像。通过计算,第一张、第三张连
续拍摄图像与参考帧图像关于A点的像素差小于20,第四张连续拍摄图像与参考帧图像关
于A点的像素差大于20,第五张连续拍摄图像与参考帧图像关于A点的像素差等于20。因此,
在该纹理区域中,采用前三张连续拍摄图像关于A点的像素进行融合,融合结果作为五张连
续拍摄图像关于A点多帧图像融合的像素。在另一例中,五张连续拍摄图像纹理区域中A点
的像素值沿用上一例,而预设像素差阈值设为10,其中第二张连续拍摄图像为参考帧图像,
其余四张图像为辅助图像,辅助图像与参考帧图像在对应的纹理区域中的像素差均大于或
等于10,在此情况下,直接将配准后的参考帧图像在纹理区域中对应的像素点作为融合结
果。通过预设像素差阈值,能够提高在纹理区域内图像融合的精确度,使得到的结果图像更
清晰准确。
间消耗,拍摄的景象为同一景象,在划分的过程中可以保证连续拍摄图像和长曝光图像中
物体的运动变化一致。还可以根据曝光程度不同,合理避免噪声对图像的干扰,更好的保留
图像细节纹理。由于对长曝光图像进行平坦区域和纹理区域分类,并不需要像素级配准和
特别高的图像分辨率,因此拍摄长曝光图像的设备可以是低分辨率的硬件设备,也可以是
终端设备,例如:手机的两个主、副摄像头,主摄像头为采集连续拍摄图像的设备,副摄像头
为采集长曝光图像的设备。
图像。通过使用边缘检测算子或者LOG(高斯拉普拉斯)等边缘提取算法对多张连续拍摄图
像进行边缘检测,选择连续拍摄图像中清晰度最高的一帧图像作为参考帧图像。选择清晰
度高的图像有助于提高融合图像的精确性及可靠性,降低噪声的干扰。
同的图像配准问题,通过对每幅图像构造二值化金字塔图像,然后分别在水平和垂直方向
上搜索偏移量进行图像配准。因拍摄长曝光图像可能会发生平移现象,不会出现旋转现象,
即使出现一些旋转,也不会影响观察者的注意力,因此采用MTB算法对长曝光图像和参考帧
图像进行配准,能够节省时间,提高图像配准速率。在另一实施例中,也可以采用SIFT(尺度
不变特征变换)、FAST特征点检测算法等算法进行图像配准。
差别小,常采用多张图像的像素在同一区域内的平均像素作为该区域内的融合像素;或者
利用可变参数的交叉双边滤波器对连续拍摄图像进行多尺度分解,针对不同分解层赋予不
同的权重值,根据权重比值将多张连续拍摄图像进行融合。
取模块220,用于从多张连续拍摄图像中,选取一张参考帧图像,其余作为辅助图像;长曝光
图像获取模块230,用于获取一张长曝光图像,长曝光图像在连续拍摄的同时通过长曝光拍
摄,长曝光图像的曝光时间长于拍摄单张连续拍摄图像的时间;配准模块240,用于将长曝
光图像和辅助图像分别与参考帧图像进行配准;区域分割模块250,用于将配准后的长曝光
图像进行区域分割,分割为纹理区域和平坦区域;图像融合模块260,用于根据纹理区域和
平坦区域,将配准后的辅助图像和参考帧图像分区域进行融合,得到结果图像。
于存储指令。处理器320,用于调用存储器310存储的指令执行本发明实施例的用于多帧图
像融合方法。其中,处理器320分别与存储器310、I/O接口330连接,例如可通过总线系统和/
或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据,包括本发明
实施例中涉及的用于多帧图像融合的程序,处理器320通过运行存储在存储器310的程序从
而执行电子设备30的各种功能应用以及数据处理。
辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现,所述处理器320
可以是中央处理单元(Central Processing Unit,CPU)或者具有数据处理能力和/或指令
执行能力的其他形式的处理单元中的一种或几种的组合。
储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory,RAM)和/
或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read‑Only
Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘
(Solid‑State Drive,SSD)等。
信息(例如,图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如
音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一
个或多个。
何方法。
特定环境中,多任务和并行处理可能是有利的。
和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入
的设备。
代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何
或全部的所描述的步骤、操作或程序。
修改,或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了
说明本发明的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途
来以各种实施方式和各种修改而利用本发明。